eu não acho que haja algum problema com
.populate('adminInfo.adminId')
método. tem certeza de que ref campo está em CamelCase .
Caso contrário, tente alterar o campo ref ->
adminInfo: {
_id: false,
adminId: [{
type: Schema.Types.ObjectId,
ref: 'user'
}]
}