Percebi que isso começou a acontecer comigo hoje, algum tempo depois de eu já ter atualizado para o .NET Core 3 para o meu projeto e não tive problemas. Acontece que o scaffolding padrão usado ao adicionar um controlador mvc vazio por meio do gerenciador de soluções adicionará referências ao EF Core 3 em seu projeto web. Eu não uso o EF Core em nossos projetos web de produção. Para mim, foi um conflito com o projeto de teste que usamos, que usa uma versão diferente do EF Core para algumas simulações de banco de dados.

De qualquer forma, por enquanto não vou adicionar controladores através das opções de estúdio para que isso não aconteça.