O comentário de Ali Nikneshan na resposta agora excluída me salvou algumas vezes quando tive esse mesmo problema. Não sei por que foi excluído, mas aqui estou repostando na esperança de que ajude alguém:
pip install -U --no-cache-dir --force psycopg2
