Eu sei que essa não é a resposta ideal, mas para mim tentar fechar 3 vezes a conexão e reconectar novamente funcionou.
try:
connections.close_all()
except:
try:
connections.close_all()
except:
try:
connections.close_all()
except:
pass
Também tentei definir CONN_MAX_AGE como Nenhum em settings.py, mas isso não funcionou.