PostgreSQL
 sql >> Base de Dados >  >> RDS >> PostgreSQL

psycopg2 COPY usando cursor.copy_from() congela com entradas grandes


Esta é apenas uma solução alternativa, mas você pode simplesmente canalizar algo para o psql. Eu uso esta receita às vezes quando estou com preguiça de rebentar psycopg2
import subprocess
def psql_copy_from(filename, tablename, columns = None):
    """Warning, this does not properly quote things"""
    coltxt = ' (%s)' % ', '.join(columns) if columns else ''
    with open(filename) as f:
        subprocess.check_call([
            'psql',
            '-c', 'COPY %s%s FROM STDIN' % (tablename, coltxt),
            '--set=ON_ERROR_STOP=true', # to be safe
            # add your connection args here
        ], stdin=f)

No que diz respeito ao seu bloqueio, você está usando vários threads ou algo assim?

Seu postgres está registrando algo como uma conexão fechada ou um impasse? Você pode ver a atividade do disco depois que ele trava?