PostgreSQL
 sql >> Base de Dados >  >> RDS >> PostgreSQL

Como importar um arquivo XML grande (~ 10 GB) para o PostgreSQL


  1. Converta o arquivo XML em arquivo CSV. Além disso, ao converter, divida-o em partes de 100Mb-1Gb para facilitar o agrupamento.

  2. Crie a tabela com colunas que você definiu no arquivo CSV.

  3. Carregue os arquivos no Postgres com COPY command. É a maneira mais rápida de fazer upload de uma grande quantidade de dados que eu conheço. BTW, isso pode ser feito de Java também, com CopyManager classe.

Dependendo do tipo de consultas que você realizará, você desejará criar índices:

  1. Será a parte mais demorada. No entanto, você pode usar CREATE INDEX CONCURRENTLY . Ele permitirá que você trabalhe com sua tabela enquanto o índice é criado em segundo plano.

  2. Se você repetir o processo de importação e já tiver a tabela e os índices criados, elimine os índices antes de emitir o comando COPY e recrie-os posteriormente. Vai lhe poupar muito tempo.

  3. Se você ainda estiver insatisfeito com a velocidade de suas consultas ou com a velocidade de criação de índices, talvez seja uma boa ideia usar Clickhouse em vez de. No entanto, depende do tipo de consultas que você executa.