Mysql
 sql >> Base de Dados >  >> RDS >> Mysql

MySQL carregar arquivo de dados - aceleração?


se você estiver usando innodb e carregamento em massa, aqui estão algumas dicas:

classifique seu arquivo csv na ordem de chave primária da tabela de destino:lembre-se que o innodb usa chaves primárias em cluster para que ele carregue mais rápido se estiver classificado!

arquivo de dados de carregamento típico que eu uso:
truncate <table>;

set autocommit = 0;

load data infile <path> into table <table>...

commit;

outras otimizações que você pode usar para aumentar os tempos de carregamento:
set unique_checks = 0;
set foreign_key_checks = 0;
set sql_log_bin=0;

divida o arquivo csv em pedaços menores

estatísticas de importação típicas que observei durante carregamentos a granel:
3.5 - 6.5 million rows imported per min
210 - 400 million rows per hour