Aumente o limite de memória do seu php e o tempo de script, porque você está executando a instrução mysql através do servidor php.
Verifique seu arquivo php.ini para este vars:
memory_limit
max_execution_time
Mas de qualquer forma eu faria isso através do cliente mysql (terminal), verifique mysql doc
LOAD DATA LOCAL INFILE '/path/to/your/csv/file/csv_file.csv' INTO TABLE database_name.table_name FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n';
Documentação do MySQL - Sintaxe do arquivo de carregamento de dados Documentação do PHP - Configurações principais do Ini
