LOAD DATA INFILE é muito rápido e é a maneira correta de importar arquivos de texto para o MySQL. É um dos métodos recomendados para agilizar a inserção de dados - até 20 vezes mais rápido, de acordo com isso:

https://dev.mysql.com/doc/refman /8.0/en/insert-optimization.html

Supondo que gravar os dados processados ​​de volta em um arquivo de texto seja mais rápido do que inseri-los no banco de dados, esse é um bom caminho a percorrer.