Geralmente isso é feito usando uma transação. Edite o arquivo com todos os INSERTs. Adicione uma linha na parte superior e inferior:
BEGIN TRANSACTION;
-- all insert statements go here
COMMIT;
Agora, uma vez que você faça login no MySQL a partir da linha de comando, execute
mysql> source file_name
Veja aqui para detalhes.
