Se você tiver chaves exclusivas nesses campos, poderá usar LOAD DATA INFILE com a opção IGNORE. É mais rápido do que inserir linha por linha e também é mais rápido do que inserir várias vezes.

Veja http://dev.mysql.com/doc /refman/5.1/en/load-data.html