Se você tiver um UNIQUE chave (diferente de um AUTO_INCREMENT ), basta usar INSERT IGNORE ... para evitar silenciosamente linhas duplicadas. Se você não tiver uma chave UNIQUE, nunca mais precisará encontrar uma linha?

Se você já permitiu duplicatas e precisa se livrar delas, essa é uma questão diferente.