Uma maneira muito fácil de fazer isso é adicionar um
UNIQUE índice nas 3 colunas. Quando você escreve o ALTER instrução, inclua o IGNORE palavra-chave. Igual a:ALTER IGNORE TABLE jobs
ADD UNIQUE INDEX idx_name (site_id, title, company);
Isso descartará todas as linhas duplicadas. Como benefício adicional, futuros
INSERTs que são duplicatas irão apresentar erros. Como sempre, você pode querer fazer um backup antes de executar algo assim... 
