Eu carregava os dados em uma tabela de teste e depois lidava com duplicatas na cópia para a tabela final.

Por exemplo, você pode criar um índice (não exclusivo) na tabela de preparo para lidar com a "chave"