Remova duplicatas de uma tabela e vincule novamente as linhas de referência ao novo mestre

Este único comando deve fazer tudo:

WITH blacklist AS (  -- identify duplicate IDs and their master
   SELECT *
   FROM  (
      SELECT transcription_id
           , min(transcription_id) OVER (PARTITION BY text, citation) AS master_id
      FROM   transcription
      ) sub
   WHERE  transcription_id <> master_id
   )
, upd AS (  -- redirect referencing rows
   UPDATE town_transcription tt
   SET    transcription_id = b.master_id
   FROM   blacklist b
   WHERE  b.transcription_id = tt.transcription_id
   )
DELETE FROM transcription t  -- kill dupes (now without reference)
USING  blacklist b
WHERE  b.transcription_id = t.transcription_id;

Por falta de definição, escolhi a linha com o menor ID por grupo como linha principal sobrevivente.

As restrições FK não atrapalham, a menos que você tenha configurações não padrão. Explicação detalhada:

Depois de remover os dupes, você pode querer adicionar um UNIQUE restrição para evitar que o mesmo erro ocorra novamente:

ALTER TABLE transcription
ADD CONSTRAINT transcription_uni UNIQUE (text, citation);