Eu descobri que a distância de hamming é apenas a contagem de bits diferentes entre os dois hashes. Primeiro xou os dois hashes, em seguida, obtenha a contagem de binários:
SELECT product_id, BIT_COUNT(phash1 ^ phash2) as hd from A ORDER BY hd ASC;
SELECT product_id, BIT_COUNT(phash1 ^ phash2) as hd from A ORDER BY hd ASC;