Por que você não salva o total de votos para cada comentário? Incrementar/diminuir isso quando uma nova votação acontecer.

Então você tem que verificar se o usuário votou especificamente neste comentário para permitir apenas um voto por comentário por usuário.