Usamos binário para uma tonelada de diferentes ids em nosso banco de dados para economizar espaço, já que a maioria de nossos dados consistia nesses ids. Como não parece que você precisa economizar espaço (já que são apenas senhas, não algum outro item de grande escala), não vejo motivo para usar binário aqui.

O maior problema que encontramos era constantemente, irritantemente, ter dados binários aparecendo no console (toda vez que você digita select * você ouve um milhão de bipes), e você sempre tem que selecionar HEX() ou inserir UNHEX(), que é uma dor.

Por fim, se você misturar e combinar (por engano) binário e HEX/UNHEX e juntar esse valor, poderá combinar registros que nunca teve a intenção de fazer.