Confira:Referência para Varchar
Em suma, não há muita diferença, a menos que você ultrapasse o tamanho de 255 em seu VARCHAR, o que exigirá outro byte para o prefixo de comprimento.
O comprimento indica mais uma restrição nos dados armazenados na coluna do que qualquer outra coisa. Isso restringe inerentemente o tamanho de armazenamento MAXIMUM para a coluna também. IMHO, o comprimento deve fazer sentido em relação aos dados. Se você está armazenando um número de Seguro Social, não faz sentido definir o tamanho para 128, mesmo que não custe nada no armazenamento se tudo o que você realmente armazena é um SSN.