Você deve usar o tipo de dados correto para os dados que está representando - quaisquer ganhos de desempenho teóricos duvidosos são secundários à sobrecarga de ter que lidar com conversões de dados.

É realmente impossível dizer o que isso é baseado na pergunta, mas a maioria dos casos é bastante óbvia. Onde eles não são óbvios estão em situações em que você tem um elemento de dados que é representado por um conjunto de dígitos, mas que você não trata como um número -- por exemplo, um número de telefone.

As pistas de que você está lidando com essa situação são:

• zeros à esquerda que devem ser preservados
• nenhuma operação aritmética é realizada no elemento.
• operações de string são realizadas:ex. "pegue os últimos quatro caracteres"

Se for esse o caso, você provavelmente deseja armazenar seu "número" como um varchar.