Sim, isso afeta o desempenho, especialmente quando você seleciona várias linhas. Selecione apenas os campos que você realmente precisa.
Vamos dar uma simples verificação de existência de nome de usuário como exemplo:
Por que você selecionaria tudo, quando você pode selecionar apenas ID? Ambos fazendo o trabalho, mas selecionar apenas um campo é uma solução muito melhor.
SELECT `id` FROM users WHERE `username` = 'Nikola K.'
ao invés de:
SELECT * FROM users WHERE `username` = 'Nikola K.'
