Sim, dados extras podem tornar as consultas mais lentas porque significa que menos linhas podem caber em uma página, e isso significa mais acessos ao disco para ler um determinado número de linhas e menos linhas podem ser armazenadas em cache na memória.
O fator exato da desaceleração é difícil de prever. Pode ser insignificante, mas se você estiver perto do limite entre poder armazenar em cache a tabela inteira na memória ou não, algumas colunas extras podem fazer uma grande diferença na velocidade de execução. A diferença no tempo que leva para buscar uma linha de um cache na memória ou do disco é de várias ordens de magnitude.
Se você adicionar um índice de cobertura as colunas extras devem ter menos impacto, pois a consulta pode usar o índice relativamente estreito sem precisar consultar a tabela principal mais ampla.