Andomar está correto em seu comentário de que "depende". No entanto, se você pergunta é algo assim:
Então a resposta é SIM . Se eles são ou não "extras" ou "não usados" é uma questão de design de banco de dados e não tem nada a ver com a questão de desempenho.
Todas as outras coisas sendo iguais, uma linha em uma tabela com 100 colunas vai ocupar mais espaço do que uma linha em uma tabela com 10 colunas. Como as linhas serão maiores, seu servidor terá que trabalhar (relativamente) mais para percorrer um número igual de linhas na tabela mais ampla do que na tabela menor.
Coisas como divisão de página também ocorrerão com mais frequência em tabelas cujas linhas ocupam mais espaço.
Se a sua pergunta for (e acho que isso pode ser mais parecido com o que você está perguntando)
Então a resposta deve ser NÃO .