A indexação de qualquer tabela, seja baseada em memória ou sistema de arquivos, acelerará as consultas que selecionam ou classificam os resultados com base nessa coluna. Isso ocorre porque o índice funciona como uma estrutura em árvore e a distância de busca depende da profundidade da árvore, que aumenta muito mais lentamente que a contagem de linhas da coluna (logarítmica).

Indexar cada coluna não anula a finalidade do índice, mas retardará as inserções e atualizações porque essas alterações causarão uma atualização de cada índice dessa tabela. Além disso, os índices ocupam espaço no servidor de banco de dados, portanto, essa é outra desvantagem a ser considerada.

Outras perguntas SO para ler relacionadas a esta pergunta:

Práticas recomendadas para indexação
O que é um índice
Quantos índices são suficientes