Dependendo da consulta, adicionar uma cláusula de limite pode ter um grande efeito no desempenho. Se você deseja apenas uma linha (ou sabe que apenas uma linha pode satisfazer a consulta) e não tem certeza de como o otimizador interno a executará (por exemplo, cláusula WHERE não atingindo um índice e assim por diante), então você definitivamente deve adicionar uma cláusula LIMIT.
Quanto às consultas otimizadas (usando índices em tabelas pequenas), provavelmente não importará muito no desempenho, mas novamente - se você estiver interessado apenas em uma linha, adicione uma cláusula LIMIT independentemente.