Não é a quantidade que importa. É o quão bem você projetou sua estrutura de banco de dados e consulta que importa.

1. 
   Certifique-se de ter um índice nas colunas que serão usadas em suas consultas where
   
2. 
   Coloque seu WHERE instruções na ordem que corresponderá ao mínimo de linhas primeiro e prossiga assim.
   

Aqui está o guia de otimização da cláusula WHERE do MySQL para mais dicas