Você não saberá disso até testá-lo, então comece a prototipar.

Normalmente, 500.000 linhas são quase nada. Eu me preocupo um pouco quando minhas tabelas atingem 50 milhões, porque demora um pouco quando eu tenho que limpar dados antigos - embora a consulta de dados ainda seja rápida.

Mas tudo isso depende dos tipos de consultas que você precisa. Consultas que abrangem todas essas 50 milhões de linhas seriam realmente muito lentas, consultas que atingem apenas 50k desses 50 milhões são rápidas. E para o seu problema, você precisa medir suas consultas, ajustar suas consultas, tabelas/índices e o próprio mysql.