O termo que você está procurando é "paginação". Infelizmente, isso é feito de forma diferente dependendo do mecanismo SQL.
Para MS SQL Server, consulte este Pergunta do Stack Overflow .
Já que você mencionou o MySQL, na verdade é bem simples:
SELECT [columns] FROM [a table] LIMIT 10000
SELECT [columns] FROM [a table] LIMIT 10000 OFFSET 10000
A primeira instrução busca resultados de 1 a 10.000 e a segunda instrução busca resultados de 10.001 a 20.000.
