Se vários aplicativos estão apenas tentando comparar dados, acredito que eles não estejam gravando na tabela, os registros em cache também devem ajudar. Também existe uma técnica chamada sharding que infelizmente o SQL Server não fornece. Mas existe uma biblioteca no codeplex que fornece esse recurso para o SQL Server. Ele basicamente tenta equilibrar a carga nos bancos de dados.

Não testei, mas vale a pena tentar. Se você quiser, pode vê-lo aqui http://enzosqlshard.codeplex.com/