Quando você diz arquivo, isso implica "necessidade de manter os dados para uso posterior".
Entre outras coisas, se os dados não estiverem disponíveis agora, você corre o risco de perdê-los se depender de backups em fita. Além disso, você precisa ter espaço em disco para restaurá-lo no futuro.
Estes não são problemas intransponíveis, é claro, mas a menos que as coisas sejam críticas, eu manteria os dados on-line até prova em contrário. Minha experiência mostra que as pessoas querem dados arquivados quando você menos espera...
Uma opção (a pergunta está marcada como SQL Server 2008) é compressão de dados . Você pode compactar tabelas de archive que estão online, por exemplo.
Para criar uma tabela de arquivo.
SELECT * INTO ANewArchiveTable
FROM CurrentTable
WHERE SomeDateColumn <= DATEADD(year, -2, GETDATE())
Ou use particionamento para conseguir o mesmo
Se os dados estiverem online, você pode reduzir ainda mais a tabela "atual" e ter dados com mais de, digamos, 3 meses em uma tabela/partição de arquivo compactada também
