Veja FILESTREAM MVC:Baixe e carregue imagens do SQL Server para um exemplo mostrando como fazer upload e download de fluxo de arquivos de maneira eficiente e orientada a fluxo. A abordagem que você está seguindo, alocando um buffer do tamanho de todo o arquivo carregado (e suponho que você faça o mesmo ao servir o conteúdo também) é muito ineficiente, sua memória de processo ASP será fragmentada em pedaços por um byte tão grande [] operações.