No que diz respeito à exportação de dados, o Downloader em massa existe apenas para este fim. Por padrão, ele exporta para arquivos CSV, mas você pode escrever uma classe Exporter personalizada que exporta diretamente para um banco de dados MySQL ou qualquer outro formato de sua escolha.

Também está se tornando rapidamente possível hospedar um ambiente alternativo do App Engine graças a projetos como o AppScale , (meu próprio) BDBDatastore e TwistedAE .

Em geral, acho que suas preocupações de escalonamento são infundadas - o App Engine já hospeda muitos aplicativos que recebem altos níveis de tráfego, mas isso depende em parte do seu aplicativo e de suas necessidades. É claro que sou tendencioso - estou na equipe do App Engine, portanto, faça minha avaliação com um grão de sal.;)