Meu palpite é que a resposta está sendo emitida como binário simples que não é codificado em base64 (ainda um buffer) ou é uma resposta compactada (gzip) que precisa ser descompactada primeiro.
Difícil identificar o problema sem ver o código.
ATUALIZAR:
Parece que você está perdendo os cabeçalhos de resposta adequados.
Tente definir esses cabeçalhos antes do
downloadStream.pipe(res) :res.setHeader('Content-disposition', 'attachment; filename=test.pdf');
res.set('Content-Type', 'application/pdf');
