Em essência, você não pode gerar o arquivo CSV e o link para ele de uma só vez. (Você precisa introduzir o conceito de um "modo" de página e ativar o modo de download através de um ...pagename.php?mode=download ou similar. Você pode então usar a instrução switch do PHP para ativar $_GET['mode'] em seu roteiro.)

Dito isso, o cabeçalho do tipo de conteúdo text/csv que você estava usando está correto, embora você também possa querer gerar os cabeçalhos Content-Length e Content-Disposition. Depois de gerar os dados do arquivo, certifique-se também de interromper qualquer processamento de script adicional via exit do PHP função.

Além disso, provavelmente seria muito menos incômodo (e certamente será mais rápido/mais eficiente em termos de memória) usar o MySQL SELECIONAR ... EM OUTFILE facilidade (se você tiver as permissões) em vez de usar o PHP para coletar os dados.