Este comando quase lhe dá o que você quer, e até funciona com um servidor remoto. A única ressalva é que ele gera um arquivo TSV (os campos são separados por uma guia).
mysql mydb -e "select * from mytable" -B > mytable.tsv
Mas você pode convertê-lo para CSV usando sed, conforme sugerido em esta resposta :
mysql mydb -e "select * from mytable" -B | sed "s/'/\'/;s/\t/\",\"/g;s/^/\"/;s/$/\"/;s/\n//g" > mytable.csv
