Você pode usar mysqldump -A para gerar dumps SQL para todos os bancos de dados.

Referência:http://dev.mysql.com/doc/refman /5.1/en/mysqldump.html

Alternativamente, você também pode simplesmente copiar o diretório de dados real.

Editar:desculpas por não ser específico, pois outros notaram que isso funcionará apenas com o ISAM. Para innodb, você precisará fazer backup usando mysqldump ou outro utilitário como phpMyAdmin.