A maneira mais fácil seria usar um cliente MySQL como SQLyog . Possui um assistente que permite uma fácil migração do Excel para o MySQL.

Você também pode usar o comando LOAD DATA LOCAL INFILE para importá-lo diretamente. Dê uma olhada em isto para os passos detalhados