Parece que você ainda precisa instalar as bibliotecas de desenvolvimento do MySQL. Eles são necessários para que a gem seja construída com sucesso em seu sistema.
[Editar] Parece que o RoR Wiki não está mais disponível. Mas, o Ubuntu ofereceu seu próprio passo a passo que sugere:
sudo apt-get install mysql-server mysql-client
sudo apt-get install libmysql-ruby libmysqlclient-dev
sudo gem install mysql
Exemplo:Ubuntu
sudo apt-get install mysql-server mysql-server-5.0 libmysqlclient15off \
libmysqlclient15-dev mysql-client-5.0 mysql-common
sudo apt-get install libmysql++-dev
sudo gem install mysql
