Para aqueles que podem estar confusos com a resposta aceita, como eu, você também precisa ter os cabeçalhos ruby instalados [ruby-devel ].
O artigo que salvou meu hide é aqui .
E esta é a solução revisada (observe que estou no Fedora 13):
yum -y install gcc mysql-devel ruby-devel rubygems
gem install -y mysql -- --with-mysql-config=/usr/bin/mysql_config
Para Debian e outras distribuições que usam empacotamento estilo Debian, os cabeçalhos de desenvolvimento ruby são instalados por:
sudo apt-get install ruby-dev
Para o Ubuntu, os cabeçalhos de desenvolvimento ruby são instalados por:
sudo apt-get install ruby-all-dev
Se você estiver usando uma versão anterior do ruby (como 2.2), precisará executar:
sudo apt-get install ruby2.2-dev
(onde 2.2 é a versão Ruby desejada)