por algum motivo (talvez porque estou usando rubygems 1.3.7 ou instalando mysql-2.8.1)
sudo gem install mysql -- --with-mysql-config=/usr/local/mysql/bin/mysql_config
não funcionou para mim, então depois de dar uma olhada em gems/mysql-2.8.1/ext/mysql_api/extconf.rb eu descobri que o extconf.rb procura no PATH por mysql_config então eu tentei
export PATH=$PATH:/usr/local/mysql/bin
sudo gem install mysql
e fez o trabalho
