qual SO você está usando?
de qualquer forma, se você estiver usando o Ubuntu , deste https://github.com/brianmario/mysql2/issues/8 correr:
sudo apt-get install mysql-client libmysqlclient-dev
Caso contrário, para usuários de Mac ,(use brew para instalar) verifique este http://mxcl.github.com/homebrew/ , ou execute:
brew install mysql
então
sudo gem install mysql2
e para usuários do Windows verifique o link abaixo para uma solução.Erro ao instalar o mysql2:Falha ao compilar a extensão nativa da gem
Eu recomendaria usar o prompt de comando normal.