Eu enfrentei o mesmo problema ao instalar o mysql2-0.3.21 no Mac pro.
A solução abaixo mencionada funcionou para mim (execute os 3 comandos abaixo mencionados no terminal apontando para a pasta do seu projeto):
brew install mysql
gem install mysql2 -v '0.3.21' -- --srcdir=/usr/local/mysql/include
bundle install
