As gems (ou mysql ou mysql2) fornecem uma camada independente de versão para a versão do MySQL que você está executando.
No entanto, se você estiver usando uma gem pré-compilada, ela exigirá que uma biblioteca MySQL específica da versão seja instalada em seu sistema.
Para evitar isso, você pode usar o MySQL Connector/C, que fornece uma maneira independente de versão para se conectar ao MySQL.
Eu documentei como compilar o mysql gem contra o MySQL Connector/C nesta postagem do blog:
http://blog.mmediasys.com/2011/07/07/installing-mysql-on-windows-7-x64-and-using-ruby-with-it/
mysql2 gem tem alguns problemas no Windows, então eu recomendo que você use mysql gem por enquanto.
Espero que isto ajude.