O problema é que a gem do MySQL constrói extensões nativas e precisa de informações específicas do sistema sobre onde encontrar certas bibliotecas. Você precisa fornecer isso na linha de comando.

Confira esta página - a parte importante (que funcionou para mim, de qualquer maneira) foi:

Claro, certifique-se de substituir o caminho correto para o seu próprio sistema.

Além disso, continue executando sua gem install comandos via sudo .

O maior problema é que o software gem NÃO fornece feedback sobre o fato de que você não pode simplesmente fazer gem install mysql como você faz com todas as outras gems (e, de fato, costumava ser capaz de fazer com a gem MySQL).