Se você encontrar esse erro novamente após atualizar para 12.04 (ou para pessoas que chegam aqui depois de pesquisar no Google o título desta página após atualizar para 12.04), o seguinte funcionou para mim:
gem uninstall mysql2
gem install mysql2
Isso recompilará a gem usando libmysqlclient18 e funcionou para mim.
Espero que ajude alguém por aí.
