Você definiu gem 'mysql2' em Gemfile? Para Rails 3 e Bundler, não basta instalar a gem, mas incluí-la no Gemfile.
