Bem, para fazer isso, você deve deixar o Rails intacto, então não exclua bibliotecas como é comumente sugerido na documentação do Mongoid. Você precisa configurá-los separadamente, então você precisa ter os arquivos de configuração database.yml e mongo.yml e você precisa ter certeza de que ambos estão sendo carregados.
Depois disso, você pode ativar/desativar AR e Mongoid por modelo.
class User < ActiveRecord::Base
#this is an AR model
end
class Item
include Mongoid::Document
#this is a Mongoid model
end