Isso é um comportamento bem estranho. Acabei de executar seu código localmente e tudo funcionou. Você pode verificar se está usando a versão do driver 0.18.2? Em caso afirmativo, certifique-se de que essa é a única versão instalada (apenas como uma verificação de sanidade).
Eu não acho que deveria fazer alguma diferença, mas eu não estava rodando #group do MongoMapper -- eu estava usando a gem sozinha. Você pode tentar isso também. Segue o código que rodei:
require 'rubygems'
require 'mongo'
d = Mongo::Connection.new.db('blog')
c = d['post']
p c.group("function(x) { return { month: x.date.getMonth(), year:x.date.getFullYear() }; }",
nil,
{ :count => 0 },
"function(x,y){y.count++}",
true)
