Não há nada tão limpo quanto o que está disponível no shell, mas isso funcionará:
DBObject obj = coll.findOne();
int bsonSize = DefaultDBEncoder.FACTORY.create().
writeObject(new BasicOutputBuffer(), obj));
DBObject obj = coll.findOne();
int bsonSize = DefaultDBEncoder.FACTORY.create().
writeObject(new BasicOutputBuffer(), obj));