Isso não é configurável nos arquivos de mapeamento, mas no dialeto. Você precisa criar um dialeto personalizado e registrar sua função. Exemplos:

• http://nhforge.org/blogs/nhibernate/archive/2009/03/13/registering-freetext-or-contains-functions-into-a-nhibernate-dialect.aspx
• http://www.gg3721.com/list/9/23031. html