Esta não é uma solução permanente, mas é uma solução alternativa que fará o trabalho até que alguém encontre algo melhor.

Faça backup dos arquivos de banco de dados em EMM_HOME/repository/database regularmente; e quando o problema ocorrer, desligue o serviço e substitua o arquivo WSO2EMM_DB.h2.db pelo último backup feito.

Algo está fazendo com que o arquivo WSO2EMM_DB.h2.db fique superinflado de alguma forma. Isso aconteceu comigo hoje à noite, e o arquivo ruim tinha um tamanho de 49.016 KB, enquanto o arquivo bom que fiz backup quando as últimas alterações foram feitas tem um tamanho de 4.872 KB. Essa é uma diferença bastante significativa.

EDITAR: Tenho rodado o servidor sem fazer nenhuma alteração e ficar de olho no arquivo WSO2EMM_DB.h2.db. Parece ganhar cerca de 2 megabytes de tamanho a cada hora. A princípio, pensei que não aumentava de tamanho a uma taxa lenta e constante, mas de uma só vez a cada hora, mas depois de mais experimentos descobri que de fato cresce de forma constante.