Se você estiver usando o Windows, as variáveis ​​do sistema devem ser usadas como %COHERENCE_HOME% , e não COHERENCE_HOME .

ou seja, seu comando deve se parecer com java -cp %COHERENCE_HOME%\config;%COHERENCE_HOME%\lib\coherence.jar com.tangosol.net.DefaultCacheServer

Verifique também se o com.tangosol.net.DefaultCacheServer classe está no caminho de classe.