Presumo que você use o antigo BEA Weblogic Server?
Você pode adicionar um arquivo weblogic.xml ao seu WEB-INF, assim:
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE weblogic-web-app PUBLIC "-//BEA Systems, Inc.//DTD Web Application 8.1//EN" "http://www.bea.com/servers/wls810/dtd/weblogic810-web-jar.dtd">
<weblogic-web-app>
<container-descriptor>
<prefer-web-inf-classes>true</prefer-web-inf-classes>
</container-descriptor>
</weblogic-web-app>
(em resposta ao comentário, ainda não tenho reputação suficiente :-))
Na verdade, o inferno DLL porque é "tudo ou nada". Parece haver outra maneira mais condicional, descrita aqui . Ainda não experimentei esse mesmo...