Usar um ORM, um datamapper, etc. não fará com que as mesmas consultas SQL sejam executadas mais rapidamente. No entanto, ao usar o Hibernate, você pode se beneficiar de coisas como lazy loading , caching de segundo nível , cache de consulta e esses recursos podem ajudar a melhorar o desempenho. Não estou dizendo que o Hibernate é perfeito para todos os casos de uso (para os casos especiais que o Hibernate não pode lidar bem, você sempre pode voltar ao SQL nativo), mas ele faz um trabalho muito decente e definitivamente melhora o tempo de desenvolvimento (mesmo depois de adicionar tempo gasto em otimização).
Mas a melhor maneira de se convencer seria medir as coisas e, no seu caso, eu provavelmente criaria um protótipo do Hibernate cobrindo alguns cenários representativos e o compararia.