Se você estiver usando 8.1.5 e acima, você pode usar:
Para converter de hexadecimal para decimal:
select to_number('AA', 'xx') from dual;
Para converter de decimal para hexadecimal:
select to_char(111, 'xxxx') from dual;
select to_number('AA', 'xx') from dual;
select to_char(111, 'xxxx') from dual;