Se entendi bem, você quer primeiro ordenar as famílias pelo nome do titular, depois pelos nomes dos dependentes. O seguinte faz isso.
with family_order as (
select idfamily, rownum r from (
select idfamily from costumer where relation = 'H' order by name
)
)
select c.* from costumer c
inner join family_order fo on c.idfamily = fo.idfamily
order by fo.r, relation desc, name
Mexa aqui
