Eu não acho que pode ficar mais limpo do que isso:
ORDER BY priority=0, priority
Demonstração do SQLFiddle
Observe que, diferentemente de outras soluções, esta aproveitará o índice em
priority e será rápido se o número de registros for grande. 
ORDER BY priority=0, priority
priority e será rápido se o número de registros for grande. 
