Você estava muito perto, você pode usar isso:
DELETE FROM table WHERE (col1,col2) IN ((1,2),(3,4),(5,6))
Por favor, veja este violino .
DELETE FROM table WHERE (col1,col2) IN ((1,2),(3,4),(5,6))
