Certamente você pode fazer isso:
DELETE FROM `table1`, `table2` WHERE `orderId` = 500
veja http://dev.mysql.com/doc/refman/ 5.0/pt/excluir.html
[EDITAR:]
Este é o truque todo:
DELETE FROM `orders`, `orders_items`
USING `orders`
INNER JOIN `orders_items` ON `orders`.`orderId` = `orders_items`.`orderId`
WHERE `orders`.`orderId`= 500
Se orderId for um varchar, altere a instrução para
= '500' . 
