Isso deve funcionar:
DELETE T
FROM TEST2 T
INNER JOIN TEST1 on TEST1.FIELD2 = T.FIELD2
WHERE TEST1.FIELD1 = 22;
Amostra de demonstração do violino
Acho que você também pode fazer isso com
IN
:DELETE FROM Test2
WHERE Field2 IN (
SELECT Field2
FROM Test1
WHERE Field1 = 22)