Dê uma olhada em http://dev.mysql.com /doc/refman/5.0/en/declare-handler.html
Basicamente, você declara o manipulador de erros que chamará o rollback
START TRANSACTION;
DECLARE EXIT HANDLER FOR SQLEXCEPTION
BEGIN
ROLLBACK;
EXIT PROCEDURE;
END;
COMMIT;