Você não precisa usar mysqli. Você pode apenas emitir os comandos de transação como consultas.
Então para o seu exemplo:
mysql_query("start transaction;");
//db_res calls a custom function that performs a mysql_query on the query
$res1 = db_res("SELECT c1, c2 FROM t1 WHERE c5 = 3");
$res2 = db_res("UPDATE t2 SET c1 = 5 WHERE c2 = 10");
$res3 = db_res("DELETE FROM t3 WHERE c1 = 20");
if( $res1 && $res2 && $res3 )
{
mysql_query("commit;");
}
else
{
mysql_query("rollback;");
}
A propósito, se você está pensando em atualizar para o mysqli, por favor, não o faça. Atualize para o PDO, é muito mais sensato.
