Por que a ordem externa não funciona corretamente?

Não estou dizendo que esta é a melhor maneira de fazer as coisas, mas é a menor modificação em suas tentativas existentes.

(
  SELECT IF(aye IN ("10"), 0, 1) AS sortGroup
     , IF(aye IN ("10"), @rank := @rank + 3, @rank1 := @rank1 + 3) AS `rank`
     , id, subject, name
  FROM quran
     , (select @rank := -2) AS rq, (select @rank1 := -1) AS r1q  
  WHERE MATCH (subject, name) AGAINST ('anything') 
)
UNION ALL
(
  SELECT 2 AS sortGroup
     , @rank2 := @rank2 + 2 `rank`
     , id, subject, byA
  FROM hadith
     , (select @rank2 := 0) AS q 
  WHERE MATCH (subject) AGAINST ('anything')
)
ORDER BY sortGroup, rank 
LIMIT 0, 11

Na verdade, não tenho certeza de que você possa mesclar as duas primeiras consultas unidas e obter os mesmos resultados. Na consulta original, com UNION DISTINCT e o cálculo separado de classificação no original, registros que atendem ao aye IN ("10") os critérios provavelmente aparecerão duas vezes (mas com valores de classificação diferentes).