BIGINT UNSIGNED não tem sinal e não pode ser negativo.
Sua expressão
ABS(lektoren.baum2.id - 6) usará um valor intermediário negativo se id for menor que 6. Presumivelmente, versões anteriores implicitamente convertidas para SIGNED. Você precisa fazer um elenco.
Experimentar
ORDER BY ABS(CAST(lectoren.baum2.id AS SIGNED) - 6)
