Você pode fazer isso ordenando por posição da coluna em vez de nome da coluna .
Para o seu caso
ORDER BY 1
Deveria trabalhar. SELECT
things.id
,group_concat(DISTINCT
CASE
WHEN things.name <> 'United States' THEN 'Non-US'
WHEN things.name IS NULL THEN 'Unknown'
ELSE things.name
END
ORDER BY 1 SEPARATOR ', ')
FROM things
GROUP BY things.id