Aparentemente, ele trata os inteiros de maneira diferente das strings. Enquanto
json_contains(`column_name`,"1")
é uma chamada válida, para verificar se contém "ART", você deve usar json_contains(`column_name`,'"ART"')
(observe as aspas duplas). Isso resolveu meu problema!