Acho que a melhor resposta para esse problema está no link abaixoA melhor maneira de remover o valor do campo SET?
a consulta deve ser assim que cobre o valor ou valor, ou apenas o valor na coluna separada por vírgulas
ATUALIZAR categorias yourtableSET =TRIM(BOTH ',' FROM REPLACE(CONCAT(',', col, ','), ',2,', ','))WHERE FIND_IN_SET('2', categorias)
Aqui você pode ter sua condição na cláusula where. para mais detalhes consulte o link acima.