Primeiro, observe que
REGEXP_REPLACE pode corresponder a strings parcialmente , e você não precisa de .* antes e depois de uma palavra de pesquisa. O
\ char deve ser escapado para definir uma barra invertida literal, pois \ em si permite caracteres de escape para o mecanismo MySQL. Veja esta documentação do MySQL 8
:Assim, você precisa
REGEXP_LIKE("aaa abc ccc", "\\babc\\b")