Aqui está uma solução usando apenas uma consulta:
SELECT SUM(total_count) as total, value
FROM (
SELECT count(*) AS total_count, REPLACE(REPLACE(REPLACE(x.value,'?',''),'.',''),'!','') as value
FROM (
SELECT SUBSTRING_INDEX(SUBSTRING_INDEX(t.sentence, ' ', n.n), ' ', -1) value
FROM table_name t CROSS JOIN
(
SELECT a.N + b.N * 10 + 1 n
FROM
(SELECT 0 AS N UNION ALL SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9) a
,(SELECT 0 AS N UNION ALL SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9) b
ORDER BY n
) n
WHERE n.n <= 1 + (LENGTH(t.sentence) - LENGTH(REPLACE(t.sentence, ' ', '')))
ORDER BY value
) AS x
GROUP BY x.value
) AS y
GROUP BY value
Aqui está o violino completo:http://sqlfiddle.com/#!2/17481a/ 1
Primeiro, fazemos uma consulta para extrair todas as palavras conforme explicado aqui por @peterm (siga as instruções dele se quiser personalizar o número total de palavras processadas). Em seguida, convertemos isso em uma subconsulta e, em seguida,
COUNT
e GROUP BY
o valor de cada palavra e, em seguida, faça outra consulta em cima disso para GROUP BY
casos de palavras não agrupadas em que possam estar presentes sinais acompanhados. ou seja:olá =olá! com um REPLACE