Para alterar o conjunto de caracteres padrão e o agrupamento de uma tabela incluindo os de colunas existentes (observe o converter para cláusula):
alter table <some_table> convert to character set utf8mb4 collate utf8mb4_unicode_ci;
Editei a resposta, graças à solicitação de alguns comentários:
e
