Opa, encontrei a resposta para o meu problema:

Todas as colunas de um índice FULLTEXT devem ter não apenas o mesmo conjunto de caracteres, mas também o mesmo agrupamento .

Meu índice FULLTEXT tinha utf8_unicode_ci em uma de suas colunas e utf8_general_ci em suas outras colunas.