Graças a @chooban, descobri que a sessão de conexão estava usando latin1 em vez de utf8. Aqui estão duas soluções que encontrei:

• Para RMySQL, após a conexão, execute a consulta SET NAMES utf8 para alterar o conjunto de caracteres de conexão.
• Para RODBC, conecte-se usando CharSet=utf8 na cadeia DSN. Não consegui executar SET NAMES por ODBC.

Esta pergunta me apontou na direção certa.