Eu tive exatamente o mesmo problema que você relatou. Minha conexão ODBC estava usando o MySQL ODBC 5.3 Unicode Driver (/usr/local/lib/libmyodbc5w.so) Embora eu pudesse conectar com iSQL, comandos SQL reais estavam retornando lixo.
Tentei alterar meu odbc.ini para usar o driver ANSI (/usr/local/lib/libmyodbc5a.so). Funcionou e agora o RODBC pode se conectar ao meu banco de dados MySQL.