Mysql
 sql >> Base de Dados >  >> RDS >> Mysql

Uma maneira de ler dados da tabela do Mysql para o Pig


Como você disse, DBStorage suporta apenas salvar resultados em um banco de dados.

Para carregar dados do MySQL, você pode olhar para um projeto chamado sqoop (que copia dados de um banco de dados para o HDFS), ou você pode executar um dump mysql e depois copiar o arquivo para o HDFS. Ambas as formas exigiram alguma interação e não podem ser usadas diretamente de dentro do Pig.

Uma terceira opção seria procurar escrever um Pig LoadFunc (você diz que tentou escrever um UDF). Não deve ser muito difícil, você precisará passar as mesmas opções do DBStorage (driver, credenciais de conexão e uma consulta SQL para executar) e provavelmente poderá usar alguma inspeção de metadados de conjunto de resultados para gerar automaticamente um esquema também.