Mysql
 sql >> Base de Dados >  >> RDS >> Mysql

Como transferir a tabela mysql para o hive?


  1. Primeiro baixe mysql-connector-java-5.0.8 e coloque o jar na pasta lib e bin do Sqoop

  2. Crie a definição de tabela no Hive com nomes e tipos de campo exatos como no mysql

    sqoop import --verbose --fields-terminated-by ',' --connect jdbc:mysql://localhost/test --table employee --hive-import --warehouse-dir /user/hive/warehouse --fields -terminated-by ',' --split-by id --hive-table employee

teste - nome do banco de dados

funcionário - Nome da tabela (presente no teste)

/user/hive/warehouse - Diretório no HDFS onde os dados devem ser importados

--split-by id - id pode ser a chave primária da tabela 'employee'

--hive-table employee - tabela de funcionários cuja definição está presente no Hive

Guia do usuário do Sqoop (Um dos melhores guias para aprender Sqoop)