Apache Spark chega ao Apache HBase com módulo HBase-Spark

• Acesso total ao HBase em um mapa ou estágio de redução
• Capacidade de fazer um carregamento em massa
• Capacidade de fazer operações em massa como obter, colocar, excluir
• Capacidade de ser uma fonte de dados para mecanismos SQL

Dentro do HBASE-13992

Embora o básico permaneça, existem três grandes diferenças entre o patch HBASE-13992 e o projeto Cloudera Labs SparkOnHBase:

• APIs HBase: O HBASE-13992 usa todas as novas APIs do HBase 1.0+.
• Funções RDD e DStream: Uma das maiores reclamações sobre o SparkOnHBase estava relacionada à forma como as funções eram executadas; Os amantes do Spark queriam fazer ações do HBase diretamente de um RDD ou DStream. No HBASE-13992, esse recurso é incorporado por meio de testes de unidade e exemplos. Além disso, há exemplos de código de funções HBase diretamente de RDDs mais adiante neste post, para que você possa ter uma ideia de como as APIs serão.
• Fácil foreach e map funções: Agora ficou ainda mais fácil fazer foreachPartition se mapPartition s com uma conexão HBase. Um exemplo seguirá mais adiante nesta postagem.

val hbaseContext = new HBaseContext(sc, config);
hbaseContext.bulkDelete[Array[Byte]](rdd,
                  tableName,
                  putRecord => new Delete(putRecord),
                  4);

val hbaseContext = new HBaseContext(sc, config)
rdd.hbaseBulkDelete(hbaseContext,
                  tableName,
                  putRecord => new Delete(putRecord),
                  4)

val hbaseContext = new HBaseContext(sc, config)
rdd.hbaseBulkDelete(tableName)

val hbaseContext = new HBaseContext(sc, config)
rdd.hbaseForeachPartition(hbaseContext, (it, conn) => {
      val bufferedMutator = conn.getBufferedMutator(TableName.valueOf("t1"))
      ...
      bufferedMutator.flush()
      bufferedMutator.close()
    })

val getRdd = rdd.hbaseMapPartitions(hbaseContext, (it, conn) => {
        val table = conn.getTable(TableName.valueOf("t1"))
        var res = mutable.MutableList[String]()
        ...
      })

Trabalho futuro

 rdd.hbaseBulkLoad (tableName,
             t => {
            Seq((new KeyFamilyQualifier(t.rowKey, t.family, t.qualifier), t.value)).
            iterator
            },
      stagingFolder)

val df = sqlContext.load("org.apache.hadoop.hbase.spark",
      Map("hbase.columns.mapping" -> "KEY_FIELD STRING :key, A_FIELD STRING c:a, B_FIELD STRING c:b,",
      "hbase.table" -> "t1"))
df.registerTempTable("hbaseTmp")

sqlContext.sql("SELECT KEY_FIELD FROM hbaseTmp " +
      "WHERE " +
      "(KEY_FIELD = 'get1' and B_FIELD < '3') or " +
      "(KEY_FIELD <= 'get3' and B_FIELD = '8')").foreach(r => println(" - " + r))