Big Data com PostgreSQL e Apache Spark

• Análise de lote:com base nos dados coletados durante um período de tempo.
• Análise em tempo real (stream):com base em dados imediatos para um resultado instantâneo.

O que é Apache Spark?

Bibliotecas do Apache Spark

• Spark SQL:é um módulo para trabalhar com dados estruturados usando SQL ou uma API DataFrame. Ele fornece uma maneira comum de acessar uma variedade de fontes de dados, incluindo Hive, Avro, Parquet, ORC, JSON e JDBC. Você pode até mesmo juntar dados entre essas fontes.
• Spark Streaming:facilita a criação de aplicativos de streaming escalonáveis ​​e tolerantes a falhas usando uma API integrada à linguagem para processamento de streaming, permitindo que você escreva trabalhos de streaming da mesma forma que escreve trabalhos em lote. Ele suporta Java, Scala e Python. O Spark Streaming recupera o trabalho perdido e o estado do operador imediatamente, sem nenhum código extra de sua parte. Ele permite que você reutilize o mesmo código para processamento em lote, junte fluxos em relação a dados históricos ou execute consultas ad-hoc no estado do fluxo.
• MLib (Machine Learning):é uma biblioteca de aprendizado de máquina escalável. O MLlib contém algoritmos de alta qualidade que aproveitam a iteração e podem gerar resultados melhores do que as aproximações de uma passagem às vezes usadas no MapReduce.
• GraphX:é uma API para gráficos e computação paralela a gráficos. O GraphX ​​unifica ETL, análise exploratória e computação gráfica iterativa em um único sistema. Você pode visualizar os mesmos dados como gráficos e coleções, transformar e unir gráficos com RDDs com eficiência e escrever algoritmos de gráficos iterativos personalizados usando a API Pregel.

Vantagens do Apache Spark

• Velocidade:execute cargas de trabalho 100 vezes mais rápido. O Apache Spark alcança alto desempenho para dados em lote e streaming, usando um agendador DAG (Direct Acyclic Graph) de última geração, um otimizador de consulta e um mecanismo de execução física.
• Facilidade de uso:escreva aplicativos rapidamente em Java, Scala, Python, R e SQL. O Spark oferece mais de 80 operadores de alto nível que facilitam a criação de aplicativos paralelos. Você pode usá-lo interativamente nos shells Scala, Python, R e SQL.
• Generalidade:combine SQL, streaming e análises complexas. O Spark alimenta uma pilha de bibliotecas, incluindo SQL e DataFrames, MLlib para aprendizado de máquina, GraphX ​​e Spark Streaming. Você pode combinar essas bibliotecas perfeitamente no mesmo aplicativo.
• Executado em todos os lugares:o Spark é executado no Hadoop, Apache Mesos, Kubernetes, autônomo ou na nuvem. Ele pode acessar diversas fontes de dados. Você pode executar o Spark usando seu modo de cluster autônomo, no EC2, no Hadoop YARN, no Mesos ou no Kubernetes. Acesse dados em HDFS, Alluxio, Apache Cassandra, Apache HBase, Apache Hive e centenas de outras fontes de dados.

Como usar o Apache Spark com PostgreSQL

postgres=# CREATE DATABASE testing;
CREATE DATABASE
postgres=# \c testing
You are now connected to database "testing" as user "postgres".

testing=# CREATE TABLE t1 (id int, name text);
CREATE TABLE

testing=# INSERT INTO t1 VALUES (1,'name1');
INSERT 0 1
testing=# INSERT INTO t1 VALUES (2,'name2');
INSERT 0 1

testing=# SELECT * FROM t1;
 id | name
----+-------
  1 | name1
  2 | name2
(2 rows)

$ wget https://jdbc.postgresql.org/download/postgresql-42.2.6.jar

$ wget http://us.mirrors.quenda.co/apache/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz
$ tar zxvf spark-2.4.3-bin-hadoop2.7.tgz
$ cd spark-2.4.3-bin-hadoop2.7/

$  yum install java

$ ./bin/spark-shell
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://ApacheSpark1:4040
Spark context available as 'sc' (master = local[*], app id = local-1563907528854).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.4.3
      /_/

Using Scala version 2.11.12 (OpenJDK 64-Bit Server VM, Java 1.8.0_212)
Type in expressions to have them evaluated.
Type :help for more information.

scala>

scala> :require /path/to/postgresql-42.2.6.jar
Added '/path/to/postgresql-42.2.6.jar' to classpath.
scala> import java.util.Properties
import java.util.Properties

scala> val url = "jdbc:postgresql://localhost:5432/testing"
url: String = jdbc:postgresql://localhost:5432/testing
scala> val connectionProperties = new Properties()
connectionProperties: java.util.Properties = {}
scala> connectionProperties.setProperty("Driver", "org.postgresql.Driver")
res6: Object = null

scala> val query1 = "(SELECT * FROM t1) as q1"
query1: String = (SELECT * FROM t1) as q1

scala> val query1df = spark.read.jdbc(url, query1, connectionProperties)
query1df: org.apache.spark.sql.DataFrame = [id: int, name: string]

scala> query1df.show()
+---+-----+
| id| name|
+---+-----+
|  1|name1|
|  2|name2|
+---+-----+

scala> query1df.explain
== Physical Plan ==
*(1) Scan JDBCRelation((SELECT * FROM t1) as q1) [numPartitions=1] [id#19,name#20] PushedFilters: [], ReadSchema: struct<id:int,name:string>

testing=# INSERT INTO t1 VALUES (10,'name10'), (11,'name11'), (12,'name12'), (13,'name13'), (14,'name14'), (15,'name15');
INSERT 0 6
testing=# SELECT * FROM t1;
 id |  name
----+--------
  1 | name1
  2 | name2
 10 | name10
 11 | name11
 12 | name12
 13 | name13
 14 | name14
 15 | name15
(8 rows)

scala> query1df.show()
+---+------+
| id|  name|
+---+------+
|  1| name1|
|  2| name2|
| 10|name10|
| 11|name11|
| 12|name12|
| 13|name13|
| 14|name14|
| 15|name15|
+---+------+

Conclusão