Big Data
Big Data descreve o grande volume de dados, estruturados ou não estruturados, que inundam uma empresa diariamente. Big Data trata de maneiras de analisar, extrair informações ou lidar com conjuntos de dados que são muito grandes ou complexos para serem tratados por um software normal de processamento de dados.
Big data tem as seguintes características:
- Volume: A quantidade de dados gerados e armazenados
- Variedade: O tipo e a natureza dos dados
- Velocidade: A velocidade com que os dados são gerados e processados
- Veracidade: Qualidade dos dados e valor dos dados
A influência do Azure no Big Data
O Microsoft Azure transforma dados em insights acionáveis usando ferramentas de aprendizado de máquina. Ele permite combinar quaisquer dados em qualquer escala e criar e implantar modelos de aprendizado de máquina em escala.
Com os seguintes produtos do Azure, a análise avançada pode ser realizada em Big Data:
- SQL Data Warehouse
- Fábrica de dados
- Armazenamento BLOB do Azure
- Azure Databricks
- Azure Cosmos DB
- Power BI
Vamos dar uma olhada em cada um deles individualmente.
SQL Data Warehouse
O SQL Data Warehouse é um EDW (Enterprise Data Warehouse) baseado em nuvem que usa processamento paralelo massivo (um grande número de processadores que executam um conjunto de cálculos em paralelo) para executar consultas complexas em petabytes de dados.
Você simplesmente importa big data para o SQL Data Warehouse com consultas PolyBase T-SQL (consultas que leem dados do Hadoop) e, com o poder do MPP, executa análises de alto desempenho. O data warehouse então se tornará a única versão da verdade com a qual você pode contar para obter insights.
Fábrica de dados
Data Factory é um serviço de integração de dados em nuvem que compõe serviços de armazenamento, movimentação e processamento de dados em pipelines de dados automatizados. O Azure Data Factory é um serviço de integração de dados híbrido que permite criar, agendar e orquestrar fluxos de trabalho ETL/ELT (Extrair, Transformar, Carregar).
Armazenamento BLOB do Azure
O armazenamento BLOB do Azure é um armazenamento de objetos massivamente escalonável para documentos, imagens, vídeos e áudio não estruturados. O armazenamento BLOB do Azure é otimizado para armazenar grandes quantidades de dados não estruturados (dados que não aderem a um determinado modelo ou definição de dados), como texto ou dados binários, por exemplo.
O armazenamento de BLOB do Azure tem as seguintes funções:
- Vendo documentos ou imagens diretamente para um navegador
- Armazenando arquivos para acesso distribuído
- Transmissão de áudio e vídeo
- Escrevendo em arquivos de log
- Armazenamento de dados para recuperação de desastres, backup e restauração e arquivamento
Azure Databricks
O Azure Databricks é uma plataforma de análise fácil, rápida e colaborativa baseada em Apache Spark (estrutura de computação de cluster de uso geral distribuída de código aberto, que fornece uma interface para clusters de programação com paralelismo de dados implícito).
Azure Cosmos DB
O Azure Cosmos DB é um serviço de banco de dados distribuído globalmente. Ele foi projetado para fornecer baixa latência, escalabilidade elástica de taxa de transferência, semântica bem definida para consistência de dados e alta disponibilidade.
Power BI
O Power BI é um conjunto de ferramentas de análise de negócios que fornecem insights. O Power BI permite que você se conecte a dezenas de fontes de dados, simplifique a preparação de dados, conduza análises ad hoc e produza relatórios para serem consumidos na Web e em dispositivos móveis.
Conclusão
Big Data evoluiu e continua evoluindo. Com a ajuda das ferramentas do Azure, o Big Data se torna cada vez mais gerenciável.
