Carga incremental no SSIS

• O que são carga total e carga incremental no ETL?
• O que é carregamento de dados incremental no SSIS?
• As diferenças entre carga total e carga incremental no SSIS
• Carga incremental no SSIS usando CDC ou Change Data Capture
• Carregamento incremental no SSIS usando colunas DateTime
• Como fazer carregamento incremental no SSIS usando o Lookup
• A melhor ferramenta para carregamento de dados SSIS

O que são Carga Completa e Carga Incremental em ETL

Carga total em ETL

Casos de uso de carga completa de ETL

• O tamanho dos dados de origem é pequeno e não crescerá significativamente nos próximos anos. Os exemplos incluem uma lista de cores, algumas categorias/classificações, lista de países e cidades e muito mais.
• É difícil dizer o que é novo ou alterado na fonte.
• Os dados precisam ser exatamente os mesmos da origem ao destino
• O histórico dos dados é irrelevante e é substituído com mais frequência

Carga incremental em ETL

Casos de uso de carga incremental de ETL

• O tamanho dos dados é muito grande e a consulta será muito lenta para grandes conjuntos de resultados
• As alterações são fáceis de consultar
• Os dados excluídos precisam ser retidos no destino, como um sistema de auditoria

O que é carga incremental no SSIS

A diferença entre carga completa e carga incremental no SSIS

Carregamento incremental no SSIS usando CDC

• Primeiro, como habilitar o CDC em um banco de dados e uma tabela
• Em seguida, criando o pacote SSIS para carga incremental do SSIS usando CDC
• Finalmente, executando e verificando os resultados

Como habilitar o CDC em um banco de dados e uma tabela

-- point to the database you need to CDC-enable
USE SportsCarSales
GO

-- this will enable CDC to the current database.
EXEC sys.sp_cdc_enable_db
GO

select name from sys.databases
where is_cdc_enabled=1

EXEC sys.sp_cdc_enable_table
@source_schema = N'dbo',
@source_name   = N'sportsCarSales',
@role_name     = NULL,
@supports_net_changes = 1
GO

Job 'cdc.SportsCarSales_capture' started successfully.
Job 'cdc.SportsCarSales_cleanup' started successfully.

Criando o pacote SSIS para carga incremental do SSIS usando CDC

ETAPA #1. Crie 2 gerenciadores de conexões de banco de dados

PASSO #2. Arraste 2 Tarefas de Controle do CDC para o Fluxo de Controle

Marcar início do CDC

1. Selecione a conexão ADO.Net que criamos na Figura 6.
2. Em seguida, selecione Marcar início do CDC .
3. Clique em Novo para criar uma variável de estado CDC. Em seguida, aparecerá uma janela. Clique em OK para criar o nome da variável padrão User::CDC_State .
4. Selecione a conexão ADO.Net para que possamos armazenar o estado do CDC nesse banco de dados.
5. Clique em Novo para criar uma tabela para armazenar o estado. O script já foi criado para você. Então, basta clicar em Executar na próxima janela.
6. Em seguida, selecione CDC_State como o nome do estado.
7. Por fim, clique em OK .

Obter intervalo de processamento

Marcar intervalo processado

Passo #3. Arraste uma tarefa de fluxo de dados e conecte-se à tarefa CDCControl

A. Adicionar uma fonte de CDC

1. Primeiro, selecione a conexão ADO.Net que criamos na Figura 6.
2. Em seguida, selecione a tabela habilitada para CDC sportsCarSales .
3. Selecione a instância de captura dbo_SportsCarSales .
4. Em seguida, selecione Rede para o modo de processamento CDC. Isso retornará apenas alterações líquidas. Para uma descrição detalhada de cada modo de processamento, confira este link. Você também pode clicar em Visualizar para ver quais linhas serão incluídas.
5. Selecione a variável CDC State que criamos anteriormente (Figura 9).
6. Por fim, clique em OK .

B. Adicione um CDC Splitter e conecte-o à origem do CDC

C. Adicionar um comando OLE DB para excluir registros

DELETE FROM FactSportsCarSales
WHERE SalesID = ?

D. Adicionar um destino OLE DB para inserir registros

1. Primeiro, selecione a conexão OLE DB que criamos na Figura 7.
   Em seguida, selecione FactSportsCarSales tabela de fatos.
2. Por fim, clique em OK .

E. Adicionar um comando OLE DB para atualizar registros

UPDATE [dbo].[FactSportsCarSales]
   SET [ClientID] = ?
      ,[SportsCarID] = ?
      ,[PurchaseDate] = ?
      ,[Quantity] = ?
      ,[UnitPrice] = ?
 WHERE [SalesID]= ?

USE SportsCarSales
GO

INSERT INTO SportsCarSales (ClientID, SportsCarID, PurchaseDate, Quantity, UnitPrice)
	VALUES (1, 1920, '02/03/2022', 1, 845000.0000),
	(5, 1920, '01/22/2022', 1, 845000.0000),
		(54, 1920, '01/15/2022', 1, 845000.0000),
		(62, 1920, '02/04/2022', 1, 845000.0000);
GO

SELECT * FROM cdc.dbo_sportsCarSales_CT;

Carregamento incremental no SSIS usando colunas DateTime

• Criando o pacote para fazer o carregamento incremental do SSIS com colunas DateTime
• Resultados do tempo de execução do pacote

Criando o pacote para fazer a carga incremental do SSIS com colunas DateTime

ETAPA #1. Crie 2 gerenciadores de conexões OLE DB

PASSO #2. Crie 2 variáveis ​​de pacote

A. Crie a variável User::sportsCars_lastUpdate

1. Nas Variáveis janela, clique em Adicionar variável .
2. Nomeie como sportsCars_lastupdate .
3. Defina o tipo de dados como DateTime .

B. Crie a variável User::sqlCommand

1. Nas Variáveis janela, clique em Adicionar variável .
2. Nomeie como sqlCommand .
3. Defina o tipo como String .
4. Clique no botão de reticências para criar a Expressão . Consulte a Figura 21 para o Construtor de expressões janela e a expressão de string real.
5. Clique em OK .

"SELECT  SportsCarID, StyleID, ManufacturerID, Model, UnitPrice, created, modified 
FROM sportsCars
WHERE modified > '" + (DT_WSTR, 50) @[User::sportsCars_lastupdate]  + "' 
ORDER BY SportsCarID;"

PASSO #3. Adicionar uma tarefa Executar SQL no fluxo de controle

select max(modified) as LastUpdate from dimSportsCars

PASSO #4. Adicionar uma tarefa de fluxo de dados

A. Adicionar uma fonte OLE DB

1. Primeiro, especifique a conexão OLE DB que criamos. Veja a Figura 20.
2. Em seguida, defina o Modo de acesso a dados para comando SQL de a variável .
3. Em seguida, selecione a variável User::sqlCommand que criamos anteriormente. Veja a Figura 21.
4. Por fim, clique em OK .

B. Adicione uma transformação de pesquisa para comparar a origem com o destino

SELECT SportsCarID from dimSportsCars

C. Adicionar um comando OLE DB para atualizar registros

UPDATE dimSportsCars
SET StyleID = ?, ManufacturerID = ? , MODEL = ? , UnitPrice = ? , modified = ?
WHERE SportsCarID = ?

D. Adicionar um destino OLE DB para inserir registros

Resultados do tempo de execução do pacote

Carregamento incremental no SSIS usando pesquisa

Criando o pacote SSIS para a carga incremental do SSIS usando pesquisa

ETAPA #1. Crie 2 conexões OLE DB

PASSO #2. Adicionar uma tarefa de fluxo de dados

A. Adicionar uma fonte OLE DB

B. Adicionar uma transformação de pesquisa para verificar novos registros

C. Adicionar um destino OLE DB para inserir registros

D. Adicionar outra transformação de pesquisa para verificar alterações

E. Adicione um comando OLE DB para atualizar a tabela de destino

UPDATE dimManufacturers
set manufacturer = ?
where manufacturerID = ?

Resultados do tempo de execução do pacote

A melhor ferramenta para carregamento de dados SSIS

Usando componentes Devart SSIS para fazer carga incremental

ETAPA #1. Adicionar uma fonte OLE DB

PASSO #2. Adicionar um gerenciador de conexões MySQL Devart

STEP #3. Add a Devart MySQL Lookup Transformation to Scanfor New Records

1. First, select the Devart MySQL Connection Manager created in STEP #2.
2. Then, select the dimmanufacturers table.
3. In Lookup Columns , mark checked the ManufacturerID column.
4. Then, in Input Columns , select ManufacturerID .
5. Then, select ManufacturerID in Reference Columns .
6. Finally, click OK .

STEP #4. Add another Devart MySQL Lookup Transformation toScan for Changes

STEP #5. Add a Devart MySQL Destination to Insert Records

STEP #6. Add Another Devart MySQL Destination to UpdateRecords

Package Runtime Results

Conclusão

• Change Data Capture
• DateTime Columns
• Lookup Transformation