Se você tiver o log ativado, preferencialmente no SQL Server, adicione o evento OnPipelineRowsSent. Você pode então determinar onde ele está gastando todo o seu tempo. Veja esta postagem Seu subsistema de E/S está sendo travado e gerando todos esses arquivos temporários porque você não consegue mais manter todas as informações na memória (devido às suas transformações assíncronas).
A consulta relevante do artigo vinculado é a seguinte. Ele analisa os eventos no
sysdtslog90
(Os usuários do SQL Server 2008+ substituem sysssislog
) e realiza algumas análises de tempo sobre eles. ;
WITH PACKAGE_START AS
(
SELECT DISTINCT
Source
, ExecutionID
, Row_Number() Over (Order By StartTime) As RunNumber
FROM
dbo.sysdtslog90 AS L
WHERE
L.event = 'PackageStart'
)
, EVENTS AS
(
SELECT
SourceID
, ExecutionID
, StartTime
, EndTime
, Left(SubString(message, CharIndex(':', message, CharIndex(':', message, CharIndex(':', message, CharIndex(':', message, 56) + 1) + 1) + 1) + 2, Len(message)), CharIndex(':', SubString(message, CharIndex(':', message, CharIndex(':', message, CharIndex(':', message, CharIndex(':', message, 56) + 1) + 1) + 1) + 2, Len(message)) ) - 2) As DataFlowSource
, Cast(Right(message, CharIndex(':', Reverse(message)) - 2) As int) As RecordCount
FROM
dbo.sysdtslog90 AS L
WHERE
L.event = 'OnPipelineRowsSent'
)
, FANCY_EVENTS AS
(
SELECT
SourceID
, ExecutionID
, DataFlowSource
, Sum(RecordCount) RecordCount
, Min(StartTime) StartTime
, (
Cast(Sum(RecordCount) as real) /
Case
When DateDiff(ms, Min(StartTime), Max(EndTime)) = 0
Then 1
Else DateDiff(ms, Min(StartTime), Max(EndTime))
End
) * 1000 As RecordsPerSec
FROM
EVENTS DF_Events
GROUP BY
SourceID
, ExecutionID
, DataFlowSource
)
SELECT
'Run ' + Cast(RunNumber As varchar) As RunName
, S.Source
, DF.DataFlowSource
, DF.RecordCount
, DF.RecordsPerSec
, Min(S.StartTime) StartTime
, Max(S.EndTime) EndTime
, DateDiff(ms, Min(S.StartTime)
, Max(S.EndTime)) Duration
FROM
dbo.sysdtslog90 AS S
INNER JOIN
PACKAGE_START P
ON S.ExecutionID = P.ExecutionID
LEFT OUTER JOIN
FANCY_EVENTS DF
ON S.SourceID = DF.SourceID
AND S.ExecutionID = DF.ExecutionID
WHERE
S.message <> 'Validating'
GROUP BY
RunNumber
, S.Source
, DataFlowSource
, RecordCount
, DF.StartTime
, RecordsPerSec
, Case When S.Source = P.Source Then 1 Else 0 End
ORDER BY
RunNumber
, Case When S.Source = P.Source Then 1 Else 0 End Desc
, DF.StartTime, Min(S.StartTime);
Você conseguiu usar essa consulta para discernir que o componente Merge Join era o componente atrasado. Por que ele tem um desempenho diferente entre os dois servidores, não posso dizer neste momento.
Se você tiver a capacidade de criar uma tabela em seu sistema de destino, poderá modificar seu processo para ter dois 2 fluxos de dados (e eliminar os componentes assíncronos caros).
- O primeiro fluxo de dados pegaria o arquivo simples e as colunas derivadas e os colocaria em uma tabela de preparo.
- Você então tem uma tarefa Executar SQL disparada para lidar com a lógica Obter Data Mínima + Excluir.
- Então você tem seu segundo fluxo de dados consultando sua tabela de preparo e encaixando-o diretamente no seu destino.