Sqlserver
 sql >> Base de Dados >  >> RDS >> Sqlserver

O pacote SSIS é executado por 500 vezes mais em um servidor


Se você tiver o log ativado, preferencialmente no SQL Server, adicione o evento OnPipelineRowsSent. Você pode então determinar onde ele está gastando todo o seu tempo. Veja esta postagem Seu subsistema de E/S está sendo travado e gerando todos esses arquivos temporários porque você não consegue mais manter todas as informações na memória (devido às suas transformações assíncronas).

A consulta relevante do artigo vinculado é a seguinte. Ele analisa os eventos no sysdtslog90 (Os usuários do SQL Server 2008+ substituem sysssislog ) e realiza algumas análises de tempo sobre eles.
;
WITH PACKAGE_START AS
(
    SELECT DISTINCT
        Source
    ,   ExecutionID
    ,   Row_Number() Over (Order By StartTime) As RunNumber
    FROM
        dbo.sysdtslog90 AS L
    WHERE
        L.event = 'PackageStart'
)
, EVENTS AS
(
    SELECT
        SourceID
    ,   ExecutionID
    ,   StartTime
    ,   EndTime
    ,   Left(SubString(message, CharIndex(':', message, CharIndex(':', message, CharIndex(':', message, CharIndex(':', message, 56) + 1) + 1) + 1) + 2, Len(message)), CharIndex(':', SubString(message, CharIndex(':', message, CharIndex(':', message, CharIndex(':', message, CharIndex(':', message, 56) + 1) + 1) + 1) + 2, Len(message)) ) - 2) As DataFlowSource
    ,   Cast(Right(message, CharIndex(':', Reverse(message)) - 2) As int) As RecordCount
    FROM
        dbo.sysdtslog90 AS L
    WHERE
        L.event = 'OnPipelineRowsSent'
)
, FANCY_EVENTS AS
(
    SELECT
        SourceID
    ,   ExecutionID
    ,   DataFlowSource
    ,   Sum(RecordCount) RecordCount
    ,   Min(StartTime) StartTime
    ,   (
            Cast(Sum(RecordCount) as real) /
            Case
                When DateDiff(ms, Min(StartTime), Max(EndTime)) = 0
                    Then 1
                Else DateDiff(ms, Min(StartTime), Max(EndTime))
            End
        ) * 1000 As RecordsPerSec
    FROM
        EVENTS DF_Events
    GROUP BY
        SourceID
    ,   ExecutionID
    ,   DataFlowSource
)
SELECT
    'Run ' + Cast(RunNumber As varchar) As RunName
,   S.Source
,   DF.DataFlowSource
,   DF.RecordCount
,   DF.RecordsPerSec
,   Min(S.StartTime) StartTime
,   Max(S.EndTime) EndTime
,   DateDiff(ms, Min(S.StartTime)
,   Max(S.EndTime)) Duration
FROM
    dbo.sysdtslog90 AS S
    INNER JOIN
        PACKAGE_START P
        ON S.ExecutionID = P.ExecutionID
    LEFT OUTER JOIN
        FANCY_EVENTS DF
        ON S.SourceID = DF.SourceID
        AND S.ExecutionID = DF.ExecutionID
WHERE
    S.message <> 'Validating'
GROUP BY
    RunNumber
,   S.Source
,   DataFlowSource
,   RecordCount
,   DF.StartTime
,   RecordsPerSec
,   Case When S.Source = P.Source Then 1 Else 0 End
ORDER BY
    RunNumber
,   Case When S.Source = P.Source Then 1 Else 0 End Desc

, DF.StartTime, Min(S.StartTime);

Você conseguiu usar essa consulta para discernir que o componente Merge Join era o componente atrasado. Por que ele tem um desempenho diferente entre os dois servidores, não posso dizer neste momento.

Se você tiver a capacidade de criar uma tabela em seu sistema de destino, poderá modificar seu processo para ter dois 2 fluxos de dados (e eliminar os componentes assíncronos caros).
  1. O primeiro fluxo de dados pegaria o arquivo simples e as colunas derivadas e os colocaria em uma tabela de preparo.
  2. Você então tem uma tarefa Executar SQL disparada para lidar com a lógica Obter Data Mínima + Excluir.
  3. Então você tem seu segundo fluxo de dados consultando sua tabela de preparo e encaixando-o diretamente no seu destino.