Um bug de estimativa de cardinalidade de subconsulta

SELECT TH.TransactionID
FROM Production.TransactionHistory AS TH
WHERE TH.ProductID = 421;

SELECT TH.TransactionID
FROM Production.TransactionHistory AS TH
WHERE TH.ProductID = 
(
    SELECT P.ProductID 
    FROM Production.Product AS P
    WHERE P.Name = N'Metal Plate 2'
);

1. Procure o ID do produto na tabela Produto a partir do nome fornecido
2. Localize as linhas desse ID do produto na tabela Histórico

DBCC SHOW_STATISTICS 
(
    'Production.TransactionHistory', 
    'IX_TransactionHistory_ProductID'
)
WITH STAT_HEADER, DENSITY_VECTOR;

Um aparte

DBCC SHOW_STATISTICS 
(
    'Production.TransactionHistory', 
    'IX_TransactionHistory_ProductID'
)
WITH HISTOGRAM;

Combinando as duas consultas

SELECT TH.TransactionID
FROM Production.TransactionHistory AS TH
WHERE TH.ProductID = 421
OR TH.ProductID =
(
    SELECT P.ProductID 
    FROM Production.Product AS P
    WHERE P.Name = N'Metal Plate 2'
);

1. Encontre registros de histórico para o produto 421
2. Procure o ID do produto chamado "Metal Plate 2"
3. Encontre registros de histórico para o ID do produto encontrado na etapa 2
4. Combine linhas das etapas 1 e 3
5. Remova quaisquer duplicatas (porque o produto 421 também pode ser aquele chamado "Metal Plate 2")

O erro de estimativa de cardinalidade

Remoção de subconsulta

SELECT name 
FROM sys.dm_exec_query_transformation_stats
WHERE name LIKE 'RemoveSubq%';

SELECT TH.TransactionID
FROM Production.TransactionHistory AS TH
WHERE EXISTS
(
    SELECT 1
    WHERE TH.ProductID = 421
 
    UNION ALL
 
    SELECT 1
    FROM Production.Product AS P
    WHERE P.Name = N'Metal Plate 2'
    AND P.ProductID = TH.ProductID
)
OPTION (QUERYRULEOFF ApplyUAtoUniSJ);

Detalhes do bug

Exemplos

Exemplo 1

SELECT TH.TransactionID
FROM Production.TransactionHistory AS TH
WHERE TH.ProductID = (SELECT 421) -- The only change
OR TH.ProductID =
(
    SELECT P.ProductID 
    FROM Production.Product AS P
    WHERE P.Name = N'Metal Plate 2'
);

Exemplo 2

SELECT TH.TransactionID
FROM Production.TransactionHistory AS TH
WHERE TH.ProductID = (SELECT 421) -- Change 1
OR TH.ProductID IN                -- Change 2
(
    SELECT P.ProductID 
    FROM Production.Product AS P
    WHERE P.Name = N'Metal Plate 2'
);

Exemplo 3

SELECT TH.TransactionID
FROM Production.TransactionHistory AS TH
WHERE EXISTS
(
    SELECT 1
    WHERE TH.ProductID = 421
    UNION ALL
    SELECT 1
    FROM Production.Product AS P
    WHERE P.Name = N'Metal Plate 2'
    AND P.ProductID = TH.ProductID
);

Exemplo 4

SELECT TH.TransactionID 
FROM Production.TransactionHistory AS TH 
WHERE TH.ProductID = 421
UNION
SELECT TH.TransactionID 
FROM Production.TransactionHistory AS TH 
WHERE TH.ProductID = 
(
    SELECT P.ProductID
    FROM Production.Product AS P
    WHERE P.Name = N'Metal Plate 2'
);
 
SELECT TH.TransactionID 
FROM Production.TransactionHistory AS TH 
WHERE TH.ProductID = 421
UNION
SELECT TH.TransactionID 
FROM Production.TransactionHistory AS TH 
JOIN Production.Product AS P
    ON P.ProductID = TH.ProductID
    AND P.Name = N'Metal Plate 2';

Exemplo 5

SELECT TH.TransactionID
FROM Production.TransactionHistory AS TH
WHERE TH.ProductID = 421
OR TH.ProductID =
(
    SELECT P.ProductID 
    FROM Production.Product AS P
    WHERE P.Name = N'Metal Plate 2'
)
ORDER BY NEWID(); -- New

Resumo e Considerações Finais

• Não há sintaxe T-SQL explícita para especificar uma semi-junção, então é difícil saber com antecedência se uma consulta específica será vulnerável a esse bug.
• O otimizador pode introduzir uma semijunção em uma ampla variedade de circunstâncias, nem todas são candidatas óbvias à semijunção.
• A semi-junção problemática geralmente é transformada em outra coisa pela atividade posterior do otimizador, portanto, não podemos nem contar com uma operação de semi-junção no plano de execução final.
• Nem todas as estimativas de cardinalidade de aparência estranha são causadas por esse bug. De fato, muitos exemplos desse tipo são um efeito colateral esperado e inofensivo da operação normal do otimizador.
• A estimativa de seletividade de semijunção errônea sempre será 90% ou 100% de sua entrada, mas isso geralmente não corresponderá à cardinalidade de uma tabela usada no plano. Além disso, a cardinalidade de entrada de semijunção usada no cálculo pode nem ser visível no plano de execução final.
• Normalmente, há muitas maneiras de expressar a mesma consulta lógica em T-SQL. Alguns deles acionarão o bug, enquanto outros não.