Mysql
 sql >> Base de Dados >  >> RDS >> Mysql

Como filtrar resultados de SQL em uma relação de muitos


Eu estava curioso. E como todos sabemos, a curiosidade tem fama de matar gatos.

Então, qual é a maneira mais rápida de esfolar um gato?


O ambiente de esfola de gato para este teste:
  • PostgreSQL 9.0 no Debian Squeeze com RAM e configurações decentes.
  • 6.000 alunos, 24.000 sócios do clube (dados copiados de um banco de dados semelhante com dados da vida real.)
  • Leve desvio do esquema de nomenclatura na pergunta:student.id é student.stud_id e club.id é club.club_id aqui.
  • Dei às consultas o nome de seu autor neste tópico.
  • Executei todas as consultas algumas vezes para preencher o cache, depois escolhi a melhor de 5 com EXPLAIN ANALYZE .
  • Índices relevantes (devem ser os melhores - desde que não tenhamos conhecimento prévio de quais clubes serão consultados):
ALTER TABLE student ADD CONSTRAINT student_pkey PRIMARY KEY(stud_id );
ALTER TABLE student_club ADD CONSTRAINT sc_pkey PRIMARY KEY(stud_id, club_id);
ALTER TABLE club       ADD CONSTRAINT club_pkey PRIMARY KEY(club_id );
CREATE INDEX sc_club_id_idx ON student_club (club_id);

club_pkey não é exigido pela maioria das consultas aqui.
As chaves primárias implementam índices exclusivos automaticamente no PostgreSQL.
O último índice é para compensar essa falha conhecida de índices de várias colunas no PostgreSQL:

Um índice de árvore B de várias colunas pode ser usado com condições de consulta que envolvem qualquer subconjunto das colunas do índice, mas o índice é mais eficiente quando há restrições nas colunas iniciais (mais à esquerda).

Resultados


Tempos de execução totais de EXPLAIN ANALYZE .

1) Martin 2:44,594 ms

SELECT s.stud_id, s.name
FROM   student s
JOIN   student_club sc USING (stud_id)
WHERE  sc.club_id IN (30, 50)
GROUP  BY 1,2
HAVING COUNT(*) > 1;

2) Erwin 1:33,217 ms

SELECT s.stud_id, s.name
FROM   student s
JOIN   (
   SELECT stud_id
   FROM   student_club
   WHERE  club_id IN (30, 50)
   GROUP  BY 1
   HAVING COUNT(*) > 1
   ) sc USING (stud_id);

3) Martin 1:31,735 ms

SELECT s.stud_id, s.name
FROM   student s
WHERE  student_id IN (
   SELECT student_id
   FROM   student_club
   WHERE  club_id = 30

   INTERSECT
   SELECT stud_id
   FROM   student_club
   WHERE  club_id = 50
   );

4) Derek:2,287 ms

SELECT s.stud_id,  s.name
FROM   student s
WHERE  s.stud_id IN (SELECT stud_id FROM student_club WHERE club_id = 30)
AND    s.stud_id IN (SELECT stud_id FROM student_club WHERE club_id = 50);

5) Erwin 2:2,181 ms

SELECT s.stud_id,  s.name
FROM   student s
WHERE  EXISTS (SELECT * FROM student_club
               WHERE  stud_id = s.stud_id AND club_id = 30)
AND    EXISTS (SELECT * FROM student_club
               WHERE  stud_id = s.stud_id AND club_id = 50);

6) Sean:2,043 ms

SELECT s.stud_id, s.name
FROM   student s
JOIN   student_club x ON s.stud_id = x.stud_id
JOIN   student_club y ON s.stud_id = y.stud_id
WHERE  x.club_id = 30
AND    y.club_id = 50;

Os três últimos têm o mesmo desempenho. 4) e 5) resultam no mesmo plano de consulta.

Adições tardias


SQL sofisticado, mas o desempenho não consegue acompanhar:

7) ypercubo 1:148,649 ms

SELECT s.stud_id,  s.name
FROM   student AS s
WHERE  NOT EXISTS (
   SELECT *
   FROM   club AS c 
   WHERE  c.club_id IN (30, 50)
   AND    NOT EXISTS (
      SELECT *
      FROM   student_club AS sc 
      WHERE  sc.stud_id = s.stud_id
      AND    sc.club_id = c.club_id  
      )
   );

8) ypercubo 2:147,497 ms

SELECT s.stud_id,  s.name
FROM   student AS s
WHERE  NOT EXISTS (
   SELECT *
   FROM  (
      SELECT 30 AS club_id  
      UNION  ALL
      SELECT 50
      ) AS c
   WHERE NOT EXISTS (
      SELECT *
      FROM   student_club AS sc 
      WHERE  sc.stud_id = s.stud_id
      AND    sc.club_id = c.club_id  
      )
   );

Como esperado, esses dois têm quase o mesmo desempenho. O plano de consulta resulta em varreduras de tabela, o planejador não encontra uma maneira de usar os índices aqui.

9) wildplasser 1:49,849 ms

WITH RECURSIVE two AS (
   SELECT 1::int AS level
        , stud_id
   FROM   student_club sc1
   WHERE  sc1.club_id = 30
   UNION
   SELECT two.level + 1 AS level
        , sc2.stud_id
   FROM   student_club sc2
   JOIN   two USING (stud_id)
   WHERE  sc2.club_id = 50
   AND    two.level = 1
   )
SELECT s.stud_id, s.student
FROM   student s
JOIN   two USING (studid)
WHERE  two.level > 1;

SQL sofisticado, desempenho decente para um CTE. Plano de consulta muito exótico.

10) wildplasser 2:36,986 ms

WITH sc AS (
   SELECT stud_id
   FROM   student_club
   WHERE  club_id IN (30,50)
   GROUP  BY stud_id
   HAVING COUNT(*) > 1
   )
SELECT s.*
FROM   student s
JOIN   sc USING (stud_id);

Variante CTE da consulta 2). Surpreendentemente, isso pode resultar em um plano de consulta ligeiramente diferente com exatamente os mesmos dados. Encontrei uma varredura sequencial em student , em que a variante de subconsulta usou o índice.

11) ypercubo 3:101,482 ms


Outra adição tardia ypercube. É positivamente incrível, quantas maneiras existem. 
SELECT s.stud_id, s.student
FROM   student s
JOIN   student_club sc USING (stud_id)
WHERE  sc.club_id = 10                 -- member in 1st club ...
AND    NOT EXISTS (
   SELECT *
   FROM  (SELECT 14 AS club_id) AS c  -- can't be excluded for missing the 2nd
   WHERE  NOT EXISTS (
      SELECT *
      FROM   student_club AS d
      WHERE  d.stud_id = sc.stud_id
      AND    d.club_id = c.club_id
      )
   );

12) erwin 3:2,377 ms


ypercube's 11) é na verdade apenas a abordagem inversa desta variante mais simples, que também estava faltando. Executa quase tão rápido quanto os melhores gatos. 
SELECT s.*
FROM   student s
JOIN   student_club x USING (stud_id)
WHERE  sc.club_id = 10                 -- member in 1st club ...
AND    EXISTS (                        -- ... and membership in 2nd exists
   SELECT *
   FROM   student_club AS y
   WHERE  y.stud_id = s.stud_id
   AND    y.club_id = 14
   );

13) erwin 4:2,375 ms


Difícil de acreditar, mas aqui está outra variante genuinamente nova. Vejo potencial para mais de duas associações, mas também está entre os melhores gatos com apenas duas. 
SELECT s.*
FROM   student AS s
WHERE  EXISTS (
   SELECT *
   FROM   student_club AS x
   JOIN   student_club AS y USING (stud_id)
   WHERE  x.stud_id = s.stud_id
   AND    x.club_id = 14
   AND    y.club_id = 10
   );

Número dinâmico de sócios do clube


Em outras palavras:variando o número de filtros. Esta pergunta pedia exatamente dois membros do clube. Mas muitos casos de uso precisam se preparar para um número variável. Ver: