Como otimizar a pesquisa de texto completo booleana do MySQL? (Ou com o que substituir?) - C#

Opção um - "A melhor ferramenta para a tarefa"

Opção 2 - Pré-carregue seus resultados

Opção três - "Faça você mesmo"

Etapa 1. Crie três tabelas

    // dict - a dictionary containing one row per unique word in corpus  
    create table dict (    
      id int primary key,  
      word varchar  
    )

    // invert - an inverted_index to map words to records in corpus  
    create table invert (    
      id int primary key,  
      rec_id int,  
      word_id int  
    )

    // stopwords - to contain words to ignore when indexing (like a, an, the, etc)
    create table stopwords ( 
      id int primary key,  
      word varchar  
    )

• 
  A lista atual de palavras irrelevantes suportadas no MySQL
  
• 
  Uma boa lista de palavras irrelevantes em inglês
  

Etapa 2. Construir o índice invertido

    foreach( word(w) in record(r) ) {
      if(w is not in stopwords) {
        if( w does not exist in dictionary) {
          insert w to dictionary at w.id
        }
        insert (r.id, w.id) into inverted_index
      }
    }

Etapa 3. Consultar o índice invertido usando SQL

CREATE TEMPORARY TABLE temp_results ( rec_id int, count int ) AS 
    ( SELECT rec_id, COUNT(rec_id) AS count 
      FROM invert AS I, dict AS D 
      WHERE I.word_id=D.id AND (D.word='word1' OR D.word='word2') 
      GROUP BY I.rec_id 
      HAVING count=2
    ) 
    UNION (
      SELECT rec_id, 1 AS count 
      FROM invert AS I, dict AS D
      WHERE I.word_id=D.id AND D.word='word3'
    );

SELECT DISTINCT rec_id FROM temp_results;

DROP TABLE temp_results;

Palavra Final

• 
  Recuperação de informações:implementação e avaliação de mecanismos de pesquisa por Stefan Büttcher, Charles L. A. Clarke e Gordon V. Cormack (23 de julho de 2010)
  
• 
  Mecanismos de pesquisa:recuperação de informações na prática por Bruce Croft, Donald Metzler e Trevor Strohman (16 de fevereiro de 2009)
  
• 
  Criando aplicativos de pesquisa:Lucene, LingPipe e Gate por Manu Konchady (junho de 2008)
  

Observações

Como usar sua própria lista de palavras irrelevantes no MySQL

1. Crie sua própria lista de palavras irrelevantes, uma palavra por linha, e salve-a em um local conhecido em seu servidor, por exemplo:/usr/local/lib/IR/stopwords.txt


2. Edite my.cnf para adicionar ou atualizar as seguintes linhas:

       [mysqld]  
       ft_min_word_len=1    
       ft_max_word_len=40  
       ft_stopword_file=/usr/local/lib/IR/stopwords.txt
   

   
   que irá definir o comprimento mínimo e máximo das palavras legais para 1 e 40, respectivamente, e informará ao mysqld onde encontrar sua lista personalizada de palavras irrelevantes.
   
   (Nota:o padrão ft_max_word_len é 84, o que acredito ser muito excessivo e pode fazer com que execuções de strings que não sejam palavras reais sejam indexadas.)
   
3. Reiniciar o mysqld


4. Solte e recrie todos os índices relacionados ao texto completo