Procurando por uma pesquisa de texto completo simples? Experimente MySQL InnoDB + CakePHP com Word Stemming

Os registros teriam que ser classificados por relevância, o que dependeria se a palavra de pesquisa correspondia aos campos do próprio registro ou de outras colunas em tabelas relacionadas. Além disso, a pesquisa deve implementar pelo menos algumas derivações básicas de palavras. (Stemming é usado para obter a forma raiz de uma palavra. "Stems", "stemmer", "stemmed" e "stemmed" têm a mesma raiz:"stem".)

A abordagem apresentada aqui foi testada com várias centenas de milhares de registros e conseguiu recuperar resultados úteis à medida que o usuário digitava.

Produtos de pesquisa de texto completo a serem considerados

Pesquisa elástica

O Elasticsearch cria recursos distribuídos sobre o Apache Lucene para fornecer os recursos de pesquisa de texto completo mais poderosos disponíveis. A API de consulta poderosa e amigável ao desenvolvedor suporta pesquisa multilíngue, geolocalização, sugestões contextuais do que você quis dizer, preenchimento automático e snippets de resultados.

Esfinge

Pesquisa de texto completo do MySQL

Tomando as Decisões

• Tivemos pouco tempo para implementar a função de pesquisa.
• Neste momento, não tínhamos big data para processar nem uma carga massiva para exigir algo como Elasticsearch ou Sphinx.
• Usamos hospedagem compartilhada que não suporta Elasticsearch ou Sphinx e o hardware era bastante limitado neste estágio.
• Embora desejássemos a derivação de palavras em nossa função de pesquisa, não era um problema:poderíamos implementá-la (dentro de restrições) por meio de alguma codificação PHP simples e desnormalização de dados
• As pesquisas de texto completo no modo booleano podem pesquisar palavras com curingas (para a palavra derivada) e classificar os resultados com base na relevância.

Pesquisas de texto completo no modo booleano

No Modelo Vertabelo Normalizado

-- Criado por Vertabelo (http://vertabelo.com)-- Data da última modificação:2016-04-25 15:01:22.153-- tables-- Tabela:artistasCREATE TABLE artistas ( id int(11) NOT NULL AUTO_INCREMENT, name varchar(255) NOT NULL, bio text NOT NULL, CONSTRAINT artistas_pk PRIMARY KEY (id)) ENGINE InnoDB;CREATE FULLTEXT INDEX artistas_idx_1 ON artistas (nome);-- Fim do arquivo.

No modo de linguagem natural

SELECT *FROM artistWHERE MATCH (artists.name) AGAINST ('Michael Jackson' NO MODO DE IDIOMA NATURAL)

Esta consulta encontrará registros que correspondem aos termos de pesquisa e classificará os registros correspondentes por relevância; quanto melhor a correspondência, mais relevante ela é e mais alto o resultado aparecerá na lista.

No modo booleano

SELECT *FROM artistWHERE MATCH (artists.name) AGAINST ('Michael Jackson' NO MODO BOOLEAN)

O operador curinga no modo booleano

SELECT *FROM artistWHERE MATCH (name) AGAINST ('Mich*' NO MODO BOOLEAN)

Classificando por relevância no modo booleano

SELECT *, MATCH (nome) AGAINST ('mich*' NO MODO BOOLEAN) AS rankFROM artistWHERE MATCH (name) AGAINST ('mich*' IN BOOLEAN MODE)ORDER BY rank DESC

Esta consulta recupera as correspondências de pesquisa e o valor de relevância que o MySQL calcula para cada registro. O otimizador de mecanismo detectará que estamos selecionando a relevância, portanto, não se incomodará em recalcular a classificação.

Seleção de palavras na pesquisa de texto completo

//incluir a biblioteca (deve ser chamada PorterStemmer.php) dentro da pasta Vendors do CakePHP App::import('Vendor', 'PorterStemmer'); //stem uma palavra (as palavras devem ser derivadas uma a uma)echo PorterStemmer::Stem(‘stemming’); //saída será 'stem'

Nosso objetivo é tornar a pesquisa rápida e eficiente e poder classificar os resultados pela relevância do texto completo. Para fazer isso, precisaremos empregar a derivação de palavras de duas maneiras:

1. As palavras inseridas pelo usuário
2. Dados relacionados à música (que armazenaremos em colunas e classificaremos os resultados com base na relevância)

App::import('Vendor', 'PorterStemmer');$search =trim(preg_replace('/[^A-Za-z0-9_\s]/', '', $search));/ /remover caracteres indesejados$words =explodir(" ", trim($search));$stemmedSearch ="";$unstemmedSearch ="";foreach ($words as $word) { $stemmedSearch .=PorterStemmer::Stem($ palavra) . "* "; // adicionamos o curinga após cada palavra $unstemmedSearch =$word . "* ";//para pesquisar a coluna do artista que não é stemmed}$stemmedSearch =trim($stemmedSearch);$unstemmedSearch =trim($unstemmedSearch);if ($stemmedSearch =="*" || $unstemmedSearch==" *") { //caso contrário o mySql irá reclamar, pois você não pode usar o curinga sozinho $stemmedSearch =""; $unstemmedSearch ="";}

Criamos duas strings:uma para pesquisar o nome do artista (sem derivação) e outra para pesquisar nas outras colunas derivadas. Isso nos ajudará mais tarde a construir nosso 'contra' parte da consulta de texto completo. Agora vamos ver como podemos determinar e classificar os dados da música.

Desnormalizando dados de música

ALTER TABLE `songs` ADD `denorm_artist` VARCHAR(255) NOT NULL AFTER`trackname`, ADD `denorm_trackname` VARCHAR(500) NOT NULL AFTER`denorm_artist`, ADD `denorm_album` VARCHAR(255) NOT NULL AFTER` denorm_trackname`,ADD `denorm_categories` VARCHAR(500) NOT NULL AFTER`denorm_album`, ADD FULLTEXT (`denorm_artist`), ADD FULLTEXT(`denorm_trackname`), ADD FULLTEXT (`denorm_album`), ADD FULLTEXT(`denorm_categories`); 

Nosso modelo de banco de dados completo ficaria assim:




Sempre que você salvar uma música usando add/edit no CakePHP, você só precisa armazenar o nome do artista na coluna denorm_artist sem derrotá-lo. Em seguida, adicione o nome da faixa derivada no denorm_trackname campo (semelhante ao que fizemos no texto pesquisado) e salve o nome do álbum derivado no denorm_album coluna. Por fim, armazene a categoria derivada definida para a música em denorm_categories campo, concatenando as palavras e adicionando um espaço entre cada nome de categoria derivada.

Pesquisa de texto completo e classificação por relevância no CakePHP

SELECT trackname, MATCH(denorm_artist) AGAINST ('Nirvana*' IN BOOLEAN MODE) como rank1, MATCH(denorm_trackname) AGAINST ('Nirvana*' IN BOOLEAN MODE) como rank2, MATCH(denorm_album) AGAINST ('Nirvana*' IN BOOLEAN MODE) como rank3, MATCH(denorm_categories) AGAINST ('Nirvana*' IN BOOLEAN MODE) como rank4 FROM song WHERE MATCH(denorm_artist) AGAINST ('Nirvana*' IN BOOLEAN MODE) OR MATCH(denorm_trackname) AGAINST ('Nirvana* ' NO BOOLEAN MODE) OU MATCH(denorm_album) AGAINST ('Nirvana*' NO BOOLEAN MODE) OU MATCH(denorm_categories) AGAINST ('Nirvana*' NO BOOLEAN MODE) ORDER BY rank1 DESC, rank2 DESC, rank3 DESC, rank4 DESC 
 
Teríamos a seguinte saída:
 
 
 
nome da faixa
 
classificação1
 
rank2
 
classificação3
 
classificação 4
 
 
 
Polly
 
0,0906190574169159
 
0
 
0
 
0
 
 
 
jogos do nirvana
 
0
 
0,0906190574169159
 
0
 
0
 
 
 
 
 
 Para fazer isso no CakePHP, o find O método deve ser chamado usando uma combinação de parâmetros 'campos', 'condições' e 'ordem'. Continuando com o antigo código de exemplo PHP:
 
 
//dentro do arquivo de modelo Song.php $fields =array( "Song.trackname", "MATCH(Song.denorm_artist) AGAINST ({$unstemmedSearch} NO MODO BOOLEAN) como `rank1`", "MATCH(Song. denorm_trackname) AGAINST ({$stemmedSearch} IN BOOLEAN MODE) como `rank2`", "MATCH(Song.denorm_album) AGAINST ({$stemmedSearch} IN BOOLEAN MODE) como `rank3`", "MATCH(Song.denorm_categories) AGAINST ( {$stemmedSearch} IN BOOLEAN MODE) as `rank4`" );$order ="`rank1` DESC,`rank2` DESC,`rank3` DESC,`rank4` DESC,Song.trackname ASC";$conditions =array( "OU" => array( "MATCH(Song.denorm_artist) CONTRA ({$unstemmedSearch} NO MODO BOOLEAN)", "MATCH(Song.denorm_trackname) CONTRA ({$stemmedSearch} IN BOOLEAN MODE)", "MATCH(Song. denorm_album) AGAINST ({$stemmedSearch} NO MODO BOOLEAN)", "MATCH(Song.denorm_categories) AGAINST ({$stemmedSearch} IN BOOLEAN MODE)" );$results =$this->find (‘all’,array(‘conditions’=>$conditions,’fields’=>$fields,’order’=>$order);
 
 
$resultados será a matriz de músicas classificadas com os critérios que definimos anteriormente. 
 
 Essa solução pode ser usada para gerar pesquisas significativas para o usuário – sem exigir muito tempo dos desenvolvedores ou adicionar grande complexidade ao código. 
 
Tornando as pesquisas do CakePHP ainda melhores
 
 Vale ressaltar que “apimentar” as colunas desnormalizadas com mais dados pode levar a melhores resultados. 
 
 Por "spicing" quero dizer que você pode incluir, nas colunas desnormalizadas, mais dados de colunas adicionais que você considera úteis com o objetivo de tornar os resultados mais relevantes, por exemplo, se você soubesse que o país de um artista poderia figurar nos termos de pesquisa, você poderia adicionar o país junto com o nome do artista no denorm_artist coluna. Isso melhoraria a qualidade dos resultados da pesquisa. 
 
 Pela minha experiência (dependendo dos dados reais que você usa e das colunas que você desnormaliza), os resultados mais altos tendem a ser realmente precisos. Isso é ótimo para aplicativos móveis, pois rolar uma lista longa pode ser frustrante para o usuário. 
 
 Finalmente, se você precisar obter mais dados das tabelas às quais a música se relaciona, você sempre pode fazer uma junção e obter o artista, categorias, álbuns, comentários da música, etc. sugiro adicionar o plug-in EagerLoader para realizar as junções com eficiência. 
 
 Se você tiver sua própria abordagem para implementar a pesquisa de texto completo, compartilhe-a nos comentários abaixo. Todos podemos aprender com a experiência uns dos outros.