Armazenando e analisando documentos no sistema de arquivos do Windows com pesquisa semântica do SQL Server – Parte 2

Realizando Análise Comparativa de Documentos Baseados em Nomes

-- View stored documents managed by File Table to check
SELECT stream_id
      ,[name]
      ,file_type
      ,creation_time
FROM EmployeesFilestreamSample.dbo.EmployeesDocumentStore

Lista de verificação da pesquisa semântica

1. Se você já configurou a Pesquisa de texto completo , você pode ativar a pesquisa semântica em uma única etapa.
2. Você pode configurar a pesquisa semântica diretamente, mas antes de configurar a pesquisa de texto completo também.

Teste de pesquisa de texto completo antes da configuração da pesquisa semântica

-- Searching word Employee using Full-Text search against EmployeesDocumentStore File Table
SELECT [name]
  FROM [EmployeesFilestreamSample].[dbo].[EmployeesDocumentStore]
  WHERE CONTAINS(name,'Employee')

Ativando a pesquisa semântica para uso

• Índice exclusivo
• Um catálogo de texto completo
• Um índice de texto completo

-- Create unique index required for Semantic Search
CREATE UNIQUE INDEX UQ_Stream_Id  
    ON EmployeesDocumentStore(stream_id)  
GO

-- Getting Semantic Search ready to be used with File Table
CREATE FULLTEXT CATALOG EmployeesFileTableCatalog WITH ACCENT_SENSITIVITY = ON;
CREATE FULLTEXT INDEX ON EmployeesDocumentStore
(
name LANGUAGE 1033 STATISTICAL_SEMANTICS,
file_type LANGUAGE 1033 STATISTICAL_SEMANTICS,
file_stream TYPE COLUMN file_type LANGUAGE 1033 STATISTICAL_SEMANTICS
)
KEY INDEX UQ_Stream_Id
ON EmployeesFileTableCatalog WITH CHANGE_TRACKING AUTO, STOPLIST=SYSTEM;

Teste de pesquisa de texto completo após configuração de pesquisa semântica

-- Searching (after Semantic Search setup) word Employee using Full-Text search against EmployeesDocumentStore File Table
SELECT [name]
  FROM [EmployeesFilestreamSample].[dbo].[EmployeesDocumentStore]
  WHERE CONTAINS(name,'Employee')

Adicionar mais documentos do MS Word

Contagem Simples de Documentos

-- Getting total number of stored documents
SELECT COUNT(*) AS Total_Documents FROM EmployeesDocumentStore

Comparação de funcionários permanentes versus contratados

-- Creating a summary table variable
DECLARE @Documents TABLE
(DocumentType VARCHAR(100),
DocumentsCount INT)

INSERT INTO @Documents -- Storing total number of stored documents into summary table
SELECT 'Total Documents',COUNT(*) AS Total_Documents FROM EmployeesDocumentStore

INSERT INTO @Documents -- Storing total number of permanent employees documents stored into summary table
SELECT 'Total Permanent Employees',COUNT(*) 
FROM semantickeyphrasetable (EmployeesDocumentStore, *)
WHERE keyphrase = 'Permanent' 

INSERT INTO @Documents --Storing total number of permanent employees documents stored
SELECT 'Total Contract Employees',COUNT(*) 
FROM semantickeyphrasetable (EmployeesDocumentStore, *)
WHERE keyphrase = 'Contract'

SELECT DocumentType,DocumentsCount FROM @Documents

-- Getting keyphrase and relative score for all the documents
SELECT * FROM semantickeyphrasetable(EmployeesDocumentStore, NAME) 
ORDER BY score

• Asif Funcionário Permanente - Gerente de Projetos Experiente
• Mike Funcionário Permanente – Novo Programador
• Peter Funcionário Permanente - Novo Gerente de Projeto
• Funcionário contratado da Sadaf – Analista de negócios experiente

Encontrando novos funcionários (documentos)

-- Getting document name-based scoring to find fresh employees for a new project
SELECT (SELECT name from EmployeesDocumentStore where path_locator=document_key) as DocumentName
,keyphrase,score  FROM semantickeyphrasetable(EmployeesDocumentStore, NAME)  where keyphrase='fresh'
order by DocumentName desc

Encontrando funcionários experientes (documentos)

-- Getting document name-based scoring to find all experienced employees
SELECT (SELECT name from EmployeesDocumentStore where path_locator=document_key) as DocumentName ,keyphrase,score  FROM semantickeyphrasetable(EmployeesDocumentStore, NAME) 
where keyphrase='experienced' order by DocumentName

Encontrando todos os gerentes de projeto (documentos)

-- Getting document name-based scoring to find all project managers
SELECT (SELECT name from EmployeesDocumentStore where path_locator=document_key) as DocumentName ,keyphrase,score  FROM semantickeyphrasetable(EmployeesDocumentStore, NAME)
where keyphrase='Project'

Revisão de análise baseada em nome

• A nomenclatura padrão deve estar em vigor.
• Os nomes devem fornecer as informações necessárias para análise.

Visualizar as colunas de nome dos documentos

USE EmployeesFilestreamSample

-- View name column with the file types of the stored documents in File Table for analysis
SELECT name,file_type 
FROM dbo.EmployeesDocumentStore

Compreendendo a função SEMANTICKEYPHRASETABLE

SEMANTICKEYPHRASETABLE  
    (  
    table,  
    { column | (column_list) | * }  
     [ , source_key ]  
    )

• Nome da tabela de arquivos a ser usada para análise de pesquisa semântica.
• Nome da coluna a ser usada para análise de pesquisa semântica.

• Coluna_id – o número da coluna
• Document_Key – a chave primária padrão para o documento Tabela de Arquivos
• Frase-chave – é uma frase que a Busca Semântica decide indexar para análise. Aplica-se ao nome e ao conteúdo do documento, dependendo de qual coluna queremos ver as frases-chave para
• Pontuação – determina a força de uma frase-chave associada a um documento, por exemplo, como um documento é melhor reconhecido por sua frase-chave. A pontuação pode estar entre 0,0 e 1,0.

Analisando todos os documentos usando a função SEMANTICKEYPHRASETABLE

USE EmployeesFilestreamSample
-- View key phrases and their score for the name column
SELECT * FROM SEMANTICKEYPHRASETABLE(EmployeesDocumentStore,name)
order by score desc

USE EmployeesFilestreamSample
-- Finding document name by its key (path_locator)
SELECT name,path_locator FROM dbo.EmployeesDocumentStore
WHERE path_locator=0xFD89E1811D4F3B2FEB1012DF0C8016F9ACEB2F3260

Analisando um documento específico usando a função SEMANTICKEYPHRASETABLE

-- Find document_key of the document where the name contains Peter
SELECT name,path_locator as document_key From EmployeesDocumentStore
WHERE name like '%Peter%'

-- View all the key phrases and their score for a document related to Peter permanent employee
SELECT column_id,name,keyphrase,score FROM SEMANTICKEYPHRASETABLE(EmployeesDocumentStore,name,0xFF6A92952500812FF013376870181CFA6D7C070220)
INNER JOIN dbo.EmployeesDocumentStore on path_locator=document_key
order by score desc

Compreendendo a função SEMANTICSSIMILARITYTABLE

SEMANTICSIMILARITYTABLE  
    (  
    table,  
    { column | (column_list) | * },  
    source_key  
    )

Comparando documentos usando a função SEMANTICSSIMILARITYTABLE

Comparando todos os documentos dos gerentes de projeto

USE EmployeesFilestreamSample

-- View all the documents closely related to Peter project manager
SELECT SST.source_column_id,SST.matched_column_id,EDS.name,SCORE FROM SEMANTICSIMILARITYTABLE(EmployeesDocumentStore,name,0xFF6A92952500812FF013376870181CFA6D7C070220) SST
INNER JOIN dbo.EmployeesDocumentStore EDS on EDS.path_locator=SST.matched_document_key
order by score desc

. Faz sentido, pois ambos os funcionários são trabalhadores permanentes e ambos são gerentes de projeto.

Comparando documentos de analistas de negócios experientes

Agora, vamos comparar os documentos relacionados ao analista de negócios experiente s e encontre a correspondência mais próxima usando a Pesquisa semântica. Estamos limitados à análise baseada no nome do documento:

USE EmployeesFilestreamSample

-- Finding document_key for experienced business analyst
select name,path_locator as document_key from EmployeesDocumentStore
where name like '%experienced business analyst%'

-- View all the documents closely related to experienced business analyst
SELECT SST.source_column_id,SST.matched_column_id,EDS.name,SCORE FROM SEMANTICSIMILARITYTABLE(EmployeesDocumentStore,name,0xFD89E1811D4F3B2FEB1012DF0C8016F9ACEB2F3260) SST
INNER JOIN dbo.EmployeesDocumentStore EDS on EDS.path_locator=SST.matched_document_key
order by score desc

A saída:

Como podemos ver pelos resultados acima, a correspondência mais próxima para o documento está relacionada ao analista de negócios experiente é o documento do gerente de projeto experiente porque ambos são experientes . No entanto, a pontuação de 0,3 indica que não há muito em comum entre esses dois documentos.

Conclusão

Parabéns! Aprendemos com sucesso como armazenar documentos em pastas do Windows e analisá-los utilizando a Pesquisa Semântica. Também exploramos as funções para usar na prática. Agora você pode aplicar o novo conhecimento e tentar os seguintes exercícios para

Fique atento para mais materiais!