Habitat du vautour charognard

Este experimento, também apresentado em Freire et al. (2014), verificou a hipótese H2 considerando dois aspectos: (i) a preservação semântica da consulta original ao longo do roteamento; e (ii) o grau de preservação semântica desta consulta. O primeiro aspecto foi avaliado utilizando o coeficiente de Jaccard [Han et

al. 2012], o segundo, a partir da análise da precisão dos resultados obtidos em duas

diferentes configurações do experimento [Rijsbergen, 1979]. Esta medida será melhor definida na etapa de Descrição do Experimento.

 Cenário:

O cenário corrente constitui uma rede formada por um conjunto de cinco pontos (P2178, P2278, P2378, P2478, P2578) conectados de forma sequencial (Figura 5.3). Para análise do valor mínimo de relevância do ponto, para o qual a consulta poderá ser encaminhada, utilizamos o valor de threshold de 0.5 (ver Apêndice A).

Figura 5.3 – Cenário de Distribuição dos Pontos para o Experimento 1

 Descrição do Experimento:

Inicialmente, uma consulta Q={GraduateStudent ∪ Workshop} foi submetida no ponto P2178 e todas as variáveis de enriquecimento foram selecionadas (Approximate,

Generalization, Specialization, Compose). Considerando a consulta submetida, o

experimento foi executado de duas formas diferentes. Na primeira, denominada de

QRwithout_Pruning, a consulta foi reformulada sem considerar se os termos

expandidos eram semanticamente relacionados com os termos da consulta original, ou seja, sem fazer uso do mecanismo de poda semântica. Na segunda execução,

chamada de QRpruning, a mesma consulta foi roteada sempre considerando a consulta original, ou seja, utilizando o mecanismo de poda.

Em QRwithout_Pruning, a consulta foi roteada de forma direta utilizando flooding [Gnutella 2014]. Neste caso, não foram consideradas medidas para avaliação da relevância de cada ponto. Os pontos eram consultados sempre que fosse possível produzir uma reformulação a partir da consulta corrente.

Em QRpruning, de acordo com o contexto de submissão da consulta (preferências do usuário em relação ao modo de enriquecimento e semântica da consulta original), a referência semântica (RS) foi gerada com a seguinte composição de termos e associação de pesos:

RS={<GraduateStudent, GraduateStudent, 1.0>, <GraduateStudent, Student, 0.8>, <GraduateStudent, PhdStudent, 0.8>, <GraduateStudent, MasterStudent, 0.8>, <GraduateStudent, ResearchProject, 0.3>, <GraduateStudent, Course, 0.3>, <Workshop, Workshop, 1.0>, <Workshop, Event, 0.8>, <Workshop, Exhibtion, 0.7>, <Workshop, Conference, 0.7>, <Workshop, Meeting, 0.7>, <Workshop, Lecture, 0.7>} Usando a RS, a cada encaminhamento da consulta entre o ponto origem e o ponto destino, o valor de relevância do ponto foi calculado para que fosse possível identificar se ele poderia ou não responder a consulta. Na Figura 5.4, apresentamos um dos logs de reformulação (entre os pontos P2378 e P2478) produzidos ao longo do roteamento. Na figura, o campo Reformulated Query corresponde à consulta que foi reformulada, Reformulated Query After Prunning mostra a consulta produzida após ter sido aplicada a poda semântica e Pruned Terms indicam os termos eliminados da consulta reformulada que não possuem relação semântica direta com os termos da consulta original. Os valores de preservação (QPreserv), enriquecimento (QEnrich) e da semântica da consulta (Query Semantic Value - QSV) aparecem calculados na mesma figura. O valor de QSV é utilizado para indicar a relevância do ponto em relação à consulta reformulada.

A Figura 5.5 mostra uma síntese dos resultados obtidos a cada reformulação entre os pontos P2178 e P2278; P2278 eP2378; P2378 e P2478; P2478 e P2578.

Figura 5.5– Síntese das Reformulações de Consultas do ponto P2178 à P2578.

 Análise dos Resultados:

Para geração dos dados que avaliam a preservação semântica da consulta ao longo do roteamento, consideramos que a RS (Referencia Semântica) seria utilizada como um referencial dos termos esperados para as consultas reformuladas. Como a RS é definida a partir da ontologia de domínio, é possível identificar todo o conjunto de termos que poderiam ser expandidos de acordo com cada termo da consulta original. Utilizando o coeficiente de Jaccard, avaliamos a similaridade de cada reformulação produzida, em relação à RS, nas execuções do roteamento QRwithout_Pruning e

QRpruning. Assim, dado QTermos o conjunto de termos obtidos na reformulação de

uma consulta Q e RStermos os conjunto de termos na RS de Q, dizemos que o coefieciente de Jaccard para análise da similaridade entre QTermos e RStermos é definido a partir da seguinte fórmula [Han et al. 2012].

= Onde,

a é o número de termos que existem tanto em QTermos quanto em RStermos; b é o número de termos que existem apenas em QTermos;

c é o número de termos que existem apenas em RStermos.

A Figura 5.6 mostra o gráfico com os resultados obtidos em cada ponto deste experimento. 0,00 0,05 0,10 0,15 0,20 0,25 0,30 0,35 0,40 0,45 0,50 P2178 P2278 P2378 P2478 P2578 Si m ila ri d ad e (Qrwithout_prunning, RS) (Qrprunning, RS) Ponto

Figura 5.6– Similaridade de Consultas Reformuladas em relação à RS

De acordo com o gráfico, é possível observar que QRpruning se mantém em um melhor nível de similaridade com a RS. Além disto, em QRwithout_Pruning, devido à heterogeneidade das fontes e ao distanciamento semântico entre o ponto de submissão e os demais pontos, a consulta reformulada tem uma tendência natural de diminuir o seu nível de similaridade em relação a SR.

Outro conjunto de resultados obtido com este experimento está relacionado à avaliação do grau de preservação semântica desta consulta. Para isto foi gerada uma medida de precisão a partir da seguinte fórmula:

ã = _

_

Onde,

RQ é a consulta reformulada

_ é o conjunto de termos relevantes gerados em RQ . _ é o conjunto de termos gerados em RQ.

Esta fórmula foi aplicada em cada ponto, após a reformulação da consulta, com o objetivo de produzir o valor de precisão das consultas ao longo do roteamento. A Figura 5.7 mostra os resultados obtidos na comparação entre os cenários de roteamento QRwithout_Pruning e QRpruning. Os resultados, apontados no gráfico, mostram o ganho de precisão quando o roteamento da consulta considera a consulta original ao longo do roteamento e mantém as reformulações semanticamente próximas da consulta original. Da mesma forma que a análise da similaridade, a precisão diminui à medida em que os pontos se distanciam do ponto de submissão. No caso do QRprunning, esta perda de precisão está relacionada ao distanciamento semântico existente entre os dois pontos. Em relação a QRwithout_prunning, além do distanciamento semântico, a consulta reformulada a cada ponto tende a incorporar termos que não têm relação semântica direta com os termos da consulta original.

0,00 0,20 0,40 0,60 0,80 1,00 1,20 P2178 P2278 P2378 P2478 P2578 P re ci sã o QRwithout_pruning QRpruning Ponto

Figura 5.7 - Precisão das Consultas Reformuladas em Relação a Referência Semântica

 Verificação da Hipótese

Hipótese H2. Ao longo do roteamento, a eliminação de termos da consulta reformulada, que não possuem correspondência semântica com os termos da consulta original, permite preservar a semântica da consulta original.

A análise dos resultados mostrou que é preciso considerar a consulta original, ao longo do roteamento, se desejamos produzir reformulações mais próximas ao que o usuário definiu no momento da submissão. Os gráficos representados nas Figuras 5.6 e 5.7 mostram o distanciamento gerado a cada reformulação, ao longo do roteamento, caso os conceitos sem RSD (Relação Semântica Direta) com os conceitos

originais sejam mantidos. Assim, é possível concluir que os resultados apresentados confirmam a hipótese H2.