Discussion

Os recursos dispon´ıveis como fonte de respostas possuem um enorme volume de dados. O processamento minucioso da extrac¸c˜ao de respostas seria impratic´avel se aplicado di- rectamente sobre a totalidade desses recursos, especialmente nos casos de informa¸c˜ao

n˜ao estruturada. Assim, e como sucede na generalidade dos SPR, antes de tentar iden- tificar poss´ıveis respostas, o sistema colecciona um conjunto de documentos que possam contribuir para encontrar uma resposta, por terem alguma rela¸c˜ao com os elementos re- colhidos antes, na an´alise ao texto da pergunta. Os documentos pretendidos, designados de documentos candidatos, resultam de um processo de recupera¸c˜ao de informa¸c˜ao sobre a Web e sobre um reposit´orio de textos local.

Procura na Web

A procura de documentos candidatos na Web faz-se atrav´es do motor de pesquisa Google. Este servi¸co aceita uma express˜ao de pesquisa e responde com uma lista de endere¸cos de documentos Web. Os documentos mais interessantes nem sempre s˜ao os que resultam da pesquisa pelos termos exactos do texto da pergunta. A express˜ao a enviar ao motor de pesquisa deve ser composta por alguns termos na pergunta e por outros termos derivados destes ou inerentes `a categoria associada `a quest˜ao [ALG01]. Cada categoria de pergunta deste modelo tem um m´etodo pr´oprio para construir a express˜ao a pesquisar na Web. A expans˜ao dos termos de pesquisa baseia-se na consulta de sin´onimos, hiper´onimos e classes semˆanticas de que cada termo da quest˜ao ´e instˆancia. Eventualmente, em vez de uma, cada categoria pode efectuar v´arias pesquisas no Google, para n˜ao tornar a express˜ao de pesquisa demasiado complexa com disjun¸c˜oes.

Os documentos Web no resultado do motor de pesquisa s˜ao descarregados e armazenados localmente, na forma de texto, e juntamente com os detectados nas colec¸c˜oes locais ser˜ao analisados para segmenta¸c˜ao.

Procura em reposit´orio local

O sistema tamb´em procura documentos potencialmente relevantes numa colec¸c˜ao de textos locais, como descrito na sec¸c˜ao 3.1.4. Ao contr´ario do que acontece com os documentos na Web, para os textos no reposit´orio local ´e poss´ıvel controlar a metodologia de indexa¸c˜ao e pesquisa.

O m´odulo respons´avel pela indexa¸c˜ao ´e baseado no motor de pesquisa Lucene8_{. A} recupera¸c˜ao de informa¸c˜ao neste sistema usa uma combina¸c˜ao dos Modelos Vectorial e Booleano, na selec¸c˜ao e pontua¸c˜ao de documentos. Ao processo de indexa¸c˜ao do Lucene foi adicionada uma componente de tratamento lingu´ıstico para o Portuguˆes. Cada termo do texto a indexar ´e associado `a sua raiz morfol´ogica. Isto permite que a pesquisa por qualquer variante morfol´ogica do termo obtenha textos em que o termo surge na forma raiz ou numa outra variante9_{. Na indexa¸c˜ao ´e consultado tamb´em um dicion´ario de} sin´onimos, no sentido de associar um termo aos seus equivalentes. Assim, pesquisar por inolvid´avel ter´a como resultados textos que podem n˜ao incluir a palavra mas ter um seu sin´onimo, como inesquec´ıvel. Todos os textos no reposit´orio local s˜ao previamente

8

Apache Lucene: http://lucene.apache.org/ 9

As variantes mais comuns para um termo s˜ao a sua forma no singular e no plural, e para ambas, o

masculino e o feminino. No caso dos verbos h´a o infinitivo e depois todas as conjuga¸c˜oes, nas diferentes

indexados, para serem considerados na procura de documentos candidatos a contribuirem com respostas.

A express˜ao de pesquisa a passar ao Lucene ´e gerada por cada categoria de quest˜ao, como acontece para a pesquisa na Web. Mas neste caso n˜ao ´e necess´ario incluir os sin´onimos na expans˜ao dos termos, pois isso j´a foi contemplado na indexa¸c˜ao. Ap´os a primeira tentativa de encontrar os documentos candidatos, se n˜ao houver resultados da pesquisa do Lucene procede-se a uma pesquisa menos exigente, que inclui o texto da pergunta. Segmenta¸c˜ao e selec¸c˜ao de trechos

Alguns documentos candidatos podem ter dezenas de p´aginas de conte´udo, outros menos, mas em geral muito mais texto que o necess´ario para retirar uma express˜ao aceit´avel como resposta. A segmenta¸c˜ao e selec¸c˜ao de trechos10 _{´e um processo de procura de} excertos relevantes dentro do pr´oprio documento candidato. ´E sobre estes trechos que incide o processamento intensivo da fase de extrac¸c˜ao. Deste modo, evita-se a aplica¸c˜ao de opera¸c˜oes computacionalmente dispendiosas nas partes em que n˜ao ´e detectada ne- nhuma rela¸c˜ao com a pergunta [LVF02]. Cada documento ´e dividido numa lista de segmentos, que correspondem a frases do texto. Nessa lista assinalam-se os segmentos que incluam termos usados na express˜ao de pesquisa, do passo anterior, que s˜ao os ter- mos da pergunta ou derivados destes, semanticamente compat´ıveis.

Muitas vezes a resposta n˜ao est´a num dos segmentos assinalado, mas noutro segmento pr´oximo. Para cada segmento assinalado, forma-se um trecho de texto que vai incluir:

• o segmento anterior • o segmento actual

• os dois segmentos seguintes

Daqui resulta que pode haver sobreposi¸c˜ao entre a janela textual de cada trecho. Assim acontece se um dos dois segmentos seguintes for tamb´em seleccionado por incluir termos relacionados com a quest˜ao.

H´a casos em que o segmento assinalado ´e uma frase com uma an´afora, relativa a alguma entidade mencionada no texto precedente. ´E o caso de listas em que se enumeram as actividades desenvolvidas por uma institui¸c˜ao ou por uma pessoa c´elebre, algo frequente em documentos da Web. Para estes casos o trecho passa a incluir outros segmentos precedentes ao assinalado, at´e um deles incluir no seu texto uma entidade. Por vezes o primeiro segmento pode ser o t´ıtulo de uma sec¸c˜ao.

Algumas categorias de pergunta d˜ao origem a trechos adicionais, resultantes de pesquisas em recursos espec´ıficos. Dicion´arios e enciclop´edias online podem fornecer uma poss´ıvel defini¸c˜ao para um conceito. Para as perguntas acerca de locais tamb´em pode obter-se informa¸c˜ao geogr´afica em fontes especializadas.

Cada trecho extra´ıdo ´e representado por um objecto que, para al´em do texto selecci- onado, inclui tamb´em um identificador do documento de origem, bem como o t´ıtulo

10

daquele, se estiver identificado pelo sistema, e ainda a posi¸c˜ao em que o mesmo se en- contrava no resultado da recupera¸c˜ao de documentos. Estes elementos s˜ao considerados adiante, na fase extrac¸c˜ao de respostas, para c´alculo da pontua¸c˜ao base a atribuir a determinados resultados.