Description des ressources exp´erimentales

Nous d´ecrivons dans cette section, la collection de test utilis´ee pour l’´evaluation de la classification des requˆetes, les outils d’extraction des ca-ract´eristiques des requˆetes ainsi que le classifieur TiMBL adopt´e pour la clas-sification des requˆetes par apprentissage supervis´e.

4.4.1.1 Collection de test

Dans le but d’´evaluer la classification des requˆetes selon le type informa-tionnel, navigationnel ou transacinforma-tionnel, nous avons utilis´e trois ensembles de requˆetes issus des collections de TREC, pr´esent´es dans la table 4.4.1.1. Cette collection comporte comme indiqu´e dans le tableau des requˆetes annot´ees par le type de besoin informationnel issues de la collection TREC-2001 et TREC-9

et des requˆetes de type navigationnel ou transactionnel issues de la collection TREC 2001.

Nous avons subdivis´e l’ensemble des requˆetes annot´ees chacune par un type de besoin en un sous-ensemble d’apprentissage et un sous-ensemble de test.

– Les requˆetes d’apprentissage servent `a calculer les taux d’utilisation opti-maux des termes de la requˆete dans les titres (τt∗) et les textes d’ancrage des hyperliens (τa∗) dans les pages Web de la collection WT10G. Ces taux sont d´efinis dans le descripteur morphologique de la requˆete comme ´etant des propri´et´es des requˆetes navigationnelles et transactionnelles (cf. chap.4.3.1.1 sect.4.3.1.1p.119). Elles servent ´egalement `a l’apprentissage de la classification bas´ee sur TiMBL.

– Les requˆetes de test sont utilis´ees dans l’´evaluation des m´ethodes de clas-sification.

Type de la requˆete Apprentissage Test Informationnel TREC-9 (th`eme

451-500)

TREC-2001 (th`eme 501-550)

Navigationnel TREC-2001 (th`eme 1-100)

TREC-2001 (th`eme 101-145)

Transactionnel TREC-2001 (th`eme 20001-20100)

TREC-2001 (th`eme 20101-20150)

Tab.4.2 – Choix des collections de requˆetes

4.4.1.2 Outils et ressources d’extraction des caract´eristiques de la requˆete

Nous sp´ecifions dans cette section les outils utilis´es pour extraire le des-cripteur morphologique de la requˆete (cf. chap.4.3.1.1 sect.4.3.1.1p.119). Pour chaque requˆete de la collection de test Q, exprim´e en langage naturel, nous calculons le descripteur morphologique F (Q) comme suit :

F (Q) = (kQk , V b, T r, T i, τa, τt)

– kQk est calcul´e par le nombre des termes de la requˆete Q,

– Vb d´esigne l’apparition d’un verbe dans la requˆete. Nous avons utilis´e Treetagger, un outil linguistique, ´ecrit en Python, permettant d’analyser la syntaxe grammaticale d’une phrase ou d’une expression.

– les deux caract´eristiques Tr et Ti sont identifi´ees respectivement sur la base d’une liste pr´ed´efinie de termes transactionnels et de termes interro-gatifs. La pr´esence ou l’absence d’un terme transactionnel (resp.interrogatif) d´epend de la d´efinition de ces listes.

– Les seuils des taux d’utilisation des termes de la requˆete dans les balises (τa et τt) sont calcul´es sur la collection WT10G, fournie dans le cadre d’´evaluation TREC selon la formule 4.3.1.1 (cf. chap.4.3.1.1 sect.4.3.1.1

p.119).

Le tableau ci dessous d´ecrit les caract´eristiques de la collection WT10G index´ee en utilisant le moteur de recherche Mercure [29].

Nombre de documents 1,557,918 Nombre de termes 3,199,772 Longueur moyenne du

docu-ment

338,6880 Nombre moyen de mots simples

par document

142,3035 Taille de la collection 10 Giga-octets

Tab.4.3 – Propri´et´es de la collection WT10G

4.4.1.3 Outil de classification des requˆetes par apprentissage super-vis´e bas´e sur TiMBL

TiMBL [52] est un outil de classification par apprentissage supervis´e per-mettant de classifier des objets dans des classes pr´ed´efinies selon la m´ethode des K-plus proche voisins. Il impl´emente plusieurs algorithmes d’apprentissage bas´e sur le stockage de tous les exemples des classes des requˆetes pr´ed´efinies sous forme de vecteurs descriptifs. Sur la base de ces exemples, il classifie selon diverses mesures de similarit´e chaque nouvelle requˆete repr´esent´ee ´egalement par un vecteur descriptif selon le type de besoin repr´esent´e par les exemples les plus proches.

4.4.2 Protocole d’´evaluation

G´en´eralement, l’´evaluation de la pr´ecision de classification consiste `a compa-rer le type de la requˆete obtenu automatiquement au type annot´e manuellement par des utilisateurs.

Notons que la classification par apprentissage supervis´e bas´e sur TimBL ainsi que notre m´ethode de classification utilisant seulement la morphologie de la requˆete (QF) exploitent le descripteur morphologique de la requˆete. L’´evaluation de ces deux m´ethodes de classification ne n´ecessite que la col-lection des requˆetes d’apprentissage et de test. Cependant, l’´evaluation de la pr´ecision de notre m´ethode de classification combinant la morphologie de la

requˆete et le profil de la session n´ecessite de simuler une s´equence des sessions de recherche de diff´erents types de besoins.

Le principe de l’´evaluation est bas´e sur la m´ethode de la cross-validation qui consiste `a subdiviser l’ensemble des requˆetes en un sous-ensemble d’ap-prentissage et un sous-ensemble de test. Le protocole d’´evaluation est bas´e sur deux phases : une phase d’apprentissage et une phase de test. Pour chacune des m´ethodes de classification, nous sp´ecifions ces deux phases comme suit :

– ´Evaluation de la classification de la baseline selon TiMBL : ´etant donn´e l’ensemble des requˆetes d’apprentissage et l’ensemble de requˆetes de test. Le fonctionnement de TiMBL selon ces deux phases est d´ecrit comme suit :

1. La phase d’apprentissage selon cette m´ethode consiste `a sauvegarder des exemples de requˆetes dans trois classes repr´esentant les types de besoin informationnel, navigationnel et transactionnel. Chaque exemple d’une requˆete Q correspond `a son descripteur morpholo-gique contenant les caract´eristiques de la requˆete (F(Q)).

2. La phase de test consiste `a cr´eer le descripteur morphologique de chaque requˆete de test et la classifier selon son degr´e de simila-rit´e avec les exemples de requˆetes d’apprentissage sauvegard´es pour chaque type de besoin.

– ´Evaluation de la classification bas´ee sur la morphologie de la requˆete (QF) :

1. La phase d’apprentissage consiste `a identifier les seuils des taux d’utilisation des termes de la requˆete dans les titres des pages (τt∗ = 0.1021) et dans les textes d’ancrages des hyperliens des pages (τa∗ = 0.4419). Ces taux sont calcul´es sur la collection WT10G comme suit : – Pour chaque requˆete d’apprentissage Q, calculer les taux τt et τa

selon la formule 4.3.1.1(cf. sect.4.3.1.1 p.119),

– Pour chaque valeur τt (resp. τa), calculer la pr´ecision de classifi-cation P (τt) (resp. P (τa)) des requˆetes d’apprentissage (de type navigationnel et transactionnel) en utilisant seulement la propri´et´e d´efinie par le taux d’utilisation des termes dans les titres des pages (resp. le taux d’utilisation des termes dans les hyperliens des pages) comme suit :

P (τt) = ^{k{Q ∈ N av/τt(Q) ≥ τt} ∪ {Q ∈ T rans/τt(Q) < τt}k} k{Q/Q ∈ N av ∪ T rans}k

P (τa) = ^{k{Q ∈ N av/τa(Q) ≥ τa} ∪ {Q ∈ T rans/τa(Q) < τa}k} k{Q/Q ∈ N av ∪ T rans}k

– Identifier les taux optimaux τa∗ et τt∗ comme suit : τa∗ = argmaxτaP (τa), τt∗ = argmaxτtP (τt),

2. La phase de test consiste `a construire pour chaque requˆete de test deux vecteurs, navigationnel FN(Q) et transactionnel FT(Q), et cal-culer les valeurs de probabilit´es de classification de la requˆete dans chaque classe/type de besoin selon la morphologie selon la formule

4.1 (cf. sect.4.3.1.2 p.122). Les types attribu´es aux requˆetes par le classifieur seront ensuite compar´es aux types des requˆetes pr´ed´efinies dans la collection.

– Classification bas´ee sur la combinaison de la morphologie de la requˆete et du profil de la session (QF+QP) : l’´evaluation de cette m´ethode est bas´ee sur une phase de test qui r´eutilise les valeurs de probabilit´es calcul´ees dans la classification bas´ee seulement sur la morphologie de la requˆete. La phase de test est bas´ee sur les ´etapes suivantes :

1. Cr´eer une s´equence des sessions de recherche des trois types de be-soins, issue de la collection des requˆetes de test. Nous avons altern´e entre les trois types de requˆetes (I, N, T) o`u chaque session est cr´e´ee en alignant al´eatoirement des requˆetes de mˆeme type. Pour des buts exp´erimentaux, nous fixons tout au long de la s´equence la longueur moyenne des sessions de type informationnel (wI), naviga-tionnel (wN) et transactionnel (wT) respectivement `a 5, 3 et 5. Nous avons pris wN = 3 comme ´etant la longueur moyenne des sessions de recherche navigationnelles. Selon diff´erentes ´etudes [89, 77], analy-sant le fichier log des moteurs de recherche, plus que 79% des sessions sont en effet compos´ees de trois ou moins des requˆetes. Puisque les sessions transactionnelles et informationnelles demandent plus d’ef-fort et du temps pour ˆetre accomplie [135], nous avons augment´e la longueur moyenne de ces types de sessions par rapport `a celle des sessions navigationnelles en wI = wT = 5. La figure 4.2 montre un exemple d’une s´equence des sessions de trois types informationnel, navigationnel et transactionnel.

2. Pour chaque requˆete de test sur la s´equence, nous calculons sa proba-bilit´e de classification pour chaque type de besoin selon le profil de la session et selon la morphologie de la requˆete (formule 4.4, sect.4.3.3

p.126). Le type de besoin ayant la valeur de probabilit´e maximale est consid´er´e la classe/type de besoin attribu´e `a la requˆete.