En RI, l’évaluation des résultats de SRI est une phase essentielle et primordiale basée sur les composants (documents, requêtes, jugements) décrits précédemment. La phase expérimentale suppose l’utilisation des métriques d’évaluation qui visent à comparer les modèles utilisés et mettre au point leurs paramètres. En effet, le SRI sélectionne des documents de la collection en utilisant un modèle de RI spécifique et les renvoie à l’utilisateur. Pour mesurer la capacité d’un SRI à retrouver les documents pertinents et à rejeter ceux qui ne le sont pas, deux mé- triques de base sont utilisés pour évaluer l’efficacité de la RI, à savoir : la précision et le rappel. Soit |B| le nombre de documents renvoyés par le système pour la requête q, |S| le nombre de documents pertinents dans la collection pour cette requête et |S + | le nombre de documents pertinents renvoyés par le système (cf. Figure1.5).
Nous présentons dans la suite les mesures les plus classiques de "Rappel" et de "Précision", ainsi qu’un ensemble de mesures les plus courantes. Le Tableau 1.2 présente les notations utilisées pour les mesures d’évaluation.
Notation Decription q la requête q
Q l’ensemble de requêtes
|B| le nombre de documents renvoyés par le système pour la requête q
|S| le nombre de documents pertinents dans la col- lection pour la requête q
|S + | Le nombre de documents pertinents renvoyés par le système pour la requête q
Tableau 1.2 – Notations des mesures d’évaluation en RI.
1. Précision
La mesure de précision indique la capacité d’un SRI à retourner des documents perti- nents par rapport aux résultats renvoyés par le système. Donnée par le rapport entre les documents sélectionnés comme pertinents et la totalité des documents sélectionnés, la précision est calculée comme suit :
P récision = |S + |
2. Rappel
La mesure de rappel calcule la capacité d’un SRI à restituer un maximum de documents pertinents pour une requête. Il mesure la proportion des documents pertinents sélection- nés relativement à l’ensemble des documents pertinents de la collection. Formellement :
Rappel = |S + |
|S| ∈ [0, 1] (1.13)
La Figure 1.5 donne une description des mesures du rappel et de la précision.
Figure 1.5 – Description graphique des éléments nécessaires pour calculer le rappel et la précision. La précision et le rappel sont calculés indépendamment de l’ordre avec lequel les résultats sont représentés. Pour pallier ce manque, d’autres mesures tenant compte de l’ordre de classement des documents ont été proposées. Ces mesures ne se basent pas uniquement sur le classement de documents pertinents retournés mais aussi sur le nombre de premiers documents pertinents retournés. L’ordre d’apparition des documents étant crucial, nous citons la précision@n documents et la précision moyenne (MAP).
3. La précision exacte à n documents
La précision@n est la précision des résultats vis-à-vis de la requête à n documents, et permet de mesurer la capacité d’un SRI à retourner les documents pertinents par les n-premiers documents retournés en réponse à la requête. Par exemple, pour une requête q, une précision à 10 documents notée P @10, est calculée par la proportion de documents pertinents retournés parmi les dix premiers documents.
4. Précision Moyenne (Mean Average Precision)
C’est la moyenne des valeurs de précision moyennes (Average Precision-AP) pour chaque document pertinent, appelée aussi la précision à 11 points de rappel. Elle permet de calculer la précision des résultats vis-à-vis d’un ensemble de requêtes et se focalise principalement sur les documents pertinents classés dans les premiers rangs, soit :
M AP =
P
q∈QAPq
|Q| (1.14)
avec APq est la précision moyenne d’une requête q, Q est l’ensemble des requêtes et |Q|
est le nombre de requêtes. 5. F-mesure
La F-mesure est une mesure qui combine la précision et le rappel et leur pondération. Cette mesure permet d’évaluer la performance globale du SRI. Dans (Blair et Maron, 1985), l’auteur a proposé de combiner le rappel et la précision dans la F-mesure, qui se calculent comme suit :
Fγ =
(1 + γ2) ∗ (P récision ∗ Rappel)
(γ2∗ P récision + Rappel) (1.15) pour des valeurs réelles positives de γ traduisant l’importance relative du rappel et de la précision. Un cas particulier de la mesure générale Fγ est F1 (γ = 1), dans ce cas particulier la F-mesure définit la moyenne harmonique du rappel et de la précision :
F -mesure = 2 ∗ P récision ∗ Rappel
(P récision + Rappel) (1.16) 6. La mesure BPREF : pour les collections volumineuses, la construction de jugements de pertinence complets est difficile voir impossible puisque elle est très coûteuse en terme de temps. Afin de pallier cet inconvénient, (Buckley et Voorhees, 2000) ont proposé la mesure BPREF (Binary PREFerence-based measure). Cette mesure ne considère que les documents jugés et elle prend en compte les documents pertinents et les documents non pertinents. Elle est donnée par la formule suivante :
bpref = 1 R X r 1 −n classés avant r R (1.17)
Avec R le nombre de documents pertinents pour la requête, r est un document pertinent et n est le nombre de documents non pertinents classés avant le document pertinent r.
6
Conclusion
Ce chapitre a porté principalement sur les notions et concepts de base du domaine de la recherche d’information. Nous avons présenté et décrit les étapes principales du processus de RI, à savoir : l’indexation de la collection de documents et l’interrogation de l’information qui est basée sur les modèles d’appariement document-requête. Les principaux modèles de RI ont été présentés ainsi que les caractéristiques de chaque modèle. Nous avons présenté ensuite la notion de reformulation/expansion de requêtes, une stratégie permettant de pallier les problèmes rencontrés lors de la phase de l’appariement document-requête. Nous avons également présenté les fondements du processus d’évaluation à travers la présentation des campagnes d’évaluation de référence ainsi que les mesures d’évaluation. Le chapitre qui suit est consacré aux fondements et aux spécificités de la RI médicale.
Chapitre 2
Recherche d’information médicale :
principes de base
Sommaire
1 Introduction . . . . 43 2 Aperçu du domaine de la RI médicale . . . . 44
2.1 Enjeux et défis du domaine . . . 44