Notion de pertinence

Pertinence est la notion centrale dans la RI car toutes les évaluations s'articulent autour de cette notion. Mais c'est aussi la notion la plus mal connue, malgré de nombreuses études portant sur cette notion. Voyons quelques définitions de la pertinence pour avoir une idée de la divergence. En effet, la pertinence est:

• la correspondance entre un document et une requête, une mesure d'informativité du document à la requête;

• un degré de relation (chevauchement, relativité, …) entre le document et la requête; • un degré de surprise qu'apporte un document, qui a un rapport avec le besoin de

l'utilisateur;

• une mesure d'utilité du document pour l'utilisateur.

Même dans ces définitions, les notions utilisées (informativité, relativité, surprise, …) restent très vaques parce que les utilisateurs d'un système de RI ont des besoins très variés. Ils ont aussi des critères très différents pour juger si un document est pertinent. Donc, la notion de pertinence est utilisée pour recouvrir un très vaste éventail des critères et des relations. Par exemple, un utilisateur qui a formulé la requête sur "système expert" peut être satisfait par un document décrivant toutes les techniques utilisées dans "MYCIN" qui est un exemple typique de système expert. Cependant, un deuxième utilisateur peut juger ce même document non pertinent car il cherche plutôt une description non technique. Dans les deux situations, la relation entre le document et la requête est appelée "pertinence".

De nombreux travaux ont été menés sur cette notion. En effet, la pertinence n'est pas une relation isolée entre un document et une requête. Elle fait appel aussi au contexte de jugement. Ainsi, Tefko Saracevic [Saracevic, 1970] propose la définition suivante pour tenir compte de cette influence multiple du contexte sur la pertinence :

« La pertinence est la A d'un B existant entre un C et un D jugé par un E, où : • A = intervalle de la mesure ;

• B = aspect de la pertinence (la pertinence absolue) ; • C = un document ;

• D = contexte dans lequel la pertinence est mesurée (y compris le besoin d'information) ; • E = le juge (l'utilisateur) ».

Il reconnaît déjà l'importance du contexte sur la pertinence, ainsi que l'utilisateur lui-même. Si on varie ces facteurs, la notion de pertinence change aussi.

Selon [Schamber et al., 1990] la pertinence est fonction de la qualité d’information, elle est toujours liée à un utilisateur alors que la quantité d’information ne l’est pas. Ces auteurs ont défini la pertinence de la manière suivante :

« La pertinence est un concept dynamique qui dépend du jugement de l’utilisateur sur la

proximité de l’information lue et celle qui est nécessaire. La pertinence est un concept mesurable ».

Pour tenir compte de cette influence multiple, ces auteurs ont décomposé la problématique de pertinence selon les trois axes suivants :

• Le comportement regroupe la description et l’analyse du comportement de l’utilisateur : le contenu, la description du document, le savoir de l’utilisateur, la manière de formuler sa requête et la possibilité d’interactivité en particulier la possibilité de reformuler sa requête ;

• La mesure concerne l’étape de construction de mesure et particulièrement le jugement de valeur par l’utilisateur : la dichotomie (oui/non), la grille de collecte selon une échelle de valeurs prédéfinies ou la note libre ;

• La terminologie concerne la définition du concept de pertinence.

Par ailleurs, Mizzaro [Mizzaro, 1997] propose un modèle élaboré à partir de son étude récapitulative des différents aspects de la pertinence, il recense et classifie un ensemble de liens. Il définit la pertinence comme une relation entre deux entités de deux groupes. D’un coté, on trouve le document, la description et l’information, et d’un autre, on trouve le

problème, le besoin d’information, la question et la requête. Les entités mentionnées peuvent

être décomposées selon trois composantes :

• Le sujet qui correspond au sujet qui intéresse l’utilisateur,

• La tâche qui correspond à l’activité pour laquelle l’utilisateur effectue sa recherche, • Le contexte qui correspond à n’importe quelle autre composante affectant la manière

d’effectuer la recherche et l’évaluation.

La pertinence selon le même auteur peut être perçue comme un point dans un espace à quatre dimensions :

1. La première dimension est relative au document, sa description et à l’information ; 2. La deuxième comporte le problème, le besoin d’information, la question et la requête ; 3. La troisième comporte le sujet, la tâche, le contexte et toute combinaison possible

entre eux ;

4. La quatrième correspond au temps qui s’écoule entre l’apparition du problème et l’obtention de la solution.

Figure 1.4 : Ordre partiel de pertinence

Chaque ligne joignant les objets correspond à une pertinence. La troisième dimension est représentée par les niveaux de gris utilisés. La dimension temps n’est pas représentée pour simplifier le schéma. Les flèches représentent dans quelle mesure une pertinence est proche de la pertinence de l’information reçue au problème de l’utilisateur et dans quelle mesure il est difficile de la mesurer.

Par ailleurs, la question qu'on peut se poser est : à quoi sert d'étudier la notion de pertinence si on sait qu'elle est très variable ? Une des raisons est de tenter de trouver certains comportements communs entre les utilisateurs, et essayer de les formaliser. Si on arrive à cerner une partie de pertinence commune, on pourra l'implanter dans les systèmes pour répondre au moins à une partie commune des besoins. On connaît maintenant certains facteurs communs. Par exemple, le sujet (ou en anglais topic) est le facteur le plus important dans la pertinence. Ainsi, on peut construire des systèmes en utilisant uniquement le critère de sujet, ce qui conduit à l'approche basée sur la topicalité. Une autre raison des études de la pertinence est d'essayer de comprendre exactement comment le contexte influence sur elle. Si on arrive à comprendre cela, par exemple, à trouver des contextes typiques dans lesquels un facteur devient très important, on pourra implanter des systèmes spécialisés en conséquence. Derrière ces études, il y a aussi des motivations philosophiques comme celle de comprendre comment l'humain raisonne.