Limites de l’évaluation orientée-laboratoire en présence

L’évaluation orientée laboratoire d’un SRI est principalement fondée sur l’utilisation d’une collection de test où les requêtes sont les seules ressources clés qui traduisent le besoin en information de l’utilisateur. Ce type d’évaluation révèle des limites pour l’évaluation des SRI contextuels [111, 98]. Ces limites concernent le non réalisme des collections de test et la non-exhaustivité des mesures d’évaluation, détaillées dans une étude [175] effectuée sur les protocoles d’évaluation des SRI en présence du contexte.

3.2.5.1 Limites des collections de test

Les limites liées aux collections de test concerne l’inadéquation de ces col- lections pour l’évaluation de la recherche d’information en présence du contexte [175, 84]. Plus particulièrement, l’aspect du non-réalisme touche la collection des requêtes et de documents ainsi que des facteurs réels non impliqués dans les jugements de pertinence.

– L’absence du contexte de recherche :

1. Absence des vrais utilisateurs et du contexte de recherche : le modèle d’évaluation classique n’intègre pas des vrais utilisateurs dans des contextes de recherche ou situations précises et les remplace par des assesseurs experts dans le domaine chargés de la création des jugements de pertinence pour chaque Topic.

2. Absence de la dynamique et d’interactions : le modèle d’évaluation orienté laboratoire est fait en mode batch où les requêtes sont sup- posées ainsi représenter à elles seules l’utilisateur. Les utilisateurs directs ayant émis ces requêtes, leurs centres d’intérêt et interac- tions avec le SRI ne figurent pas dans l’évaluation du système. D’où l’absence d’interactions et de dynamique requis pour l’apprentissage du modèle de l’utilisateur dans le cadre de la RI personnalisée. – La faible représentativité des besoins :

la problématique dans l’évaluation orientée-laboratoire concerne égale- ment les requêtes quant à leur représentativité du besoin en information d’une part et la non-incertitude des requêtes d’autre part.

1. Représentativité du besoin en information : le besoin en information de l’utilisateur est représenté par une seule ressource clé, notamment

une requête mots-clés exprimée souvent en langage naturel. Or, c’est tout le problème de la représentation du besoin d’information de l’usager. Les écarts entre ce que nous pensons et ce qui est interprété sont en effet importants.

2. Incertitude des requêtes : les requêtes d’une collection dans l’évalua- tion orientée-laboratoire sont bien définies et ne ne traduisent pas l’incertitude lors des tâches ou situations de recherche réelles [27]. – Les limites de la pertinence thématique :

concernant les jugements de pertinence, les limites sont issues du fait qu’ils sont créés sur la base de l’hypothèse de la pertinence thématique et statique ainsi que de l’indépendance entre les documents pertinents.

1. Pertinence thématique : les jugements de pertinence sont théma- tiques et indépendants des situations et du contexte de recherche. En outre la pertinence considérée est statique qui ne révèle pas la nature dynamique de la perception de pertinence de l’utilisateur qui change avec la dynamique de son besoin pour un même topic d’une situation à une autre [27,187].

Or, il a été bien montré dans [138, 129] que la notion de pertinence est plus complexe, couvrant des niveaux divers liés à la situation de recherche en cours : pertinence cognitive, pertinence affective, pertinence situationnelle, etc.

2. Indépendance de la pertinence entre documents :

l’hypothèse d’indépendance entre les documents pertinents semblent non réelle vu que certains documents contenant de l’information si- milaires dans d’autres documents pertinents peuvent être également pertinents [143]. Nous citons l’exemple des hyperliens reliant séman- tiquement des pages web dans le cadre de la recherche sur le web ou des citations des références bibliographiques dans le cadre de la recherche dans des librairies digitales.

3.2.5.2 La non-exhaustivité des mesures d’évaluation

Les mesures d’évaluation classiques ne sont pas exhaustives dans le sens où le document est jugé pertinent s’il recouvre le topic de la requête indépendamment du contexte et de la tâche de recherche. Nous citons quelques limites de ces mesures comme suit :

– Insuffisance des mesures quantitatives : les mesures de rappel et précision sont des mesures quantitatives considérées insuffisantes pour l’évaluation des SRI en présence du contexte. En effet, l’évaluation par le biais de ces mesures se fait par rapport au nombre de documents retrouvés par le système. Ces mesures ne permettent pas d’évaluer la qualité du système où figurent les interactions de recherche de l’utilisateur.

– Utilisation de la pertinence binaire : la pertinence binaire est largement adoptée dans l’évaluation de performance des systèmes selon les mesures de rappel et précision. Dans le cadre de la RI contextuelle, la pertinence graduelle est la plus adaptée pour l’évaluation de la performance des systèmes en fonction des facteurs liés à l’environnement de recherche et encore de la disposition d’esprit de la personne ayant réellement besoin de ces documents [28]. La pertinence graduelle n’est pas largement uti- lisée en RI contextuelle. Pourtant, elle est utilisée dans la plupart des campagnes d’évaluation telles que TREC, CLEF, INEX, etc.

Malgré les critiques associées aux expérimentations effectuées dans Cran- field II [169], ce modèle d’évaluation est largement adopté dans les campagnes d’évaluation internationales telles que TREC, INEX1 _{et CLEF}2 _{[153, 92, 170]}

vu qu’il présente une base d’évaluation comparative des systèmes tout en ex- ploitant des ressources communes et des mesures d’évaluation standards.

3.3

Vers l’évaluation orientée-contexte pour une

tâche d’accès personnalisé à l’information

Nous présentons dans cette section l’émergence de l’évaluation orientée- contexte des SRI personnalisés. Nous nous intéressons à explorer les modalités d’évaluation du contexte cognitif de l’utilisateur ou son profil ainsi que l’évalua- tion des modèles de RI en présence du contexte. Nous présentons tout d’abord les objectifs de l’évaluation orientée-contexte ainsi que les différentes approches et mesures d’évaluation permettant d’intégrer le contexte de recherche dans le processus d’évaluation.