Collaboration et Jugement de Pertinence

La pertinence est subjective, les utilisateurs (les juges) peuvent exprimer différents jugements de pertinence. Alors il est important de se poser la question suivante : les jugements de pertinence exprimés par différents juges (ou groupe de juges) sont-ils cohérents ?

Selon Mizzaro dans [Mizzaro 1998b] les études qui analysent le comportement des juges lors de l’évaluation de la pertinence ont trouvé que :

• les caractéristiques du juge affectent le jugement de la pertinence, et elles expliquent beaucoup la différence des jugements de pertinence. Par exemple, on a examiné différents groupes de juges regroupés selon les paramètres suivants : type (chercheur ou étudiants), niveau (sénior ou junior) et spécialité (bio-médicine ou science sociale, …). Le paramètre le plus important est la spécialité et il est suivi par le niveau d’étude puis le type.

• la discussion entre juges peut changer les jugements de pertinence de chacun d’entre eux et elle peut résoudre les désaccords.

• la subjectivité du jugement de pertinence est systématique et dépend de deux variables : - la compétence du juge et ses intérêts dans le domaine de la recherche.

- l’ouverture du juge à l’information, c’est-à-dire l’aptitude du juge à percevoir des messages en tant que des messages informatifs.

La subjectivité de la pertinence, fait que les différents utilisateurs qui jugent la pertinence peuvent être d’accord et désaccord entre eux. Cela a amené à mesurer cet accord ou ce désaccord comme dans l’étude suivante.

2.3.1. Mesure de l’Accord ou du Désaccord entre les Juges de Pertinence DES

Dans l’article [Mizzaro 1999], l’auteur essaie de définir les notions d’accord et de

désaccord entre les juges. Pour définir cette mesure, les différentes expressions du jugement

sont prises en compte, à savoir le score de jugement, et le jugement par ordonnancement. Dans la suite, nous présentons la mesure du désaccord, entre deux juges (paragraphe 2.3.1.1) et entre un groupe de juges (paragraphe 2.3.1.2). Les notations utilisées sont les suivantes :

• On indique les jugements de chaque juge par j1, j2, …, jk,… En effet, un jugement ne concerne pas nécessairement un seul document (parce qu’ordonner un seul document n’a pas de sens), mais un ensemble de documents. Le nombre de documents jugés est appelé la cardinalité de jugement |jk|.

• En ce qui concerne le score de jugement, jk est un vecteur de jugement, jk(i) indique la valeur donnée au ième document de l’ensemble de documents jugés par le juge k. Un jugement est dans l’intervalle [0, 1]. Par exemple, pour un ensemble de documents {a, b,

c}, i = 1 indique le document a, un jugement peut être jk = [0.9, 0.2, 0.7], et jk(1) = 0.9

indique le jugement du document a par le juge k.

• En ce qui concerne le jugement par ordonnance, jk contient les documents et les relations entre eux. Par exemple, pour un ensemble de documents {a, b, c}, un jugement par ordonnancement du juge k peut être exprimé ainsi : jk = [bca] (ordre total sans égalité) qui indique que b est moins pertinent que c qui est moins pertinent que a.

2.3.1.1. Mesure du Désaccord entre deux Juges

1. le score de jugement : le désaccord dés entre deux jugements effectués par les juges 1 et 2, soient j1 et j2, est calculé comme la différence moyenne de ces deux jugements :

dés(j1, j2) = ¹ 1 j _i= 1 1 j ∑ | j1(i) - j2(i)|

2. le jugement par ordonnancement : l’idée de base est qu’un ordonnancement est une permutation d’éléments, alors on a à compter la distance entre deux permutations. On mesure le désaccord comme la distance normalisée par la distance maximale (qui est la distance entre un ordonnancement et son opposé). On compte le nombre de permutations.

Par exemple, si on a cinq documents a, b, c, d et e la distance entre j1 [abcde] et j2 [abedc] est 3, parce qu’il faut appliquer trois changements entre les éléments adjacents du premier ordonnancement afin d’obtenir le deuxième :

[abcde] → [abced] → [abecd] → [abedc] _{∨ ∨ ∨}

La distance maximale est la distance entre [abcde] et son opposé [edcba], elle est égale ici à 10. Donc le désaccord entre j1 et j2 est dés(j1, j2) = ₁₀³

2.3.1.2. Mesure du Désaccord d’un Groupe de Juges

Si nous avons un ensemble de jugements J = {j1, j2, …, jn} donnés par n juges. Le désaccord du groupe peut être défini comme la moyenne des désaccords de chaque juge avec les autres juges.

DES(J) = _nn dés n i i k jⁱ j^k ∑^∑ = ≠ − 1 1 ) , (

où la fonction dés est le désaccord entre deux jugements défini dans le paragraphe précédent.

Le désaccord maximal pour un groupe de juges est réalisé lorsque aucun des juges n’a de consensus avec les autres c’est-à-dire chaque juge donne des jugements différents. Ce calcul de désaccord proposé ci-dessus dépend du nombre de juges dans le groupe. Cette valeur du désaccord est une valeur dans l’intervalle [0, 1[ où on n’obtient jamais la valeur 1.

2.4. Conclusion

Ce chapitre a présenté le vocabulaire et quelques notions de base de la pertinence et son jugement ainsi que l’évaluation de la recherche d’information et l’aspect collaboration de la pertinence. Il justifie notre considération de jugement pour aider les utilisateurs comme on va voir plus loin (CHAPITRE.5). Nous tirons plusieurs points intéressants que nous résumons ainsi :

• Il y a plusieurs sortes de pertinence, la pertinence est de nature dynamique. Pour la juger les utilisateurs ont adopté différents critères, et ce jugement peut être exprimé par valeur ou par ordonnancement. Tout cela nous permet de préciser nos concepts de pertinence et son jugement et de nous situer par rapport à la pertinence dont nous allons parler ultérieurement au CHAPITRE.4.

• Les études insistent sur l’importance de la pertinence pour évaluer les systèmes de recherche d’information où plusieurs méthodes et mesures sont proposées et testées pour évaluer la recherche d’information. Nous pouvons, dans notre contexte réutiliser certaines de ces mesures, afin d’évaluer une étape de recherche, un utilisateur et une session de recherche individuelle ou collaborative et même pour évaluer le système de soutien proposé.

• La nature subjective du jugement de pertinence a amené à mesurer l’accord et le désaccord entre différents juges. Nous pouvons utiliser cette mesure afin de déterminer les utilisateurs dont les profils ou les centres d’intérêts sont proches ou similaires. De tels utilisateurs peuvent apporter une aide intéressante l’un à l’autre.

• La plupart des études se basent sur une évaluation de la pertinence pour estimer essentiellement la qualité des documents retrouvés. Peu d’études, à notre connaissance essaie d’évaluer l’utilisateur et son l’efficacité lors d’une session de recherche. Nous nous sommes intéressés à ce problème (CHAPITRE.4) car nous pensons que c’est un élément intéressant pour orienter l’aide apportée par le système dans un environnement collaboratif.

CHAPITRE.3. Fusion

Nous consacrons ce chapitre aux différents travaux effectués sur la fusion de données en recherche d’informations. L’idée maîtresse qui guide ces travaux est la prise en compte et l’intégration de différents points de vue dans la recherche. La fusion peut concerner, d’une part, différentes expressions du même besoin d’information (paragraphe 1.1) et, d’autre part, les différents résultats obtenus en faisant varier :

1. les requêtes (paragraphe 3.2).

2. les systèmes de recherche, (paragraphe 3.3). 3. les collections, (paragraphe 3.4).

Les études dans ce domaine ont essayé de répondre aux questions suivantes : pourquoi la fusion améliore-t-elle la performance mesurée en termes d’un ou plusieurs critères fixés à l’avance (par exemple précision, rappel, ordre des références) ? comment fusionner (les fonctions/méthodes de combinaison des requêtes ou des résultats) ? Enfin, dans quelles conditions et sous quelles contraintes l’amélioration due à la fusion est-elle atteinte ?

Dans les différentes approches, la fusion est effectuée selon un seul des axes énoncés tandis que les autres ne sont pas pris en compte et ne varient pas au cours de l’expérience. Ainsi, quand la fusion est une fusion de multiples requêtes, ces différentes requêtes sont appliquées au même système de recherche et sur les mêmes collections.

Nous nous intéressons enfin, dans le paragraphe 3.5 aux « méta-moteurs de recherche » qui interrogent, pour chaque requête, différents outils de recherche pour fournir une réponse unique à partir des différents résultats obtenus. On peut, en effet, les considérer comme une application commerciale de la fusion des résultats obtenus à partir de plusieurs outils de recherche. Le paragraphe 3.6 dégagent les résultats intéressants pour notre propre travail qui découlent des travaux présentés dans cet état d’art.