Mesures d’évaluation orientées utilisateur

Ces mesures sont principalement issues de réponses à des questionnaires soumis aux collaborateurs afin d’estimer leur engagement dans la session, l’effort cog-nitif fourni et également le degré de conscience de l’environnement collaboratif. De nombreuses mesures sont définies dans (Shah, 2012), nous présentons seule-ment les deux principales qui pourraient avoir un impact avec une évaluation d’un modèle de RIC.

L’effort cognitif. La mesure la plus utilisée en RIC est celle liée à la mesure de

l’effort cognitif du fait que certains travaux ont démontré que la collaboration engageait un coût additionnel lié aux interactions et à la coordination entre collaborateurs (Fidel et al., 2004). Le formulaire le plus utilisé à cet effet est le formulaire “TLX instrument”4, défini par la NASA et illustré dans la Figure 3.15. Il inclut six questions qui nécessitent une réponse numérique comprise entre 1 et 5 (ou 7), respectivement très faible à très élevé.

Figure3.15: Questionnaire du formulaire “TLX instrument”

La communication. Lors d’une tâche de RIC, les interactions entre les

uti-lisateurs peuvent être utilisées pour structurer la collaboration aussi bien que pour échanger des informations. Il est donc important de considérer le processus de communication afin d’évaluer la qualité de la collaboration et les stratégies utilisées. Dans cet objectif, Strijbos et al. (2004) ont défini une catégorisation des messages de communication entre collaborateurs, synthétisée dans la Figure 3.16. Afin de mener une analyse quantitative, González-Ibáñez et al. (2013) proposent de mesurer le nombre de messages générés dans le processus de

laboration ainsi que le nombre de mots des messages générés par minute. Ces deux mesures peuvent être calculées sur l’ensemble du groupe ou par utilisateur afin d’identifier les différences entre collaborateurs.

Figure 3.16: Catégorisation des messages entre collaborateurs (González-Ibáñez et al., 2013)

Résumé

Nous avons présenté dans ce chapitre les concepts de base de la RIC ainsi que les principales approches de l’état de l’art. Ces dernières regroupent des aspects liés au domaine des interactions homme-machine par la proposition d’interfaces adaptées au contexte multi-utilisateurs ainsi que des modèles fondamentaux de RIC dont l’objectif est d’ordonnancer les documents. Enfin, nous avons abordé l’aspect lié à l’évaluation d’un tel domaine en présentant les adaptations des cadres expérimentaux existants en RI individuelle liées à la collaboration.

Discussion et conclusion

Dans cette partie, nous avons proposé une synthèse des travaux de l’état de l’art qui détaille le fondement de nos travaux de recherche. Nous avons abordé, dans un premier temps, les concepts fondamentaux de la RI, communément appelée la RI ad-hoc (Salton and McGill, 1983). Puis, nous nous sommes intéressés à la dimension utilisateur d’une session de recherche individuelle en détaillant les approches de la litérature (Agichtein et al., 2006; Balog et al., 2009; Pickens et al., 2008; Amer-Yahia et al., 2007) qui utilisent des facteurs utilisateurs, tels que les intérêts, le niveau d’expertise ou le rôle, dans la fonction de pertinence des documents. Enfin, nous avons axé notre état de l’art vers le domaine de la RIC (Hansen and Järvelin, 2005), sous-jacent aux contributions présentées dans ce manuscrit. Les caractérisques de chacun de ces sous-domaines de la RI sont détaillées dans le Tableau 3.4. Les principales dimensions d’analyse reposent sur le besoin en information, modélisé par une requête, les utilisateurs, les facteurs utilisés dans l’estimation de la pertinence des documents et les paradigmes sous-jacents au domaine.

Requête Utilisateur Facteurs Paradigme

Individue l Collab orativ e Unique Group e Do cume nts Individu Group e One size fits al l Con te xte Divis ion du tra vail P artage de s conn ais sanc es RI ad-hoc _{          } RI orientée utilisateur _{          } RI collaborative _{          }

Plus particulièrement, la RIC peut être abordée selon deux principales approches (Joho et al., 2009) :

— La proposition d’interfaces adaptées au contexte multi-utilisateurs afin de supporter les interactions et la gestion des données liées au cadre de la colla-boration.

— La proposition de modèles ou techniques de RI qui permettent d’estimer la pertinence des documents compte tenu du contexte multi-utilisateurs imposé par la collaboration.

Comme présenté précédemment, la RIC est multi-disciplinaire (Foster, 2006; Shah, 2013) recouvrant, entre autres, les aspects liés aux modèles d’ordonann-cement, à l’analyse du comportement et aux interfaces homme-machine. Ainsi, bien que présentant des démarches intéressantes dans la résolution du problème collaboratif en s’appuyant sur les paradigmes de la division du travail (Kelly and Payne, 2013), du partage des connaissances (Foley and Smeaton, 2010) ou de la conscience de l’environnement collaboratif (Dourish and Bellotti, 1992), les travaux publiés ne couvrent pas l’ensemble du domaine et ouvrent de nom-breuses perspectives de recherche. Dans cette optique, nous contribuons dans ce manuscrit à répondre à deux aspects non traités dans les travaux de la littéra-ture :

1. La prise en compte de l’expertise des collaborateurs dans l’objectif d’adapter les modèles d’ordonnancement à cette caractéristique. Nous faisons ainsi l’hy-pothèse que le résultat de la collaboration peut être amélioré si les utilisateurs jugent des documents en accord avec leur niveau d’expertise.

2. La prise en compte de la variabilité des rôles des collaborateurs qui se base sur le fait que les utilisateurs se comportent différemment au cours de la session et peuvent changer de rôle en fonction des documents visités ou des interactions avec les autres membres du groupe. Nous proposons ainsi un nouveau type de modèles de RIC reposant sur une médiation hybride utilisateur-système.

Deuxième partie

Vers des modèles de

recherche d’information

collaborative basés sur

l’expertise

Introduction

D’un point de vue cognitif, l’expertise de domaine est perçue comme la capacité d’un utilisateur à identifier les patrons de compréhesion d’une information et à déployer les compétences pour les résoudre (Patel and Arocha J.F., 1999). Plus généralement, l’expertise de domaine d’un utilisateur englobe les connaissances des utilisateurs par rapport à un sujet. Elle est un facteur prépondérant dans le processus de RI dans la mesure où elle infère sur la perception du besoin en information (Hembrooke et al., 2005), la technicité du vocabulaire utilisé (Allen, 1991; White and Dumais, 2009) et la capacité des utilisateurs à identifier des documents pertinents (Hembrooke et al., 2005; White and Dumais, 2009). Par conséquent, il semble important d’adapter les modèles d’ordonnancement par rapport au niveau d’expertise de domaine des utilisateurs.

En RI orientée utilisateur, le facteur d’expertise est principalement utilisé pour la détection d’experts, appelés également autorités du domaine, (Balog et al., 2009; Demartini, 2007; Zhang et al., 2007). Certains travaux (Ben Jabeur et al., 2010; Lee et al., 2001) intègrent l’expertise comme un facteur d’ordonnance-ment (Bharat and Mihaila, 2001; Kirsch et al., 2006; Ben Jabeur et al., 2010). Cependant, ces travaux sont orientés pour un contexte de RI individuelle, et bien que pouvant être appliqués pour une tâche de RIC, ils ne prennent pas en compte les paradigmes de la collaboration, comme la division du travail. Parmi les approches collaboratives qui proposent une médiation algorithmique orien-tée collaboration, le facteur d’autorité proposé par Foley and Smeaton (2009), permettant d’agréger les pertinences individuelles afin d’estimer la pertinence collective, qui peut être assimilé à un indicateur du niveau d’expertise des uti-lisateurs. Cependant, l’intuition de ce modèle basé sur la pertinence collective ne personnalise pas les ordonnancements par rapport à l’expertise des collabo-rateurs. Une deuxième approche a été utilisée en RIC qui consiste à définir des rôles asymétriques (Golovchinsky et al., 2009b) afin de personnaliser les ordon-nancements par rapport aux tâches de recherche assignées aux collaborateurs. Jusqu’alors, les travaux (Pickens et al., 2008; Shah et al., 2010) proposent des paires de rôles, à savoir prospecteur-mineur et rassembleur-surveilleur, qui sont plutôt basées sur des compétences de recherche, comme la capacité d’un utili-sateur à identifier rapidement les documents pertinents ou favoriser la diversité par l’aptitude à reformuler les requêtes.

D’après notre état de l’art du domaine, il n’existe donc pas à ce jour de modèles de RIC permettant à la fois (a) de garantir les paradigmes de la collaboration, et plus particulièrement celui de la division du travail afin d’éviter la redon-dance entre les actions (Foley and Smeaton, 2010; Kelly and Payne, 2013), et (b) d’intégrer l’expertise de domaine des collaborateurs comme facteur de per-sonnalisation des ordonnancements afin d’optimiser la session de recherche en bénéficiant au mieux de leurs connaissances vis-à-vis du sujet de la requête. La prise en compte des jugements de pertinence dans les modèles de RIC (Foley and Smeaton, 2009; Morris et al., 2008; Pickens et al., 2008; Shah et al., 2010)

est une première approche à cette problématique, mais elle reste surfacique dans la mesure où les jugements de pertinence sont plus abordés comme un outil de recommandation qui restitue aux collaborateurs des documents similaires à ceux précédemment sélectionnés (Foley and Smeaton, 2009). Cette approche s’oppose à l’hypothèse que les modèles d’ordonnancement doivent être capables de for-mer l’utilisateur novice en lui proposant des documents nouveaux et de plus en plus complexes, afin de lui permettre d’augmenter son niveau de connais-sances vis-à-vis du sujet (White and Dumais, 2009). Il est cependant possible d’exploiter l’expertise des utilisateurs comme une caractéristique intrinsèque des collaborateurs qui peut être directement impliquée dans le calcul de la perti-nence des documents. Par exemple, deux utilisateurs qui collaborent pour ré-soudre un même besoin en information et ayant des connaissances différentes sur le sujet peuvent apprécier différemment la technicité du vocabulaire ou la spécificité de l’information contenue (Hölscher and Strube, 2000; White and Du-mais, 2009). De plus, l’expertise des utilisateurs est d’autant plus pertinente lors d’une session collaborative que la collaboration émerge de la complémentarité des compétences des utilisateurs (Sonnenwald et al., 2004; Spence et al., 2005). Dans ce contexte, nous proposons de résoudre cette limite en intégrant le facteur d’expertise au sein du processus de RIC, comme un facteur intrinsèque aux utilisateurs dans un modèle d’ordonnancement collaboratif des documents. Plus particulièrement, nous considérons la dimension de l’expertise selon deux axes : 1. L’axe vertical qui fait l’hypothèse que certains collaborateurs ont un niveau d’expertise plus élevé que d’autres vis-à-vis du sujet de la requête, ce qui leur confère respectivement les rôles d’expert et de novice de domaine. Patel and Arocha J.F. (1999) distinguent les experts des novices de par leur mémoire à long et court terme plus élevée pour les informations spécifiques à son domaine de prédilection tandis que les novices ont une vision plus globale du sujet caractérisée seulement par une connaissance surfacique.

2. L’axe horizontal qui fait l’hypothèse que les collaborateurs ont une expertise différente au sein même du sujet et que chacun d’entre eux a des connaissances spécifiques par rapport à des sous-domaines du besoin en information. Dans le chapitre 4, nous détaillons les deux modèles de RIC sous-jacents aux dimensions verticale et horizontale des niveaux d’expertise des collaborateurs. Nous présentons également le protocole expérimental qui nous a permis de va-lider ces modèles.

Chapitre 4

Modèles de recherche

d’information collaborative

basés sur l’expertise des

collaborateurs

Introduction

Dans ce chapitre, nous nous intéressons à un contexte de RIC où les utilisa-teurs sont caractérisés par différents niveaux d’expertise vis-à-vis du besoin en information. Nous proposons deux modèles d’ordonnancement collaboratif de documents intégrant respectivement :

1. Une distinction verticale des niveaux d’expertise sur la base des rôles d’expert et de novice de domaine (Soulier et al., 2014b,c).

2. Une distinction horizontale des niveaux d’expertise sur la base du rôle d’ex-pert de sous-domaines dans l’objectif de répondre à un besoin en information à multiples facettes (Soulier et al., 2013).

La suite du chapitre est organisée comme suit. La section 4.1 présente le contexte et introduit les questions de recherche de nos contributions. La section 4.2 dé-taille les deux modèles d’ordonnancement collaboratif basés sur l’expertise des utilisateurs. Enfin, l’efficacité de ces modèles est évaluée dans la section 4.3 où nous présentons le cadre expérimental et les résultats obtenus pour chacune des deux contributions.