Évaluations et expérimentations
7.2 Analyse conversationnelle manuelle du corpus Daft
7.2.1 Motivation de l’analyse
Pour rappel, lors de la phase de recueil du corpus Daft, les sujets humains étaient informés qu’ils devaient réaliser un certain nombre de tâches pour lesquelles ils pouvaient, si nécessaire, faire appel à un agent conversationnel intégré au programme capable de les assister. Les sujets demeuraient néanmoins entièrement libres pendant leur interaction avec le système d’avoir ou non recours à l’agent, et lorsqu’ils le faisaient, ils étaient également libres dans la formulation de leurs requêtes à celui-ci, tant sur le fond (contenu sémantique) que sur la forme (formulation employée).
Or des comportements d’interaction différents sont ainsi apparus, et une simple lecture de quelques phrases ainsi recueillies montre immédiatement que des utilisateurs ont même parfois (au moins temporairement) complètement abandonné leur tâche d’origine. Ainsi, il apparaît que dans de nombreux cas (cf. tableau7.3), les phrases recueillies n’étaient pas vraiment liées au domaine de l’assistance qui nous intéresse prioritairement. C’est pour cette raison que nous nous sommes intéressés à qualifier et à quantifier ces différents types de requêtes apparaissant dans notre corpus.
7.2.2 Définition de la notion d’activité conversationnelle
Nous nommerons par la suite “activité conversationnelle” la représentation du premier de-gré de l’intentionnalité communicative de l’utilisateur, c’est-à-dire ce qui pourrait constituer le premier niveau d’actes de dialogue dans une classification à plusieurs niveaux. La définition de cette classification d’activités conversationnelles est clairement liée au contexte d’énonciation, qui correspond ici à une interaction avec un agent visant à assister l’utilisateur. Par ailleurs il s’agit d’une classification réalisée a posteriori, à partir du corpus de requêtes recueillies.
7.2.3 Méthodologie d’étude 7.2.3.1 Principes
Afin d’étudier les différentes activitiés conversationnelles du corpus Daft, nous avons tra-vaillé à partir de deux sous-ensembles de phrases extraits aléatoirement du sous-corpus de phrases collectées (Daftr), Daftsub1 et Daftsub2 (définis en section 3.3.3.2) dans la mesure où les phrases issues de Dafte augmentent la couverture en termes de requêtes d’assistance, mais faussent les proportions de celles-ci au sein du corpus total Daft.
Ces phrases ont été annotées manuellement par un annotateur unique de manière successive : tout d’abord, l’annotation de Daftsub1 a permis d’établir de manière empirique les distinc-tions entre requêtes, de manière à systématiser un protocole d’annotation (décrit dans la section 7.2.3.2). Ce protocole a ensuite été rigoureusement suivi pour procéder à l’annotation du deuxième sous-ensemble, Daftsub2.
Un extrait (non représentatif) de phrases issues de Daftsub1 et Daftsub2 est donné dans la table 7.3 dans le seul but de servir de base d’exemples pour illustrer les différentes activités conversationnelles décrites.
7.2.3.2 Protocole d’annotation
La première question que l’on est amené à se poser est de savoir si l’utilisateur demeure dans le contexte de l’accomplissement d’une tâche (a priori, celle donnée en objectif), ou si, au contraire, il rentre dans une discussion qui n’est plus tant centrée sur l’application que sur l’agent conversationnel lui-même. On établit donc un premier niveau de classification par rapport au contenu thématique de la requête :
− les requêtes orientées tâche : dans lesquelles l’utilisateur œuvre de manière plus ou moins directe à se rapprocher d’un état particulier de l’application qu’il souhaite at-teindre, indépendamment de savoir si, se faisant, il parvient effectivement à se rapprocher de cet état ou non (ex : phrases 1 à 9 du tableau7.3) ;
− les requêtes orientées discussion : où l’objectif de l’utilisateur n’est plus lié à l’ap-plication mais plutôt l’intérêt même d’une interaction avec l’agent en tant qu’entité
No Requête d’utilisateur
1 appuies sur le bouton quitter 2 clickersur le bouton back 3 bon, reviens à l apage d’accueil 4 a quoi sert cette fenêtre, 5 c quoi le GT ACA
6 le bouton "fermer" et le bouton "quitter" ont exactement le même fonctionnement ? 7 je ne vosi aucune page de demso ! !
8 j’ai été surprise qu’il manque une fonction d’annulation globale 9 ça serait mieux si on pouvait aller directement au début 10 ca marche :-)
11 non alors ! 12 ah bon ?
13 je comprend rien a ce que t’a dit 14 réponds-moi stp
15 hello comment ça va ? 16 auf viedersen
17 marco ?
18 je n’ai plus besoin d’aide 19 et si on se disait vous ?
20 Quel genre de musique tu aimes ? 21 j’aime tes cheveux Léa
22 bon à rien !
23 ne me force pas à te tuer ! 24 La présentation est élégante 25 je suis ce que je suis
Tableau 7.3 Sous-ensemble de requêtes réelles issues de Daftsub, sélectionnées de manière à représenter différentes activités conversationnelles
supposée intelligente et dont on s’attend à ce qu’elle exhibe certains comportements hu-mains, et en particulier une capacité à répondre à des questions personnelles ou de sens commun (ex : phrases 10 à 25).
Dans le contexte de l’étude de la fonction d’assistance, c’est clairement plutôt la première catégorie qui nous intéresse. Au sein de celle-ci, la seconde distinction à effectuer concerne donc le fait de savoir si la requête liée à la tâche vise à l’accomplissement direct de celle-ci ou si elle correspond à une utilisation de l’agent dans son rôle premier d’assistant. Plus précisément, on distingue :
− les requêtes de contrôle : où l’utilisateur fait appel à l’agent en tant que média-teur pour interagir avec l’application qu’il assiste. Ainsi, au lieu d’effectuer lui-même les actions à l’aide de la souris ou du clavier en faisant usage de l’interface graphique traditionnelle de l’application, l’utilisateur considère que la présence de l’agent implique la possibilité pour lui d’interagir de manière dialogique avec l’application qu’il assiste (et donc que l’agent a la possibilité de transmettre ce genre de requêtes à l’application – ex : phrases 1 à 3) ;
− les requêtes d’assistance : qui sont au cœur de notre étude et sont donc celles que l’on souhaite être capable de traiter en priorité (ex : phrases 4 à 9).
Au sein même des requêtes d’assistance, les demandes d’aide sont plus au moins directes, et peuvent donc parfois nécessiter un traitement plus complexe lorsqu’il est nécessaire d’expliciter les intentions réelles de l’utilisateur, parfois exprimées de manière implicite. Nous avons donc subdivisé celles-ci en :
− requêtes d’assistance directes : dans lesquelles une question est explicitement posée par rapport à un élément ou un processus de l’application (ex : phrases 4 à 6) ;
− requêtes d’assistance indirectes : qui regroupent des jugements d’utilisateurs au sujet de l’application qui seraient interprétés par des assistants humains comme un besoin d’assistance ; elles nécessitent donc une couche de prise en compte de la pragmatique au niveau du système pour détecter la signification implicite2 (ex : phrases 7 à 9).
En ce qui concerne les requêtes orientées discussion, bien qu’elles soient moins en rapport avec notre objectif, devant leur importance quantitative au sein de Daftsub1 (cf. section7.2.4), nous avons toutefois souhaité détailler leur subdivisions. Plus particulièrement, on distingue en fonction du thème de la discussion :
− les réactions à une réponse de l’agent : c’est-à-dire l’ensemble des façons d’exprimer : – son accord ou son désaccord (ex : phrases 10 et 11),
– son incrédulité (ex : phrase 12), – son incompréhension (ex : phrase 13), – son insistance (ex : phrase 14).
− les fonctions communicatives : correspondant à l’ensemble des formules :
2Notons que dans ce type de requêtes, l’utilisateur va à l’encontre des maximes de Grice (cf. section1.2.3.3)