Évaluation de la perception de la séquence d’ac- d’ac-tivité issue d’une séquence de tâches

Nous avons mis en place une évaluation ain d’étudier si une séquence de l’activité basée sur le modèle de tâches (c’est à dire dont les événements sont conformes aux tâches du modèle et dont l’ordre de séquence respecte les contraintes exprimées dans le modèle de tâches), lorsqu’elle était présentée sous forme textuelle à partir des concepts du modèle de données, permettait au lecteur de se représenter le déroulement de la sortie ([Baez et al., 2015]). Pour ce faire, nous avons présenté des séquences d’activité sous forme tex-tuelle et nous avons demandé à 18 personnes francophones (12 hommes et 6 femmes), âgées de 19 à 38 ans et habitants dans la région grenobloise, de reconstruire sur unetimelinele déroulement de l’activité rapportée (cf Figure 6.8). Les éléments à placer sur la timeline étaient les tâches du modèle de tâches (sous forme de cartes 6.8). Les participants avaient la possibilité d’y ajouter toutes les informations qu’ils souhaitaient (cf Figure 6.9).

soit présentés dans leur version originale (tel que trouvée sur le site skitour.fr), soit issus d’une génération automatique de texte à partir des connaissances des modèles (Figure 6.10), sans que les participants ne soient informés du mode de production du texte. Le tableau 6.9 présente la répartition des textes attribués aux 18 participants.

Ils montent pour aller sommet du Charmant Som. Ils observent par rapport à l’en-soleillement qu’il y a de brume. Ils avancent le couloir NO. Ils rencontrent 2 skieurs au sommet. Les deux skieurs décident de faire demi-tour en raison de être un peu intimidés par le couloir vierge. Ils descendent. Ils observent par rapport à l’épaisseur de la neige que le fond dur et couche fraîche. Ils s’arrêtent à cause de proiter du lieu. Ils descendent jusqu’à 1450m. Ils s’arrêtent à cause de remonter le Pré Batard. Ils observent par rapport à l’ensoleillement qu’il y a de brume. Ils avancent pour aller la Combe de l’If. Ils avancent pour aller jusqu’au Nord pour avoir l’avantage d’ofrir de belles vues de face du couloir. Ils s’arrêtent pour manger. Ils observent par rapport à l’ensoleillement qu’il y a de brume. Ils descendent. Ils s’arrêtent à cause de chausser. Ils observent par rapport à l’épaisseur de la neige que grosse poudre. Ils avancent sur une plaque dure en ski. Ils afrontent un décrochage de ski. Ils avancent. Ils décident de se diriger au jugé vers le habert en raison de ne pas avoir plus guère. Ils s’arrêtent à cause de remettre les peaux pour remonter au Collet. Ils observent par rapport à l’épaisseur de la neige que poudre épaisse. Ils décident de forcer le passage skis sur le sac puis à pieds en raison de être un passage diicile à trouver. Ils s’arrêtent à cause de rechausser. Ils avancent pour aller le Collet pendant 1h30 pendant 500m. Ils descendent pour aller aux Révols.

Fig. 6.10: Texte généré automatiquement

Répartition des textes

Participant Texte 1 Texte 2 Texte 3 1 (mod 6) 37304-gen 38809-gen 54494-original

2 (mod 6) 37304-original 38809-original 54494-gen

3 (mod 6) 37304-original 38809-gen 54494-original

4 (mod 6) 37304-original 38809-gen 54494-gen

5 (mod 6) 37304-gen 38809-original 54494-original

6 (mod 6) 37304-gen 38809-original 54494-gen

Tab. 6.9: Répartition des textes par participant 135

La distance entre les réponses du participant et les récits utilisés comme référence a été calculée à travers le “taux d’erreur de mots” (Word Error Rate

– WER). Il s’agit d’une mesure standard du TALN notamment en reconnais-sance automatique de la parole pour évaluer l’erreur (la distance d’édition) entre le mot prononcé et le mot transcrit. Ainsi la distance entre un phrase de reference et sa transcription est calculée par l’équation du WER suivante :

WER = ^S+D+I

N (6.2)

où

• S est le nombre de substitutions (mots de la référence remplacés par

d’autre mots dans la transcription)

• D est le nombre d’omissions (mots de la références non trouvés et non

substitués dans la transcription)

• I est le nombre d’insertions (mots dans la transcription non trouvés

dans la référence et non substitués)

• N est le nombre de mots total de mots prononcés

Le résultat du calcul de la distance pour les textes générés (computer) et les textes écrits (human) est présenté dans la igure 6.11. Une ANOVA a été réalisée sur les valeurs de distance. Elle montre un efet du texte, c’est à dire, un efet selon le mode de production du texte (F(1,18) = 7,583, p=0,0131). Ces résultats ont montré également que la distance dépend du participant (F(17,18)=2.281, p=0.0457). Les résultats montrent que la perception de la séquence a été meilleure avec des textes générés automatiquement qu’avec ceux issus du corpus. Les textes générés présentent un ordre chronologique plus explicite, ce qui peut expliquer que les participants ont été plus capables de percevoir la structure chronologique des événements.

Un autre résultat observé est la taille des séquences décrites (sur les ti-melines) en nombre d’événement en fonction du type de textes (Figure 6.11). Une diférence sur la taille des séquences identiiées a été trouvée selon le type de récit lu (F(1.48)=5.604, p=0.022). La taille de la séquence spéciiée est plus importante lorsqu’elle est construite à partir d’un texte généré.

Ainsi, les résultats semblent indiquer que les textes générés introduisent moins d’erreurs de compréhension du déroulement que les textes produits par les skieurs. Les textes humains entrelacent plusieurs informations qui pour-raient rendre plus diicile la compréhension de la séquence ou, au contraire, présentent des omissions qui seraient aussi un problème pour capturer cor-rectement le déroulement.

obtenues par traitement des données captées (voir la section 6.2.2). Dans notre ontologie 5 types d’événements peuvent être instanciés (Tableau 6.10). Pour une sortie réalisée, l’ontologie sera donc peuplée d’événements de ces types là avec des propriétés complétées donnant des informations temporelles (les propriétésStart_TimeetEnd_Time) et de liens avec les entités (comme

has_actor). La Figure 6.12 présente l’instanceActivity_Event_13(une pause réalisée de 12 :40 :12 à 12 :57 :45 près d’une fontaine) qui fait suite à

l’ins-tance d’événementActivity_Event_10. Ces événements sont alors associés à

des tâches du modèle de tâches selon les règles basées sur la sémantique des événements ou des valeurs attribuées à leurs propriétés (Tableau 6.10).

Description de tâches en termes

Événements de l’ontologie tâches concrètes du modèle de tâches Activity_Event si Travel_Mode!=stop alors Avancer

siTravel_Mode=stop alors Faire une pause ou Subir un incident

Condition_Event Évaluer les conditions de randonnée

Decision_Event Prendre une décision

Physology_Event Évaluer les conditions de randonnée

Weather_Event Évaluer les conditions de randonnée

Tab. 6.10: Caractéristiques de tâches concrètes

À partir de ce traitement, il est possible d’aboutir à une séquence de tâches concrètes qui, présentée dans le format des ichiers de scénarios de K-MADe, est jouable dans l’outil de simulation (en suivant la même procédure que celle décrite pour la vériication du modèle, section 6.3.2). Deux cas se présentent alors :

• la simulation réussit à jouer la séquence. La séquence d’événements telle que construite avec l’ontologie correspond à un déroulement permis par la modélisation de l’activité.

• la simulation ne réussit pas à jouer la séquence. Il faut trouver une séquence valide vis à vis de l’activité qui prend en compte la séquence d’événements telle que construite avec l’ontologie.

Lorsque la simulation échoue, il faut chercher à construire une séquence d’événements valide en nous reposant sur les événements à notre disposition.

à états inis qui conserve la hiérarchie. Le deuxième pas (2) est la transfor-mation de la séquence abstraite dans les données sous forme d’automates. La igure 6.14 (2) présente deux exemples : laséquence A et laséquence B conte-nant comme symboles le numéro attribué à chaque tâche d’après le niveau où elle se trouve dans le modèle (par exemple, le 1 est pour ”Aller au point du départ”). Le troisième pas (3) est la composition de l’automate du modèle et celui de la séquence. Il y a deux résultats possibles : 1) si la séquence est acceptée par l’automate du modèle, cela veut dire qu’il s’agit d’une exécution valide de l’activité (Séquence A) ou 2) la séquence est rejetée en raison d’une inconsistance vis à vis du modèle de tâches (Séquence B).

Ain d’identiier les tâches pouvant manquer dans la séquence, un

mé-canisme de recherche de la séquence valide la plus proche de la séquence originale a été mis en place. Il consiste à composer l’automate du modèle de tâches avec l’automate d’un modèle d’édition. Le modèle d’édition est très utilisé dans le Traitement Automatique de Langues, particulièrement dans la Reconnaissance et Synthèse de la Parole. Il permet d’identiier les difé-rences d’une chaîne en la comparant avec une autre prise comme référence. Trois variations sont comprises : insertion, omission et substitution. Dans cette thèse, nous avons développé le modèle d’édition avec les omissions pos-sibles (c’est à dire, des tâches manquantes). Le résultat de la composition du modèle d’édition et de la séquence rejetée est le treillis de tous les chemins valides possibles. Dans notre approche nous sélectionnons le chemin le plus court, c’est à dire, celui avec le moins d’omissions. Dans l’exemple de la i-gure 6.14 (4), nous pouvons observer qu’après l’exécution de la méthode de recherche, la Séquence B n’a pas été acceptée car elle ne comportait pas la tâche “Aller au point du départ”, laquelle doit toujours apparaître au début des exécutions. Dans ce cas, plusieurs choix peuvent être considérés. Soit la tâche doit être reconstruite à partir d’autres données connues, soit une ellipse doit être générée explicite ou implicite. Nous reviendrons sur cet aspect dans la conclusion du mémoire.

6.5 Conclusion sur la modélisation de