Analyse des données expérimentales

Nous abordons cette partie en quatre points successifs :

Présentation des groupes : répartition des sujets en fonction des situations expérimentales,

Résultats issus de l'analyse des temps de réalisation,

Résultats issus de l'analyse des taux de réussite,

Résultats issus de l'analyse des données propres à chaque sujet (xations et diamètre

pupille).

Présentation des groupes

Les 8 sujets volontaires ont été aléatoirement répartis en deux groupes. De la même manière,

les scénarios ont été répartis en deux groupes, le premier scénario étant associé à un système

d'aide, et le deuxième scénario à l'autre système. De la sorte, chaque utilisateur a pu tester les

deux systèmes d'aide, selon l'ordre suivant :

Groupe 1 Groupe 2

Scénario 1 "T+G" "O+G" Groupe 1 : Sujets 1, 2, 3, 4

Scénario 2 "O+G" "T+G" Groupe 2 : Sujets 5, 6, 7, 8

Tab. 3.2 Répartition des sujets en fonction des situations expérimentales.

Le premier groupe (Groupe 1) a eu pour support d'aide d'abord le système "Texte+Graphique"

puis le système "Oral+Graphique". Le second groupe (Groupe 2) a eu pour support d'aide

d'abord le système "Oral+Graphique" puis le système "Texte+Graphique".

Temps de réalisation

Les temps de réalisation des scénarios sont donnés en minutes.

On considère que ces temps représentent principalement le temps consacré par chaque sujet :

à la réalisation de chaque scénario,

à la réalisation de chaque tâche,

à l'observation visuelle de chacune des zones de l'achage dénies lors de l'analyse des

données oculométriques. concrètement, nous avons déni les zones suivantes : Flash, Aide

ou Consignes et, à l'intérieur de ces zones, plusieurs sous-zones. Pour Flash, les sous-zones

sont : le menu, la barre des outils, le scénario, la scène et le reste. Pour l'Aide, les sous-zones

sont : le contenu du message d'aide et la barre des boutons.

Fig. 3.7 Temps passé par les sujets à la réalisation de chaque scénario (Temps en min).

De manière générale, on observe que les temps obtenus avec le système "T+G" sont plus

courts que ceux obtenus avec le système "O+G" (voir gure 3.7).

Ainsi, si l'on établit une moyenne sur les deux scénarios, on s'aperçoit que les sujets passent

moins de temps à la réalisation des tâches avec le système "T+G". Ceci peut être dû au fait

que la parole introduit une forte charge cognitive et/ou au fait que, lorsque l'on cherche une

information procédurale spécique ou ponctuelle, il sut de survoler la présentation textuelle

pour la trouver, alors qu'il faut réécouter le message dans sa totalité.

Fig. 3.8 Temps moyen (en min.) passé dans chaque condition (T+G et O+G) pour les deux

groupes confondus.

Pour tenter de comprendre ces temps de réalisation et raner l'analyse, nous avons étudié

le temps passé, respectivement, dans la zone de Flash et dans la zone de l'aide. Nous présentons

3.3. Analyses - Résultats 45

uniquement les moyennes globales des deux groupes confondus pour les deux conditions an de

ne pas surcharger cette partie (voir la gure 3.8). Comme on peut le constater, le temps de

réalisation du scénario dans la condition "T+G" est supérieur à celui de la condition "O+G".

Ceci conrme ce que les sujets nous ont signalé dans l'entretien de debrieng : "L'avantage de

l'oral, c'est de permettre d'écouter en faisant des actions. (Sujet n°3)" ou "L'oral est répétitif. A

force ça devient verbeux. Les écrans peuvent sure ; c'est faisable mais c'est peut-être dur (Sujet

n°6)".

Fig. 3.9 Données oculométriques : Temps moyen (en min.) passé dans chaque zone, aide et

Flash, tous sujets confondus.

Quant aux résultats présentés dans la gure 3.9, ils suggèrent que les sujets accordent moins

d'attention aux messages d'aide oraux qu'aux messages textuels, soit parce qu'ils mettent en

÷uvre les informations procédurales des messages oraux au fur et à mesure, soit parce qu'ils

utilisent surtout les copies d'écran et répugnent à rejouer les messages sonores. La seconde

hy-pothèse semble la plus plausible, compte tenu des temps de réalisation supérieurs observés avec

le système d'aide "O+G" (voir la gure 3.8).

Enn, il nous a paru intéressant de donner les temps moyens de réalisation des tâches (en minutes)

pour les raisons suivantes : ces données indiquent, d'une part, la condition la mieux adaptée à

chaque tâche et, d'autre part, la diculté et la longueur relatives de chacune d'elles

indépen-damment de la condition. Encore une fois, on observe que majoritairement la condition "T+G"

est plus rapide que la condition "O+G". Cependant pour les tâches très courtes comme S1T3 ou

S2T4, les performances de l'une ou de l'autre condition semblent équivalentes. De même pour

les tâches simples comme S1T1 ou S2T1 (où on demande de renommer ou de créer un calque),

on s'aperçoit que les performances sont très voisines. La seule véritable distinction se fait au

niveau des tâches où la diculté est accrue comme les tâches S1T2 ou S2T2 (manipulation du

calque guide de mouvement, insertion d'image clé, interpolation de mouvement). On notera que

pour S1T2, "T+G" conduit à des performances meilleures que "O+G", tandis que pour S2T2on

observe le contraire.

Fig. 3.10 Temps moyen (en min.) passé dans chacune des tâches tous sujets confondus.

Taux de réussite

L'évaluation du taux de réussite est assez délicate au cas particulier. En eet, les scénarios

sont composés de tâches non indépendantes et l'on ne peut demander au sujet de stopper ses

actions s'il se trompe dans une tâche, car cela lui donnerait l'impression de n'avoir aucune

liberté d'utilisation du logiciel. Pour tenter d'évaluer la réussite de chaque sujet, nous les avons

laissé manipuler et lorsqu'ils s'apercevaient qu'ils s'étaient trompés ou qu'ils étaient bloqués

l'expérimentateur entrait en action. Il leur expliquait ce qui n'allait pas et les remettait dans

de bonnes conditions pour continuer le scénario. Ainsi, pour pouvoir noter leurs travaux, nous

avons décidé de noter les deux scénarios et de soustraire des points à chaque erreur commise. On

obtient le tableau suivant :

S1 S2 S3 S4 S5 S6 S7 S8 Moyenne

Scénario 1 100 100 60 60 100 60 80 100 82,5

Scénario 2 100 100 60 80 60 60 100 80 80

1 erreur = -20 %

Tab. 3.3 Pourcentages de réussite par scénario et par sujet.

Ceci ce traduit en terme de condition "T+G" et "O+G" par le graphique suivant :

Le tableau 3.11traduit le fait que la condition "O+G" semble plus performante que la

condi-tion "T+G", toutefois, comme nous l'avons signalé auparavant ceci n'est qu'une approximacondi-tion

du fait de la diculté de dénir des scores de réussite. De plus, les résultats sont très proches,

et pour obtenir des résultats plus ables et éventuellement réaliser une analyse statistique, il

faudrait un nombre très supérieur de sujets.

Données propres à chaque sujet

Dans le but de compléter notre analyse, nous avons comptabilisé le nombre de xations

oculaires d'une durée comprise entre 100 et 250 ms (activité perceptive) et le nombre de xations

supérieur à 250 ms (activité cognitive). On obtient les résultats de la gure 3.12.

Ces résultats suggèrent que, pendant la condition "O+G", la charge cognitive des sujets était

plus forte que pendant la condition "T+G", étant donné le nombre de xations supérieur observé

3.3. Analyses - Résultats 47

Fig. 3.11 Pourcentage global de réussite par condition.

Fig. 3.12 Nombres moyens de xations "perceptives" et "cognitives" pendant chaque condition.

pendant la condition "O+G". On peut interpréter cette diérence comme une conrmation

de l'hypothèse selon laquelle les sujets auraient moins utilisé les messages d'aide oraux que

les messages d'aide textuels, ce qui aurait rendu plus dicile et plus longue la réalisation des

animations dans le contexte de la condition "O+G".

Dans le document Aide en ligne adaptative et assistants conversationnels animés : mise en oeuvre et évaluation ergonomique (Page 55-59)