Expression des préférences : aide adaptative versus aides classiques

An d'étudier les préférences des participants, nous avons procédé en trois étapes. Tout

d'abord, les jugements globaux exprimés dans les questionnaires nals sont analysés, ce qui

permet d'obtenir des informations sur la manière dont les participants jugent le système d'aide

Expérience en informatique Jamais Parfois Souvent

F H F H F H

Activités

Saisie ou consultation de données 1 1 3 1 1 2

Navigation sur Internet 0 0 0 0 5 4

Utilisation de logiciels grand public 0 0 1 0 4 4

Jeux 1 1 2 2 2 1

Programmation 1 2 2 2 1 0

Conception et développement d'applications 3 2 1 1 0 1

Prise en main d'un nouveau logiciel

Une approche par essais-erreurs 0 0 2 0 3 4

L'aide en ligne associée au logiciel 0 0 3 3 2 1

Un manuel/notice d'utilisation 0 0 3 4 1 0

Un ouvrage de référence 3 1 1 2 1 0

Un didacticiel en ligne 2 0 2 3 1 1

Des exemples 1 0 1 3 3 1

L'assistance d'un utilisateur expérimenté 0 1 3 1 2 2

Tab. 6.2 Expérience informatique des participants : activités et stratégies de prise en main

d'un nouveau logiciel.

adaptatif en le comparant aux aides classiques. Ensuite, nous rendons compte de leur évaluation

des aspects suivants de l'aide adaptative : les messages, l'assistance et l'interface d'interaction.

Enn, pour compléter cette analyse, nous présentons leurs impressions et réactions, telles qu'ils

les ont exprimées au cours des entretiens de debrieng.

Jugements globaux

A la question Quel système d'aide en ligne préférez-vous ?, reprise en synthèse par une

question où l'utilisateur pouvait choisir entre le système d'aide expérimental et les aides en

ligne classiques (celles de Word ou Excel par exemple), 7 participants ont préféré le dispositif

expérimental et les 2 autres ont privilégié les aides classiques. Toutefois, les justications avancées

par les partisans des aides classiques restent assez vagues : (Il choisit les aides classiques) par

habitude. S27 et (Les aides classiques sont) plus rapides (on rame moins), mais pas forcément

plus pratiques sur certain points. S30 .

Pour les partisans du système d'aide adaptatif, voici, tout d'abord, les diérences principales

qu'ils ont observées par rapport aux aides classiques, ainsi que les avantages que présente pour

eux le système d'aide adaptatif :

Beaucoup de systèmes d'aide en ligne proposent des recherches par mots-clés et ne renvoient

pas toujours les informations adéquates. S25 ,

Le système qui devine les intentions est très intéressant, on trouve de plus ici la méthode

complète pour réaliser une ou plusieurs actions. S26 ,

6.4. Analyse des données 139

Le système est adapté à une personne qui maîtrise peu l'informatique (le langage est simple.)

S28 ,

Anticipation des actions et conseils en rapport avec mes actions. S29 ,

Celui testé est plus précis. S24 ,

Le système d'aide m'a paru plus ciblé et se disperse moins que les aides en ligne classiques.

S31 ,

Le fait que le système s'adapte aux actions est un point fort. Avoir la possibilité de demander

une conrmation doit être vraiment très pratique pour des personnes non coutumières de

l'uti-lisation des logiciels. Le "comment" et "quoi" sont des fonctions plus habituelles mais restent

toujours très pratiques. S32 .

Ensuite, nous présentons les arguments qu'ils avancent pour justier leur choix en faveur du

système adaptatif :

(Il) cible directement les actions dont l'utilisateur a besoin. S25 ,

Réponses identiques que pour la comparaison avec les aides classiques. S26 ,

Simple et intuitif. S28 ,

J'aime l'accompagnement de l'aide, qui est ecace tout en restant discrète. Je ne supporte

pas les aides par pop-up intempestives et j'ai tendance à les désactiver et à me priver d'une

aide parfois bienvenue. S29 ,

Il est précis et apporte des réponses pratiques. S24 ,

Mieux conçu et plus ciblé. S31 ,

Parce qu'il réagit aux actions, le système de conrmation est vraiment pertinent pour des

personnes inexpérimentées. S32 .

Les conclusions qui émergent de ces commentaires sont que le système d'aide qui a été proposé

aux participants, leur a plu en raison principalement des caractéristiques suivantes : sa capacité

d'anticipation, la simplicité de son mode de fonctionnement, ainsi que la qualité des

informa-tions qu'il propose. En outre, il n'y a eu aucun rejet de la part des participants car même S27,

qui préfère les aides classiques, juge positivement la capacité d'anticipation de l'aide proposée,

L'aide vient quand on en a besoin , et évoque comme seul défaut : On ne peut pas "poser de

question", y mettre un mot clé. , qui ne porte pas sur les capacités d'adaptation dynamique à

l'utilisateur courant du système d'aide proposé.

Évaluation du système d'aide proposé

Cette section reprend certaines questions du questionnaire nal an d'orienter l'analyse vers

les aspects que les participants ont évoqués dans leur jugement global.

Concernant l'adaptation dynamique, c'est-à-dire l'anticipation des besoins de l'utilisateur

novice et l'évolution du contenu des messages en fonction de celle des compétences de celui-ci,

deux questions permettent de connaître les avis des participants sur cet aspect. Les questions

sont les suivantes :

Le système d'aide vous a-t-il envoyé des messages diérents dans des situations

iden-tiques ?

Lorsque le système devinait vos intentions, il achait un message susceptible de vous

aider à les réaliser. Par rapport aux systèmes d'aide courants, jugez-vous cette stratégie

d'assistance : ...

Gr. F Gr. H

Observation de l'adaptation du contenu ?

A observé 0 1

N'a pas remarqué 5 3

Tab. 6.3 Adaptation du contenu des messages - Répartition par sexe.

Répartition suivant les groupes

F / H : 9 participants

Stratégie d'initiative du système :

Inecace <> Ecace 0/0 0/0 0/0 0/1 1/1 2/1 2/1

Irritante <> Satisfaisante 0/0 0/0 0/1 0/0 1/0 3/3 1/0

Tab. 6.4 Évaluation de la stratégie d'assistance du système d'aide : l'anticipation des besoins

en information de l'utilisateur.

Il ressort du tableau 6.3 que la plupart des participants n'a pas perçu l'évolution du contenu

des messages au cours de l'interaction. Un seul l'a remarquée, notamment pour le message d'aide

relatif à l'interpolation de mouvement. Toutefois, nous verrons dans l'analyse des debriengs que

lorsqu'on commente l'expression "messages diérents dans des situations identiques", on constate

à travers les explications des participants qu'ils se sont aperçus du changement de comportement

du système. La question était vraisemblablement mal posée étant donné la divergence que l'on

constate entre les réponses au questionnaire et les commentaires formulés au cours des entretiens.

Concernant l'anticipation des besoins des utilisateurs, qui constitue la caractéristique majeure de

la stratégie d'assistance du système, 8 participants jugent cette stratégie satisfaisante (6 réponses

au 6ème diérenciateur) ; un seul la trouve irritante (S30). Ce jugement positif sur la stratégie

d'assistance du système se traduit également par des avis positifs sur l'ecacité du système : 8

participants le trouvent ecace, voire très ecace, un seul porte un jugement neutre sur ce point.

Pour résumer l'opinion générale que les participants ont eu à l'égard du système d'aide et

de son mode de fonctionnement, nous avons regroupé les réponses aux questions pertinentes du

questionnaire nal dans le tableau 6.5.

Les données présentées dans le tableau 6.5 permettent d'observer que 7 participants jugent

utile et ecace l'assistance fournie par le système d'aide. Toutefois, les 2 autres participants la

considèrent légèrement inecace et ont un avis neutre quant à son utilité. Les participants ont

donc, en majorité (7 participants sur 9), une opinion générale plutôt positive sur le

fonctionne-ment du système d'aide. Pour ce qui est de l'interface d'interaction, on observe des jugefonctionne-ments

comparables : 7 et 8 participants (suivant la question) trouvent l'interface de consultation de

6.4. Analyse des données 141

Répartition suivant les groupes

F / H : 9 participants

Assistance fournie par le système :

Inecace <> Ecace 0/0 0/0 0/2 0/0 2/2 3/0 0/0

Inutile <> Utile 0/0 0/0 0/0 1/1 0/2 3/1 1/0

Interface de consultation de l'aide :

Dicile <> Facile (à utiliser) 0/0 0/0 0/0 0/0 0/3 2/1 3/0

Inecace <> Ecace 0/0 0/0 0/1 0/0 1/1 3/2 1/0

Fastidieuse <> Agréable (à utiliser) 0/0 0/0 0/0 0/1 1/1 2/2 2/0

Tab. 6.5 Jugements sur le fonctionnement du système d'aide : Aperçu global.

l'aide facile, ecace et agréable à utiliser.

On notera que le groupe 'F' a toujours tendance à être plus positif dans ses jugements que le

groupe 'H'.

Il convient pour terminer l'évaluation du système d'aide, de recueillir les jugements des

par-ticipants sur les messages d'aide. Ces jugements nous renseignent sur la qualité de l'aide et la

validité de nos choix de conception des messages. Les réponses aux questions sont présentées

dans les tableaux 6.7 et 6.6.

Les données présentées dans ces tableaux montrent, comme pour l'expérimentation avec

Eloona, que la conception des messages d'aide a été réussie : la majorité des participants en

eet jugent les messages de longueur et de précision appropriée dans le contexte de la situation

d'apprentissage étudiée.

Les messages d'aide vous ont semblé :

Trop courts 0 Trop longs 1 De longueur appropriée 8

Trop vagues 1 Trop détaillés 1 De précision appropriée 5

Tab. 6.6 Évaluation des messages d'aide.

En outre, le contenu des messages d'aide, en d'autres termes, les informations fournies,

semblent claires et utiles à la majorité d'entre eux. Cependant, on observe un avis général neutre

concernant le caractère susant des informations : davantage d'informations étaient peut être

attendues. Malgré les avis positifs formulés sur le contenu des messages, on peut constater que

6 participants seulement sont satisfaits des informations obtenues, mais pas entièrement ; quant

aux trois autres, ils ont l'impression que les informations fournies par le système d'aide n'ont pas

répondu à leur besoin. Il ressort des commentaires associés à ces réponses des remarques comme

les suivantes : Des fois on n'arrive pas à appliquer ce qui est indiqué. S30 , Une fois la barrière

de la découverte des bases de Flash franchie, on est un peu livré à nous-mêmes. S26 , ou encore

Les textes en bleu sur fond bleu sont moins lisibles, les liens hypertexte sont pratiques. S32 . Ces

remarques sont plutôt axées sur la manipulation du logiciel que sur les messages d'aide, hormis

la remarque qui signale que le texte sur fond bleu n'est pas lisible.

Répartition suivant les groupes

F / H : 9 participants

Les informations d'aide sont :

Peu <> Parfaitement (claires) 0/0 0/0 0/1 0/1 3/1 1/1 1/0

Inutiles <> Indispensables 0/0 0/0 0/0 0/0 1/1 2/2 2/1

Insusantes <> Susantes 0/0 0/0 1/0 2/2 2/2 0/0 0/0

Les informations obtenues ont-elles

satisfait vos besoins ?

Pas du tout <> Entièrement 0/0 0/0 1/2 0/0 3/2 1/0 0/0

Tab. 6.7 Évaluation de la qualité des messages d'aide.

Informations complémentaires - Les debriengs

Pour compléter l'analyse des jugements subjectifs des participants, nous présentons ici

briè-vement quelques commentaires extraits des debriengs qui peuvent, comme nous l'avons signalé

précédemment, apporter des éléments d'information supplémentaires sur la façon dont les

parti-cipants ont perçu les deux formes d'adaptation dynamique (au prol de l'utilisateur courant et

à son évolution au cours de l'interaction) qu'ils ont eu l'occasion d'expérimenter.

Tout d'abord, l'ensemble des participants ont réagi à la stratégie d'anticipation et de prise

d'initiatives du système d'aide. Voici quelques unes de leurs réactions :

L'idée est bonne. S30 ,

Le mieux, c'est quand il anticipe. S29 ,

C'est un jeu avec la machine. S28 ,

J'ai bien aimé, cela dépanne bien que la machine trouve ce que je voulais. S26 ,

On avance, sans s'énerver, la machine voit ce qu'on doit faire et on est quitte de chercher.

S32 ,

Quand on est perdu c'est bien, et cela devient drôle. S25 .

D'abord, les participants ne se sont pas rendu compte que l'assistance fonctionnait à l'aide d'un

compère et se sont pris au jeu. Certains attendaient même que le système envoie les messages

pour éviter chercher eux-mêmes les informations (S32). La forme d'assistance évoluée proposée

présente donc le risque de rendre l'utilisateur passif.

Ayant observé que la question portant sur l'adaptation du contenu n'avait pas été comprise par

les participants, j'ai reformulé cette question lors des entretiens de debrieng. Ce qui m'a permis

de constater que 6 participants sur les 9 se sont aperçus de l'évolution du contenu des messages

au cours de l'interaction alors qu'un seul d'entre eux l'avait mentionné dans le questionnaire nal.

Leurs commentaires portent principalement sur la taille des messages ; voici, à titre d'illustration,

trois d'entre eux : C'était plus court. S30 , Le message devient plus petit. S27 et L'on

obtient un résumé. S32 . En eet, lors du passage de la version 1 à la version 2 ('expert'), la

taille du message diminue considérablement, étant donné que les graphiques, les pré-conditions

et les explications complémentaires disparaissent. Cependant, la présence et les eets de cette

forme d'adaptation ne sont peut-être pas susamment sensibles, en raison de la brièveté de

6.4. Analyse des données 143

l'interaction avec l'aide qui limite le nombre de messages achés à l'initiative du système ou

sollicités par les participants.

Concernant la composition des messages (pré-conditions, instructions et conseils/explications),

seuls trois participants ont remarqué et compris la signication des couleurs qui n'était pas

ex-pliquée lors de la présentation de l'expérimentation. Voici, à titre d'exemples, les interprétations

de deux participants : En bleu c'est complémentaire et en jaune c'est l'essentiel. S29 et En

bleu c'est du détail et en jaune, c'est l'endroit où cliquer. S25 .

En résumé, l'avis général sur le système d'aide est que sa discrétion et sa prise d'initiatives

le rendent très agréable. Cependant quelques critiques formulées par les participants sont à

prendre en compte concernant, notamment, les questions suivantes : quand le système doit-il

faire évoluer le contenu des messages et dans quel contexte doit-il acher de sa propre initiative

un message (e.g., l'utilisateur est engagé dans la réalisation d'une action), et comment l'évolution

autonome de son comportement peut-elle être utilisée pour faciliter la découverte de nouvelles

fonctionnalités du logiciel et favoriser l'approfondissement de l'apprentissage de son utilisation.

Dans le document Aide en ligne adaptative et assistants conversationnels animés : mise en oeuvre et évaluation ergonomique (Page 149-155)