Discussion et analyse des résultats suite à l’observation de l’utilisation de LabQuest

Les résultats des observations des tests d’utilisabilité du SG LabQuest montrent des difficultés liées au déplacement du personnage dans l’environnement 3D. En effet, 5 personnes sur 6 (parmi lesquelles nous avons 5 personnes à l’aise avec les technologies, dont une personne qui a l’habitude de jouer aux jeux vidéo) ont des problèmes liés au positionnement correct de l’avatar devant les objets (armoire, éléments de la tenue, registre d’entrée). Cette difficulté serait apparemment liée à l’impossibilité pour le personnage d’avoir un contrôle du champ de vision indépendant du mouvement du corps. Cette situation fait qu’en déplaçant leurs personnages, les utilisateurs sont moins motivés pour l’exploration de l’espace et leurs interactions avec les objets sont réalisées sans prendre en compte de leur distance avec les éléments. C’est là qui survient alors une seconde difficulté : suite à une frustration liée au positionnement de l’avatar, les utilisateurs essayent de se déplacer le moins possible dans l’environnement 3D pour éviter un replacement approximatif et donc inefficace de l’avatar. Ils réagissent par conséquent avec les objets indépendamment du fait qu’ils soient entourés d’une lumière verte ou jaune (la lumière verte signifie que l’objet peut être actionné et la lumière jaune signifie que l’objet est hors de portée).

Le point de vue exprimé par la personne à l’aise avec les nouvelles technologies et qui a également l’expérience des jeux vidéo est intéressant à souligner : elle ne manifeste pas d’hésitation concernant le déplacement et la maîtrise des espaces 3D. Néanmoins, durant la phase de débriefing, elle exprime une frustration liée au fait de ne pas pouvoir délier les mouvements du regard par rapport aux déplacements effectifs du corps en direction des objets.

De façon globale, la totalité de l’échantillon s’est montré à l’aise avec les fonctionnalités

pour saisir un objet par un « simple clic » et les « drag and drop »41, dans le cas d’un déplacement

des objets ou endossage des parties de la tenue.

Par ailleurs, les menus contextuels sont bien et rapidement compris par la presque totalité de l’échantillon, avec cependant une hésitation de la part d’une personne (à l’aise avec les technologies mais pas l’habituée de jouer aux jeux vidéo) qui semble bloquée devant la consigne : choisir le menu « actionner le spray ».

Enfin, 4 personnes sur 6 ne comprennent pas la possibilité d’« ouvrir » et de « refermer » l’onglet de l’avatar. Tous parviennent à l’ouvrir car la consigne figure dans le tutoriel, mais seulement 2 personnes sur 6 comprennent que l’onglet peut être refermé.

Nous avons proposé l’étape « chercher l’erreur » à 3 des 6 personnes. A l’une première (peu à l’aise avec les technologies) nous avons proposé la « modalité correction » qui permet de passer l’évaluation à deux reprises, dont la seconde affiche les éléments d’erreur qui ont été détectés lors du premier passage. Nous avons proposé à une autre personne (à l’aise avec les technologies et joueur aux jeux vidéo) de passer l’évaluation à deux reprises, sans la modalité correction. Pour la troisième personne (à l’aise avec les nouvelles technologies mais non joueur de jeux vidéo) l’évaluation n’est proposée qu’une seule fois. L’observation des différentes propositions met en évidence une difficulté pour la personne dans le cas où elle doit utiliser la « modalité correction ». En fait, au deuxième passage de l’évaluation, cette personne manifeste un délai de reconnaissance de l’erreur plus court qu’au premier passage, ce qui la conduit à cliquer une nouvelle fois sur les erreurs qu’elle avait déjà détectées. Cette attitude crée une erreur dans le système qui « efface » la notification des erreurs préalablement détectées.

Le « dossier de fabrication » n’a posé aucun souci au niveau de la compréhension des tâches qui devaient être effectuées. Il n’était évidemment pas possible, pour l’échantillon retenu, de détecter les erreurs fines relatives aux comportements et aux normes liées à l’activité en zone aseptique.

Une information très importante que a été recueillie par rapport au temps nécessaire à la finalisation du tutoriel et celui nécessaire pour la finalisation des opérations d’habillage dans les sas, les opérations en sas et la procédure de déshabillage jusqu’au retour au point de départ. Lors des premiers tests, nous avons remarqué que les temps accordés au tutoriel ne depassait jamais les 5’30’’ et que le temps global de la simulation n’était jamais supérieur à 21 minutes.

6.8.1.3. Evolutions du tutoriel suite au Beta-TEST 1

A la suite de la passation des tests utilisateurs, nous avons réfléchi aux changements à

mettre en œuvre au niveau du gameplay et du tutoriel afin de permettre à la personne

d’apprendre à manipuler l’environnement 3D. Le changement le plus important a été réalisé au

niveau du gameplay qui correspond à la modalité de déplacement de l’avatar dans

l’environnement. En effet, le nouveau système prévoit la possibilité de dissocier le mouvement de la tête du personnage de celui du déplacement dans l’espace. Comme on peut le remarquer dans la figure 31, l’écran présente quatre zones activables en faisant glisser le curseur sur ces dernières. Ce mouvement permet de pouvoir tourner la tête à droite, à gauche, en bas et en haut.

Il est possible, dans un deuxième temps, d’appuyer sur la barre d’espace (ou la flèche é) pour

Figure 31 :Ecran de tutoriel pour le déplacement du regard

Figure 32 : Ecran de tutoriel pour l’avancement

Nous avons également installé une fonctionnalité supplémentaire pour les personnes ayant une maîtrise parfaite de l’outil informatique. Il s’agit de la possibilité de glisser vers la droite et vers la gauche (« en crabe » dans un langage vulgaire) perpendiculairement à la direction de vue du personnage. Ainsi, qu’un autre changement sensible dans la visualisation des objets qui ont été saisis dans l’environnement, et qui doivent donc être visualisés dans un espace

de l’écran qui symbolise « les mains » (cf. figure n° 34, p.201)

Nous avons aussi décidé d’éliminer les fonctionnalités d’« attraction du regard » de l’avatar sur les objets qui avaient été mises en place pour faciliter le positionnement du personnage devant l’objet en question. En effet, d’après les tests, ce dispositif n’était pas utile pour l’usager, et empêchait même parfois le déplacement fluide du personnage.

Figure 33 :Ecran de tutoriel pour la présentation du plan de l’usine et l’emplacement des différents objets

Au cours du déroulement des tests, nous avons pu recueillir les remarques des usagers qui n’arrivaient pas à avoir une vision globale des activités possibles et des consignes. Aussi, avons-nous réfléchi à la possibilité de permettre à l’utilisateur de visualiser le plan présentant

Enfin, nous avons jugé très utile de présenter un texte introductif explicitait quelles sont les propositions d’outil, les tâches à accomplir et les finalités de l’évaluation. Ces informations sont fondamentales pour faciliter la prise de conscience de l’utilisateur des dispositions et par fonctionnement du logiciel de simulation.

6.8.2. Beta-TEST 2 – Méthodologie d’analyse de l’interaction

homme-machine : Serious Game LabQuest finalisé

Échantillon : pour tester la deuxième version des fonctionnalités du SG, nous avons demandé à 4 personnes (4 opérateurs de zone aseptique) de réaliser l’évaluation. Parmi ces 4 personnes, nous avions :

- un opérateur de ZAC ayant une carrière très courte dans l’entreprise mais avec un fort

potentiel d’évolution puisqu’après seulement deux ans d’activité, il avait la responsabilité du des réglages des machines. Cet opérateur montre aussi une aisance avec les technologies informatiques et possède des expériences d’utilisation de jeux vidéo ;

- une opératrice expérimentée ayant des fonctions de formatrice pour le personnel travaillant

en zone aseptique. Elle se montre à l’aise avec les technologies mais elle déclare de ne pas utiliser des jeux vidéo ;

- une opératrice spécialisée dans les opérations de remplissage depuis son entrée en

entreprise, sans évolution spécifique. Cette opératrice est visiblement peu à l’aise avec les technologies numériques même si en a déjà eu quelques expériences lors des évaluations annuelles dispensées par CD-Rom.

- un opérateur avec 6 ans d’expérience en entreprise, et qui a déjà assuré des fonctions de

supervision et d’encadrement du personnel travaillant dans la zone aseptique. Suite à un changement de lieu de travail pour motifs personnels, il se retrouve à devoir recommencer sa carrière depuis le début, comme opérateur dans une nouvelle entreprise.

Analyse du didacticiel : l’analyse pour cette première partie de tests se concentre sur l’activité de la personne dans l’environnement 3D proposé. Nous avons concentré nos observations sur les éléments suivants :

- choix de l’avatar Homme/Femme ;

- utilisation des flèches directionnelles situées sur le clavier en bas à droite pour le

déplacement du personnage et du curseur de la souris sur les bords de l’écran pour donner la direction au regard de l’avatar dans l’environnement 3D ;

- utilisation de la fonction « simple clic gauche » pour la sélection des objets dans

l’environnement ;

personnage ;

- utilisation de la fonction « drag and drop » pour le déplacement des objets, l’habillage de

l’avatar (…) ;

- perception des objets activables et non-activables par le biais de la différentiation des

contours lumineux (vert/jaune) ;

- manipulation de l’icône avatar ;

- actionnement des menus contextuels et choix des fonctions utiles pour l’activité

demandée en zone aseptique ;

- modalité, temps de réaction et commentaires durant la phase de notification des erreurs

(film de la procédure d’habillage et scène pré-calculée) ;

- notification des erreurs dans le dossier de fabrication.

En rajout aux éléments déjà modifiés dans le Beta-TEST 1, nous avons ajouté les éléments

suivants :

- manipulation des objets dans la pièce d’entraînement ;

- manipulation des passe-plats d’assurance qualité et d’alimentation des matériels : de la

même manière nous voulons tester la pertinence des icônes relatives aux deux différents types de passe-plats ;

- gameplay et modalité de passage et de désinfection du banc ; - gameplay et manipulation de la boîte de Pétri ;

- gameplay, manipulation et utilisation du gel hydro-alcoolique et du spray désinfectant

En retrait par rapport aux éléments notifiés dans le compte des Beta-TEST 1, nous n’avons pas

tenu compte du :

- temps nécessaire à la réalisation du tutoriel ; et du

- temps nécessaire à la réalisation des opérations d’habillage et les missions dans la ZAC

(y compris le tutoriel, l’habillage, les manipulations en ZAC et le déshabillage).

En effet, le temps nécessaire à la réalisation de l’évaluation est influencé par les nombreux échanges entre l’administrateur du test et la personne évaluée. C’est pourquoi nous avons préféré ne pas prendre en considération ces paramètres de mesure. Comme nous l’expliquerons par la suite de ces tests, nous avons pu prendre conscience de nouvelles utilisations de LabQuest auxquelles nous n’avions pas pensé initiallement.

6.8.2.1. Résultat de l’observation du Beta-TEST 2

Voici du tableau 21, qui offre un aperçu des observations faites pendant l’utilisation de LabQuest.

Numéro test

/IMH ^{Sujet 1 Sujet 2 Sujet 3 Sujet 4}

Age/ profil Entre 40-45 ans Opérateur depuis 2-3 ans. Déjà responsable des opérations de réglage des machines.

Entre 30-35 ans Responsable de la formation en ZAC des nouvelles recrues. Entre 50-55 ans Opératrice de base. Bon travail mais pas d’évolution de carrière. 28 ans Opérateur de base venu en France. Il a été opérateur et superviseur pendant 5 ans dans une entreprise

pharmaceutique en Italie.

Aisance

technologies ^{Oui Oui Non}

Elle semble connaître le fonctionnement de la souris parce qu’elle clique tout de suite sur le clic gauche. Plus tard elle nous à dit qu’elle a passé plusieurs évaluations sur CD-rom

proposées par l’entreprise.

Oui

Joueur jeux vidéo Il a eu des expériences avec des jeux vidéo mais pas dans les jeux 3D. Je suppose qu’il s’y connaît beaucoup plus que ce qu’il affirme parce qu’il utilise le terme « tutoriel » qui est extrêmement lié aux jeux vidéo.

Elle dit qu’elle ne connaît pas les jeux vidéo et qu’elle n’est pas à l’aise , mais 10 minutes plus tard elle dit « j’ai l’impression d’être dans les SIMS » donc un jeu vidéo avec des avatars et un environnement 3D.

Non, elle n’a pas d’ordinateur chez elle. Elle connaît les jeux vidéo parce que ses enfants y jouent.

Oui, il a beaucoup d’expériences dans les jeux vidéo. Il est très à l’aise avec le

gameplay et l’utilisation des touches sur le clavier pour les déplacements. Passage du banc : //Envisager une modification par rapport à cette problématique (peut être faut-il activer la possibilité de pouvoir déposer les objets sur le banc)

Problème dans la différence de

procédure utilisée pour le franchissement du banc et l’ordre d’endossage de la tenue et des sur-bottes. La personne arrive, avec un raisonnement et une verbalisation à haute voix à comprendre comment résoudre le problème du passage du banc et de l’endossage des sur-bottes.

Le mécanisme du clic sur le banc n’est pas compris car il n’est jamais expliqué. Problème dans la différence de procédure utilisée pour le franchissement du banc et l’ordre d’endossage de la tenue et des sur-bottes.

La personne est coincée dans sa procédure et ne peut pas prendre du recul sur les bonnes pratiques et les règles qui sont à la base de l’habillage Le mécanisme du clic sur le banc n’est pas compris car il n’est jamais expliqué.

Le test n’est pas valide. La personne ne comprend pas l’utilisation du banc. Elle verbalise la bonne procédure mais elle ne peut pas réfléchir à une alternative de résolution de son problème. La difficulté dans la manipulation du SG ne peut pas permettre d’aborder la problématique de façon sereine. Problème dans la différence de procédure utilisée pour le franchissement du banc et l’ordre d’endossage de la tenue et des sur-bottes. A cause de la différence de procédure, nous ne souhaitons pas tester la réponse de la personne pour cette activité. Néanmoins, il a tendance à vouloir déposer la tenue et les sur-bottes sur le banc lors du passage. Gel Hydro-alcoolique/ spray désinfectant : //Nous devons La personne n’arrive pas à faire la différence entre le spray qui doit être utilisé pour la désinfection des objets

La personne n’arrive pas à faire la différence entre le spray qui doit être utilisé pour la

Elle a été guidée dans l’évaluation à cause de ses problèmes avec la manipulation du SG. La personne est renseignée au démarrage de l’évaluation, sur le fait que le spray est

rajouter, au niveau du tutoriel, un écran pour expliquer comment réaliser la désinfection des mains et la désinfection des objets d’une façon générale. et la solution hydro-alcoolique nécessaire pour la désinfection des mains. La personne essaye d’utiliser le spray désinfectant sur ses propres mains car il a l’impression que cela correspond à la « bombe » qu’il a à disposition dans la ZAC.

Une fois qu’on lui dit que le gel hydro-alcoolique doit être utilisé à la place de la bombe pour la désinfection des mains, il arrive à faire abstraction du concept de désinfection des mains et à utiliser l‘élément à disposition pour effectuer la même opération. désinfection des objets et la solution hydro-alcoolique nécessaire pour la désinfection des mains. La personne essaye d’utiliser le spray désinfectant sur ses propres mains car il a l’impression que cela correspond à la « bombe » qu’il a à disposition dans la ZAC. Elle verbalise la procédure correcte à réaliser dans la ZAC sans pouvoir adapter l’usage de la solution hydro-alcoolique à la place de la « bombe » qui est normalement utilisée en usine. Elle n’arrive pas à faire abstraction du concept de

désinfection au-delà de la procédure standard qui prévoit l’utilisation des bombes, même une fois qu’on lui a expliqué le fonctionnement. Verbalisation « nous avons l’habitude de… notre procédure est que… »

consacré à la désinfection des objets et que, pour la désinfection des mains, il faut utiliser le spray hydro-alcoolique qui se trouve dans les différents sas et dans la ZAC.

Commentaires Au moment de cette évaluation, une collaboratrice du pharmacien était présente. Elle a remarqué toutes les problématiques liées au dossier des opérations. Cela veut dire que c’est une compétence liée au poste.

L’évaluation se passe de façon très positive pour cette personne. Avec un ajustement du score relatif à ses

pratiques

quotidiennes dans son usine il arrive à avoir un score de 75-80%. Ce qui indique un très bon résultat dans le logiciel.

Tableau 21 : Collecte des données suite à l’observation de l’utilisation de LabQuest

6.8.2.2. Discussion et analyse des résultats de l’observation de

l’utilisation de LabQuest

La deuxième partie des Beta-tests vise un profil de population qui correspond à des