Les tests utilisateurs

Les tests utilisateurs sur des EVs posent beaucoup plus de difficultés que sur des interfaces 2D, ces difficultés sont essentiellement liées à la nature des technologies misent en œuvre et les problèmes d’utilisabilité physiologiques (voir la section 1.4.1) qu’elles génèrent. En effet, les problèmes posés peuvent aller jusqu’à une atteinte de l’intégrité physique des participants aux tests (e.g., cybersickness, troubles post-exposition). Mais ces problèmes ne se limites pas là. Bowman, Gabbard & Hix (2002) ont établi sur la base de discussion entre collègues ou sur leurs propres expériences, un certain nombre de problèmes liés à l’évaluation des EVs. Sur cette base Bach et Scapin (2004) ont identifié les différents problèmes liés aux tests utilisateurs dans trois catégories : les problèmes liés à l’environnement physique, ceux liés à la mise en place du test, ceux liés aux participants.

Les problèmes liés à l’environnement physique, se caractérisent par le fait que l’environnement physique des EVs est bien plus complexe que celui des GUIs. Bien souvent les participants ne restent pas assis devant l’écran d’ordinateur12 mais sont amenés à se déplacer, à bouger des parties de leur

12

Cela arrive dans le cadre des jeux-vidéos ou de la CAO, mais cela peut être amené à évoluer rapidement.

corps, ils parlent pour pouvoir interagir avec l’EV. Ceci fait qu’il est nécessaire de bien préparer les zones de tests afin d’éviter certains problèmes comme des chutes, il faut donc se soucier des câbles qui sont à terre, des chaises ou autres obstacles ; d’autres contraintes peuvent compliquer les tests, comme les dispositifs d’interactions, souvent nombreux, qui sont des obstacles à la collecte de données, l’utilisation de visiocasques empêche de voir l’utilisateur, la stéréoscopie ne peut être visualisée sur un écran de contrôle monoscopique, de ce fait les évaluateurs doivent accéder directement aux informations stéréoscopiques à l’aide d’une application parallèle ou par un système qui rejoue l’interaction a posteriori (éliminant de fait l’observation directe), afin de ne pas introduire les évaluateurs directement dans la zone d’interaction, ce qui pourrait être alors un biais important, notamment par rapport au sentiment de présence. A ceci s’ajoute le fait que les EVs peuvent être multi-utilisateurs et ceci demande un espace important pour réaliser les tests utilisateurs. Bien souvent les laboratoires d’utilisabilité classiques sont inadaptés et les tests doivent se dérouler dans de plus grandes salles non-équipées pour la prise d’information. Le problème de l’espace réduit des laboratoires d’utilisabilité existe également lorsque l’on veut réaliser des tests sur des EVs immersifs de type CAVE ou encore sur de grands écrans de projection, des Reality Center. Ces difficultés liées à l’environnement physique devraient se résoudre progressivement par l’accumulation d’expérience, mais il semble évident qu’ils s’amenuiseront avec l’utilisation de nouvelles techniques de prise d’informations, des solutions logicielles pourraient être envisagées pour effectuer des enregistrements multi-sources (e.g., visuel, audio, haptique en entrée/sortie), des efforts devront également être faits sur les capteurs sensoriels13, par ailleurs l’utilisation de petites caméras mobiles pourrait être intéressante. Une autre contrainte souvent sous-estimée concerne les ambiances thermiques durant les tests. En effet, les EVs utilisent parfois des systèmes de projections, des moteurs graphiques, qui font vite monter la température dans les laboratoires et provoque des gênes chez les utilisateurs. Cet aspect, en plus du cybersickness, peut être une source potentielle de malaises.

évaluateurs peuvent être nécessaire pour parvenir à collecter des informations intéressantes (e.g., évaluer les performances sur les différentes modalités, les différents médias, etc.). L’utilisation de plusieurs vidéos synchronisées sur différents types d’événements est également indispensable (quand cela est techniquement possible), pour rendre compte des séquences comportementales qui sont elles-mêmes plus complexes à extraire et à décrire. A ceci s’ajoute le fait que les EVs sont complexes à installer et cela nécessite l’intervention de techniciens spécialisés pour calibrer, configurer les différents types de technologies et de logiciels utilisés. De plus, il arrive que le système dysfonctionne en partie ou complètement et lorsque cela arrive cela prend du temps à tout remettre en marche, et comme cela ne prévient pas les techniciens spécialistes doivent être disponibles durant toute la durée des tests. La stabilité des systèmes est un point important car il peut remettre en cause complètement plusieurs passations durant les tests utilisateurs. Un autre obstacle concerne les tâches expérimentales que les utilisateurs doivent effectuer, et notamment la façon dont elles doivent être présentées14. De plus, les participants ne connaissent pas le fonctionnement de l’EV et la façon de parvenir à la réalisation des différents objectifs, ceci demande un temps supplémentaire d’explication, de présentation des systèmes sans aller jusqu’à l’apprentissage, ce qui n’est pas aisément contrôlable. Ceci conduit à des questions qu’il faudra résoudre sur les façons de présenter une nouvelle application sans apprendre à s’en servir, mais suffisamment pour parvenir à une évaluation des performances ou des préférences « intuitives » ou proches du contexte d’utilisation final. Un autre obstacle aux tests utilisateurs concernant les techniques de recueils de données concerne leur adéquation avec les techniques d’interactions. Par exemple, la verbalisation provoquée n’est pas adaptée lorsque le système requiert des commandes vocales.

Les problèmes associés aux sujets se caractérisent par le fait qu’il est difficile, dans de nombreux cas, d’identifier correctement le profil des utilisateurs finaux. En effet, les EVs n’étant pas toujours conçu suivant les besoins des utilisateurs, mais bien souvent pour tester de nouveaux paradigmes d’interactions, il devient difficile d’identifier des tâches à effectuer avec ceux-ci par des utilisateurs concernés. A partir de là, les résultats des tests sont difficilement généralisables d’autant plus que bien

14 En effet, comment lire une consigne sur un papier avec un visiocasque, des lunettes semie-transparentes ? Où mettre les consignes lorsque l’utilisateur interagit debout avec un système ou s’il est sur un tapis roulant ?

souvent se sont les concepteurs des EVs qui effectuent eux-mêmes les tests15. Une autre difficulté concerne le fait qu’il est pratiquement

impossible de distinguer des utilisateurs experts des novices, car la plupart des utilisateurs sont novices vis-à-vis des EVs, y compris les évaluateurs amenés à conduire les tests. Cette distinction est seulement possible dans le cadre des jeux-vidéos. Une autre difficulté concerne le nombre de sujets nécessaires à la mise en place de validation expérimentale de nouveaux paradigmes d’interaction. Par exemple, si l’on veut « simplement » comparer différentes combinaisons de dispositifs d’interaction, comme 3 dispositifs différents fonctionnant chacun sur une des 3 modalités évaluées (e.g., voix, gestuelle, suivi du regard), il est possible de procéder de deux façons. Pour la première on demande aux participants d’effectuer les tâches expérimentales à l’aide des 27 combinaisons possibles (i.e., 9 combinaisons de dispositifs x 3 modalités), mais ceci peut devenir très lourd pour les participants et les résultats peuvent ainsi être biaisés. L’autre solution est de ne pas faire de mesures répétitives et de constituer différents groupes pour évaluer les différentes combinaisons (carré latin). Avec un minimum de 5 sujets par case le nombre de sujets nécessaires (135, i.e. 27 x 5) devient vite très important et ceci augmente la complexité du recrutement et de la planification des passations, sans compter qu’il devient par conséquent plus difficile d’assurer un profil homogène des échantillons. Une autre difficulté liée aux participants concerne les conséquences du cybersickness. Ceci pose en effet des limites éthiques (concernant la décision d’exposer les participants) et pratiques (concernant la gestion des post-expositions). En termes éthiques, il est nécessaire de s’interroger sur le fait d’exposer des personnes à des complications physiologiques (Papin, 2001a ; Viirre & Bush, 2002) qui peuvent être sérieux, comme des pertes de connaissances, des ataxies ou des troubles musculo-squelettiques. En France, une loi16 encadre les situations expérimentales de ce type et requiert la présence d’un physiologiste qualifié. Concernant la gestion des post-expositions, il existe un protocole (Stanney, Kennedy & Kingdon, 2002) permettant de créer un environnement sécurisé afin de prévenir tout incident ou accident. En plus

15 A ce sujet il est possible de comparer les débuts de l’aviation à celle des EVs. Tout comme les avions étaient comparés aux ballons dirigeables, les EVs sont actuellement comparés aux

de ces contraintes il apparaît évident que des troubles, liés au cybersickness, apparaissant en plein test biaiseront totalement les mesures effectuées. D’une manière générale il est nécessaire de porter une attention constante à l’apparition de troubles afin de prévenir tout incident. (Lawson, Graeber, Mead, & Muth, 2002).

Les différentes limites présentées ici montrent à quel point le recours à la méthode des tests utilisateurs pour évaluer l’utilisabilité des EVs doit être abordée après une profonde et minutieuse préparation. L’idéal serait donc d’effectuer des tests utilisateurs comme un moyen de valider l’utilisabilité d’un EV, pour montrer en somme qu’il n’y a pas de problème d’utilisabilité. Néanmoins, si les EVs à évaluer ne présentent pas de complications potentielles, par exemple des EVs non immersifs présentés sur un ordinateur classique, cette technique peut-être utilisée sans grandes difficultés.