Plan expérimental

Nous nous intéressons dans cette étude à comparer les méthodes d’évaluation : la méthode classique, et la méthode en ligne automatique. Nous avons également imaginé une méthode qui tire parti des deux méthodes à la fois : cette méthode conjointe utilise l’outil en ligne, mais l’expert est présent pour observer le test. La comparaison des résultats obtenus avec ces trois méthodes nous permettra de vérifier l’influence de l’observation et de l’outil en ligne. Nous comparons les trois méthodes suivantes :

• Méthode classique: l’expert conduit un test d’utilisabilité classique, sans outil d’évaluation en ligne, et modère la passation.

• Méthode conjointe: un outil d’évaluation en ligne gère l’ensemble du test.

L’expert modère le test en encourageant l’utilisateur à penser à voix haute, le questionne sur les choix qu’il effectue, etc.

• Méthode en ligne: un outil d’évaluation en ligne gère l’ensemble du test (consignes, validation des tâches). L’expert n’est pas présent pendant le test, qui est géré automatiquement par UserZoom.

La comparaison des résultats obtenus avec la méthode classique et la méthode conjointe permet de mettre en avant l’effet du traçage, tandis que la comparaison de la méthode conjointe et de la méthode en ligne permet d’identifier les effets de la modération et de l’observation.

Etude 2 : Impact et importance de l’observation et de la modération || 105

Pour mettre en avant l’effet de la méthode (c’est-à-dire l’influence de l’observation et celle de l’outil en ligne), nous avons mis en place un carré latin. Si le même site internet est utilisé dans les trois types d’évaluation, il ne sera pas possible de déterminer avec quelle méthode les problèmes ont été mis en avant.

Chaque site est donc évalué à travers les trois méthodes.

Ainsi, trois conditions de passation ont été définies, de sorte que chaque site soit évalué par les trois méthodes et que leur ordre d’utilisation soit balancé. Chaque expert utilise les trois méthodes avec chaque utilisateur, et chaque utilisateur teste les trois sites, à travers les trois méthodes. Les conditions sont illustrées dans la Figure 30.

Etude 2 : Impact et importance de l’observation et de la modération || 106

Figure 30. Illustration schématique du carré latin.

Etude 2 : Impact et importance de l’observation et de la modération || 107

9.2.4 Procédure

9.2.4.1 Encadrement des experts

Les experts étaient accueillis par l’expérimentatrice dans une salle d’Uni Mail, et ils recevaient un document écrit leur expliquant l’objectif de l’étude, et la procédure de passation des tests utilisateur. Le document contenait les informations suivantes :

• Remerciements

• Objectifs de l’étude

• Noms des sites testés

• Instructions pour l’accueil des utilisateurs

o Expliquer que l’objectif de l’étude est de comparer trois sites de magasins de meubles et qu’ils ont deux tâches à réaliser

o Expliquer la procédure (réaliser des tâches sur des sites internet en verbalisant ses actions (comme cela se fait dans test utilisateur classique), et ce sur trois sites différents, évalués selon trois méthodes, dont une où l’utilisateur se retrouve seul dans la pièce) o Faire signer le formulaire de consentement

• Tâches

• Pour chaque méthode o Site testé

o Rappel des tâches

o Pour chaque tâche, fils d’Ariane amenant à la page sur laquelle l’information correcte était disponible et copie d’écran de la dernière page (voir Figure 32)

• Canevas du rapport à établir à la fin des deux tests

Ce document était écrit de façon différente pour chaque condition. Les informations contenues étaient les mêmes, mais l’ordre de présentation des méthodes était différent selon la condition de passation de l’expert (conditions A, B et C, telles qu’illustrées en Figure 30).

Etude 2 : Impact et importance de l’observation et de la modération || 108

Du papier et des stylos étaient mis à disposition des experts. Après avoir lu le document de plan de tests, les experts étaient amenés à signer un formulaire de consentement (en tant que participant de l’étude), puis attendaient l’arrivée du premier utilisateur. Les experts ont donc mené les tests sans connaître les sites web ni UserZoom au préalable.

Lorsque les deux utilisateurs avaient terminé le test (dans les mêmes conditions, à savoir A, B ou C), l’expert avait accès à l’interface de résultat de l’outil de test et au canevas du rapport, disponible avec le logiciel Microsoft PowerPoint.

Une heure leur était alors accordée pour réaliser un rapport.

Nous avons ensuite demandé aux experts de remplir un questionnaire pour évaluer leur satisfaction quant aux méthodes utilisées sur divers aspects (facilité de détection des problèmes, perception de la satisfaction des utilisateurs, données qualitatives et quantitatives disponibles, interprétation des données et satisfaction globale). Le questionnaire est donné en annexe (Annexe O). Lorsque leur disponibilité le permettait, un entretien était également mené avec eux (ce qui a été possible pour quatre experts).

Etude 2 : Impact et importance de l’observation et de la modération || 109

Figure 31. Schéma récapitulatif de la procédure. Les deux utilisateurs passent les tests dans la même condition. Les conditions varient selon l’expert.

Etude 2 : Impact et importance de l’observation et de la modération || 110

Figure 32. Extraits du plan de test (différent pour chaque condition). Chaque couleur correspond à une condition différente.

9.2.4.2 Tests utilisateur

Les tests utilisateurs étaient menés par les experts. L’expérimentatrice était présente dans la pièce, mais n’intervenait à aucun moment, si ce n’est en cas de problème technique. Les experts accueillaient donc eux-mêmes les participants et géraient l’ensemble du test.

L’ordre des sites testés était toujours le même (Micasa, TopTip puis Interio), mais la méthode avec laquelle ils étaient testés variait (voir les conditions, décrites précédemment).

Etude 2 : Impact et importance de l’observation et de la modération || 111