8.2 M ÉTHODE
8.2.1 Participants
Cette étude fait intervenir quatre pays membres du réseau international UXAlliance (présentation détaillée en Annexe A)2. Les pays qui ont participé et leur représentant respectif sont les suivants:
• Royaume-Uni, représenté par UserZoom
• Espagne, représenté par Xperience Consulting
• Pays-Bas, représenté par User Intelligence
• Suisse, représentée par Telono S.A.
Dans chaque pays, une centaine de personnes a été recrutée pour l’expérience par l’intermédiaire d’une agence spécialisée dans le recrutement de participants pour des études et des sondages. Il s’agit d’une agence qui a à sa disposition une base de données importante de personnes, qui reçoivent des points pour chaque étude effectuée (les points accumulés à travers différentes études sont ensuite échangés contre des bons cadeaux). Le nombre total de participants final est de 379 personnes, dont 53.3% de femmes et 46.6% d’hommes. Concernant l’âge des participants, 22% d’entre eux avait entre 18 et 25 ans, 28.3% était situé
2 Cette étude a été réalisée dans le cadre de mon activité à Telono S.A.
Etude 1 : Benchmarking opérateurs mobiles || 68
dans la tranche d’âge de 26 à 35 ans, 31.5% était âgé de 36 à 45 ans et 18.3% se trouvait dans la tranche des 46-55 ans. La participation selon les différents pays est indiquée dans le Tableau 4.
Tableau 4. Nombre de participants par pays
Pays Nombre de participants Détails
Espagne 100 55% hommes
45% femmes
Pays-Bas 101 53% hommes
47% femmes
Royaume-Uni 100 35% hommes
65% femmes
L’outil sélectionné pour cette expérience se nomme UserZoom. Cet outil est commercialisé par l’entreprise éponyme, qui possède des bureaux aux Etats-Unis, en Angleterre et en Espagne. UserZoom offre plusieurs fonctionnalités :
• Test d’utilisabilité de sites web à distance
• Questionnaire en ligne
• Etude de benchmark
• Test de prototype
• Tri de cartes en ligne
• Test d’interface sur mobile3
3 Informations tirées de leur site web, consulté le 13 juillet 2011
http://www.userzoom.com/wp-content/uploads/2011/05/UserZoom_brochure_article_Feb11.pdf Etude 1 : Benchmarking opérateurs mobiles || 69
Puisque nous avons utilisé la fonction test d’utilisabilité de sites web à distance, il convient d’expliquer le fonctionnement de l’outil du point de vue de l’expérimentateur, ainsi que de celui de l’utilisateur.
L’administrateur d’un compte UserZoom peut paramétrer une grande quantité d’informations pour son étude (voir copies d’écran, Annexe B) . Concernant l’ensemble du test, il est possible de modifier la langue du test, l’aspect visuel de l’étude, les messages automatiques, de définir des restrictions sur les participants à l’étude selon leur environnement technique (navigateur, résolution d’écran, adresse IP), ou encore de proposer les tâches de manière aléatoire.
Au niveau de l’étude à proprement parler, le choix de paramétrage est également étendu. L’administrateur peut modifier le texte de bienvenue de l’étude (« Welcome page »), proposer un questionnaire avant le début des tâches (« Initial Questionnaire »), créer autant de tâches qu’il le souhaite, en définissant tous leurs détails, et un questionnaire final (« Final Questionnaire »). Les copies d’écran disponibles en annexe ont été réalisées sur une étude comportant quatre tâches définies, mais le nombre de tâche n’est pas limité.
Au niveau des tâches, il est possible de définir une URL sur laquelle les participants seront redirigés après la lecture de la description de la tâche, afin que tous les participants débutent le test depuis la même page. La tâche est décrite de manière exhaustive (« Task description page », maximum 3000 caractères), puis de façon plus concise (« Simplified task description », maximum 1000 caractères) (Figure 43, Annexe B). La première est affichée sur un écran avant le début de la tâche (Figure 47, Annexe B), tandis que la deuxième est affichée dans une fenêtre en dessous de l’écran principal de l’utilisateur lors de la tâche (Figure 17).
Pour permettre au système de déterminer si l’utilisateur a réussi ou non une tâche, l’administrateur a trois possibilités de validation d’une tâche. Il peut soit proposer un questionnaire, en indiquant quelle réponse est correcte («Validate by questionnaire »), indiquer une URL de validation (« Validate by URL »), en précisant si les participants continuent à naviguer sur le site ou si la tâche s’arrête lorsque cette l’URL est visitée, ou encore limiter le temps (« TimeOut »). Les trois options ne
Etude 1 : Benchmarking opérateurs mobiles || 70
sont pas exclusives et peuvent être activées simultanément. Dans le cas de notre étude, nous avons choisi la validation par URL et par questionnaire.
Lorsqu’une tâche est terminée, l’administrateur peut proposer des questionnaires spécifiques à chaque cas : réussite (l’utilisateur a cliqué sur le bouton
« Réussite »), abandon (l’utilisateur a cliqué sur le bouton « Abandon »), ou échec (l’utilisateur a cliqué sur le bouton « Réussite » mais n’a pas visité l’URL de validation, par exemple). L’administrateur peut proposer autant de questions qu’il le souhaite par questionnaire, et de différents types (questions ouvertes, questions à choix multiples avec une ou plusieurs réponse(s) possible(s), échelles). Il est également possible de proposer un questionnaire général, affiché quel que soit le résultat de l’utilisateur à la tâche effectuée (« General questionnaire », Figure 44, Annexe B). Enfin, l’administrateur peut proposer un questionnaire final (« Final questionnaire »), qui sera affiché lorsque l’utilisateur aura terminé toutes les tâches du test.
Ce paramétrage détaillé permet ensuite à l’utilisateur de réaliser le test de manière automatisée. Concrètement, le participant reçoit un lien (par e-mail, ou à travers une plateforme sociale), qui ouvre le test. Lors de sa première utilisation de UserZoom, l’utilisateur est guidé dans l’installation d’un plugin spécifique (Figure 45, Annexe B). Le texte de bienvenue est affiché (Figure 46, Annexe B), où l’utilisateur doit accepter les conditions d’utilisation de UserZoom pour pouvoir continuer. La description de la tâche est indiquée à l’écran (Figure 47, Annexe B), puis le site à tester est ouvert dans la fenêtre principale. Une fenêtre supplémentaire s’ouvre sous la fenêtre principale, avec le rappel de la tâche et les boutons « Réussite » et
« Abandon ». Le participant navigue sur le site à la recherche de l’information demandée, et définit ensuite lui-même s’il pense avoir réussi ou non la tâche, en cliquant sur le bouton correspondant (Figure 17).
L’outil de test automatisé récolte plusieurs données de traçage : le temps (total et par tâche), le nombre de clics, le nombre de pages visitées ainsi que leur ordre de visite, et la position des clics effectués sur les pages visitées. L’outil propose ensuite une analyse quantitative sommaire et indique les taux de réussite, d’abandon et d’échec sur chaque tâche du test. Un outil de « chemin de clics » Etude 1 : Benchmarking opérateurs mobiles || 71
(« Clickpath ») est également disponible : toutes les pages visitées par tous les utilisateurs sont listées, dans leur ordre de consultation. Un outil d’analyse de clics permet de visualiser à l’aide d’une carte de chaleur où, sur chaque page consultée, l’ensemble des utilisateurs a cliqué (« Heatmap click »), accompagné de statistiques descriptives (pourcentage d’utilisateurs ayant cliqué sur chaque zone de chaleur).
Des exemples de ces analyses sont donnés dans la partie résultats.
Figure 17. Capture d’écran de l’interface utilisateur de UserZoom: l’utilisateur navigue sur le site web à la recherche de l’information qui lui est demandée, et la fenêtre UserZoom en bas de l’écran lui permet de valider sa tâche.
8.2.2.2 Sites testés
Les tâches assignées aux utilisateurs étaient volontairement simples, de manière à ne pas perdre trop de participants en cours de test, et ont été réalisées sur deux sites de téléphonie mobiles. Les opérateurs de téléphonie sélectionnés étaient les suivants:
• Au Royaume-Uni et en Espagne: Vodafone, Orange
• Aux Pays-Bas: Vodafone, T-Mobile
• En Suisse: Swisscom, Orange
Etude 1 : Benchmarking opérateurs mobiles || 72
Les sites d’un même opérateur mobile sont un peu différents selon les pays (Vodafone Espagne/Pays-Bas/Royaume-Uni, Orange Suisse/Pays-Bas). Bien que la ligne graphique soit la même, les promotions mises en avant sur la page d’accueil diffèrent d’un pays à l’autre.
8.2.2.3 Tâches
Etant donné qu’il s’agit d’une étude menée sur plusieurs pays, des contraintes reposaient sur l’élaboration des tâches. Dans le cas d’une recherche d’un produit particulier, il fallait que ce produit soit disponible à la vente dans chaque pays participant, et auprès de deux opérateurs mobiles différents.
Les énoncés des tâches en Suisse étaient les suivants (la langue et les opérateurs étaient adaptés selon les pays de test) :
1) « Vous pensez vous acheter un iPad et souhaitez d'abord connaître les prix de l'abonnement qui vous permet de naviguer sur internet
quotidiennement, regarder des vidéos et télécharger du contenu jusqu'à 2GB, et l'accès illimité au wifi de l'opérateur. En partant de la page d'accueil du site de l’opérateur [Swisscom/Orange], veuillez trouver les coûts mensuels les plus avantageux et terminer la tâche lorsque vous pensez avoir trouvé l'information. Prenez note du prix pour pouvoir nous le donner par la suite. »
2) « Lors de votre dernier déplacement à Fribourg4, vous vous êtes rendu au magasin de l’opérateur [Swisscom/Orange] le plus proche de la gare et y avez fait quelques achats. Comme vous avez maintenant besoin de leur envoyer un fax, retrouvez ce magasin sur le site et trouvez son numéro de fax. »
Pour la deuxième tâche, le numéro de fax était demandé pour les tâches en Suisse, car c’était un des seuls éléments uniques sur les fiches de magasin (le numéro de téléphone et l’e-mail étaient génériques, identiques pour tous les magasins de Suisse). Dans les autres pays, cependant, le numéro de fax des
4 Atocha en Espagne ; Amsterdam aux Pays-Bas ; Brighton en Angleterre.
Etude 1 : Benchmarking opérateurs mobiles || 73
magasins n’était pas disponible : l’adresse physique du magasin était alors demandée.
Ces deux tâches étaient réalisées pour les deux opérateurs. Les participants ont donc réalisé quatre tâches au total.
8.2.2.4 Questionnaires
Questionnaire initial. Ce questionnaire concerne le sexe, l’âge, et l’opérateur mobile auprès duquel le participant est client.
Post-test. Après avoir réalisé les deux tâches pour un opérateur, les participants avaient plusieurs questionnaires à remplir :
• Facilité d’utilisation du site, sur une échelle de 1 (difficile) à 5 (facile)
• System Usabiliy Scale (voir Annexe Cpour le détail des questions et Erreur ! Source du renvoi introuvable. pour l’interprétation du résultat).
L’échelle SUS permet de calculer un score global de l’utilisabilité perçue d’un logiciel, entre 0 et 100%.
Questionnaire en cas de réussite. Lorsque l’utilisateur a cliqué sur
« Réussite », un questionnaire permet de vérifier qu’il a effectivement trouvé la bonne réponse, en lui demandant de choisir la bonne réponse parmi quatre choix différents.
Questionnaire en cas d’erreur. En cas d’échec ou d’abandon, l’outil permet d’afficher un questionnaire spécifique. Nous avons élaboré deux questions : la première est une question fermée à choix multiples (plusieurs réponses sont acceptées), et la deuxième est une question ouverte.
1) La réponse que vous avez donnée n’est malheureusement pas correcte. A votre avis, pour quelle(s) raison(s) n’avez-vous pas trouvé la réponse correcte ?
a. L’information que j’ai trouvée me semblait être la réponse correcte.
b. Je n’étais pas sûr(e) et n’ai pas trouvé la bonne réponse, alors j’ai répondu au hasard.
c. Les informations sur le site étaient incomplètes.
Etude 1 : Benchmarking opérateurs mobiles || 74
d. Les informations, les options disponibles ou les menus étaient difficiles à comprendre.
e. J’ai obtenu un message d’erreur de la part du site internet.
f. Autre (spécifiez svp).
2) Pouvez-vous expliquer votre expérience et les difficultés que vous avez rencontrées en réalisant la tâche ?
Questionnaire en cas d’abandon. Lorsque l’utilisateur clique sur le bouton
« Abandon » en cours de tâche, deux questions lui sont alors posées. Nous avons élaboré deux questions : la première est une question fermée à choix multiples (plusieurs réponses sont acceptées), et la deuxième est une question ouverte.
1) « Pour quelle(s) raison(s) n’avez-vous pas réussi à réaliser cette tâche ? a. Les pages prenaient trop de temps à se charger.
b. L’information présentée n’était pas claire.
c. L’information présentée était incomplète.
d. L’information, les options disponibles ou les menus étaient difficiles à comprendre.
e. Je n’ai pas trouvé l’information où je l’attendais.
f. Je n’ai pas eu assez de temps pour réaliser la tâche.
g. Autre (spécifiez svp). »
2) « Pouvez-vous expliquer votre expérience ? »
Questionnaire final. Après avoir réalisé les quatre tâches, les utilisateurs ont dû indiquer quel site ils ont préféré, en justifiant leur choix, et ont effectué le Net Promoter Score (NPS). Ce questionnaire est utilisé dans le domaine du marketing pour déterminer si les participants sont promoteurs, passifs ou détracteurs par rapport à l’entreprise évaluée. Pour évaluer ceci, les participants doivent répondre à la question : « Quelle est la probabilité que vous recommandiez le site de Swisscom à un ami ou à un collègue ? », sur une échelle de 0 (« très improbable ») à 10 (« très probable »).
Etude 1 : Benchmarking opérateurs mobiles || 75
8.2.3 Procédure
Pour contrer l’effet d’apprentissage sur la tâche, l’ordre de passation entre les deux opérateurs mobiles de chaque pays a été contrebalancé (dans 50% des cas, les participants testaient d’abord l’opérateur A, dans 50%, les participants commençaient par tester l’opérateur B). Ceci était géré directement par UserZoom, qui offre la fonctionnalité « randomization ».
Figure 18. Schéma de la procédure
8.3 Résultats
L’outil de test automatisé récolte automatiquement des données quantitatives, à savoir le temps passé sur chaque tâche, le nombre de clics effectués, le nombre de pages consultées, les taux de réussite, d’abandon et d’échec, et les réponses aux différents questionnaires. Ces données ont été récoltées dans chaque pays participant à cette étude (Espagne, Pays-Bas, Royaume-Uni, Suisse), et sont reproduites ici, dans la section « Résultats généraux ». Les sites n’étant pas identiques d’un pays à l’autre, il nous est difficile de mener des analyses comparatives sur les quatre pays participants. C’est pourquoi nous divisons les résultats en deux parties : une section sur les résultats généraux, qui portent sur les aspects globaux internationaux, et une section sur les données suisses uniquement, où nous pouvons mener une comparaison des deux sites des opérateurs mobiles suisses.
8.3.1 Résultats généraux
8.3.1.1 Performances des participants
Concernant la première tâche (trouver le prix de l’abonnement pour naviguer sur internet avec un iPad), elle a été réussie au mieux par 75% des participants (c’est le cas des participants anglais, sur le site d’Orange) et au moins bien par 24%
participants (il s’agit des participants suisses, sur le site d’Orange). Le détail des autres pays est donné dans la Figure 19.
Etude 1 : Benchmarking opérateurs mobiles || 76
Les taux de réussite à la deuxième tâche (trouver le numéro de fax ou l’adresse d’un magasin près de la gare d’une ville donnée) varient entre 87% (taux atteint en Suisse, sur le site d’Orange) et 49% (taux observé au Royaume-Uni, sur le site de Vodafone). Le détail des autres pays est donné dans la Figure 20.
Le Tableau 5 comprend le pourcentage de réussite, d’abandon et de réussite des 4 tâches différentes (deux tâches sur deux sites internet), sans tenir compte du pays des participants.
Tableau 5. Pourcentage de réussite, abandon et échec aux différentes tâches, tous pays confondus
Tâche 1 Tâche 2
Site A Succès 33.8 55.7
Abandon 18.7 21.1
Échec 47.5 23.0
Site B Succès 42.2 65.2
Abandon 10.6 17.9
Échec 47.0 16.9
Figure 19. Taux de réussite des participants des différents pays à la tâche 1, par opérateur 31%
40%
27% 50% 61%
24% 28% 75%
0% 20% 40% 60% 80% 100%
Swisscom(CH) T-Mobile(NL) Vodafone(NL) Vodafone(UK) Vodafone(SP) Orange(CH) Orange(SP) Orange(UK)
Etude 1 : Benchmarking opérateurs mobiles || 77
Figure 20. Taux de réussite des participants des différents à la tâche 2, par opérateur
Les taux de réussite ont été étudiés grâce à une anova pour plans à mesures répétées, avec deux facteurs intra-sujets, à savoir le site et la tâche (iPad/localisation) pour chaque pays en se basant sur les scores des participants.
En effet, les sites n’étant pas les même pour chaque pays, nous ne pouvons pas réaliser une analyse globale.
En Espagne, l’effet de la tâche est significatif (F(1,99) = 14.532, p < 0.0001, η2 = .128) : La tâche concernant les plans tarifaires pour l’iPad était plus difficile que la tâche de localisation du magasin. L’effet du site internet est aussi significatif (F(1,99) = 31.263, p < 0.0001, η2 = .240) : le site internet de Vodafone a entraîné de meilleures performances de la part des participants que le site internet d’Orange.
Aux Pays-Bas, l’effet de la tâche est significatif (F(1,99) = 50.365, p < 0.0001, η2 = .337) : la tâche concernant l’iPad moins bien réussie que la tâche de localisation. L’effet du site est également significatif (F(1,99) = 25.730, p < 0.0001, η2 = .468) : les taux de réussite sont meilleurs sur T-Mobile que sur Vodafone. Aux Royaume-Uni, l’effet de la tâche est significatif (F(1,98) = 5.558, p < 0.001, η2 = .054) (la tâche de localisation étant mieux réussie), ainsi que celui du site (F(1,98) = 86.235, p < 0.05, η2 = .468). De meilleures performances sont observées sur le site web de Orange que sur celui de Vodafone. En Suisse, l’effet de la tâche est significatif (F(1,77) = 50.845, p < 0.001, η2 = .398) (meilleures performances sur la tâche de localisation que sur celle des plans tarifaires pour l’iPad), mais pas celui du site (F(1,77) = .467, p = .496).
Etude 1 : Benchmarking opérateurs mobiles || 78
8.3.1.2 Efficience
Trois variables sont regroupées sous le terme « efficience » par l’outil de test automatisé : le temps moyen pour effectuer la tâche, le nombre de pages uniques consultées, et le nombre de clics effectués (voir Figure 21).
Figure 21. Copie d'écran: exemple d'un résumé de résultats généré par l'outil de test automatisé.
L’efficience (en bas à gauche) comprend le temps, le nombre de pages uniques consultées, et le nombre de clics.
Dans le cas de l’Espagne et du Royaume-Uni, les écarts-types sont assez grands. Nous remarquons par ailleurs que les valeurs minimales sont très basses (moins de 30 secondes pour effectuer les tâches), ainsi que les valeurs maximales sont très élevées. Pour les interpréter, il faudrait appliquer des règles, comme par exemple éliminer les données qui se trouvent à plus de trois écarts-types de la moyenne ou appliquer un log, mais cela comporte un risque (celui que les conditions de passations ne soient pas identiques).
Dans ces cas extrêmes, nous pouvons nous interroger : ces participants ont-ils réellement essayé de réaliser la tâche ? Dans les cas très rapides, il se peut que le∙la participant∙e connaissait la réponse et n’ait pas eu besoin de naviguer sur le site à la recherche de la réponse. Dans les cas très lents, les participants ont peut-être été occupés par une autre tâche (un téléphone, ou la visite de quelqu’un, par exemple). Les données ne permettent pas de répondre à ces questions, qui resteront des interprétations hypothétiques, par manque d’observation directe.
Etude 1 : Benchmarking opérateurs mobiles || 79
Tableau 6. Efficience des participants de chaque pays sur la tâche 1 (tarifs iPad)
Pays Opérateur Mesure Minimum Maximum Moyenne Ecart-type Espagne Vodafone Temps 00:00:09 02:24:23 00:06:20 00:15:39
Pages
Pays-Bas Vodafone Temps 00:00:48 00:13:55 00:03:26 00:03:12 Pages
uniques
3 33 7 6
Clics 0 132 13 20
T-Mobile Temps 00:00:06 00:05:40 00:02:04 00:01:19 Pages
Vodafone Temps 00:00:11 00:35:38 00:05:24 00:05:23 Pages
Suisse Swisscom Temps 00:01:11 00:08:83 00:03:18 00:02:49 Pages
Etude 1 : Benchmarking opérateurs mobiles || 80
Tableau 7. Efficience des participants de chaque pays sur la tâche 2 (localisation magasin)
Pays Opérateur Mesure Minimum Maximum Moyenne Ecart-type Espagne Vodafone Temps 00:00:11 00:42:29 00:03:43 00:06:39
Pages
Pays-Bas Vodafone Temps 00:00:11 00:10:44 00:02:49 00:02:00 Pages
uniques
2 11 5 2
Clics 0 105 23 21
T-Mobile Temps 00:00:01 00:07:16 00:01:10 00:01:20 Pages
Vodafone Temps 00:00:38 00:24:30 00:04:17 00:03:58 Pages
Suisse Swisscom Temps 00:00:25 00:04:05 00:01:54 00:01:10 Pages
Le questionnaire System Usability Scale (SUS) est composé de 10 propositions que le participant évalue sur une échelle de Lickert allant de 1 (fortement en désaccord) à 5 (fortement en accord). Le questionnaire SUS permet de calculer un nombre qui représente une mesure composite représentant l’utilisabilité générale du système évalué. Le score est calculé à partir des « notes » attribuées par les participants à chaque proposition (pour le détail du calcul, se référer à Brooke, 1996) (il n’est pas pertinent d’étudier les propositions de façon
Etude 1 : Benchmarking opérateurs mobiles || 81
individuelle). Le score SUS calculé varie de 0 à 100 %, indiquant la valeur générale subjective de l’utilisabilité du système étudié (Brooke, 1996).
Afin de qualifier les valeurs de SUS, une interprétation du score SUS par des adjectifs précis a été proposée et validée par Bangor, Kortum & Miller (2008), reproduite ci-dessous (Figure 22). Les résultats de notre étude sur l’échelle SUS varient entre 59% et 40% (détail dans le Tableau 8).
Tableau 8. Moyenne et écart-type des scores SUS pour chaque opérateur, selon les différents pays
Espagne Pays-Bas Royaume-Uni Suisse
Vodafone 50.55 En appliquant la correspondance entre taux de satisfaction et qualificatif (Bangor et al., 2008), un score SUS de 40% signifie une satisfaction pauvre, tandis que 59% est entre « OK » et « bon ». Les scores obtenus dans cette étude (Tableau 8) sont plutôt bas, suggérant une ergonomie faible des sites internet testés.
La consistance interne du questionnaire est élevée : son homogénéité est satisfaisante (α = .892).
Etude 1 : Benchmarking opérateurs mobiles || 82
Figure 22. Adjectifs qualificatifs mis en correspondance avec les scores SUS, tiré de Bangor et al., 2008.
8.3.1.3 Préférence des participants
Après avoir effectué les deux tâches sur les sites des deux opérateurs mobiles, les participants ont dû indiquer sur quel site ils ont préféré naviguer. 75%
des participants espagnols ont indiqué préférer le site Vodafone à celui d’Orange. Le χ2 de conformité (χ2 = 25.00, dl = 1), qui « permet de décider si une série d’effectifs
des participants espagnols ont indiqué préférer le site Vodafone à celui d’Orange. Le χ2 de conformité (χ2 = 25.00, dl = 1), qui « permet de décider si une série d’effectifs