Résultats pour la Suisse

Nous présentons ici une analyse un peu plus détaillée des résultats suisses.

Afin de mieux comprendre certains résultats, la réalisation de la première tâche, concernant les plans tarifaires pour une navigation internet sur l’iPad, est illustrée ci-après (Figure 24 et Figure 25). L’illustration de la deuxième tâche, concernant la localisation de magasins, est disponible en (Annexe E, Annexe F).

8.3.2.1 Performances des participants

Avant de commenter les résultats et afin de mieux les comprendre, nous allons décrire et illustrer les chemins pour accéder aux informations demandées.

Sur le site de Swisscom, les prix des abonnements de l’iPad étaient accessibles en un minimum de 2 clics⁵ : depuis la page d’accueil, il faut sélectionner le menu « Internet – Internet avec votre notebook ». Cela ouvre une nouvelle page,

5 Toutes ces indications concernent les versions des sites disponibles en 2009.

Etude 1 : Benchmarking opérateurs mobiles || 84

depuis laquelle il est possible d’ouvrir une page « Tarifs iPad ». Ceci ouvre une troisième page, sur laquelle un tableau de prix est disponible (voir Figure 24).

Sur Orange, cette même tâche peut être réalisée en un minimum de 3 clics.

Sur la page d’accueil, il faut sélectionner le menu « Internet & TV », ce qui ouvre une nouvelle page. Depuis cette dernière, il faut sélectionner le menu « Internet Everywhere PrePay pour iPad », ce qui une ouvre une troisième page, sur laquelle il faut ouvrir l’onglet « Prix » (voir Figure 25).

La tâche concernant les abonnements pour l’iPad a des taux de réussite très bas en Suisse (respectivement 20.5% sur le site de Swisscom et 21.8% pour le site d’Orange, ce qui fait une moyenne de 21.15% de réussite pour la tâche 1). Une des interprétations possibles pour expliquer ces faibles taux de réussite est que les participants n’ont pas réussi à localiser l’information concernant les offres iPad. Sur les sites des deux opérateurs, deux menus distincts sont proposés : « Mobile » et

« Internet »⁶ – quelle option choisir pour trouver des informations concernant la navigation sur internet avec un appareil mobile (iPad en l’occurrence) ? Cela a certainement posé problème aux participants, puisqu’autant d’entre eux ont sélectionné le menu « Mobile » (16%) et « Internet » (14%) sur le site Orange lors de leur premier clic (Figure 27). Egalement sur le site Orange, 16% des utilisateurs ont cliqué sur le lien « iPhone » disponible en pied de page, ce qui démontre peut-être une méconnaissance du produit iPad (l’iPhone est un téléphone et l’iPad une tablette tactile, ne permettant pas d’utiliser le réseau de téléphonie mobile pour téléphoner ou envoyer des SMS). D’autres participants n’ont pas utilisé la navigation et ont directement utilisé l’outil de recherche du site Orange (14%).

6 Sites consultés en mars 2011 (voir copies d’écran en annexe).

Etude 1 : Benchmarking opérateurs mobiles || 85

Figure 24. Copies d'écran des pages de Swisscom pour réaliser la tâche 1.

Etude 1 : Benchmarking opérateurs mobiles || 86

Figure 25. Copies d'écran des pages d'Orange pour réaliser la tâche 1.

Etude 1 : Benchmarking opérateurs mobiles || 87

Figure 26. Carte de chaleur et statistiques indiquant les zones les plus cliquées sur la page d'accueil de Swisscom pour la tâche 1.

Figure 27. Carte de chaleur et statistiques indiquant les zones les plus cliquées sur la page d'accueil d'Orange pour la tâche 1.

Etude 1 : Benchmarking opérateurs mobiles || 88

Certains participants ont tout de même pu localiser l’information demandée : ils ont ouvert la page où l’information correcte attendue était disponible. En étudiant le chemin de clic (dont un exemple est donné à la Figure 28), nous avons constaté que certains participants ont ouvert la bonne page, mais n’ont pas réussi la tâche, c’est-à-dire qu’ils n’ont pas donné la réponse correcte au questionnaire de validation. Une des interprétations possibles à cela est que les termes que nous avons utilisés dans la description de la tâche ne correspondaient pas toujours à ceux utilisés sur le site (par exemple, « Go » au lieu de « GB » ou « giga » : il s’agit de différentes notations d’un même terme technique, dont les variantes ne sont pas forcément connues par un utilisateur novice). Cela a pu induire les personnes en erreur.

Figure 28. Copie d’écran de l’outil clickpath: agrégation de toutes les pages visitées par tous les participants de l’étude pour effectuer la première tâche. Cette vue d’ensemble illustre la complexité des données, très nombreuses : toutes les pages ouvertes par tous les participants et leur ordre de

consulation sont représentés.

L’outil chemin de clics aide à expliquer les erreurs commises par les participants : on y voit notamment que plusieurs participants n’ont pas utilisé les sites web testés (c’est-à-dire ceux de Swisscom et Orange), mais ont utilisé Google et son outil GoogleMaps pour réaliser la tâche. Dans ce cas-là, il est effectivement possible de trouver les magasins, mais les données fournies par Google ne contiennent pas le numéro de fax. De plus, nous avions défini l’URL qui contenait les informations demandées comme URL de validation de la tâche : il était alors impossible que la tâche soit considérée comme correcte par le système UserZoom.

8.3.2.2 Résultats des questionnaires

Dans les cas d’abandon, les participants ont pu indiquer la raison pour laquelle ils n’ont pas terminé la tâche, en choisissant leur réponse parmi plusieurs

Etude 1 : Benchmarking opérateurs mobiles || 89

possibilités. Nous pouvons constater dans Tableau 11 que, quelle que soit la tâche et le site, la réponse sélectionnée en majorité par les participants est : « Je n’ai pas trouvé l’information où je l’attendais ». Nous pouvons en déduire que le problème concerne l’architecture de l’information des sites testés, qui ne correspond pas à la structure des participants.

La deuxième des raisons invoquées par les participants est : « L’information n’était pas claire ». Cela peut être dû à l’utilisation sur le site d’un jargon ou de termes techniques trop spécifiques pour les utilisateurs. Il s’agit d’un problème concernant le contenu du site, alors que l’utilisabilité d’un site est liée à la présentation et à la structuration de l’information. Nous pouvons tout de même considérer que ce problème ne remplit pas le critère de compatibilité tel qu’énoncé par Bastien & Scapin (Bastien & Scapin, 1993; Scapin & Bastien, 1997) ; un des exemples de recommandations de ce critère est que « les termes employés doivent être familiers aux utilisateurs, et relatifs à la tâche à réaliser » (p. 78).

Les participants avaient la possibilité de préciser la rubrique « Autre » des raisons d’abandon ce qui leur a posé problème. Les réponses aux champs

« Autres » des questionnaires n’ont pas été analysées de façon systématique. La plupart des participants ont écrit avec leurs propres mots que l’information n’était pas présente là où ils l’attendaient (par exemple, « On arrive pas à trouver hyper facilement... C’est trop complexe... », ou « Je n’ai pas trouvé l’information du tout ! », ou encore « Je n’ai aucune expérience et je m’attendais à trouver tous les renseignements sous la rubrique téléphonie mobile surf illimité »). Certains participants ont expliqué avoir trouvé le numéro de téléphone des magasins concernés sur des annuaires en ligne, où le numéro de fax n’était pas renseigné.

8.3.2.3 Effet de l’opérateur mobile des participants

Les participants ayant renseigné dans le questionnaire démographique auprès de quel opérateur mobile ils étaient clients, nous sommes en mesure de vérifier si cette donnée influence leur réussite aux tâches et sur leur satisfaction des sites internet testés.

Etude 1 : Benchmarking opérateurs mobiles || 90

Sur les 78 participants suisses, 46 étaient clients de Swisscom, 12 étaient clients Orange et 20 étaient enregistrés auprès d’un autre opérateur mobile.

Nous avons calculé les corrélations de Pearson entre la réussite à la tâche et l’opérateur mobile auprès duquel les participants étaient clients. Aucune corrélation n’est significative : être client d’un opérateur mobile n’influence pas la réussite aux tâches. En d’autres termes, les clients de Swisscom n’ont pas été plus ou moins efficaces que les clients d’Orange lorsqu’ils naviguaient sur le site de Swisscom, ce qui est également vrai pour les clients d’Orange (ils n’ont pas mieux réussi les tâches sur le site de leur opérateur mobile que les clients de Swisscom). Toutes les valeurs sont disponibles dans le Tableau 9.

Tableau 9. Corrélation de Pearson entre l'opérateur mobile des participants et leur réussite aux tâches (codée de façon binaire réussite/non réussite).

Opérateur mobile des

Efficacité sur la tâche 2 (Swisscom, localisation

Les scores au questionnaire SUS, mesurant la satisfaction des participants, sont indiqués dans le Tableau 10, qui tient compte des groupes dans lesquels les participants se retrouvent en fonction de leur opérateur mobile. Les scores attribués aux deux sites internet testés par les clients de Swisscom ne sont pas significativement différents (t(45) = -0.37, p = .971). En revanche, les clients Orange sont davantage satisfaits du site internet de leur propre opérateur mobile (score SUS moyen Orange des clients Orange : 66.88%) que celui du concurrent (score

Etude 1 : Benchmarking opérateurs mobiles || 91

SUS moyen Swisscom des clients Orange : 55.21%), la différence étant significative (t(11) = -2.306, p < 0.5). Les participants de l’étude dont l’opérateur mobile n’était ni Orange ni Swisscom ont été autant satisfaits du site internet de Swisscom que celui d’Orange (t(19) = -1.884, p = 0.75).

Tableau 10. Scores SUS des deux sites internet testés, selon les opérateurs mobiles des participants.

Opérateur mobile des participants

Site internet concerné

Moyenne du score SUS (%)

N ET

Swisscom Swisscom 54.57 46 17.945

Orange 54.67 46 17.493

Orange Swisscom 55.21 12 19.612

Orange 66.88 12 20.286

Autre Swisscom 51.88 20 22.476

Orange 63.50 20 20.203

Etude 1 : Benchmarking opérateurs mobiles || 92

Tableau 11. Raisons d'abandon pour les participants en Suisse

0% 5% 10% 15% 20% 25% 30% 35% 40%

Je n’ai pas eu assez de temps pour réaliser la … L’information présentée était incomplète

Autre (spécifiez svp) Je n’ai pas trouvé l’information où je l’attendais

Tâche 1 - Swisscom

(44.9% d'abandon; N=35)

0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50%

L’information présentée était incomplète L’information, les options disponibles ou les … Les pages prenaient trop de temps à se charger Je n’ai pas trouvé l’information où je l’attendais

Tâche 2 - Swisscom

Tâche 1 - Orange

(15.4% d'abandon; N=12)

0% 10% 20% 30% 40% 50% 60% 70% 80%

L’information présentée n’était pas claire L’information, les options disponibles ou les … Les pages prenaient trop de temps à se charger Je n’ai pas trouvé l’information où je l’attendais

Tâche 2 - Orange

(37.2% d'abandon; N=29)

Etude 1 : Benchmarking opérateurs mobiles || 93