Résultats généraux

8.3.1.1 Performances des participants

Concernant la première tâche (trouver le prix de l’abonnement pour naviguer sur internet avec un iPad), elle a été réussie au mieux par 75% des participants (c’est le cas des participants anglais, sur le site d’Orange) et au moins bien par 24%

participants (il s’agit des participants suisses, sur le site d’Orange). Le détail des autres pays est donné dans la Figure 19.

Etude 1 : Benchmarking opérateurs mobiles || 76

Les taux de réussite à la deuxième tâche (trouver le numéro de fax ou l’adresse d’un magasin près de la gare d’une ville donnée) varient entre 87% (taux atteint en Suisse, sur le site d’Orange) et 49% (taux observé au Royaume-Uni, sur le site de Vodafone). Le détail des autres pays est donné dans la Figure 20.

Le Tableau 5 comprend le pourcentage de réussite, d’abandon et de réussite des 4 tâches différentes (deux tâches sur deux sites internet), sans tenir compte du pays des participants.

Tableau 5. Pourcentage de réussite, abandon et échec aux différentes tâches, tous pays confondus

Tâche 1 Tâche 2

Site A Succès 33.8 55.7

Abandon 18.7 21.1

Échec 47.5 23.0

Site B Succès 42.2 65.2

Abandon 10.6 17.9

Échec 47.0 16.9

Figure 19. Taux de réussite des participants des différents pays à la tâche 1, par opérateur 31%

40%

27% 50% 61%

24% 28% 75%

0% 20% 40% 60% 80% 100%

Swisscom(CH) T-Mobile(NL) Vodafone(NL) Vodafone(UK) Vodafone(SP) Orange(CH) Orange(SP) Orange(UK)

Etude 1 : Benchmarking opérateurs mobiles || 77

Figure 20. Taux de réussite des participants des différents à la tâche 2, par opérateur

Les taux de réussite ont été étudiés grâce à une anova pour plans à mesures répétées, avec deux facteurs intra-sujets, à savoir le site et la tâche (iPad/localisation) pour chaque pays en se basant sur les scores des participants.

En effet, les sites n’étant pas les même pour chaque pays, nous ne pouvons pas réaliser une analyse globale.

En Espagne, l’effet de la tâche est significatif (F(1,99) = 14.532, p < 0.0001, η² = .128) : La tâche concernant les plans tarifaires pour l’iPad était plus difficile que la tâche de localisation du magasin. L’effet du site internet est aussi significatif (F(1,99) = 31.263, p < 0.0001, η² = .240) : le site internet de Vodafone a entraîné de meilleures performances de la part des participants que le site internet d’Orange.

Aux Pays-Bas, l’effet de la tâche est significatif (F(1,99) = 50.365, p < 0.0001, η² = .337) : la tâche concernant l’iPad moins bien réussie que la tâche de localisation. L’effet du site est également significatif (F(1,99) = 25.730, p < 0.0001, η² = .468) : les taux de réussite sont meilleurs sur T-Mobile que sur Vodafone. Aux Royaume-Uni, l’effet de la tâche est significatif (F(1,98) = 5.558, p < 0.001, η² = .054) (la tâche de localisation étant mieux réussie), ainsi que celui du site (F(1,98) = 86.235, p < 0.05, η² = .468). De meilleures performances sont observées sur le site web de Orange que sur celui de Vodafone. En Suisse, l’effet de la tâche est significatif (F(1,77) = 50.845, p < 0.001, η² = .398) (meilleures performances sur la tâche de localisation que sur celle des plans tarifaires pour l’iPad), mais pas celui du site (F(1,77) = .467, p = .496).

Etude 1 : Benchmarking opérateurs mobiles || 78

8.3.1.2 Efficience

Trois variables sont regroupées sous le terme « efficience » par l’outil de test automatisé : le temps moyen pour effectuer la tâche, le nombre de pages uniques consultées, et le nombre de clics effectués (voir Figure 21).

Figure 21. Copie d'écran: exemple d'un résumé de résultats généré par l'outil de test automatisé.

L’efficience (en bas à gauche) comprend le temps, le nombre de pages uniques consultées, et le nombre de clics.

Dans le cas de l’Espagne et du Royaume-Uni, les écarts-types sont assez grands. Nous remarquons par ailleurs que les valeurs minimales sont très basses (moins de 30 secondes pour effectuer les tâches), ainsi que les valeurs maximales sont très élevées. Pour les interpréter, il faudrait appliquer des règles, comme par exemple éliminer les données qui se trouvent à plus de trois écarts-types de la moyenne ou appliquer un log, mais cela comporte un risque (celui que les conditions de passations ne soient pas identiques).

Dans ces cas extrêmes, nous pouvons nous interroger : ces participants ont-ils réellement essayé de réaliser la tâche ? Dans les cas très rapides, il se peut que le∙la participant∙e connaissait la réponse et n’ait pas eu besoin de naviguer sur le site à la recherche de la réponse. Dans les cas très lents, les participants ont peut-être été occupés par une autre tâche (un téléphone, ou la visite de quelqu’un, par exemple). Les données ne permettent pas de répondre à ces questions, qui resteront des interprétations hypothétiques, par manque d’observation directe.

Etude 1 : Benchmarking opérateurs mobiles || 79

Tableau 6. Efficience des participants de chaque pays sur la tâche 1 (tarifs iPad)

Pays Opérateur Mesure Minimum Maximum Moyenne Ecart-type Espagne Vodafone Temps 00:00:09 02:24:23 00:06:20 00:15:39

Pages

Pays-Bas Vodafone Temps 00:00:48 00:13:55 00:03:26 00:03:12 Pages

uniques

3 33 7 6

Clics 0 132 13 20

T-Mobile Temps 00:00:06 00:05:40 00:02:04 00:01:19 Pages

Vodafone Temps 00:00:11 00:35:38 00:05:24 00:05:23 Pages

Suisse Swisscom Temps 00:01:11 00:08:83 00:03:18 00:02:49 Pages

Etude 1 : Benchmarking opérateurs mobiles || 80

Tableau 7. Efficience des participants de chaque pays sur la tâche 2 (localisation magasin)

Pays Opérateur Mesure Minimum Maximum Moyenne Ecart-type Espagne Vodafone Temps 00:00:11 00:42:29 00:03:43 00:06:39

Pages

Pays-Bas Vodafone Temps 00:00:11 00:10:44 00:02:49 00:02:00 Pages

uniques

2 11 5 2

Clics 0 105 23 21

T-Mobile Temps 00:00:01 00:07:16 00:01:10 00:01:20 Pages

Vodafone Temps 00:00:38 00:24:30 00:04:17 00:03:58 Pages

Suisse Swisscom Temps 00:00:25 00:04:05 00:01:54 00:01:10 Pages

Le questionnaire System Usability Scale (SUS) est composé de 10 propositions que le participant évalue sur une échelle de Lickert allant de 1 (fortement en désaccord) à 5 (fortement en accord). Le questionnaire SUS permet de calculer un nombre qui représente une mesure composite représentant l’utilisabilité générale du système évalué. Le score est calculé à partir des « notes » attribuées par les participants à chaque proposition (pour le détail du calcul, se référer à Brooke, 1996) (il n’est pas pertinent d’étudier les propositions de façon

Etude 1 : Benchmarking opérateurs mobiles || 81

individuelle). Le score SUS calculé varie de 0 à 100 %, indiquant la valeur générale subjective de l’utilisabilité du système étudié (Brooke, 1996).

Afin de qualifier les valeurs de SUS, une interprétation du score SUS par des adjectifs précis a été proposée et validée par Bangor, Kortum & Miller (2008), reproduite ci-dessous (Figure 22). Les résultats de notre étude sur l’échelle SUS varient entre 59% et 40% (détail dans le Tableau 8).

Tableau 8. Moyenne et écart-type des scores SUS pour chaque opérateur, selon les différents pays

Espagne Pays-Bas Royaume-Uni Suisse

Vodafone 50.55 En appliquant la correspondance entre taux de satisfaction et qualificatif (Bangor et al., 2008), un score SUS de 40% signifie une satisfaction pauvre, tandis que 59% est entre « OK » et « bon ». Les scores obtenus dans cette étude (Tableau 8) sont plutôt bas, suggérant une ergonomie faible des sites internet testés.

La consistance interne du questionnaire est élevée : son homogénéité est satisfaisante (α = .892).

Etude 1 : Benchmarking opérateurs mobiles || 82

Figure 22. Adjectifs qualificatifs mis en correspondance avec les scores SUS, tiré de Bangor et al., 2008.

8.3.1.3 Préférence des participants

Après avoir effectué les deux tâches sur les sites des deux opérateurs mobiles, les participants ont dû indiquer sur quel site ils ont préféré naviguer. 75%

des participants espagnols ont indiqué préférer le site Vodafone à celui d’Orange. Le χ² de conformité (χ² = 25.00, dl = 1), qui « permet de décider si une série d’effectifs observés diffère significativement d’une série d’effectifs théoriques (ou attendus) » (Dancey & Reidy, 2007, p. 292), correspond à une significativité p inférieure à 0.001 – Vodafone est donc plébiscité par les participants espagnols. Aux Pays-Bas, l’opérateur T-Mobile a été choisi par 53% des participants. Le χ² de conformité (χ² = .360, dl = 1) n’est pas significatif (p = .549). Au Royaume-Uni, le χ² de conformité (χ² = .640, dl = 1) n’est pas significatif non plus (p = .424) (Orange sélectionné par 54% des participants, Vodafone par 46%). Les participants suisses ont quant à eux été 53.8% à avoir indiqué préférer Swisscom, la différence entre les deux opérateurs n’étant pas significative (χ² = .462, dl = 1, p = .497). Les pourcentages sont illustrés à la Figure 23.

Etude 1 : Benchmarking opérateurs mobiles || 83

Figure 23. Pourcentage de préférence des opérateurs mobiles, par pays