Protocole expérimental (exp 1.2)

Un total de 12 sujets les yeux bandés ont participé à l'expérience 1.2. Le dispositif expérimental a été installé dans une pièce silencieuse. L'expérience a été contrôlée par un logiciel ad-hoc écrit en langage C# sur une tablette tactile avec un système d'exploitation Windows Seven 64bits.

Les sujets ont passé l’expérience en une session d'une heure et demie. L’ordre des techniques a été contrebalancé entre les sujets. Au cours d'une session, les sujets sont assis en face d’une table où ont été posés les dispositifs et portent un casque audio. Nous leur avons expliqué que le but de la tâche était d'estimer une valeur, entre 1 et 100, avec quatre techniques d’interaction différentes. Chaque session comprenait quatre blocs correspondant aux quatre techniques d'interaction.

Au début de chaque bloc, le but de la tâche et le fonctionnement de la technique étaient rappelés par synthèse vocale. Puis, les sujets passaient une phase de familiarisation de dix essais avec des valeurs pseudo-aléatoires entre 1 et 100. Pendant cette phase, pour chaque essai, les sujets devaient d’abord estimer la valeur avec le dispositif, avant d’avoir la correction. Cette phase était reconductible et permettait aux sujets de se construire une représentation interne de l’échelle des valeurs. La phase de test incluait 50 essais avec des valeurs pseudo-aléatoires entre 1 et 100. Après chaque essai, les sujets estimaient verbalement la valeur mais ne recevaient pas de correction ou de commentaire concernant la valeur cible ou l'exactitude de leur réponse.

Après chaque bloc, les sujets donnaient leurs commentaires. A la fin des quatre blocs, les sujets répondaient à un questionnaire de satisfaction (SUS, (Bangor et al. 2008)) pour chacune des techniques, et ont classé les quatre techniques en fonction de leur préférence. Les mesures observées sont : l’erreur (estimée-cible), le score SUS et un classement. Nous avions deux facteurs : « Active/Passive » et « AvecRéférences/SansRéférence ». Le but de cette expérience complémentaire était d’étudier la puissance d’impact des facteurs en termes d’efficacité et de satisfaction.

4.3.4 Résultats de l’expérience 1.2

4.3.4.1 Facteur 1 : la catégorie Active/Passive (A/P)

Nous avons regroupé les résultats en deux groupes, soit deux techniques pour « Active » et deux techniques pour « Passive ».

-145-

EFFICACITE DES GROUPES A/P

Les deux échantillons de données ne suivaient pas la loi normale, nous avons donc testé s’il existait une différence significative entre les deux groupes avec un test non-paramétrique : Wilcoxon signed rank test. Le résultat est significatif pour l’efficacité (V = 75, p-value <0,01). La Figure 4-18montre les moyennes et écarts-types des groupes « Active » et « Passive ».

Figure 4-18 : A gauche, l’erreur (précision) et l’écart-type (dispersion) pour chaque groupe de techniques (Active/Passive). Les lignes montrent les limites -5,0 et +5 ; les [*] montrent les différences significatives (**,

p<0,01). A droite, les valeurs des moyennes et des écarts-types, pour les groupes « Active » et « Passive », ordonnées de manière croissante selon les écarts-types.

SATISFACTION DES UTILISATEURS VIS-A-VIS DES GROUPES A/P

Les deux échantillons de données ne suivaient pas la loi normale, nous avons donc testé s’il existait une différence significative entre les deux groupes avec un test non-paramétrique : Wilcoxon signed rank test. Le résultat n’est pas significatif pour la satisfaction (Score SUS, V = 58, p-value = n.s.).

ÉTUDE DE LA DERIVE DE L’ERREUR DES GROUPES A/P

Nous avons fait une régression linéaire de l'erreur moyenne au cours du « temps » pour chaque catégorie de techniques (cf. Figure 4-19). Il se trouve que les deux groupes de techniques dérivent de manière significative, « Active » Prédiction (b=-0,055 t(48)= -2,89 avec p<0,01). Force du test (adjusted R2= 13% F(1,48)= 8,349, p.value <0,01)) et « Passive »

-146-

(Prédiction (b=-0,108 t(48)= -6,253 avec p < 0,001). Force du test (adjusted R2= 43.7% F(1,48)= 39,1, p.value <0,001)).

Figure 4-19 : Régression linaire de la moyenne de l’erreur (12 sujets) par catégorie de technique Active/Passive. Les points noirs représentent la moyenne de l’erreur de chaque essai pour tous les sujets

pour un groupe de techniques. Les [*] montrent la p.value (** p<0,01 ; ***, p<0,001) et les chiffres en dessous des régressions montrent leur coefficient.

CONCLUSION DE L’IMPACT DU FACTEUR ACTIVE/PASSIVE SUR LES RESULTATS

En résumé, le groupe des techniques « Active » est significativement meilleur que celui des « Passive » en termes d’efficacité moyenne, bien que la dispersion des deux groupes soient élevée (>11). Cependant, il n’y a pas de différence significative en termes de satisfaction et les deux groupes dérivent au cours du temps.

4.3.4.2 Facteur 2 : la catégorie AvecRéférences/SansRéférence (AR/SR)

De la même manière que pour l’analyse des groupes « Active/Passive », nous avons réparti les résultats en deux nouveaux groupes : soit deux techniques pour « AvecRéférences » et deux techniques pour « SansRéférence ».

EFFICACITE DES GROUPES AR/SR

Les deux échantillons de données ne suivaient pas la loi normale, nous avons donc testé s’il existait une différence significative entre les deux groupes AvecRéférences/SansRéférence

-147-

avec un test non-paramétrique : Wilcoxon signed rank test. Le résultat est significatif pour l’efficacité (V = 75, p-value <0,01), ce qui est identique aux résultats de ce même test pour la catégorie Active/Passive. La Figure 4-20 montre les moyennes et écarts-types des catégories de technique AvecRéférences/SansRéférence.

Figure 4-20 : A gauche, l’erreur (précision) et l’écart-type (dispersion) pour chaque catégorie de technique AvecRéférences/SansRéférence. Les lignes montrent les limites -5,0 et +5 ; les [*] montrent les différences

significatives (**, p<0,01). A droite, les valeurs des moyennes et des écarts-types, pour les groupes de techniques AvecRéférences et SansRéférence, ordonnés de manière croissante selon les écarts-types.

SATISFACTION DES UTILISATEURS VIS-A-VIS DES GROUPES AR/SR

Les deux échantillons de données ne suivaient pas la loi normale, nous avons donc testé s’il existait une différence significative entre les deux groupes AvecRéférences/SansRéférence avec un test non-paramétrique : Wilcoxon signed rank test. Le résultat n’est pas significatif pour la satisfaction (Score SUS, V = 59, p-value = n.s.).

ÉTUDE DE LA DERIVE DE L’ERREUR DES GROUPES AR/SR

Nous avons fait une régression linéaire de l'erreur moyenne au cours du « temps » pour chaque catégorie de techniques (cf. Figure 4-21). Il se trouve que, seul, le groupe de techniques « SansRéférence » dérive (Prédiction (b=-0,147 t(48)= -6,644 avec p<0,001). Force du test (adjusted R2= 46.8% F(1,48)= 44,144, p.value <0,001)).

-148-

Figure 4-21 : Régression linaire de la moyenne de l’erreur (12 sujets) par catégorie de technique AvecRéférences/SansRéférence. Les points noirs représentent la moyenne de l’erreur de chaque essai pour

tous les sujets pour un groupe de techniques. Les [*] montrent la p.value (***, p<0,001) et les chiffres en dessous des régressions montrent leur coefficient.

CONCLUSION DE L’IMPACT DU FACTEUR AVECREFERENCES/SANSREFERENCE SUR LES RESULTATS

En résumé, le groupe des techniques « Avec références » est significativement meilleur que celui des « SansRéférence » en termes d’efficacité, avec une précision moyenne 8 fois plus grande et une dispersion deux fois moins importante. De plus, le groupe de techniques « SansRéférence » dérive significativement au cours du temps avec un coefficient de 0,15, c'est-à-dire que l’erreur augmente de 1 tous les 6 essais à partir du moment où la phase de familiarisation est terminée.

4.3.4.3 Interaction des facteurs A/P et AR/SR

Pour rappel, nous avons quatre groupes d’une technique : « A+AR », « A+SR », « P+AR » et « P+SR ».