Chapitre 5 Vers des préconisations pour le choix d’une interaction : une étude
1 Retour sur l’étude 2
3.5 Données recueillies, variables, mesures et méthodes d’analyse
La comparaison des deux modalités pour chaque interaction se fait aussi bien de façon quantitative que qualitative. Nous évaluons d’une part les performances des participants pour chacune des modalités proposées et, d’autre part, les commentaires et les évaluations des participants vis-à-vis de ces modalités.
Comme pour la seconde expérimentation, l’ensemble des interactions des participants réalisées au travers des différentes modalités ont été enregistrées : les actions des participants, l’état (ouvert, fermé) des mains des participants, ainsi que la position, l’orientation et la taille des objets. Toutes ces données ont été automatiquement marquées, datées et enregistrées. Ces données nous permettront d’extraire les variables qui rendront possible l’analyse des performances.
Page | 152
Les données permettant l’identification des participants et l’évaluation de l’expertise en réalité virtuelle sont obtenues à partir du questionnaire initial, qui contient des questions ouvertes ainsi que des questions fermées et des échelles de Likert. Le questionnaire utilisé est le même que celui utilisé pour l’expérimentation 2.
Les commentaires et jugement subjectifs sont recueillis dans le questionnaire post-expérimentation. Celui-ci contient des questions ouvertes, des questions fermées ainsi que des questions sous la forme d’échelle de Likert. Les données recueillies concernent l’évaluation comparative de deux modalités pour chacune des actions demandées ainsi que les remarques générales quant à l’expérimentation et aux suggestions d’améliorations éventuelles.
Les mesures suivantes ont été prises en compte et ont servi de base à l’étude des performances des participants :
-
Le temps d’exécution moyen pour chacune des 6 tâches à réaliser (en secondes). Pour chaque tâche, ce temps correspond à la moyenne du temps mis pour exécuter chacune des 4 dernières sous-tâches (la première étant considérée comme un entraînement).-
L’erreur moyenne de précision par tâche. Elle est calculée comme un pourcentage d’écart par rapport à une référence selon chaque axe, puis moyenné sur les 3 axes. Enfin, les valeurs d’erreur de précision sont moyennées pour les 4 dernières sous-tâches de chaque tâche.-
Le ratio précision / temps d’action pour chaque tâche. Ce ratio met en relation la précision atteinte avec le temps de manipulation du participant et illustre le compromis à atteindre entre précision et temps d’exécution. Là encore, seules les 4 dernières sous-tâches de chaque tâche sont considérées.L’expertise en Réalité Virtuelle a été calculée d’après les données du questionnaire initial, sur la même base que pour l’expérimentation 2. Sur les 30 participants, 17 sont qualifiés d’expert en réalité virtuelle et 13 ont un niveau qualifié de moyen. Aucun participant n’est considéré comme débutant.
L’étude des préférences subjectives et commentaires des participants est basée sur l’analyse comparative des 2 modalités proposées pour chaque interaction (déplacement, redimensionnement, rotation). Pour cela, nous avons demandé aux participants d’évaluer chaque modalité d’interaction selon des échelles de Likert à 5 niveaux pour les critères suivants :
-
la facilité d’assimilation ;-
la simplicité ;-
l’intuitivité ;-
la précision ;-
la fatigue engendrée.Les réponses aux échelles de Likert sont traitées comme des variables numériques, chaque modalité étant codée par un nombre (1 = plus mauvais ; 5 = meilleur). D’autre part, les participants ont pu également donner leurs impressions grâce à des questions ouvertes : points positifs / négatifs et suggestions éventuelles d’amélioration pour chaque modalité. Ces commentaires nous serviront à illustrer les résultats présentés dans les parties suivantes.
Page | 153 3.6 Validité interne et externe
Pour assurer la validité interne et externe, nous avons eu recours aux mêmes techniques que dans l’expérimentation précédente. Les conditions d’expérimentation étaient identiques. Nous avons eu recours à l’appariement compte tenu de l’effectif des participants, relativement restreint. Cela permet de contrôler les facteurs parasites. Ce choix impose de fait le recours au contre-balancement, pour éviter l’éventuel effet d’apprentissage. Ainsi, l’ordre de présentation des modalités change un individu sur deux. La moitié des participants du groupe G1 et G2 commencent l’expérimentation par les modalités 1 (dans l’ordre suivant : T1-1, T1-2, T2-1, T2-2, T3-1, T3-2) tandis que la deuxième moitié des participants des groupes commencent par les modalités 2 (dans l’ordre T1-2, T1-1, T2-2, T2-1, T3-2, T3- 1). Les deux groupes G1 et G2 nous permettront de vérifier s’il existe un effet d’apprentissage et si celui- ci a une incidence sur les résultats (le groupe G1 étant composé de personnes ayant déjà utilisé une modalité de déplacement, de redimensionnement et de rotation sur les deux proposées dans cette expérimentation). Nous pourrons aussi étudier si le fait d’avoir déjà utilisé une partie des modalités auparavant est de nature à influencer les performances et les préférences.
3.7 Tests préliminaires et tests statistiques
L’étude statistique repose sur la même démarche que les études précédentes.
Le test de Kolmogorov-Smirnov à un échantillon nous permet de vérifier la normalité des distributions des valeurs prises par chaque variable et de ce fait indique la nature des tests statistiques à réaliser. Concernant les mesures de performances, l’ensemble des variables étudiées suit une loi normale, nous utiliserons donc le test T de Student pour échantillons appariés afin de comparer les 2 modalités proposées, pour chaque interaction. Concernant les préférences et les réponses aux échelles de Likert (codées de « 1 » à « 5 »), en raison de la non-normalité d’une majorité de variables, nous aurons recours à un test de Wilcoxon pour échantillons indépendants.
Afin d’effectuer une inférence sur la modalité préférée pour chaque interaction, nous avons calculé des intervalles de confiance selon la méthode de Wilson (cf. chapitre 3 – partie 4.1.1).
L’étude de l’influence du sexe, du niveau d’expertise, de l’ordre de passation et de la participation ou non à l’expérimentation sur les performances s’appuie sur le test T de Student pour échantillons indépendants. Concernant les préférences et les réponses aux échelles de Likert, nous avons utilisé le test non-paramétrique équivalent, c’est-à-dire le test de Mann-Whitney. Par contre, nous ne pourrons pas utiliser d’intervalles de confiance dans le cas de l’influence éventuelle de ces facteurs sur le choix de la modalité préférée pour chaque interaction, les effectifs étant trop faibles (n < 30).
Nous avons adopté les règles suivantes concernant la significativité des tests statistiques : - p ≤ 0,05 : test significatif
- 0,05 < p ≤ 0,1 : tendance - p > 0,1 : test non significatif
Page | 154