Evaluation Complémentaire

Suite à la précédente étude, nous avons souhaité vérifier les observations, les conclusions et les hypothèses que nous avions faites. Dans cette optique, nous avons demandé à nos 2 participants de réaliser 6 fois la session 9 (Tableau 9). Nos hypothèses sont :

- que la variable temps pourrait faire ressortir l’une des interfaces comme étant la plus performante ;

Il a aussi été demandé aux utilisateurs de réussir les exercices. En cas d’échec, l’expérimentateur relance l’exercice jusqu’à sa réussite. Pour chacun des participants, les résultats de réussite par interface étant non significatifs avec une p-value du Chi2 = 0.8334, nous avons décidé de représenter sur le Tableau 14 le taux de réussite des différentes tâches quels que soient l’interface et l’exercice, soit le nombre de tentatives / le nombre d’exercices 36 (2 exercices * 3 interfaces * 6 sessions + Nombre de tentatives). Les taux de réussite des exercices sont supérieurs avec nos interfaces pour le participant 1 en comparaison à ceux du joystick 3D [Jiang et al. 2013]. Le participant 2 a un taux de réussite proche de l’utilisation d’un clavier physique. Ce participant utilise un clavier physique comme dispositif de souris. Même si les difficultés des deux exercices sont différentes, il est intéressant de noter la proximité des résultats avec cette étude.

Tableau 14 : Réussite des exercices en %

Participant 1 94,7% (2 échecs)

Participant 2 87,8% (5 échecs)

Le participant 1 avait eu comme résultat une meilleure performance sur les critères de temps et d’actions supplémentaires pour le Pie-Menu par extension. Les résultats (Figure 81) montrent une variabilité des résultats pour l’exercice. Dans le cas de l’exercice 1, les critères de temps et d’action sont équivalents et ne permettent pas de faire ressortir une interface comme étant la meilleure (voir Figure 82 et Figure 83). Les tests significatifs pour l’exercice 1 sont pour le Temps (Kruskal-Wallis chi-squared = 0.0819, df = 2, p-value = 0.9599) et pour le nombre d’actions (Kruskal-Wallis chi-squared = 0.2677, df = 2, p-value = 0.8747). Dans les 2 cas il n’y a pas de différence significative. Pour l’exercice 2, les tests sont pour le temps, Kruskal-Wallis (chi-squared = 3.1345, df = 2, p-value = 0.2086) et pour le nombre d’actions (Kruskal-Wallis chi-squared = 1.4854, df = 2, p-value = 0.4758). Ils ne sont pas significatifs. Par contre, on peut faire 2 observations, la première observation est que le temps de réalisation total de l’exercice avec le PIE menu extension est meilleur de 33% par rapport aux autres interfaces. Sur la Figure 81, pour le temps de réalisation de l’exercice 2, le Pie-Menu Extension est plus performant, 5 fois sur les 6 tentatives. La deuxième observation est pour le Pie-Menu extension que le nombre d’actions supplémentaires diminue au cours des

les participants permet de faire ressortir l’une des trois interfaces. De plus, au fur et à mesure des tentatives, le participant 1 continue d’apprendre et d’améliorer ses résultats dans le cas du Pie-Menu extension.

Figure 81 : Résultats du Participant 1 pour l’étude complémentaire

Figure 83 : Moyenne du nombre d'actions moyen pour les exercices du participant 1 L’analyse des traces des différents essais nous a permis de calculer une autre valeur supplémentaire, les erreurs d’interaction. Nous définissons ces dernières comme étant le nombre d’actions qui ne correspond pas à l’action que l’utilisateur voulait effectuer. Ainsi l’utilisateur qui devait « aller à droite » a utilisé la fonctionnalité « aller à gauche ». Pour chacune de ces erreurs nous ajoutons 1 au nombre d’erreurs. Nous avons observé qu’une partie de ces erreurs vient de la recherche par l’utilisateur de la bonne fonction de déplacement du bras. Il effectue des tests pour vérifier que la commande correspondra à ses attentes. Lors des expérimentations, une erreur régulière entre le déplacement du bras à droite au lieu d’aller à gauche est apparue. L’hypothèse est que le bras étant installé à droite de la personne, et la cible étant à gauche du bras, mais aussi à droite de l’utilisateur, cette situation semble avoir troublé spatialement les participants. Cette valeur dans le cas du participant 1, Tableau 15, montre qu’au fur et à mesure des exercices ce nombre d’erreurs diminue. Il est possible de dire que l’utilisateur retient de mieux en mieux les différentes fonctionnalités du bras. Parmi les 3 interfaces, c’est le Clavier qui ressort comme ayant induit le moins d’erreurs pour le participant 1, toutefois le test statistique (Kruskal-Wallis, chi-squared = 1.0776, df = 2, p-value = 0.5835) pour l’exercice 1 et (Kruskal-Wallis, chi- squared = 0.9681, df = 2, p-value = 0.6163) pour l’exercice 2 montre qu’il n’y a pas de différence significative.

Tableau 15 : Nombre d’erreurs d’interaction avec l’interface pour le participant 1

Exercice 1 Clavier Extension Niveau Exercice 2 Clavier Extension Niveau

Essai 1 0 7 5 Essai 1 10 20 9 Essai 2 2 2 0 Essai 2 11 13 7 Essai 3 0 0 1 Essai 3 13 9 14 Essai 4 0 0 1 Essai 4 3 4 14 Essai 5 0 0 0 Essai 5 4 3 10 Essai 6 0 0 0 Essai 6 2 9 4 Total 2 9 7 Total 43 58 58 Moyenne 0,33 1,5 1,17 Moyenne 7,17 9,67 9,67 Ecart-type 0,56 2 1,28 Ecart-type 4,17 4,56 3

En conclusion, pour le participant 1, il est possible d’émettre comme hypothèse que l’interface Pie-Menu Extension est plus efficace pour les exercices les plus difficiles. L’interface clavier quant à elle, a comme avantage d’induire moins d’erreurs d’interactions.

Pour le participant 2, nous avons effectué les mêmes tests statistiques que pour le participant 1 : le temps pour l’exercice 1 (Kruskal-Wallis, chi-squared = 0.6667, df = 2, p- value = 0.7165) et pour l’exercice 2 (Kruskal-Wallis, chi-squared = 0.6153, df = 2, p-value = 0.7352), le nombre d’actions pour l’exercice 1 (Kruskal-Wallis, chi-squared = 0.6325, df = 2, p-value = 0.7289) et l’exercice 2 (Kruskal-Wallis, chi-squared = 2.4392, df = 2, p-value = 0.2954), et pour les erreurs de l’exercice 1 (Kruskal-Wallis chi-squared = 0.6153, df = 2, p- value = 0.7352) et l’exercice 2 (Kruskal-Wallis, chi-squared = 0.0123, df = 2, p-value = 0.9939). Aucune différence n’est significative pour les trois interfaces. Nous pouvons supposer que la meilleure interface est aussi le Pie-Menu Extension par rapport aux observations du participant 1 pour le temps et le nombre d’actions. Les résultats (Figure 84) montrent aussi une variabilité des résultats. De même que pour le participant 1, l’exercice 1 ne permet pas de conclure sur une tendance de meilleure interface selon les variables actions et temps. Dans le cas de l’exercice 2, l’interface Pie-Menu Extension a obtenu un

une stabilité de la courbe du Clavier. Pour le participant 2, il n’y a aucune tendance d’amélioration au fur et a mesure des essais Tableau 16) : le nombre d’erreurs est moins important pour le Clavier et le Pie-Menu Extension dans le cas des 2 exercices et le Pie-Menu Niveau a 25% d’erreurs supplémentaires.

En conclusion, pour le participant 2, comme pour le participant 1, l’interface Pie-Menu Extension semble avoir un avantage pour la réalisation des tâches les plus complexes telles que celles réalisées dans l’exercice 2, car cet exercice est plus long à réaliser. Ces différents résultats montrent la variabilité sur les différents critères lors de la réalisation de tâches avec le bras robotique JACO. Il est possible de supposer que l’apprentissage d’une telle technologie est très long pour atteindre un niveau d’utilisation plus stable. Une deuxième hypothèse, qui ne s’annule pas avec la précédente, est que les participants, de par leur situation de handicap, ont des difficultés qui varient beaucoup d’un essai à l’autre.

Figure 85 : Moyenne des temps pour les exercices du participant 2

Figure 86 : Moyenne du nombre d'actions par exercice du participant 2

Tableau 16 : Nombre d’erreurs d’interaction avec l’interface pour le participant 2

Exercice 1 Clavier Extension Niveau Exercice 2 Clavier Extension Niveau

Essai 1 1 0 1 Essai 1 2 2 0 Essai 2 1 1 3 Essai 2 3 4 2 Essai 3 0 3 0 Essai 3 3 2 8 Essai 4 2 0 1 Essai 4 0 0 4 Essai 5 1 1 1 Essai 5 1 0 2 Essai 6 1 1 2 Essai 6 3 4 0 Total 6 6 8 Total 12 12 16 Moyenne 1 1 1,33 Moyenne 2 2 2,67 Ecart-type 0,33 0,67 0,78 Ecart-type 1 1,33 2,22

limitations motrices des personnes les ont empêchées d’avoir une bonne visualisation de l’objet au sol. L’avantage du Pie-Menu Extension est, d’un point de vue acquisition mentale des interfaces, d’être plus simple pour la mémorisation ou la recherche de la commande souhaitée par l’utilisateur.