Etude Expérimentale

Nous pouvons comparer notre système, décrit dans les sections précédentes, à d’autres existants. Nous avons omis volontairement le travail de Lin et al. [Lin 08]

5.2 La navigation vu que le système y proposé ne permet de communiquer que deux directions, gauche et droite. Nous avons choisi de comparer notre système avec la version mobile de l’application Google Maps, en mode audio, très connue du grand public. De plus, nous avons comparé HaptiNav à l’application Pocket Navigator [Pielot 10] [PocketNavigator 10], fonctionnant en mode vibro-tactile.

Protocole

Dans la présente étude expérimentale, nous avons été amenés à conduire trois expérimentations, dans lesquelles nous avons fait varier le mode de navigation. Les expérimentations en question, ont eu lieu à la technopole Izarbel, lieu dans lequel se situe l’ESTIA. En effet, la première consiste à utiliser l’application Google Maps, lancée en mode audio. La deuxième consiste à naviguer avec le mode vibro-tactile en utilisant HaptiNav. La dernière utilise le système Pocket Navigator, fonction- nant également en mode vibro-tactile. Au cours des trois expérimentations, nous avons gardé le même trajet, illustré par la figure 5.2.8, étant donné que chaque sujet ne participe qu’à une seule expérimentation.

Figure 5.2.8 – Trajet emprunté lors des expérimentations

Lors d’un test, le sujet est suivi par un expérimentateur, chargé de gérer le tableau de bord. Il est interdit pour le participant, de regarder l’écran du Smart- phone et de poser des questions à l’expérimentateur. Le sujet doit marcher avec sa vitesse habituelle. Aucune phase d’apprentissage ne précède la phase du test. Participants

Chapitre 5 M.A.R.T.S : Vers un Système de RAM pour la visite guidée à l’extérieur

36 personnes non rémunérés, dont 18 femmes et 18 hommes ont participé à la l’étude expérimentale. Ce sont en général, des étudiants, des stagiaires ou des em- ployés de l’école supérieure ESTIA. Leurs âges varient de 22 ans à 39 ans (moyenne =30.5).Ils sont divisés en trois groupes, chaque groupe est formé de 12 personnes. Chacun des groupes participe respectivement à la première, deuxième et troisième expérimentation. Il est à noter qu’aucun des sujets n’est impliqué dans les tra- vaux de recherche présentés dans ce mémoire. Tous les participants ont déjà utilisé un plan géographique, et 23 sur 24 parmi eux, ont l’habitude d’utiliser les sys- tèmes de navigation électroniques, tels que Tom-tom. Il existe deux sujets qui ne sont jamais rendu sur le lieu de l’étude expérimentale, néanmoins, les autres le connaissent déjà. En revanche, le fait de connaître ce lieu ne présente aucune im- portance, étant donné que les sujets ne peuvent connaître la destination avant la fin de l’expérience.

Etude Quantitative

Les résultats de l’étude expérimentale montrent que chacune des trois techniques de navigation peut acceptablement être utilisée pour la navigation piétonne. La figure 5.2.9 illustre le nombre d’erreurs de navigation ainsi que le nombre d’événe- ments de désorientation qui ont eu lieu. Nous précisons au lecteur que l’expérimen- tateur enregistre une erreur de navigation, quand le sujet ne suit pas la direction indiquée par le système de navigation, au niveau d’un point repère. Un point repère est schématisé par une flèche bleue, au niveau de la figure 5.2.8. En outre, l’expé- rimentateur note un évènement de désorientation, quand le sujet s’arrête plus de 10 secondes, ou quand il annonce à l’expérimentateur qu’il est confus. Suite à une erreur de navigation ou à un événement de désorientation, le sujet est redirigé vers la bonne direction.

Le diagramme schématisé par la figure 5.2.9, montre le nombre d’erreurs de navigation et le nombre d’événements liés à la désorientation des trois groupes de participants, par rapport aux trois systèmes étudiés. Nous pouvons en déduire qu’HaptiNav et Google Maps, ont des nombres d’erreurs très proches, respective- ment 29 et 27. En revanche, les désorientations ont eu lieu presque deux fois plus souvent avec Google Maps. De plus, les évènements de désorientation se sont pro- duits presque trois fois plus souvent avec Pocket Navigator en comparaison avec HaptiNav.

Il est important de souligner que certaines erreurs de navigation survenues avec HaptiNav et Pocket Navigator, se rapportent à une mauvaise analyse mentale du signal vibro-tactile. En plus, nous remarquons que les trois systèmes sont soumis aux imprécisions engendrées par le système GPS et par la centrale inertielle.

5.2 La navigation

Figure 5.2.9 – Erreurs et désorientations

La figure 5.2.10 met en avant la comparaison des moyennes d’erreurs entre les trois groupes. Le plus petit nombre d’erreurs enregistré pour HaptiNav est 0. Ce- pendant, le plus petit nombre d’erreurs enregistré pour Pocket Navigator est 4.

Figure 5.2.10 – Diagramme de moyenne d’erreurs

Etant donné que le test d’ANOVA donne une valeur de p5 _{égale à 0.6641}

(p = 0.6641 > 0.5), cela nous permet de conclure qu’il n’existe pas de différence entre les moyennes d’erreurs de la première et de la deuxième expérience. Nous pouvons donc en déduire que les performances de HaptiNav sont proches de celles de Google Maps Audio. En plus, le test d’ANOVA donne une valeur de p égale à 0,0001 (p = 0, 0001 < 0, 5) pour la deuxième et la troisième expérience, ce qui nous permet de déduire qu’ HaptiNav est meilleur que Pocket Navigator, dans le

5. valeur de probabilité comprise entre 0 et 1

Chapitre 5 M.A.R.T.S : Vers un Système de RAM pour la visite guidée à l’extérieur

sens où il permet de réduire les erreurs de navigation.

La figure 5.2.11 suivante met en relief la comparaison des moyennes des évé- nements de désorientation entre les trois groupes étudiés. Puisque la valeur de

p(p = 0.0014 < 0.05) est en dessous du seuil significatif de 0.05, cela permet de

conclure qu’il existe une différence significative entre HaptiNav et Google Maps. En conséquence, nous pouvons affirmer qu’ HaptiNav est plus performant que Google Maps en termes des événements de désorientation enregistrés au cours de la navigation. En outre, le test de l’ANOVA met en évidence une différence si- gnificative entre Google Maps et Pocket Navigator (p = 0.0028 < 0.05). Ainsi, il est évident que le système Pocket Navigator induit plus de désorientations que le système Google Maps.

Figure 5.2.11 – Diagramme de nombre des désorientations

Etude qualitative

Dans la présente étude qualitative, nous avons été amenés à utiliser le test Nasa TLX «Task Load Index » 1.0 [Center 86], permettant d’estimer d’une manière subjective la charge induite par l’expérimentation. Le test Nasa TLX se base sur six facteurs pour mesurer la charge : la charge mentale « mental demand », la charge physique « physical demand », la charge temporelle « tempral demand », la performance, l’effort et la frustration.

5.2 La navigation

Nous conseillons au lecteur souhaitant obtenir un complément d’information sur le test Nasa TLX, de consulter la référence suivante : [Center 86].

Chaque sujet est invité à évaluer, en attribuant une note de 0 à 20, le système étudié par rapport à chaque facteur. Aucune différence significative n’est détectée entre HaptiNav et Google Maps Audio en termes de charge physique, de charge temporelle et de performance (p = 0, 68 > 0, 05). Néanmoins, l’analyse statis- tique de la charge mentale, de la frustration et de l’effort, fournit des valeurs de

p inférieures à 0,5, pour le système HaptiNav, quand ce dernier est comparé à

Google Maps et à Pocket Navigator. Ces résultats permettent de mettre en évi- dence l’avantage de HaptiNav par rapport aux deux autres systèmes. En outre, les résultats obtenus montrent que la charge mentale notée pour HaptiNav est en moyenne égale à 4,5 points, ce qui explique la valeur basse de la frustration induite par ce système. Nous précisons au lecteur que la charge mentale relative à Hapti- Nav, permet de traduire l’effort mental que met le participant pour interpréter le signal transmis par ce système. Contrairement à HaptiNav, Pocket Navigator est classé avec le plus haut niveau de frustration, qui est de 17,84 points.

Nous avons posé la question suivante au deuxième groupe de personnes ayant utilisé HaptiNav : Accepteriez-vous d’utiliser notre système pour trou-

ver votre destination dans une ville que vous visitez pour la première fois? 41% des participants ont répondu par non, ce qui signifie que 5 sujets sur

12 interrogées, refusent de porter notre interface haptique lors de la visite d’une ville pour la première fois. Ces participants expliquent qu’ils ne souhaitent pas porter une ceinture en ville parce qu’ils ne veulent pas se faire remarquer par les autres piétons. Ils suggèrent que ce système pourrait être plus petit. Nous avons posé la question suivante au troisième groupe ayant participé à l’expérience de navigation avec Pocket Navigator) : Accepteriez-vous d’utiliser le système

Pocket Navigator pour trouver votre destination dans une ville que vous visitez pour la première fois? Plus de 80% précisent qu’ils n’acceptent

pas parce Pocket Navigator est très imprécis. Nous avons posé la question suivante au premier groupe ayant à l’expérience de navigation avec Google Maps Audio :

Accepteriez-vous d’utiliser Google Maps Audio pour trouver votre des- tination dans une ville que vous visitez pour la première fois? Plus de

80% ont dit qu’ils sont en mesure d’utiliser Google Maps Audio à moins qu’il soit activé, en plus, en mode graphique.

Chapitre 5 M.A.R.T.S : Vers un Système de RAM pour la visite guidée à l’extérieur

Discussion

Les résultats obtenus confirment que le système HaptiNav peut être utilisé pour la navigation, en mode haptique, mains libres et yeux libres. Nous considérons que l’amélioration de la qualité de navigation, dépend de l’amélioration de l’intensité des vibrations dans le deuxième prototype de système HaptiNav. En effet, les participants remarquent que les vibrations sont difficiles à distinguer lorsque la ceinture du système est portée au-dessus de vêtements épais. Ce fait explique l’occurrence de certaines erreurs de navigation qui ont eu lieu avec HaptiNav. Vu que certains participants disent qu’ils refusent de porter HaptiNav à cause de la ceinture, nous prévoyons donc de la remplacer par un bracelet qui peut être porté autour du poignet, dans le deuxième prototype de notre système.