4.4 R ESULTATS
4.4.2 Résultats basés sur les mesures subjectives
Les résultats basés sur les mesures subjectives sont composés des variables dépendantes suivantes : la charge de travail, la conscience de la situation et les réponses aux questionnaires.
Chapitre 4. Implémentation et évaluation de la coopération homme-robots dans le cadre de la gestion de crise
Lydia HABIB - February 2020 130
Charge de travail
L’évaluation subjective de la charge de travail obtenue par le questionnaire NASA-TLX est composée de deux parties. La première représente le score pondéré de chaque descripteur (exigence mentale, exigence physique, exigence temporelle, performance, effort et frustration). L’évaluation de chaque descripteur sur une échelle de 1 à 10 et le poids attribué à chacun par les participants sont utilisés. La deuxième partie représente la charge de travail totale calculée à partir de la somme des descripteurs pondérés. Ces résultats sont donnés pour chaque condition expérimentale et représentés sur les Figure 4-21 et Figure 4-22 respectivement.
Figure 4-21 Descripteurs de la charge de travail pondérées en fonction des conditions exoérimentales
Effet des « conditions expérimentales » : les résultats ont montré des différences entre exigence mentale, effort et performance. Néanmoins, le test ANOVA réalisé pour chacun des descripteurs n’a indiqué aucune différence significative, excepté pour le descripteur « performance » (le résultat tend vers la significativité (F(1,16) 3,6992, p0,07242)).
Lydia HABIB - February 2020 131 En outre, nous avons constaté une corrélation significative entre la charge de travail pondérée et l’exigence mentale pondérée (0,64), ainsi qu’entre la charge de travail pondérée et l’effort pondéré (0,79). Ce résultat signifie qu’au cours de la mission, la charge de travail est principalement due à l’effort et à l’exigence mentale de la mission dans les deux conditions expérimentales.
Effet de « la fréquence de pratique des jeux vidéo » : l’effet de la fréquence de jeu aux jeux vidéo sur la charge de travail est jugé significatif (F(2,15) 5,9265, p0,01268). Dans ce sens, les participants, qui ont indiqué jouer occasionnellement aux jeux vidéo, ont ressenti une charge de travail plus importante que ceux qui y jouent souvent ou très souvent.
Effet de l’interaction « conditions expérimentales x fréquence de jeu » : l’interaction entre les conditions expérimentales et la fréquence de jeu aux jeux vidéo a indiqué un effet non significatif sur la charge de travail (F(2,15)0,42612,p0,66255).
Conscience de la situation
La conscience de la situation traitée est liée à la capacité des participants à percevoir. Une fois la mission accomplie, le participant est appelé à se rappeler de l’environnement opérationnel en reproduisant les obstacles dont il se souvient sur une feuille de papier présentant le plan de la mission. Ensuite, un score en pourcentage des obstacles correctement identifiés a été calculé.
Effet des « conditions expérimentales » : les résultats ont montré un effet différent des conditions expérimentales sur la conscience de la situation (cf. Figure 4-23). Les participants dans la condition WithInfo ont fait preuve d’une meilleure conscience de la situation que les participants dans la condition WithoutInfo. Le test statistique ANOVA a donné un résultat significatif (F 1,16
4, 7904, p0, 04379).Chapitre 4. Implémentation et évaluation de la coopération homme-robots dans le cadre de la gestion de crise
Lydia HABIB - February 2020 132
Effet de « la fréquence de pratique des jeux vidéo » : la fréquence de jeu n’a révélé aucun effet significatif sur la conscience de la situation des participants (
(2,15) 0,35094, 0,70865
F p ).
Effet de l’interaction « conditions expérimentales x fréquence de jeu » : l’interaction entre la condition expérimentale et la fréquence de jouer aux jeux vidéo n’a aussi montré aucun effet significatif sur la conscience de la situation (F(2,15)0,3850,p0,69934).
Questionnaires
Dans les questionnaires, il a été demandé aux participants de répondre à certaines questions relatives à leur propre expérience au cours de la mission. À partir du test ANOVA à mesures répétées, on a sélectionné les questions qui ont eu des effets significatifs sur les variables dépendantes (les performances des participants et le respect des LoA proposés). Deux questions ont été sélectionnées :
• Q1: Les obstacles rencontrés dans l'environnement opérationnel ont-ils été difficiles à éviter?
(Non, Moyen, Oui)
• Q2: Pensez-vous que les LoA proposés ont amélioré vos performances? (Non, Moyen, Oui)
Deux catégories de réponses à la question Q1 ont été obtenues : des participants qui ont répondu « Non » et d’autres « Moyen » (cf. Figure 4-24).
Figure 4-24 Respect des LoA proposés en fonction des réponses à la question Q1
Le test ANOVA a révélé une différence significative (F(1,16)8,7801p0,00916). Par conséquent, plus le participant a respecté les LoA proposés, moins il a pensé que les obstacles dans l’environnement étaient difficiles à éviter.
Lydia HABIB - February 2020 133 Suite à la question Q2, 5 participants ont répondu « non » et 13 ont répondu « oui » (cf. Figure 4-25). D’une part, nous avons remarqué que les participants ayant répondu « oui » ont davantage respecté les LoA proposés que ceux qui ont répondu « non ». Le test ANOVA donne un résultat statistiquement significatif (F(1,16) 6,3733 p0,02253). D’autre part, nous avons remarqué une relation entre les réponses des participants à la question Q2, le respect des LoA et leur performance dans la mission. En d’autres termes, les opérateurs qui pensent que les LoA proposés ont amélioré leurs performances sont ceux qui les ont le plus respectés et qui ont réalisé de meilleures performances. Une ANOVA à mesures répétées a dénoté un résultat marginalement significatif (F(2,15)3,3155p0,06421).
Figure 4-25 Respect des LoA proposés en fonction des réponses à la qustion Q2
En outre, il s’est avéré qu’il existe une relation entre les réponses des participants à la question Q2, le respect des LoA et la charge de travail. Les participants qui pensent que les LoA proposés ont permis d’améliorer leurs performances sont ceux qui les ont le plus respectés et ceux qui ont été moins surchargés. Le test ANOVA donne un résultat significatif (
(2,15) 4,1669 0,03637
F p ).
Un deuxième questionnaire a été réalisé à partir du modèle de coopération homme-robot (cf. Annexe E). Par ce questionnaire, les participants ont évalué de manière subjective la perception des capacités des robots en terme du SF et du SC, ainsi que de leur propre SF et SC. Les réponses ont été mesurées sur une échelle linéaire allant de 0% (pas du tout) à 100% (tout à fait).
Pour en savoir plus sur les expériences des participants durant les expérimentations, on a évalué l’influence de leurs SF et SC sur leurs performances. On a calculé les corrélations entre les performances des participants et leurs réponses sur le questionnaire réalisé à partir du modèle de coopération. Ensuite, on a représenté les résultats significatifs dans le Tableau 4.
Chapitre 4. Implémentation et évaluation de la coopération homme-robots dans le cadre de la gestion de crise
Lydia HABIB - February 2020 134
Tableau 4 Corrélations significatives entre les réponses des participants concernant leurs SF et SC et leurs performances (Temps de négligence (NT), Temps de l’exécution (T) et
conscience de la situation (SA))
Questions relatives aux SF et SC des participants
Performances corrélées Pensez-vous avoir mis à jour le plan au
bon moment ?
( 0.51) NT
Pensez-vous avoir souvent fait le bon choix du LoA ?
( 0.63) T
( 0.56) NT
Pensez-vous avoir souvent changé le LoA au bon moment ?
( 0.59) SA
Avez-vous réussi à détecter les interférences (conflits avec la décision/action des robots) ?
( 0.53) T
( 0.49) SA
Les résultats ont montré que le SF des participants du niveau tactique concernant la mise à jour du plan de mission et leurs SC portés sur le choix du LoA, présentent des corrélations négatives avec le temps de négligence (NT). En d’autres termes, plus les participants ont réussi à utiliser les deux robots simultanément (le temps de négligence plus faible), plus ils pensent avoir mis à jour le plan de mission en modifiant les trajectoires des robots au bon moment et avoir souvent fait le bon choix du LoA. De même, moins les participants ont pris du temps pour l’accomplissement de la mission, plus ils pensent avoir souvent fait le bon choix du LoA (corrélation négative entre le fait d’avoir souvent fait le bon choix du LoA et le temps de l’accomplissement de la mission (T)).
Les résultats ont aussi indiqué que le SC des participants en termes de détection d’interférences survenues lors de la mission (principalement liées aux conflits avec la décision/action des robots) et le changement de LoA au bon moment, présentent des corrélations négatives avec la conscience de la situation (SA). Plus les participants ont été conscients de la situation, moins ils pensent avoir détecté les interférences et adapté le LoA au bon moment. Une corrélation négative a été également identifiée entre la détection d’interférences et le temps mis pour l’accomplissement de la mission (T). Plus le participant a mis du temps pour accomplir la mission, moins il pense avoir bien détecter les interférences.
Débriefing
Une séance de débriefing a été réalisée avec les participants afin d’obtenir plus de détails sur leur ressenti durant la mission, ou d’autres informations utiles pour répondre aux questions de recherche posées par cette thèse, et notamment sur l’adaptation des LoA. Dans les deux conditions expérimentales les participants ont déclaré avoir facilement fait le choix des LoA au
Lydia HABIB - February 2020 135 cours de la mission. En revanche, la plupart des participants ont annoncé avoir souvent voulu téléopérer les robots (utilisation du LoA manuel), en raison de l’acceptabilité et de la confiance qu’ils ont placées dans l’autonomie des robots.
La majorité des participants a déclaré avoir choisi le LoA autonome ou semi-autonome dans les situations où aucune victime ni danger n’ont été détectés ou dans les situations où le robot doit se déplacer en ligne droite (absence d’obstacles). Dans le cas contraire, les participants ont préféré téléopérer le robot.
En général, les participants ayant respecté les LoA proposés, ont choisi le LoA proposé au début de chaque secteur, ensuite ils l’ont adapté en fonction des éventuelles interférences survenues, par exemple, lorsqu’un robot a rencontré des difficultés pour éviter des obstacles. En outre, la majorité des participants a signalé la difficulté à gérer les deux robots en même temps.