Note sur les données portant sur l’utilisation d’ASAP

7.4.1 Types de données collectées

Dix types de données sont collectés :

• Les scores globaux de la 3D-SART (3DSO), les scores de la dimension « demand » de la 3D-SART (3DSD), les scores de la dimension « supply » de la 3D-SART (3DSS) et les scores de la dimension « understand » de la 3D-SART (3DSU) ;

• Les scores pondérés totaux du NASA-TLX (NTLX) ;

• Les temps de réaction au questionnaire 3D-SART suivant chaque dimension (3DSDTime/3DSSTime/3DSUTime) ;

• Le ratio de dilatation pupillaire (DilationR) ; • Les trois indices de performance :

o Pour le scénario 1 : le pourcentage de contraintes non satisfaites (perConst) : plus le score est bas, meilleure est la performance. Il est demandé aux pilotes de satisfaire l’ensemble des contraintes du terrain, moins il y a de contraintes non satisfaites, meilleure est la performance ; o Pour le scénario 2 :

 Le temps pris pour prendre la décision de dégager (timeDiv) : une bonne performance est atteinte quand la décision est prise tôt dans le second tour du circuit d’attente. Une tour d’attente moyen dure 5 minutes ;

 La décision et la solution de dégagement évaluée par un jury (divSol).

Les données sont analysées en fonction de la disponibilité ou non de l’interface ASAP (groupe ASAP vs NOASAP) et du scénario (S1 et S2). La probabilité d’erreur est fixée à 5% pour les résultats significatifs, à 10% pour des résultats tendanciels.

7.4.2 Note sur les données portant sur l’utilisation d’ASAP

Des statistiques descriptives peuvent être présentées concernant l’utilisation de l’interface ASAP elle-même. Elles ont été enregistrées mais doivent cependant être pondérées par les limitations relevant du protocole expérimental et de la chaîne de traitement instrumenté des données.

Ainsi, l’articulation entre le pilote en fonction (sujet) et le pilote non en fonction (expérimentateur) faisant partie des scenarii joués, aucune conclusion ne peut être tirée des données qualitatives enregistrées quant aux interactions avec l’interface : ces informations

Evaluation centrée pilotes Résultats

Sami LINI - 2013 171

peuvent relever tant de l’interaction du sujet que de l’expérimentateur à qui le sujet aurait demandé une information ou une manipulation avec l’interface.

Les données oculométriques sont, elles, représentatives d’une partie de la prise d’informations visuelles. Des précautions les concernant sont cependant à souligner : en premier lieu, ces données ne concernent que la vision fovéale. Dans le cadre d’une activité nécessitant la vision périphérique (surveillance de multiples sources d’informations), une information peut donc être perçue sans pour autant être enregistrée par l’oculomètre.

Une seconde difficulté provient du caractère portable de l’oculomètre et des caractéristiques du matériel. La liberté de mouvement quasi-totale offerte aux sujets impose un travail important sur les données a posteriori. La caméra de l’oculomètre définit un référentiel local au sein duquel les données de la position de la pupille sont enregistrées (Figure 94, à gauche, représentation égocentrée). A deux instants différents de l’expérimentation, les sujets peuvent avoir la tête tournée dans deux directions opposées, et regarder deux écrans différents. Le référentiel local au sujet ne permet pas une étude globale du dispositif expérimental, en particulier des différents écrans utilisés (Figure 94, à droite, représentation allocentrée).

En première analyse, la seule information exploitable est descriptive : « le sujet a regardé

tel ou tel écran ». Cette analyse est locale à la fois au sujet et à l’événement considéré. Il peut être

intéressant de déterminer sur l’ensemble d’un scénario les statistiques descriptives pour chaque zone d’intérêt considérée : le temps passé à regarder une zone d’intérêt par rapport à une autre, l’ordre de consultation, etc… Il est donc nécessaire de pouvoir agréger l’ensemble des données enregistrées dans le référentiel local du sujet et les ramener au référentiel global de la scène. Afin d’effectuer cette étude globale, le logiciel Tobii Studio 3.1 de visualisation et analyse des mesures oculométriques procède à une transformation géométrique des données enregistrées.

Figure 94 : Exemples de vues égocentrée (à gauche, le point rouge représente la position de la vision centrale) et allocentrée (à droite)

La position des marqueurs infrarouges dans l’environnement expérimental est enregistrée sur chaque image de l’oculomètre (référentiel égocentré, Figure 95). Les coordonnées de ces marqueurs sont ensuite définies dans l’environnement expérimental global (référentiel allocentré, voir Figure 96). Les coordonnées de ces marqueurs dans deux référentiels différents permettent le calcul d’un opérateur mathématique décrivant la transformation d’un référentiel en l’autre : une matrice de transformation (matrice d’homographie). L’application de cette transformation aux coordonnées de la pupille dans le référentiel des lunettes permet d’obtenir ses coordonnées dans le référentiel de l’environnement et donc le calcul de statistiques descriptives concernant la position du regard dans ce référentiel.

Evaluation centrée pilotes Résultats

Sami LINI - 2013 172

Figure 95 : Position et coordonnées du regard et des marqueurs infrarouges sur une image issue de la caméra de l’oculomètre (référentiel égocentré)

Figure 96 : Positionnement des marqueurs infrarouges dans le simulateur

Une première contrainte forte au calcul de cette matrice de transformation est qu’il est nécessaire de pouvoir établir une correspondance entre au moins quatre couples de points. Cette contrainte revient à ce que, sur chaque image enregistrée par la caméra de l’oculomètre, les coordonnées d’au moins quatre marqueurs soient enregistrées. Les mouvements des sujets par rapport à la géométrie de la scène et la fréquence d’échantillonnage de la caméra sont la cause de nombreuses pertes d’informations sur les positions des marqueurs. Sur les segments où l’information est perdue, aucune statistique fiable ne peut être calculée.

Evaluation centrée pilotes Résultats

Sami LINI - 2013 173

Une seconde contrainte forte pour calculer la matrice de transformation est que les marqueurs doivent être coplanaires, ce que la géométrie de notre simulateur ne rend pas nécessairement possible. La Figure 96 illustre le positionnement de ces marqueurs dans le simulateur : aux quatre coins de chaque écran utilisé par le sujet, sur la casquette du carénage du simulateur (marqueurs 24 et 15) et sur l’écran du paysage (marqueurs 22 et 16). Les deux écrans supérieurs, sur lesquels sont affichés ASAP et le cockpit, sont coplanaires. Ainsi, si sur une image de la caméra de l’oculomètre ne sont affichés que des marqueurs détectant ces deux écrans, la transformation se fait aisément et correctement. Cependant, dans le cadre de notre dispositif, il s’agit du seul cas ne posant pas problème.

La capture d’un seul marqueur supplémentaire ne relevant pas de ces deux écrans fournit une géométrie erronée pour le calcul de la matrice de transformation. Supposons par exemple que sur une image de la caméra seuls les marqueurs 18, 20 (marqueurs supérieurs de l’écran ASAP) et 27, 28 (marqueurs inférieurs de l’écran 3D-SART) soient enregistrés. La matrice de transformation est alors calculée en supposant que ces 4 marqueurs forment un plan, ignorant l’angle formé par les deux écrans considérés. L’erreur en découlant est probablement faible, mais sans possibilité de l’évaluer, l’interpolation de données doit être manipulée avec grande prudence.

Une solution possible est alors de ne considérer les zones d’intérêt qu’à un niveau local puis de réintégrer manuellement à la scène globale les éléments calculés. Une raison majeure fait obstacle à cette solution : les statistiques et visualisations générées (type carte de chaleur par exemple) ne font sens que dans l’analyse locale de données globales agrégées. Par exemple une carte de chaleur permet de représenter qu’une aire d’intérêt a été plus regardée qu’une autre. La représentation des données est indexée sur leurs maxima : sur une carte de chaleur, plus une zone est regardée plus elle sera représentée en rouge, suivant un gradient de chaleur traditionnel (du vert au rouge). La simple intégration de cartes de chaleurs générées localement dans un référentiel global mène donc à la représentation équivalente de données différentes.

Pour illustrer ce problème, dans l’exemple de notre dispositif expérimental, l’écran face au pilote était majoritairement consulté puisque présentant les paramètres de vol. L’écran présentant le questionnaire 3D-SART ne l’était lui que brièvement, lors de leurs réponses. La zone la plus « regardée » en vision centrale pour chaque écran sera représentée en rouge sur les cartes générées (Figure 97).

Figure 97 : Cartes de chaleur des écrans de présentation du questionnaire 3D-SART et du cockpit

L’intégration de ces cartes de chaleur dans une représentation globale mènera donc à penser que ces deux écrans ont été tout autant consultés (Figure 98). Il en va de même pour les autres statistiques descriptives comparatives concernant l’interpolation de la position du regard.

Evaluation centrée pilotes Résultats

Sami LINI - 2013 174

Figure 98 : Cartes de chaleur incorporées dans la vue globale : les cartes de chaleur, justes à une échelle locale, laissent ici à penser que les deux écrans ont été tout autant regardés, ce qui est faux

Les algorithmes de classification en saccades et fixations (Komogortsev, Gobert, Jayarathna, & Gowda, 2010) utilisés par le logiciel de traitement et d’analyse des données constituent un argument supplémentaire en faveur d’une analyse descriptive prudente des données. Ces algorithmes ne sont en effet pas adaptés à un dispositif où la distance à chacun des écrans analysés varie dans le temps avec la position du sujet. En l’absence de distinction entre saccades et fixations, un indicateur du parcours d’une zone d’intérêt est défini sous le terme de « visite ». Une visite est définie comme l’intervalle entre la première fixation au sein de la zone d’intérêt considérée et la première fixation hors de cette zone d’intérêt.

Dans le cas d’un oculomètre portable, il s’agit donc uniquement d’un indicateur d’un intervalle de temps au sein duquel toutes les coordonnées du regard dans le repère local de l’oculomètre peuvent être interpolées dans la zone d’intérêt considérée. La borne supérieure de cet intervalle est définie par la première valeur interpolée hors de la zone d’intérêt considérée. Il s’agit donc d’une mesure à manipuler avec grande précaution, et qui en l’état ne fournit qu’un indicateur informel du parcours visuel de cette zone d’intérêt, quand les données d’interpolation ont pu être calculées. La position du regard étant une information secondaire à notre étude, cette première analyse suffit à confirmer l’utilisation de l’interface lors de nos scenarii.

Les deux scenarii ne présentent par la même longueur, il n’est pas possible d’agréger indifféremment les données collectées. A titre purement descriptif, et en considérant les précautions évoquées plus tôt, lors du premier scénario une moyenne de 119 « visites » (SD = 75) de la zone d’intérêt définie par l’interface a été enregistrée par sujet. Concernant le second scénario une moyenne de 152 « visites » (SD = 88) de l’aire d’intérêt définie par l’interface est notée par sujet. Relativement à la durée des scenarii, l’interface ASAP a été plus utilisée lors du second scénario que lors du premier, ce qui sera discuté ultérieurement.

Les informations de pupillométrie, ne dépendant que de la capture d’une image de la pupille et du calcul de son diamètre, sont bien moins contraignantes que celles concernant la position du regard, lesquelles résultent de l’interpolation de points multiples. Elles sont contraintes par les éléments extrinsèques se positionnant entre la caméra et l’œil du sujet. Les lunettes et lentilles sont par exemple des facteurs compliquant l’enregistrement de données. Les difficultés potentielles sont généralement identifiées dès la phase de calibration, mais des surprises peuvent arriver. L’autre principale source de perte de signal est, elle, incontrôlable : il s’agit des clignements d’yeux. La donnée de diamètre pupillaire est donc bien moins sujette au bruit expérimental que celles de position du regard.

Evaluation centrée pilotes Résultats

Sami LINI - 2013 175