9. Module « fouille et apprentissage » pour l’analyse de la performance technique
9.2 La notion de performance technique
9.2.1 Obtenir la performance technique de l’évaluation de l’expert
La nature analytique du domaine nous incite à recourir à l’expert pour obtenir des informations sur la qualité des gestes techniques produits par un apprenant dans différents contextes de situations plus ou moins critiques. Pour ce faire, nous avons établi une méthodologie de « notation » des performances, réalisable soit sur la base de vidéos montrant à la première personne l’activité de l’apprenant lors de son évolution au sein du simulateur, soit sur la base de transcriptions textuelles des indicateurs extraits lors de chaque phase d’une situation d’apprentissage. Nous présentons ce processus d’obtention des évaluations de l’expert dans un premier temps, avant de préciser son intérêt et la façon dont cette information est utilisée pour entraîner des algorithmes de ML à reproduire le processus.
Notation des experts sur la base de vidéos
L’approche a pour vocation d’être effectuée sur la base de vidéos présentées à l’expert, pour lesquelles les perceptions visuelles réalisées par l’apprenant sont symbolisées par un rond évoluant sur l’écran (voir Figure 9.1). Ces vidéos devraient idéalement être agrémentées d’une interface fournissant informations sur les actions réalisées par l’apprenant (freinages, accélérations, coups de volants, etc.) afin de fournir des conditions correctes pour l’évaluation de la performance technique.
101
Figure 9.1 : Vidéo issue d’une session d’apprentissage en conduite automobile.
Cette approche pour la supervision de l’apprentissage est cependant complexe à mettre en œuvre, du fait d’une part de la nécessité d’avoir à disposition une caméra capable d’enregistrer l’activité de l’apprenant et les positions de ses fixations visuelles, et d’autre part de la qualité parfois faible des vidéos produites. Pour ces raisons, nous avons mis au point un formalisme de description de l’activité de l’apprenant lors de chaque phase d’une situation d’apprentissage.
Notation des experts sur la base d’une transcription des indicateurs
Afin de fournir une méthode alternative pour la notation à l’aide d’experts de la performance perceptive et gestuelle de l’apprenant, nous avons procédé en deux étapes. Tout d’abord, nous avons fourni à l’expert une description de la situation d’apprentissage rencontrée, ainsi que de chacune de ses phases. L’expert avait ailleurs participé à la conception de ses scénarios, il les maitrisait donc bien.
Nous avons ensuite fourni à l’expert une description du rôle et valeurs pouvant être prises pour chaque indicateur. Un tableau contenant les valeurs des indicateurs produits par les comportements de chaque apprenant lors de chacune des phases des situations d’apprentissage lui a ensuite été fourni. Nous lui avons ensuite demandé d’effectuer la notation, en plaçant chaque comportement sur un continuum allant de 0 à 5, 0 étant « la pire performance possible » et 5 une gestion optimale de la situation rencontrée. L’expert a donc produit deux scores de performances, l’un correspondant à la facette « perceptuelle » de la performance et l’autre à sa facette « d’action », en tenant compte des liens entre perceptions et actions. Par exemple, si une action est conditionnée par la perception d’un élément au préalable, il était demandé à l’expert d’en tenir compte dans sa notation de la performance d’action.
102
Notons que le fait d’effectuer la notation sur la base des valeurs pouvant être prises par chaque indicateur permettrait par la suite de décrire des comportements n’ayant pas été observés de manière écologique, par croisement des différentes valeurs, et ainsi fournir une réponse au problème du « démarrage à froid » pour l’analyse d’une performance technique construite sur la base d’un apprentissage supervisé. Il deviendrait ainsi possible de construire une base de cas pour la « phase d’apprentissage » nécessaire au fonctionnement de l’algorithme à partir de données simulées regroupées en clusters présentant des caractéristiques similaires, et sur les notations fournies par les experts pour chacun de ces clusters.
9.2.2 Intérêts de la notion de performance technique
Etant donné la méthodologie mise en œuvre pour obtenir cette mesure, nous définissons la performance technique comme suit :
Performance technique : La qualité et la pertinence des gestes et perceptions
techniques réalisées par l’apprenant en réponse à une situation donnée, telle qu’évaluée par un expert du domaine.
Cette notion joue le rôle d’intermédiaire sémantique entre les indicateurs, qui fournissent une description singulière des actions, des perceptions, et de l’état du monde, et les CNT. Elle est obtenue via la supervision de l’apprentissage d’un algorithme de ML par des experts humains du domaine, selon la procédure décrite en 9.2.1. Ce niveau « comportemental » possède deux atouts, nécessaires pour servir de base à la production d’un diagnostic des CNT.
Premièrement, il permet de situer l’activité perceptivo-gestuelle de l’apprenant au sein du contexte à l’intérieur de laquelle elle est produite. On a présenté en partie 6 la nature analytique du domaine et l’importance de la prise en compte du contexte pour déterminer le caractère valide ou invalide de l’activité de l’apprenant. L’analyse de la performance technique se base sur les indicateurs extraits par le module éponyme. A cet effet, elle fusionne des données multimodales sur les actions, les perceptions, et l’état du monde.
Deuxièmement, en prenant place lors de situations d’apprentissage de référence, ce niveau comportemental (voir Figure 9.2) permet l’édification d’une ligne de base à laquelle comparer les performances techniques produites par l’apprenant lors de situations d’apprentissage critiques. L’analyse de la performance technique dans deux types de situations d’apprentissage est la résultante directe des choix conceptuels faits pour la conception du module d’extraction d’indicateurs. Elle a pour objectif de fournir des observations « génériques », pouvant être obtenues dans tout domaine technique comportant un degré de risque, et permettant le diagnostic a posteriori des CNT, y compris en l’absence de marqueurs non-techniques.
103
Figure 9.2: Rôle intermédiaire du module d’analyse de la performance technique, permettant de faire le pont entre les évènements résultants de l’activité produite par l’apprenant, et les CNT sous-tendant
cette activité.
9.2.2 Performance perceptuelle et performance gestuelle
Nous avons fait le choix de séparer l’analyse de la performance technique en deux facettes : une facette spécifique aux aspects perceptuels, et l’autre spécifique aux aspects gestuels. Deux raisons motivent ce choix. (1) Cette séparation peut contribuer à mieux identifier les rétroactions appropriées à produire, en rattachant un comportement inapproprié de manière plus fine à des aspects perceptifs, ou au contraire liés à des gestes techniques. (2) Cette séparation permet d’améliorer la précision du diagnostic de CNT, notamment celles qui possèdent un caractère perceptuel fort, comme la conscience de la situation.
Cette séparation a des intérêts concrets vis-à-vis du diagnostic, mais elle ne cherche pas à nier les liens entre perceptions et actions. Afin de tenir compte de ces liens, l’analyse de la performance gestuelle et de la performance perceptuelle est donc réalisée sur la base des mêmes indicateurs, comme indiqué dans la partie 9.2.1 de ce chapitre. Par exemple, en conduite, un freinage effectué instantanément après une perception tardive n’a pas le même sens qu’un freinage effectué au même moment, mais après une perception précoce. Prenons un autre exemple dans le domaine de la HPP ; une succession de fixations fréquentes, et rapides, sur les signaux physiologiques de la patiente juste après l’injection tardive d’un médicament n’a pas la même valeur vis-à-vis de la performance perceptuelle que des perceptions plus sporadiques mais au même moment « absolu » par suite de l’injection plus précoce du médicament.