9. Module « fouille et apprentissage » pour l’analyse de la performance technique
9.3 Le Machine Learning supervisé pour l’analyse de la performance technique
9.3.1 Intérêts du ML pour l’analyse de la performance technique
On a vu précédemment que l’unité à laquelle la performance technique était analysée est la phase. La nature analytique du domaine rend difficile de définir précisément à quoi correspond une « bonne performance technique », sans prendre en compte l’état de la criticité dans laquelle l’activité perceptivo-gestuelle de l’apprenant se déroule. Reprenons l’exemple du piéton dissimulé par la haie que l’apprenant doit « prédire » et éviter. Quels éléments permettent de définir ce qu’est une « bonne performance technique » dans ce cadre ?
- Le fait qu’il y ait eu impact, ou non, avec le piéton, correspond à une information peu précise. On peut estimer qu’il existe une grande différence entre un apprenant évitant d’extrême
104
justesse l’impact avec le piéton, et un autre apprenant s’arrêtant à bonne distance de ce dernier.
- « Le piéton s’est arrêté suffisamment tôt », mais comment définir « suffisamment tôt » ? En effet, outre le caractère incertain du terme « suffisamment », cette notion dépend fortement d’aspects contextuels, c’est-à-dire, de la criticité intrinsèque de la situation, un élément dont on a vu le caractère unique pour chaque phase étant donné les actions précédentes de l’apprenant. Ainsi, pour un apprenant évoluant particulièrement lentement, « suffisamment tôt » n’a pas le même sens que pour un apprenant évoluant à une vitesse élevée.
Pour permettre l’analyse de la performance technique par des méthodes symboliques, comme par exemple des règles de production ou une série de contraintes, il faudrait toujours tenir compte du contexte pour valider quelle règle est « valide » ou « invalide », ou quelles sont les bornes déterminant si une contrainte a, ou non, été violée. Or on a vu que chaque contexte était unique, ce qui est d’autant plus problématique pour des situations générées dynamiquement, c’est-à-dire en nombre très élevé.
Vis à vis de ce problème, une approche de type ML sur la base d’une supervision par un expert nous semble appropriée. En effet, ces approches rencontrent beaucoup de succès pour une problématique trayant à l’analyse d’une activité sur la base de données multimodales. Les approches construites sur la base d’un apprentissage supervisé sont généralement particulièrement efficaces dans ce contexte. Dans notre cas, l’analyse de la performance doit fusionner des informations provenant de trois sources différentes. L’état du monde, les actions, et les perceptions.
Par ailleurs, la possible création d’une base de cas « pour l’apprentissage », comme stipulé en 9.2.1, peut permettre de réaliser cette tâche de supervision en une fois pour un nombre élevé de situations d’apprentissage différents et d’éviter le problème du démarrage à froid. Finalement, l’un des handicaps des approches ML vient de leur aspect « boite noire », qui rend, dans notre cas, difficile l’explication des valeurs de performance technique obtenues en sortie d’une analyse par rapport à des approches symboliques mieux à mêmes de nous fournir avec précision les causes à l’origine d’une performance bonne ou mauvaise. Nous considérons ce handicap comme acceptable étant donné que notre objectif fondamental trait au diagnostic des aspects non-techniques du domaine, et non en la recherche d’une décomposition précise des manquements techniques de l’apprenant. Le ML nous permet de « gagner du temps » en contrepartie d’une plus faible interprétabilité, pour nous fournir une information dont la décomposition en éléments plus précis n’apporterait de toute façon, que peu d’informations sur les aspects non-techniques.
9.3.2 Réseau de neurones pour l’analyse de la performance technique
Nous verrons dans la partie expérimentations que différents algorithmes peuvent être utilisés pour effectuer l’analyse de de la performance. En effet, étant donné l’important travail de pré-traitement effectué par le module d’extraction d’indicateurs, le nombre de paramètres en entrée est relativement faible. Nous nous sommes orientés vers un réseau de neurones dans nos premières implémentations de ce module, mais nous verrons dans la partie « expérimentations » (page 157) que d’autres algorithmes peuvent être adaptés au problème.
105
Un réseau de neurones (RN) est un agencement de neurones « formels », c’est-à-dire de représentations mathématiques très simplifiées d’un neurone biologique. Un neurone formel associe à plusieurs entrées une valeur de sortie dans la nature dépend d’une fonction d’activation ; en d’autres termes, un neurone peut être « activé » ou rester inactif en fonction de l’intensité des valeurs qui lui sont communiquées en entrée, et de la nature de sa fonction d’activation. Pour un réseau de neurones, des valeurs présentées en entrée du réseau sont propagées de neurone à neurone jusqu’à la sortie du réseau. Cette sortie peut correspondre à plusieurs nœuds mis en concurrence dans le cadre d’une tâche de classification, ou d’une valeur continue unique dans le cadre d’une tâche de régression. Puisque nous sommes dans un cadre d’apprentissage supervisé, la valeur obtenue en sortie est comparée à une valeur désirée, et le résultat de cette comparaison est rétro-propagé dans le réseau de neurones, modifiant ainsi les « poids » de chaque neurone afin de compenser l’erreur observée en sortie.
La Figure 9.3 présente l’architecture d’analyse de la performance technique, depuis la phase de pré-traitement réalisée par le module d’extraction d’indicateurs, jusqu’à l’obtention par apprentissage supervisé construit à l’aide d’un RN, des valeurs de performance technique perceptuelles et gestuelles. Deux réseaux de neurones sont utilisés en parallèle, chacun avec les mêmes entrées, mais des sorties désirées (i.e. : les notations expertes) différentes selon qu’il évalue les actions ou les perceptions.
Figure 9.3 : Vue globale de l’architecture d’analyse de la performance technique. Le RN permet de franchir un « gap » sémantique séparant les indicateurs comportementaux de la notion de
performance.
Le module d’extraction d’indicateurs permettant de fortement réduire les paramètres d’entrée du RN, les expérimentations qui seront présentées dans le chapitre 13 (page 152) ont été
106
conduites à l’aide d’un perceptron multicouches, c’est-à-dire un RN où chaque couche de neurones est entièrement connectée à la suivante, possédant 3 couches. La couche d’entrée est constituée de 12 neurones (i.e. : les indicateurs sélectionnés par les experts). La couche « cachée » est constituée de 8 neurones et pointe vers un neurone en sortie. Une fonction d’activation de type « ReLU » (Rectified
Linear Unit) a été utilisée. En outre, la méthode du « dropout » [Srivastava et al., 2014] a été utilisée :
cette méthode consiste à supprimer temporairement et de manière aléatoire certains neurones du réseau, permettant ainsi d’éviter des effets de coadaptation entre neurones et de limiter les effets de sur-apprentissage. La session expérimentations présentera les résultats obtenus sur la base de ce RN, et comparera ses performances avec celles d’autres algorithmes d’apprentissage par régression.
9.4 Synthèse
Dans cette partie, nous avons présenté le module d’analyse de la performance technique, second « étage » de notre architecture hybride pour le diagnostic des CNT en situations critiques. Nous avons d’abord présenté les raisons qui nous ont poussé à introduire la notion de performance technique. Tout d’abord, cette notion permet de fournir une analyse comportementale et située de l’activité de l’apprenant. Ensuite, elle fournit une observation vis-à-vis de la capacité d’un individu à faire face à une situation critique, et à cet effet, détient une information pertinente pour évaluer ses CNT. Nous avons ensuite justifié l’utilisation de Machine Learning supervisé pour prédire un score de performance perceptuelle et gestuelle en contexte de situations d’apprentissage, critiques ou de références, détaillé l’architecture du module, et présenté le RN actuellement implémenté pour obtenir ces valeurs.
Dans la section suivante, nous présenterons la dernière couche de notre architecture hybride pour le diagnostic des CNT. Il s’agit d’un réseau bayésien mettant en relation les informations sur la performance technique observée de l’apprenant, les dimensions de criticité, et les éventuels marqueurs non-techniques à disposition, pour réaliser un diagnostic des CNT.
107