Sujet de Thèse
• Titre : Modélisation de phénomènes hautement oscillants par réseaux de neurones, ouComment les méthodes de Deep Learning peuvent ap- prendre la théorie de l’averaging
• Unité de recherche : IRMAR, UMR-6625
• Thème : analyse numérique et deep learning
• Mots clefs : équations différentielles oscillantes, réseaux de neurones, LSTM, moyennisation
• Les noms, prénoms, courriel, établissement des directeurs ou directrices de thèse
1. Philippe Chartier, philippe.chartier@inria.fr, INRIA 2. Mohammed Lemou,mohammed.lemou@univ-rennes1.fr, CNRS 3. Participera aussi à l’encadrement :
Florian Méhats,florian.mehats@univ-rennes1.fr, Université de Rennes 1
Objectif de la thèse
Les méthodes du deep learning ont démontré leurs étonnantes capacités à traiter des problématiques variées comme la reconnaissance de caractères, d’images, de sons, le traitement du langage naturel ou encore des tâches typiquement humaines comme jouer aux échecs ou au jeu de go. Souvent, les progrès décisifs ont été effectués par des avancées heuristiques basées sur l’intuition des chercheurs. L’un des enjeux actuels dans le domaine de l’intelligence artificielle est de coupler ce type d’approches avec une modéli- sation plus usuelle, que l’on pourrait résumer dans la question : comment incorporer les équations de la physique (ou la biologie, ou d’autres domaines d’ingénierie) dans les réseaux de neurones ?
Pour décrire les phénomènes dépendant du temps, dits séquentiels, les réseaux de neurones récurrents (RNN) se sont montrés efficaces avec, tout particulièrement, les Long Short-Term Memory (LSTM) qui permettent de propager des effets de mémoire au cours du temps. Certains systèmes dy- namiques bruités ont été modélisés récemment par LSTM avec succès [1].
Dans cette thèse, nous nous intéresserons à des phénomènes déterministes 1
mais raides, les problèmes d’évolutions hautement oscillants. Les directeurs de cette thèse ont développé des méthodes numériques adaptées à ce type de problèmes, méthodes dites uniformément précises (voir par exemple [2]) qui sont capables de simuler efficacement les hautes fréquences. La question que nous nous poserons ici sera de transposer dans le deep learning certaines de ces idées, notamment de faire apprendre à des réseaux de neurones (des LSTM, pour commencer) la théorie dite de la moyennisation, à partir de don- nées oscillantes issues de simulations. Plus généralement, il s’agira d’analyser comment les réseaux de neurones récurrents peuvent être vus comme une dis- crétisation d’EDO ou d’EDP. On s’inspirera aussi, comme point de départ, d’autres références récentes explorant les liens entre les EDO et les réseaux de neurones comme [3] ou [4].
Références
[1] K. Yeo, I. Melnyk, Deep learning algorithm for data-driven simulation of noisy dynamical system, J. Comp. Phys. 376, (2019), 1212–1231.
[2] P. Chartier, M. Lemou, F. Méhats, G. Vilmart, A new class of uniformly accurate numerical schemes for highly oscillatory evolution equations, Found.
of Comput. Math., 20 (2020).
[3] R. T. Q. Chen, Y. Rubanova, J. Bettencourt, D. Duvenaud, Neural Or- dinary Differential Equations, arXiv:1806.07366.
[4] S. Ouala, D. Nguyen, L. Drumetz, B. Chapron, A. Pascual, F. Collard, L.
Gaultier, R. Fablet, Learning latent dynamics for partially observed chaotic systems, Chaos 30 (2020), 103121.
2
