Limite du réservoir en reconnaissance d’objets

Malgré la considération dans le modèle proposé des différentes couches laminaires dans le dLGN et V1, l’approche par réservoir n’aborde pas le problème de reconnaissance d’objet comme un traitement hiérarchique. On rappelle que la capacité computationnelle des ap- proches par réservoir provient plutôt des interactions récurrentes et non linéaires entre les neurones [Maass & Natschläger, 2002], et non du traitement hiérarchique. Le modèle pro- posé focalise principalement sur V1 et ignore les structures corticales des aires supérieures comme le cortex visuel secondaire (V2), le cortex extrastrié (V4) et le cortex tempo- ral inférieur (IT). Ces dernières participent toutefois dans le traitement hiérarchique des stimulations visuelles, particulièrement pour la reconnaissance d’objets [DiCarlo & Cox, 2007 ; Pasupathy et al., 2018]. Il s’agit d’une perspective où la propagation avant de la sélectivité neuronale [D. N. Hubel & Wiesel, 1962] permet de bâtir des représentations de plus en plus abstraites (c.-à-d. à haut niveau) des stimulations visuelles d’entrée. Or, la sélectivité neuronale n’est pas un aspect qui a été étudié dans cette thèse. C’est que l’émergence de la sélectivité dans une population de neurones sous l’influence de la plasti- cité synaptique est bien connue [Kremer et al., 2011 ; Masquelier, 2012 ; Song & Abbott, 2001 ; Wenisch et al., 2005] et reste complémentaire à la modélisation proposée.

Le traitement séquentiel à propagation avant fait par les structures corticales V1_{→ V2 →} V4 _{→ IT reste toutefois une approche simplifiée intéressante pour comprendre la recon-} naissance d’objets dans le système visuel [DiCarlo & Cox, 2007 ; Pasupathy et al., 2018]. L’avantage est qu’au niveau fonctionnel, les propriétés de généralisation et d’invariance des représentations dans une architecture hiérarchique de traitement sont bien connues [Isik, Meyers, Leibo, & Poggio, 2014 ; Poggio & Ullman, 2014 ; Stringer & Rolls, 2002]. Ce type de hiérarchie est exploité en apprentissage machine dans les réseaux profonds, qui per- mettent de mieux comprendre les caractéristiques apprises pour permettre l’invariance et la généralisation en reconnaissance d’objets [Gauthier & Tarr, 2016]. La hiérarchie peut toutefois être définie dans plusieurs contextes : comme une séquence de projections, un gradient de caractéristiques, une progression d’échelles et un tri de motif de projections laminaires [Hilgetag & Goulas, 2020]. La considération des différentes couches laminaires dans V1 correspondrait à une séquence de projections. Afin d’intégrer une progression d’échelles dans le modèle proposé, il serait aussi possible de mettre en séquence plusieurs réservoirs de façon hiérarchique [Lukoševičius, 2012]. Il n’y a donc pas de dichotomie entre le modèle proposé et les approches hiérarchiques. Malgré la vision commune très répandue du traitement séquentiel (bottom-up) dans le système visuel [p. ex. Riesenhuber & Poggio, 2000], la prépondérance de la récurrence dans les projections synaptiques des approches

par réservoir permet de jouer un rôle très important dans le traitement de l’information visuelle. Par exemple, les signaux de rétroaction (top-down) permettent de diriger l’ap- prentissage [Hinton, Dayan, Frey, & Neal, 1995] ou d’agir comme mécanisme attentionnel visant à moduler la perception en fonction de la tâche. Une structure séquentielle hiérar- chique ne permet pas de moduler le traitement de l’information visuelle en fonction de l’activité existante dans le cerveau ainsi que des tâches comportementales [Froudarakis et al., 2019], contrairement à l’approche par réservoir.

5.4

Conclusion

Dans ce chapitre, le modèle du système visuel proposé aux chapitres 2 et 3 a été adapté à une méthode de classification à base de réservoir de neurones à décharge. Il a ensuite été appliqué à une tâche d’apprentissage machine. Le mécanisme de régulation homéostatique pour les synapses excitatrices et inhibitrices basé sur la plasticité dépendante du temps de décharge (STDP) multiplicative proposé au chapitre 4 a aussi été exploité. L’objectif était d’identifier les caractéristiques de modélisation (p. ex. distribution réaliste des synapses) qui ont un effet statistiquement significatif sur les performances de reconnaissance, comme évaluées objectivement par la justesse de classification.

Pour ce faire, l’utilisation de plusieurs bases de données synthétiques permettant de contrô- ler le type de représentation (c.-à-d. information spatiale, temporelle ou spatiotemporelle) a été proposée. Une évaluation approfondie de l’impact des caractéristiques de modéli- sation sur les performances de reconnaissance, pour chacune de ces bases de données, a ensuite été réalisée. La sélection aléatoire des neurones de lecture dans le réservoir a été identifiée comme source importante de variabilité de la justesse de classification, pour des modèles ayant la même configuration et appliqués sur la même base de données. Des tests statistiques rigoureux (Mann-Whitney, Kruskal-Wallis) ont donc été utilisés, dont les résultats ont été résumés au tableau 5.3 page 125.

Les caractéristiques de modélisation ayant un effet statistiquement significatif et béné- fique sur au moins une des bases de données sont la distribution réaliste des synapses, les contraintes synaptiques, le facteur pour le type d’interaction postsynaptique et le nombre variable de sites de libération. Le facteur pour le type d’interaction postsynaptique a montré la taille de l’effet la plus élevée, car il favorise une meilleure propagation avant de l’activité neuronale. Certaines caractéristiques de modélisation comme la plasticité à court terme (STP) et la connectivité proximale et distale ont montré un effet statistiquement significatif, mais néfaste pour les performances de classification. Dans le cas de la STP, ce

phénomène a été observé sur toutes les bases de données étudiées. Il viendrait de hauts taux de décharge moyens considérés comme valeurs réalistes cibles pour les stimulations d’entrée et la régulation homéostatique de l’activité neuronale, ce qui provoquerait une forte dépression synaptique et impacterait la propagation avant de l’activité neuronale. Plusieurs caractéristiques de modélisation (p. ex. transmission probabiliste, bruit sur la STDP) n’ont pas montré d’effet significatif sur les performances de reconnaissance. Ceci montre toutefois que la méthode de classification par réservoir de neurones à décharge est robuste par rapport à la dynamique et à la variabilité introduite par ces dernières. Il s’agit d’un avantage si le réservoir est implémenté par des systèmes analogiques, photoniques ou autres systèmes physiques [p. ex. G. Tanaka et al., 2019] où le bruit est omniprésent. Finalement, les observations réalisées dans ce chapitre laissent entrevoir une limite à l’op- timisation du réservoir avec la considération de différents phénomènes observés dans le cerveau (p. ex. plasticité synaptique). Plusieurs de ces phénomènes sont sans doute dus aux particularités de l’implémentation biologique et non à sa fonction.

Enfin, le modèle proposé a été validé sur une base de données réelles et les performances ont été comparées avec différentes approches de référence. Les résultats ont démontré que même si les performances de classification du modèle proposé sont légèrement inférieures à la majorité des approches de référence, le modèle de réservoir proposé apporte une non- linéarité bénéfique dans le traitement de l’information d’entrée. Une comparaison avec d’autres approches basées sur les plus récentes librairies d’apprentissage machine avec des neurones à décharge a aussi été réalisée, où le modèle proposé montre des performances compétitives.

CONCLUSION

6.1

Sommaire

Modélisation de la structure du système visuel

L’évaluation de l’impact des paramètres de la modélisation structurelle sur la reproduction de la connectivité corticale a été réalisée au chapitre 2. La modélisation de la structure neu- ronale et synaptique du système visuel primaire a été basée sur des données anatomiques venant de la littérature. L’évaluation a été appuyée par plusieurs analyses expérimen- tales. La qualité de la modélisation structurelle a été évaluée objectivement à l’aide d’une métrique de distance statistique (distance de variation totale) entre la distribution des synapses obtenue dans le modèle et celle désirée conforme à la physiologie. Ceci a permis d’évaluer l’effet de différents paramètres de modélisation, comme le nombre total de neu- rones et de synapses, le champ de vision et le facteur d’échelle de V1. Les résultats ont démontré que l’effet de ces paramètres est particulièrement prononcé lorsqu’une topologie réaliste par grappes synaptiques est utilisée pour la modélisation des projections synap- tiques apicales. L’incorporation de telles contraintes spatiales réduit le degré de liberté de connectivité dans le modèle, c.-à-d. le nombre total de synapses potentielles entre les neurones. Ce degré de liberté restreint rend la distribution des synapses plus sensible au changement de densité neuronale et synaptique, modulé par exemple par des contraintes sur le nombre total de neurones ou par le champ de vision. Des recommandations ont été émises quant à la taille minimale du modèle pour à la fois optimiser la qualité de la modélisation structurelle, et minimiser l’impact computationnel de simuler un trop grand nombre de neurones ou de synapses. Cette contribution, de type méthodologique, a per- mis de mieux comprendre les compromis qui surviennent sur le réalisme des connexions synaptiques lorsque la taille du modèle (p. ex. nombre total de neurones) est réduite.

Modélisation de la dynamique neuronale et synaptique

L’évaluation de l’impact computationnel des paramètres de la modélisation dynamique et des recommandations pour optimiser le temps de calcul a ensuite été réalisée au chapitre 3. Elle a intégré la modélisation structurelle décrite au chapitre 2. La dynamique neuronale

ainsi que la dynamique synaptique ont été définies sur la base de données neurophysiolo- giques venant de la littérature. Le modèle capture plusieurs des aspects importants de la dynamique des neurones et de leurs interactions dans le cerveau. On parle par exemple de la forme complexe des potentiels d’action postsynaptiques, du bruit membranaire, de la transmission probabiliste des décharges et des multiples formes de plasticités synaptiques. L’évaluation a été appuyée par des analyses comparatives approfondies sur le simulateur de neurones à décharge Brian2 [Stimberg et al., 2019]. L’impact computationnel de di- verses caractéristiques de modélisation de la dynamique (p. ex. nombre de neurones et de synapses, plasticité à court terme) a ensuite été étudié. Différents facteurs computationnels limitants liés à ces caractéristiques de modélisation ont été soulevés, soit principalement la génération de nombres aléatoires et l’évaluation de la fonction exponentielle. Des solutions ont finalement été proposées pour tenter de réduire l’impact de ces derniers sur le temps de simulation, et ainsi tendre vers des performances plus près du temps réel. Cette contri- bution, de type computationnel, a permis de mieux comprendre le coût computationnel à augmenter le réalisme biologique pour la dynamique neuronale et synaptique.

Plasticité synaptique et régulation homéostatique

Un mécanisme de régulation homéostatique pour les synapses excitatrices et inhibitrices basé sur la plasticité dépendante du temps de décharge (STDP) multiplicative a ensuite été proposé au chapitre 4. L’étude a été appuyée par des analyses théoriques et expéri- mentales, permettant de bien comprendre les propriétés de convergence et les limitations du mécanisme de régularisation proposé. Les analyses théoriques ont été basées sur le formalisme de Fokker-Planck [Risken, 1984] et validées à l’aide de simulations de neu- rones à décharge, dans le cas simplifié d’un seul neurone postsynaptique. L’intégration de la régulation homéostatique pour les synapses excitatrices (contrôlant le taux de dé- charge moyen) et les synapses inhibitrices (contrôlant l’équilibre excitation-inhibition) a été réalisée dans le cas simplifié, puis appliquée sur le modèle à structure et dynamique complexes proposé aux chapitres 2 et 3. Les analyses empiriques ont démontré que cette intégration permet à la fois d’obtenir une distribution stable des poids et une régulation rapide du taux de décharge moyen des neurones postsynaptiques. La régulation homéo- statique de l’inhibition, qui assure une balance des courants postsynaptiques excitateurs et inhibiteurs, amène aussi un mode de fonctionnement où les fluctuations du potentiel membranaire causées par des temps de décharge précis génèrent une réponse postsynap- tique. En permettant la régularisation de l’activité neuronale même pour des modèles à topologie de connectivité et à dynamique très complexe, l’approche proposée permet d’obtenir un régime idéal pour traiter l’information de stimuli d’entrée, par exemple liée

à une tâche de classification. Cette contribution, de type algorithmique, a introduit une nouvelle forme de plasticité homéostatique qui peut s’appliquer autant pour les synapses excitatrices (contrôlant le taux de décharge moyen) et les synapses inhibitrices (contrôlant l’équilibre excitation-inhibition).

Application en apprentissage machine

L’évaluation de l’effet des paramètres (p. ex. nombre de neurones de lecture) et carac- téristiques (p. ex. balance excitation-inhibition) de modélisation sur la performance d’un système d’apprentissage machine basé sur un réservoir de neurones à décharge a finale- ment été réalisée au chapitre 5. Dans un contexte applicatif, celle-ci a exploité tous les travaux de cette thèse en modélisation structurelle, modélisation de la dynamique et régu- lation homéostatique. L’étude a été appuyée par des analyses expérimentales approfondies sur plusieurs bases de données synthétiques (c.-à-d. avec information spatiale, temporelle ou spatiotemporelle), requérant l’entraînement de plus de 2600 modèles indépendants. Plus d’une cinquantaine de configurations du modèle (p. ex. avec et sans plasticité à court terme) ont été testées. La signification statistique de l’effet sur les performances de reconnaissance a été validée par des tests statistiques rigoureux (p. ex. Kruskal-Wallis, Mann-Whitney, Shapiro-Wilk). Les caractéristiques de modélisation ayant montré un ef- fet statistiquement significatif et bénéfique sur au moins une des bases de données sont la distribution réaliste des synapses, les contraintes synaptiques, le facteur pour le type d’interaction postsynaptique et le nombre variable de sites de libération. Le facteur pour le type d’interaction postsynaptique a montré la taille de l’effet la plus élevée, car il fa- vorise une meilleure propagation avant de l’activité neuronale. Certaines caractéristiques de modélisation comme la plasticité à court terme (STP) et la connectivité proximale et distale ont montré un effet statistiquement significatif, mais néfaste pour les performances de classification. Enfin, plusieurs caractéristiques de modélisation (p. ex. transmission pro- babiliste, bruit sur la STDP) n’ont montré aucun effet significatif sur les performances de reconnaissance. Ceci a toutefois montré que la méthode de classification par réservoir de neurones à décharge est robuste par rapport à la dynamique et à la variabilité introduite par ces caractéristiques de modélisation. Cette contribution, de type empirique, a per- mis d’identifier les caractéristiques de modélisation les plus importantes pour favoriser de meilleures performances de reconnaissance.