Un modèle cellulaire auto-organisant pour le traitement de séquences temporelles . 27

cellulaires.

1.5.7 Calcul cellulaire à base de cartes auto-organisatrices et de champs neuronaux dynamiques

Les champs neuronaux, comme le terme “champ” l’indique, sont des réseaux de neurones organisés suivant une topologie, usuellement bidimensionnelle. Chaque neurone du champ est relié à ses voisins au sens de cette topologie via deux types de connexions. Les connexions excitatrices le relie à un voisinage proche, et amènent le neurone à être excité si ses voisins proches le sont. Les connexions inhibitrices, elles, s’étendent plus largement autour du neurone, et tendent à désactiver celui-ci si un voisin est actif. Le neurone, enfin, est soumis à une entrée scalaire, dont l’intensité favorise l’excitation du neurone.

Le modèle classique définit l’activation des neurones par une équation différentielle, les influ-ences via les connexions de voisinage étant calculées par convolution. On montre que l’on peut obtenir dans ce cas un profil d’activation à l’équilibre qui correspond à quelques zones d’activité compactes sur la carte, voire à une seule. La population de neurone réalise ainsi une prise de déci-sion collective, ne retenant sur sa surface que les neurones pour lesquels l’entrée est localement la plus forte.

L’idée des travaux récent de l’équipe est de se servir de ces champs neuronaux comme pro-cessus de sélection d’une carte auto-organisatrice, laissant le champ neuronal, par sa dynamique, déterminer la zone d’influence qui guide l’apprentissage des prototypes, et s’affranchissant ainsi du processus global de sélection de la BMU.

Les modèles de champs neuronaux classiques ne permettent toutefois pas de piloter convenable-ment les processus d’auto-organisation, ils sont en général utilisés pour modéliser des processus de sélection attentionnels. Il a donc fallu que nous nous basions sur des résultats développés dans notre équipe pour mettre en place d’autres champs neuronaux afin de disposer d’un modèles de cartes auto-organisatrices dont le mécanisme de compétition est distribué. Aujourd’hui, ce modèle est en place, mais il repose sur une connectivité aléatoire des connexions inhibitrices, qui n’a pas la localité topographique requise pour que le modèle soit strictement cellulaire. Nous reviendrons sur ce point en conclusion.

1.6 Un modèle cellulaire auto-organisant pour le traitement de

séquences temporelles

1.6.1 Introduction

Le modèle que nous proposons est un algorithme de traitement de séquence qui soit cellulaire. Ce modèle est comparable aux réseaux récurrents dans sa capacité à se comporter comme une machine à états qui restitue la dynamique du processus qui génère la séquence, séquence qui peut-être ambiguë. Cela dit, du fait de notre volonté de contribuer à l’informatique cellulaire, nous avons exclu, parmi les modèles récurrents, les modèles basés sur le perceptron. Nous leur avons

préféré une approche à base de cartes auto-organisatrices couplées, cartes qui sont contrôlées par un processus de compétition distribué inspiré des champs de neurones dynamiques.

L’architecture sur laquelle nous nous sommes basé est le modèle bijama20développé dans notre équipe. Il s’agit d’une architecture à grain fin, distribuée, qui permet de concevoir des algorithmes comme une population d’unités de calcul connectées entre elles. Chaque unité héberge plusieurs activités scalaires, qui sont mise à jour à chaque pas de temps. Cette mise à jour dépend des activités d’autres unités, le rôle des connexions étant de fournir un droit de lecture pour une unité aux activités de l’unité distante.

L’évaluation des unités dans le modèle bijama est asynchrone. À chaque pas de temps, toutes les unités sont évaluées une seule fois, dans un ordre aléatoire qui change d’un pas de temps à l’autre. L’environnement bijama induit également une méthodologie dans la définition de mise à jour. Les différentes activités appartiennent à des couches, prenant chacune plusieurs entrées et fournissant plusieurs sorties. Les entrées d’une couche peuvent être les activités de sorties de couches inférieures, où les informations collectées via les liens. Les sorties sont des activités de l’unité, à disposition des couches supérieurs et pouvant être lues via les liens.

L’architecture bijama est implémentée sous forme d’une bibliothèque C++, qui permet, sans effort supplémentaire de programmation, d’instancier le système à grain fin que l’on définit sur un cluster de PC, le cluster Intercell. Cette implémentation est possible du fait du caractère distribué et décentralisé imposé par bijama, et elle sera d’autant plus efficace que le réseau implémenté est cellulaire.

Même si l’idée de bijama est de permettre la programmation de couches que l’on peut empiler pour définir le fonctionnement d’une unité, il existe des couches déjà réalisées, sur la base de travaux précédents de l’équipe. C’est le cas de la couche de compétition que nous avons utilisée, qui implémente les modifications des champs neuronaux requises pour construire des cartes auto-organisatrices dont la compétition n’est pas centralisée sous la forme d’un winner-take-all, comme dans les cartes de Kohonen.

Une des intérêts de bijama est de faciliter la construction de cartes, et par conséquent de perme-ttre d’exprimer des architectures impliquant plusieurs cartes. La connectivité entre deux cartes est une connectivité en bandes, qui est partielle. Les connexions inter-cartes, dites connexions corti-cales, hébergent un poids qui est en permanence ajusté par apprentissage. Lorsque plusieurs cartes sont interconnectées, elles s’influencent l’une l’autre, par un mécanisme de résonance, de sorte que les activités en sortie des champs neuronaux produisent au sein de chaque carte une seule petite région compacte active, que nous appellerons une bulle d’activité. La résonance assure, suite à quelques étapes de relaxation, que les bulles au sein de chacune des cartes se trouvent situées à des endroits connectés entre eux d’une carte à l’autre, ce qui n’est pas aisé du fait de la connectivité en bande qui est partielle. Ainsi, par ces mécanismes, la connectivité partielle évite l’explosion combinatoire du nombre de connexion avec l’accroissement de la taille des cartes, et la résonance assure des activations qui restent à des endroits connectés, et donc des apprentissages au sein des cartes de représentations qui, si elles sont concomitantes, sont liées par des connexions après auto-organisation.

Le problème que nous nous proposons de résoudre est celui d’une machine à états autonome,

1.6. Un modèle cellulaire auto-organisant pour le traitement de séquences temporelles 29 périodique, qui génère des observations. L’observation courante est obtenue en fonction de l’état courant, mais cette fonction n’est pas bijective. Il existe donc des états différents qui produisent la même observation. Dans notre modèle, l’observation est un scalaire, compris entre 0 et 1, qui prend des valeurs notées A,B,C,D,E,F, avec 0 pour A, 1 pour F, et une répartition linéaire entre ces deux valeurs pour les autres lettres. Ainsi, une machine à 5 états, qu’elle visite tour à tour, pourra donner la séquence AFFFF d’observations, si la fonction d’observation associe A au premier état et F aux autres. Alors que la séquence ne présente que deux types d’observation, A et F, nous souhaitons que notre architecture soit capable, sur la surface d’une carte organisatrice, de correctement retrouver que le système dynamique qui génère les observation est bien un système à 5 états, et non 2, même dans le cas d’une séquence aussi ambiguë.

1.6.2 Notre architecture

Notre architecture se comporte de trois cartes. Nous ne le détaillons pas dans ce résumé, mais les mécanismes implémentés sont très homogènes d’une carte à l’autre, ce qui rationalise la procédure d’ajustement des paramètres.

La carte principale est la carte d’entrée. Une bulle d’activité sur cette carte a vocation à désigner une position sur la carte qui représente l’état du système dynamique qui fournit les entrées. Cette carte gère des unités dont les prototypes combinent l’entrée21courante et un contexte. Ce contexte provient justement de la seconde carte, dite carte associative, qui est connectée à la carte d’entrée via des bandes de connexions adaptatives, comme le suggère le modèle bijama. La troisième carte est une carte de délai, qui est une copie, différée d’un pas de temps de séquence, des activités de la carte d’entrée. La carte associative associe donc la carte d’entrée avec sa copie différée, via deux séries de bandes de connexion, provenant chacune de l’une des deux cartes. La carte d’entrée reçoit donc des bandes de connexion de la carte associative, qui comme nous l’avons dit déterminent le contexte temporel, mais la carte associative reçoit en retour des bandes de connexions de la carte d’entrée. Cette boucle dans l’architecture et le siège de mécanismes d’auto-organisation complexes, discutés dans le manuscrit, qui font l’un des intérêts de nos travaux.

1.6.2.1 Résultats expérimentaux et discussion

Nous avons soumis plusieurs séquences à cette architecture, afin d’évaluer sa capacité à reproduire fidèlement les états du système dynamique qui génère les entrées ambiguës. Nous avons d’ailleurs comparé nos résultats avec Recursive SOM, qui est le modèle non-cellulaire existant le plus proche de nos travaux.

Nous avons montré que l’architecture était capable de créer différents états pour les mêmes entrées en cas de séquences ambiguës, c’est-à-dire de donner naissance à des bulles d’activités à des endroits distincts de la carte d’entrée. L’architecture est donc bien capable de s’organiser pour représenter sur le substrat cellulaire la dynamique du processus qui génère les entrées.

Nous avons également montré que l’architecture reste adaptative. En effet, aucune initialisation particulière n’est requise, et les paramètres du système restent constants au cours de son

tion22. Ainsi, si l’on change le système dynamique, l’ensemble du système cellulaire se réorganise spontanément pour représenter le nouveau système sur son substrat.

Toutefois, même si nous nous réjouissons de ces résultats, nous avons observé que, parfois, la représentation d’état du système dynamique qui fournit les entrées, même si elle reste correcte, dérive sur la surface de la carte. Ce type d’instabilité n’a pas été décrit sur des systèmes auto-organisant plus simples, et il est difficile de déterminer ses causes, et de savoir s’il sera un obstacle à la constitution d’architectures impliquant plusieurs cartes temporelles.

1.7 Conclusion

Cette thèse s’est résolument inscrite dans la perspective de contribuer à l’essor du calcul cellulaire, en proposant d’aborder par ce type d’approche le problème complexe de l’auto-organisation de la représentation de séquences ambiguës. Les résultats sont prometteurs, puisque les effets de résonance, qui sont des effets émergents comme ceux que l’on attend des systèmes cellulaires, concourent effectivement à organiser l’ensemble de l’architecture sans supervision, en allouant le substrat de calcul disponible à une représentation non ambiguë, i.e. markovienne, du système dynamique autonome qui fournit les observations.

Nous avons, du fait de la réalisation de nos recherche, mis en lumière plusieurs difficultés, qui sont autant de perspectives à ce travail. La première est l’apparition d’instabilités de représentations sur la surface, qu’il conviendrait de mieux analyser. Cela dit, se phénomène apparaît justement car, fort des outils de simulation que nous avons utilisés, nous avons pu manipuler un système suffisam-ment complexe pour que ces effets se manifestent. La seconde difficulté est certainesuffisam-ment le fait de n’avoir pas pu pousser jusqu’au bout la logique cellulaire. En effet, les processus de compéti-tion distribués au sein des cartes supposent une connectivité aléatoire, qui n’est que la détérioracompéti-tion d’une connectivité totale, et n’a donc pas la localité topographique attendue des systèmes cellu-laires. Il reste donc à concevoir des mécanismes de compétition distribués qui s’affranchissent de l’exigence d’une connectivité totale, même dégradée.

Enfin, la restitution d’états à partir d’observations non-markovienne n’est pas sans rappeler la problématique de contrôle de systèmes dynamiques partiellement observés, et par conséquent les processus décisionnels de Markov partiellement observés (POMDPs). Une des motivations de cette thèse était de pouvoir proposer des solutions cellulaires à cette question-là, et nous n’avons pu y répondre que partiellement puisque le système dynamique dont nous extrayons les états est autonome, et non soumis aux actions de contrôle d’un agent. La poursuite de nos travaux dans cette direction nous semble essentielle.

Enfin, nous sommes fiers d’avoir pu contribuer à l’aventure humaine qu’est la maîtrise du cal-cul, son automatisation, et à l’exploration de paradigmes un peu en marge de la tendance majori-taire à ce domaine, nous inscrivant ainsi dans la lignée des travaux initiés par les sumériens, en 2400 avant JC.

22Contrairement par exemple aux cartes de Khonen pour lesquelles le rayon d’influence autour de la BMU diminue au cours du temps.

C

2

General Introduction

Contents

2.1 Emergence of computability, functionalism and intelligence . . . 32