Initialement inspirées du cortex cérébral, les cartes auto-organisatrices de Kohonen (SOMs) sont aujourd’hui une technique d’apprentissage automatique non-supervisé utilisée pour de nombreuses applications. Elles ont mis en avant des techniques de quantification vectorielle avec restitution de topologie, techniques qui ont évolué depuis. Dans ce paragraphe, nous nous concentrerons sur le principe des cartes de Kohonen et examinerons la façon dont elle peuvent permettre une auto-organisation temporelle.
1.5.1 Cartes auto-organisatrices de Kohonen
Une carte de Kohonen est un ensemble d’unités organisé suivant une topologie, souvent 2D. En ce sens, leur structure est assez proche de celle d’un automate cellulaire. Cette topologie permet de définir une notion de voisinage entre les unités. Ce voisinage est donné a priori, lors de la définition de la carte.
Comme nous nous situons dans un contexte de quantification vectorielle, chaque unité représente un prototype des configurations que peuvent prendre les entrées fournies à la carte. Ce prototype est une entrée particulière, stockée par l’unité. L’espace des entrées est un espace métrique, et la distance au sein de cet espace est à bien distinguer de la distance induite par la topologie mentionnée plus haut. En effet, deux unités proches sur la carte peuvent avoir des proto-types éloignés dans l’espace des entrées, c’est-à-dire des protoproto-types très peu ressemblants.
L’apprentissage au niveau de la carte se fait en lui présentant successivement des entrées. L’algorithme consiste à d’abord déterminer quelle unité a le prototype le plus proche de l’entrée. On appelle cette unité best matching unit (BMU). Notons, même si ce n’est pas nécessaire ici, que l’on peut définir pour chaque unité une activation, qui est une fonction décroissante le la distance entre le prototype de l’unité et l’entrée courante. Au regard du profil d’activation des unités, la BMU est donc celle qui est la plus active. Contrairement aux cartes de Kohonen, d’autres algo-rithmes requièrent que cette notion d’activation soit explicitée. Une fois la BMU déterminée donc, on définit une zone d’influence au niveau du voisinage sur la carte de la BMU. L’influence est max-imale au niveau de la BMU, et décroît progressivement au fur et à mesure que l’on s’en éloigne. Une fois cette influence déterminée, l’apprentissage consiste à rapprocher les prototypes de toutes les unités de la carte de l’entrée courante. Toutefois, ce rapprochement est modulé par l’intensité de l’influence, si bien que seuls les prototypes des unités proches de la BMU se rapprochent signi-ficativement de l’entrée courante.
1.5. Cartes auto-organisatrices pour le traitement de séquences temporelles 25 Au fur et à mesure de la présentation des entrées, on obtient une répartition des prototypes sur la carte qui est telle que deux prototypes d’unités voisines sur la carte sont également proches (ressemblants) au regard de la métrique de l’espace des entrées. La réciproque, elle, peut être fausse.
1.5.2 Traitement de séquences avec les cartes auto-organisatrices classiques
Le premier cas que nous allons considérer est celui des SOMs classiques appliquées à une transfor-mation temporelles des entrées. On retrouve ici la même idée que pour les perceptrons auxquels on soumet comme entrée les éléments d’une FIFO temporelle. L’idée ici est de construire également une FIFO de longueur donnée, et de considérer ce vecteur comme l’entrée courante d’une SOM classique. Il existe d’autres techniques de pré-traitement, comme l’application d’ondelettes ou autres filtrages, mais l’idée reste de finalement n’appliquer ni plus ni moins qu’une SOM classique à ces données pré-traitées.
Le second cas que nous allons considérer est celui où le calcul temporel est un post-traitement. Considérons une SOM classique, une fois l’apprentissage réalisé. Au fur et mesure que l’on présente la suite des entrées, on obtient une suite de BMU qui y répondent, donc une suite de positions d’unités sur la carte. Ces trajectoires, sur l’espace topologique de la carte, sont signi-ficative de la séquence qui a été soumise en entrée. Il existe donc plusieurs techniques visant à comparer ces trajectoires, à les classifier, afin d’effectuer un traitement temporel.
1.5.3 Traitement de séquences avec des cartes auto-organisatrices modifiées
Dans le paragraphe précédent, nous avons mentionné des méthodes où l’algorithme SOM est utilisé tel quel, le traitement séquentiel intervenant en pré- ou post-traitement. Il existe bien entendu des adaptation de SOM pour tenir compte du caractère temporel des données.
Le modèle Hypermap introduit par Kohonen en est un exemple. Il consiste à utiliser deux fenêtres temporelles glissantes centrées sur l’élément courant de la séquence. L’une est étroite et l’autre est plus large, servant de contexte. Les prototypes de la carte sont alors doubles, puisqu’ils représentent ces deux motifs. Le processus de détermination de la BMU s’effectue en deux temps. Premièrement, une BMU est choisie, en fonction d’une distance n’impliquant que les prototypes larges (contexte). On délimite dans la carte, autour de cette BMU une région au sein de laquelle on cherche une BMU, mais cette fois-ci, en fonction des prototypes étroits, liés à fenêtre temporelle étroite. C’est cette BMU-là qui sera retenue pour l’apprentissage. On voit ici que la spatialité de la carte est mise en correspondance avec la temporalité de la séquence, qui s’exprime par les prototypes contextuels. D’autres variations sur ce principe existent.
Une autre approche consiste à présenter les entrées une à une, comme on le ferait pour une SOM classique, mais à restreindre la recherche d’une BMU dans un voisinage de la BMU élue par l’entrée précédente. Ce mécanisme est une modification assez légère de SOM, qui là aussi crée une dépendance entre la disposition des prototypes sur la carte et la succession des entrées de la séquence.
1.5.4 Modèles contextuels basés sur les cartes auto-organisatrices
À l’instar des réseaux récurrents où la ré-entrance permet de construire un état du réseau qui tienne compte de l’historique, il existe des modèles à base de SOMs qui implémentent une ré-entrance, de sorte à conférer au processus d’auto-organisation la capacité à représenter le contexte temporel d’une séquence.
Dans le modèle Temporal Kohonen Map, la ré-entrance est limitée à un filtre récursif au niveau de l’activation de chaque neurone. De façon assez proche, l’algorithme Recurrent SOM se base d’avantage sur la variation de l’activation, limittant la récurrence à un calcul temporel sur l’activation de chaque unité.
Nous nous intéressons plus avant aux modèles où une véritable récurrence est implémentée. C’est le cas de l’algorithme Recursive SOM. Le profil d’activation des unités de la carte est un vecteur, qui sert de contexte. Lorsqu’une entrée est présente, elle est comparée à un prototype de même nature, mais les unités disposent également d’un prototype de contexte, auquel est comparé le profil d’activation de la carte du temps précédent. L’activation de l’unité se fait d’après les comparaisons aux deux prototypes, si bien que l’unité choisie reflète l’entrée courante mise en contexte de la séquence passée. Cette forme de récurrente est similaire à celle implémentée sur la base du perceptron dans le cas des réseaux d’Elman et Jordan que nous avons mentionnés.
Le vecteur de contexte dans Recursive SOM est de haute dimension, au regard de la dimension souvent faible des entrées. L’idée qui sous-tend SOMSD et de n’utiliser l’ensemble des activations comme contexte dans la ré-entrance, mais simplement la position de la BMU sur la carte. De façon analogue, Merge SOM utilise le prototype de la BMU comme contexte.
Sans discuter plus avant ici des différences entre Recursive SOM, SOMSD et MergSOM, soulignons que ces réseaux, à l’instar des réseaux récurrents, implémentent une forme de machine à état, voire d’automate à pile.
1.5.5 Modèles de cartes auto-organisatrices hiérarchiques
On peut avoir une vue hiérarchique des séquences, considérant qu’une séquence se compose de sous-séquences, elles-mêmes formées par des séquences plus élementaires, etc. Il existe des ap-proches où cette hiérarchie se reflète par des structures multi-cartes hiérarchisées. Ces apap-proches partagent avec le modèle que nous proposons le fait d’impliquer plusieurs cartes auto-organisatrices simultanément, même si notre modèle se rapproche davantage dans son fonctionnement des cartes récurrentes mentionnées précédemment.
1.5.6 Du caractère cellulaire des cartes auto-organisatrices
Les cartes auto-organisatrices mettent en œuvre des unités disposées suivant une topologie, usuelle-ment une grille, qui sert à définir un voisinage entre les unités. Cette caractéristique en fait un mod-èle proche des modmod-èles cellulaires. Toutefois, la sélection de la BMU reste un processus centralisé incompatible avec une approche cellulaire.
Cette incompatibilité nous a amené à considérer un autre mécanisme de sélection sur la sur-face de la carte, d’après les travaux passés dans l’équipe. Ces mécanismes se basent sur la no-tion de champs neuronaux dynamiques, qui sont de bons candidats pour ramener les processus
1.6. Un modèle cellulaire auto-organisant pour le traitement de séquences temporelles 27