Étage cortical

Rôle

L’étage cortical a pour but d’apporter une information sur les perceptions qui ont émergé dans les autres modalités. Il est d’autant plus activé que les perceptions faites dans les autres modalités repré-sentent des corrélations reliées multimodalement avec la corrélation discriminée par l’étage sensoriel. L’activité corticale permet de confirmer la sensation modale mais ne permet pas à elle seule de faire émerger une perception (voir la section 9.1.3 pour plus de détails). Par les propriétés structurelles des connexions multimodales et par l’influence de l’activité corticale sur la perception, l’étage cortical permet

9.1. Modèle 171

0 0 1

Figure9.2 – Fonction de détection de l’absence d’activité perceptive.

l’émergence d’une perception multimodale unifiée dans le modèle, résultant d’un consensus entre toutes les informations modales (voir le chapitre 7 pour plus de détails).

Par ailleurs, les poids des connexions multimodales sont soumis à un apprentissage continu qui a pour objectif de faire converger la valeur de l’activité corticale vers celle de l’activité perceptive. Ainsi, après apprentissage, seules les colonnes discriminant des corrélations modales multimodalement corrélées ont une connexion multimodale forte. Cet apprentissage des relations entre les différentes corrélations modales participe à la généralisation de la représentation multimodale (voir le chapitre 7).

Implémentation

Les connexions multimodales doivent être bidirectionnelles et topographiques. Ces connexions sont obtenues par l’utilisation, pour l’étage cortical d’une colonne, d’un champ récepteur carré dont le centre est localisé au même endroit dans les autres cartes, relativement à leur taille (voir la figure 9.3). Mathé-matiquement, cela veut dire qu’une colonne corticale localisée à la ièmeligne et à la jème colonne d’une carte modale m1 de taille n1× n1 reçoit des connexions des étages perceptifs des colonnes situées, dans une carte modale m2 de taille n2× n2, entre les lignes ⌊⌊in2

n1+ 0.5⌋ −^lm1m2

2 ⌋ et ⌊⌊in2

n1 + 0.5⌋ +^lm1m2

2 ⌋ incluses et entre les colonnes ⌊⌊jn2

n1 + 0.5⌋ − ^lm1m2

2 ⌋ et ⌊⌊jn2

n1 + 0.5⌋ + ^lm1m2

2 ⌋ incluses, avec lm1

m2 la taille du champ récepteur dans la carte m2. Chaque colonne de la carte modale m1 sera connectée de la même manière à l’ensemble des cartes modales et réciproquement pour les autres cartes modales.

L’activité corticale d’une colonne corticale située à la ièmeligne et à la jèmecolonne d’une carte modale mau temps t est calculée comme la somme pondérée des activités perceptives reçues :

u^c(cm i,j, t) = ^X (m′,i′,j′)∈RF(cm i,j) w_m^L′,i,j(cm i,j, t)up(cm^′ i′,j′, t) avec RF(cm

i,j) l’ensemble des triplets (m′, i′, j′) tels que cm i,j et cm^′

i′,j′ sont reliées par une connexion mul-timodale, ensemble que nous avons décrit précédemment, et wL

m′,i′,j′(cm

i,j, t) le poids de la connexion multimodale partant de la colonne cm

i,j et arrivant dans la colonne cm^′

i′,j′ au temps t.

Les poids des connexions multimodales sont modifiés suivant la règle Widrow Hoff (voir le chapitre 8) en utilisant l’activité perceptive de la colonne comme valeur cible. Ces équations ont été discrétisées temporellement suivant la méthode d’Euler avec un pas de temps δt. Les équations de modification des poids multimodaux afférents à une colonne cm

i,j sont les suivantes :

∀(m^′, i^′, j^′) ∈ RF(c^mi,j), w^L_m′,i′,j′(c^m_i,j, t+ δt) = w^L_m′,i′,j′(c^m_i,j, t) + η^′u^p(c^m_i′,j^′′, t)(u^p(c^m_i,j, t) − u^c(c^m_i,j, t)) avec η′ le taux d’apprentissage.

carte modale

carte modale

carte modale

...

1

5

10

1 5 ¹⁰

1

5

1 5

1

1

Figure 9.3 – L’étage cortical de chaque colonne de chaque carte modale ne reçoit que les activités perceptives des colonnes situées dans un carré centré à la même position, relativement à la taille de la carte, dans toutes les autres cartes modales. Nous avons par exemple montré les connexions multimodales reçues par les colonnes situées aux coordonnées (1,5), (3,3) et (4,2) dans la carte modale m1. Ces colonnes reçoivent des connexions des colonnes situées dans un carré de largeur lm1

m2 = 3 centré respectivement en (1,5), (3,3) et (4,2) dans la carte modale m2 et des colonnes situées dans un carré de largeur lm1

mn = 5 centré respectivement en (2,10), (6,6) et (8,4) dans la carte modale mn.

Paramètres

La largeur du champ récepteur de chaque colonne d’une carte mj dans une carte mk, noté l^mj

mk est identique pour chaque colonne de mj. Le choix de sa valeur doit répondre à plusieurs critères.

Premièrement, l’étage cortical d’une colonne ne doit être activé que par la représentation d’une seule cor-rélation dans une autre modalité. Ceci a pour but qu’une corcor-rélation monomodale ne soit apprise qu’en tant que partie d’une corrélation multimodale (voir le chapitre 7 pour plus de détails). Afin d’obtenir ce fonctionnement, il est préférable que deux bulles perceptives différentes ne puissent pas se situer dans le champ récepteur de l’étage cortical d’une colonne. Cela entraîne une valeur de lmj

mk inférieure à deux fois la largeur de la bulle d’activité dans mj, qui dépend des paramètres de l’équation d’évolution de l’activité perceptive (voir la section 9.1.3).

Deuxièmement, afin de garantir la topographie des connexions, la largeur des connexions doit être suffi-sante pour que, même en cas de cartes de tailles différentes, chaque colonne de n’importe quelle carte se projette au moins dans deux colonnes voisines de chaque autre carte modale.

Concernant le taux d’apprentissage η′, plus il est fort, plus le modèle s’adapte rapidement aux cor-rélations multimodales présentes dans le flux d’entrée. Cependant, comme l’apprentissage multimodal se construit à partir de l’apprentissage monomodal, η′ doit être choisi inférieur au taux d’apprentissage η utilisé pour l’apprentissage des poids montants.

9.1. Modèle 173

9.1.3 Étage perceptif

Rôle

L’activité perceptive représente l’information contenue dans le flux montant, intégrée par le modèle. Dans le cas d’un stimulus monomodal, cette représentation s’appuie uniquement sur l’ensemble des sen-sations modales de toutes les colonnes. Dans le cas d’un stimulus multimodal, elle prend également en compte l’information provenant des autres modalités. Ainsi, si plusieurs corrélations modales, appartenant ou étant proches d’une même corrélation multimodale, sont détectées dans plusieurs stimuli modaux, les différentes perceptions de ces stimuli sont unifiées, par un mécanisme de résonance entre les cartes, au sein d’une perception multimodale stéréotypée représentant cette corrélation multimodale (voir le chapitre 7 pour plus de détails).

L’activité perceptive module l’apprentissage des poids montants (voir la section 9.1.1). Ainsi, la cohé-rence spatiale de la bulle d’activité est propagée à l’organisation des discriminations au sein de la carte de manière similaire au cas d’une carte modale isolée. Cependant, dans SOMMA, l’emplacement de la perception impose également la localisation de la discrimination d’une corrélation dans la carte. L’auto-organisation des corrélations modales obtenue est ainsi contrainte par celles des autres modalités afin de permettre l’apprentissage des corrélations multimodales. Au final, cette auto-organisation des discrimi-nations permet non seulement la généralisation de la perception monomodale mais participe aussi à celle de la perception multimodale (voir le chapitre 7).

Implémentation

L’évaluation de l’activité perceptive s’effectue de la même manière que dans le cas d’une carte modale isolée, c’est-à-dire suivant le paradigme des champs neuronaux dynamiques (voir le chapitre 6 pour plus de détails). La seule différence porte sur le terme afférent qui dépend ici à la fois de l’activité sensorielle et de l’activité corticale. L’activité sensorielle doit servir à faire émerger une perception et l’activité corticale sert à moduler l’intensité de cette perception (voir le chapitre 7). En pratique, l’activité afférente de l’étage perceptif est égale au produit de l’activité sensorielle par l’activité corticale additionnée d’un terme de pré-activation corticale. Ainsi, le terme afférent ne peut être positif que si l’activité sensorielle est non nulle et est d’autant plus fort que les activités sensorielles et corticales le sont. L’activité perceptive d’une colonne corticale située à la ième ligne et à la jème colonne d’une carte m au temps t est calculée par l’équation : u^p(cm i,j, t+δt) = g  u^p(cm i,j, t) + δt  −up(cm i,j, t) + f   ^X (i′,j′)6=(i,j) w^L_i′,j′(cm i,j)up(cm i′,j′, t)  + αus(cm i,j, t)(uc(cm i,j, t) + γ)    

avec f et g deux fonctions sigmoïdes, α la force du terme afférent, δ la pré-activation corticale et wL i′,j′(cm i,j) = Ae⁻ d(cm_i,j,cm i′ ,j′⁾² a2 − Be⁻ d(cm_i,j,cm i′ ,j′⁾²

b2 , avec A, B, a et b des réels positifs tels que A > B et a < bet d(cm

i,j, cm

i′,j′) la distance entre les colonnes cm i,j et cm

i′,j′. Paramètres

Par l’apprentissage des poids multimodaux, l’activité corticale d’une colonne tend à être égale à l’acti-vité perceptive de cette même colonne (voir le chapitre 7). Ainsi, l’actil’acti-vité perceptive est prise en compte de manière excitatrice dans son propre calcul, via l’activité corticale, ce qui peut créer une boucle auto-excitatrice. L’utilisation de la sigmoïde g limite la valeur maximale atteignable par l’activité perceptive. Cependant, afin de garantir l’obtention d’une bulle d’activité stéréotypée dans l’étage perceptif, il est conseillé de choisir les paramètres de l’équation de manière à éviter cette boucle auto-excitatrice. En particulier, α doit être choisi inférieur à 1.

Le terme de pré-activation corticale δ permet l’obtention d’un terme afférent non nul uniquement grâce à une activité sensorielle. Ce terme doit donc être choisi suffisamment fort pour permettre l’émer-gence d’une perception monomodale à partir de l’activité sensorielle seule, préalable à l’apprentissage

multimodal. Cependant, plus ce terme est fort, moins l’activité corticale a d’influence sur la perception. Un δ trop fort peut donc conduire a un mauvais traitement multimodal de l’information.

Par ailleurs, pour le réglage des autres paramètres de l’équation de la CNFT nous renvoyons le lecteur au chapitre 4 dans lequel cette question a déjà été traitée.

9.2 Expérimentations

Comme dans le cas d’une carte modale isolée, la vérification des propriétés de notre modèle a été obtenue de manière expérimentale. Cependant, la complexité algorithmique de la simulation de SOMMA est d’un ordre supérieur à celui d’une carte modale isolée ce qui amène à des temps de simulation beaucoup plus importants (voir l’annexe A). Le temps a ainsi été un facteur fortement limitatif des expérimentations que nous avons pu mener. Il en résulte en pratique une étude moins systématique du comportement global du système et l’utilisation de paramètres choisis pour accélérer chaque simulation parfois au détriment de la qualité des résultats. Bien que les paramètres utilisés puissent différer suivant les simulations, leur variation est faible ce qui ne remet pas en cause la capacité de notre modèle à traiter différents flux d’entrée (voir l’annexe A pour une idée des paramètres utilisés).

Nous présentons dans une première section le type de flux d’entrée utilisé dans nos différentes ex-périences. Dans une deuxième section, nous décrivons la dynamique progressive de l’apprentissage dans le modèle SOMMA. Dans une troisième section, nous montrons que l’utilisation de la règle BCMu ne modifie pas le fonctionnement d’une carte modale isolée tout en lui conférant la propriété de cohérence de son auto-organisation vis-à-vis de la perception. Nous illustrons dans les sections suivantes les diffé-rentes propriétés attendues de notre modèle : l’apprentissage des corrélations, l’unification des perceptions modales, la généralisation de la perception multimodale et la robustesse du traitement de l’information.

9.2.1 Protocole

Flux d’entrée

Chaque flux modal constituant un flux multimodal est obtenu suivant le même protocole que celui utilisé pour les expérimentations faites sur nos cartes modales isolées. Pour rappel, nous considérons un espace euclidien fini défini par [0, n1[×[0, n2[×... × [0, nk[, avec n1, ..., nk des entiers strictement positifs, et par défaut torique en chacune des dimensions. Un tel environnement est nommé n1× ... × nk. Chaque stimulus correspond à l’état de cet environnement, capté à des positions discrètes, dans lequel est placé une gaussienne de variance et d’amplitude fixées (voir la section 6.2.1 pour plus de détails). Pour la première modalité, l’emplacement de la gaussienne est choisi de manière aléatoire suivant une distribu-tion de probabilité. Dans toutes les autres modalités, une gaussienne est également placée de manière aléatoire mais suivant une distribution de probabilité discrète définie en fonction de l’emplacement de la gaussienne dans la première modalité. Plus précisément, pour chaque emplacement d’une gaussienne dans la première modalité correspond un nombre fini d’emplacements possibles pour les gaussiennes dans les autres modalités.

Par ailleurs, comme dans le cas d’une carte isolée, chaque stimulus est maintenu pendant un certain temps dans le flux d’entrée afin de rendre négligeable le temps de stabilisation de l’activité perceptive par rapport au temps de stabilité de l’entrée. Dans un cadre multimodal, ce temps de présentation doit être augmenté car l’émergence d’une perception multimodale nécessite en sus une relaxation entre les différentes perceptions modales (voir le chapitre 7).

Au final, le flux multimodal est défini par plusieurs paramètres : – l’ensemble des tailles des environnements modaux utilisés,

– la distribution de probabilité utilisée pour le placement de la gaussienne dans la première modalité et

– les distributions de probabilités utilisées pour le placement d’une gaussienne dans chaque autre modalité, qui sont définies relativement au placement de la gaussienne dans la première modalité. Les corrélations présentes dans un flux monomodal correspondent à la présence d’une gaussienne à un emplacement précis dans l’environnement. Les corrélations multimodales correspondent à la co localisa-tion de gaussiennes dans les différentes modalités, définissant la relalocalisa-tion multimodale entre les différentes

9.2. Expérimentations 175 corrélations monomodales. Afin d’obtenir la propriété de continuité de l’ensemble des corrélations mul-timodales, nécessaire à la propriété de généralisation de notre modèle (voir le chapitre 3), la relation multimodale doit être continue, c’est-à-dire que deux gaussiennes proches dans la première modalité doivent être reliée des gaussiennes proches dans les autres modalités.

Carte modale

L’instanciation de notre modèle nécessite la définition de la taille de chacune des cartes modales le composant, ainsi que le réglage de l’ensemble des paramètres des étages sensoriels, cortical et perceptifs. Les paramètres utilisés pour le calcul des activités d’une colonne sont identiques pour chaque colonne d’une même carte modale. En pratique nous avons même utilisé des paramètres identiques dans l’ensemble du système, relativement à la taille de chaque carte. Les moyens pratiques de cette paramétrisation ont été abordés dans la section 9.1 (voir l’annexe B pour un exemple de paramétrisation utilisé pour certaines de nos expériences). De plus, le paramétrage effectué lors des tests de notre modèle de carte modale isolé est réutilisé ici pour le paramétrage de chacune des cartes modales.

Par ailleurs, il est nécessaire d’initialiser l’état du système et en particulier les valeurs des poids des connexions montantes et multimodales. Les poids montants ont été tirés de manière aléatoire uniforme dans [0, w]. Nous n’avons pas mené d’étude spécifique de l’influence du paramètre w sur le modèle (voir les résultats du chapitre 4 pour l’influence de ce paramètre sur une carte modale isolée). De manière similaire, les poids des connexions multimodales ont été tirés dans [0, w′]. Même si nous n’avons pas effectué d’étude exhaustive de l’influence de ce paramètre sur le modèle, il semble que la valeur de w′

modifie le temps de début de prise en compte de l’information multimodale dans la perception modale.