d’une perception dans chaque carte modale (voir la figure 7.8). Cependant, dans ce cas, du fait que les corrélations monomodales n’appartiennent pas à la même corrélation multimodale, l’activité corticale dans chacune des cartes n’est pas cohérente avec la sensation. Comme les corrélations modales sont proches d’une corrélation multimodale, par la cohérence spatiale des activités sensorielles et corticales, ces dernières se recoupent, c’est-à-dire que certaines colonnes ont leurs étages sensoriel et cortical activés. Cela entraîne un déplacement de la perception dans chaque modalité de manière à être en accord avec les perceptions faites dans les autres modalités. Au final, au niveau du système, par le mécanisme de résonance entre les cartes (voir la section 7.1) et leur auto-organisation conjointe, l’état du système se stabilise sur une perception multimodale telle que chaque perception modale représente une corrélation proche de celle reçue, perception multimodale qui représente la corrélation C.
Contrairement à l’effet ventriloque observé chez les humains, le modèle ne fournit pas un phénomène de captation visuelle, c’est-à-dire la perception du son à l’emplacement du stimulus visuel (voir le chapitre 2) étant donné que les deux perceptions sont modifiées de façon similaire. Nous revenons sur ce point dans les perspectives (voir le chapitre 10).
7.3.3 Stimuli relevant de corrélations multimodales différentes
Considérons un stimulus multimodal contenant des corrélations modales appartenant à des corréla-tions multimodales différentes. Cela signifie que chaque couple de corrélacorréla-tions prises dans deux modalités différentes n’appartiennent pas à la même corrélation multimodale et ne sont pas proches d’une corrélation multimodale. Lorsque le modèle reçoit un tel stimulus, une sensation apparaît dans chaque carte, ce qui entraîne l’émergence d’une perception (voir la figure 7.9). Cependant, comme aucune corrélation multimo-dale n’est présente, les colonnes dont l’étage cortical est activé par ces perceptions ont leur étage sensoriel non activé. Par conséquent, chaque carte représente sa propre perception du stimulus reçu puisque les informations apportées par les autres modalités sont incohérentes. Il est à noter que la perception faite par le modèle n’est pas stéréotypée et correspond donc à un ensemble de perceptions modales et non à une perception multimodale.
7.4 Généralisation des corrélations multimodales
Bien que la mise en relation des différentes cartes modales influe sur les perceptions et donc sur l’ap-prentissage des corrélations monomodales, chaque carte modale reste auto-organisée (voir la section 7.2). Cela permet de conserver la propriété de généralisation de la représentation des corrélations monomodales (voir le chapitre 4).
Concernant la représentation des corrélations multimodales, celle-ci est également généralisable grâce à la combinaison de deux mécanismes : d’une part, l’auto-organisation conjointe des cartes modales et, d’autre part, la topographie des corrélations multimodales ainsi que l’apprentissage de leur poids. Consi-dérons deux corrélations multimodales C1 et C2 qui ont été apprises par le modèle. Leur présentation respective va provoquer l’émergence d’une perception multimodale unifiée avec l’ensemble des colonnes dont l’étage cortical est activé ayant également leur étage sensoriel activé. Comme notre étude est placée sous l’hypothèse d’un espace des corrélations multimodales qui est localement continu (voir le chapitre 3), une corrélation multimodale C′proche de C1et de C2est constituée de corrélations monomodales qui sont proches ou identiques à celles composant C1et de même par rapport à C2. Grâce à l’auto-organisation de chaque modalité, la présentation d’un stimulus contenant les corrélations monomodales de C′ provoque l’émergence de perceptions monomodales proches à la fois de celles composant C1 et de celles compo-sant C2. La topographie des connexions multimodales et l’apprentissage des poids de ces connexions permettent, au niveau de chaque carte, une activation des étages corticaux de colonnes proches de celles dont l’étage cortical est activé par la perception multimodale de C1 et de C2. Par l’auto-organisation conjointe des différentes cartes, les colonnes ayant leur étage cortical activé lors de la réception de C′ ont également leur étage sensoriel activé. Au final, la perception multimodale faite par le modèle correspond à la représentation de la corrélation C′ et est proche de celles de C1 et de C2(voir figure 7.10).
carte modale 1 carte modale 2
(A)
(B)
(C)
(D)
Figure 7.8 – La représentation utilisée pour les cartes modales est la même que celle de la figure 7.7, s’y référer pour plus de détails. Les croix rouges et vertes correspondent aux corrélations modales reçues respectivement par la carte 1 et 2. Elles sont de couleurs différentes et ne sont pas situées au même emplacement car elles ne relèvent pas d’une même corrélation multimodale. (A-B) La présentation du stimulus provoque l’émergence d’une sensation puis d’une perception dans chaque carte. (C) Comme les différentes corrélations modales sont proches d’une corrélation multimodale, les activités corticales sont légèrement déplacées par rapport aux sensations. (D) Par une dynamique de compétition et de relaxation, le système modifie les perceptions monomodales afin qu’elles soient cohérentes au niveau multimodal. Il en résulte la perception d’une corrélation multimodale unifiée (croix orange) qui diffère des véritables corrélations reçues dans chacune des modalités (croix verte et rouge).
7.5. Conclusion 147
carte modale 1 carte modale 2
(A)
(B)
(C)
Figure 7.9 – La représentation utilisée pour les cartes modales est la même que celle de la figure 7.7, s’y référer pour plus de détails. Sur cet exemple, la modalité 1 et la modalité 2 reçoivent chacune une corrélation, respectivement représentées par une croix rouge et une croix verte, appartenant à des corré-lations multimodales différentes. (A-B) La présentation du stimulus entraîne l’émergence d’une sensation et d’une perception dans chaque carte modale. (C) Comme les corrélations perçues dans chaque modalité appartiennent à des corrélations multimodales différentes, les perceptions activent les étages corticaux de colonnes n’ayant pas leur étage sensoriel activé. La mise en relation multimodale n’a alors aucun effet sur la perception qui a émergé dans chaque modalité et qui représente alors uniquement une corrélation modale.
7.5 Conclusion
Nous avons présenté dans ce chapitre la mise en relation des cartes modales afin de permettre le traitement multimodal de l’information dans SOMMA. Cette mise en relation présente deux principes structurels forts.
Premièrement, nous avons opté pour une architecture générique permettant le traitement de stimuli monomodaux et multimodaux. Ainsi, toutes les cartes modales sont interconnectées par des connexions multimodales sans passer par une carte associative dédiée à la mise en relation multimodale. Ce choix s’inscrit dans l’hypothèse biologique d’un cortex multimodal présentée dans le chapitre 2.
carte modale 1 carte modale 2
(A)
(B)
(C)
Figure7.10 – La représentation utilisée pour les cartes modales est la même que celle de la figure 7.7, s’y référer pour plus de détails. (A-B) La présentation de deux corrélations multimodales C1 (croix rouges) et C2 (croix vertes) apprises par le modèle fait émerger des perceptions multimodales cohérentes (étages sensoriels et corticaux activés dans les mêmes colonnes). (C) Nous n’avons représenté que la dynamique engendrée par la réception de la corrélation de la modalité 1 constituant une corrélation C′ inconnue, proche de C1 et C2. Par l’auto-organisation de la carte 1, cette corrélation modale provoque, dans la carte modale 1, l’émergence d’une sensation et d’une perception monomodale proche de celles obtenues pour C1 de C2. Cette perception provoque l’activation des étages corticaux de certaines colonnes dans la carte modale 2. Par les connexions multimodales topographiques et l’apprentissage de leur poids, ces colonnes sont proches de celles dont l’étage cortical était activé lors de la présentation de C1 de C2. Par l’auto-organisation conjointe des différentes cartes modales, l’activation perceptive de ces colonnes représenterait la corrélation monomodale appartenant à C′, représentée par la croix orange pointillée. Cette dynamique exposée pour la réception de la corrélation dans la première carte modale est la même pour la seconde carte et aboutit en pratique à une perception multimodale de C′ qui est proche de celles obtenues pour C1 et C2.
7.5. Conclusion 149 d’une part, sur la constatation que ce type de connexions est répandu dans le cortex et pourrait être d’origine génétique (voir le chapitre 2). D’autre part, il offre des avantages sur le plan fonctionnel comme la facilitation des mécanismes de généralisation (voir le chapitre 1 pour plus de détails).
Techniquement, chaque colonne de chaque carte modale dispose d’un étage cortical. Cet étage reçoit, via les connexions multimodales, les activités perceptives de certaines colonnes dans l’ensemble des autres modalités. L’activité corticale fournit ainsi une représentation partielle des perceptions effectuées dans les autres modalités. Cette activité corticale est prise en compte dans le calcul de l’activité perceptive de la colonne. Elle permet de confirmer la sensation effectuée en modulant l’activité sensorielle. Cela crée une boucle cortico-perceptive excitatrice entre les différentes modalités. Au niveau du modèle, cette boucle provoque une dynamique de compétition et de relaxation entre les différentes perceptions monomodales aboutissant à une perception multimodale stéréotypée. Cette modification de la perception monomodale provoque une auto-organisation conjointe de l’ensemble des modalités, sous certaines conditions que nous détaillons dans le prochain chapitre. Cette auto-organisation conjointe, associée à la plasticité des poids des connexions multimodales, permet l’apprentissage des corrélations multimodales.
Cet apprentissage est utilisé pour l’émergence d’une perception multimodale unifiée qui vise à retrou-ver une corrélation multimodale présente dans le stimulus reçu. En particulier, si les stimuli modaux relèvent de corrélations multimodales proches, le système intègre l’information multimodale en influant sur chacune des perceptions modales. À ce titre, notre modèle présente certaines caractéristiques se rapprochant de celles observées en psychologie chez l’humain. De plus, par la combinaison de l’auto-organisation conjointe des différentes cartes modales, d’une part, et de la structure et de l’apprentissage des connexions multimodales, d’autre part, SOMMA est capable de généraliser la représentation des corrélations multimodales apprises, à des corrélations inconnues.
Chapitre 8
La carte modale comme support actif
de l’information modale
Le traitement multimodal de l’information dans SOMMA résulte de l’interconnexion des différentes cartes modales, une pour chaque modalité (voir le chapitre 7 pour plus de détails). L’obtention d’une perception multimodale entraîne la modification des perceptions modales émergentes dans chaque carte de façon à prendre en compte l’information amenée par les perceptions des autres modalités. Cela conduit à la localisation de l’ensemble des perceptions modales dans des zones reliées par des connexions multimodales. Cette modification des perceptions modales doit permettre un apprentissage des corrélations multimodales par une auto-organisation conjointe des différentes cartes, c’est-à-dire une auto-organisation de chaque carte telle que les corrélations monomodales reliées multimodalement soient apprises dans des colonnes qui sont reliées par des connexions multimodales. Cela requiert en pratique l’apprentissage d’une corrélation présente dans le stimulus courant sous la bulle d’activité perceptive, problématique que nous traitons dans ce chapitre.
Dans un cadre multimodal, l’activité perceptive voit ainsi son rôle renforcé. D’une part, elle doit fournir l’auto-organisation des corrélations monomodales, comme dans le cas d’une carte modale isolée. D’autre part, elle indique également l’emplacement de l’apprentissage des corrélations monomodales afin de permettre celui des corrélations multimodales. Nous tenons à préciser que, bien que le rôle de l’activité perceptive soit renforcé dans un cadre multimodal, notre modèle respecte toujours l’idée d’un appren-tissage progressif. En effet, même si l’activité perceptive contraint l’apprenappren-tissage de l’étage sensoriel, ce dernier doit toujours être capable de fournir de manière autonome une discrimination afin de permettre l’émergence d’une perception modale puis multimodale.
Ce rôle renforcé de l’étage perceptif a des conséquences sur les propriétés attendues de l’apprentissage des poids montants. Nous détaillons dans une première section ces attentes et étudions l’adéquation de ces dernières avec le mécanisme de modulation additive de la règle BCM utilisé dans nos cartes modales. Nous proposons dans une seconde partie une variante de la règle BCM, nommée BCMu, qui permet de fournir les propriétés attendues pour l’apprentissage sensoriel. Son utilisation pour l’étage sensoriel des colonnes de nos cartes modales permet ainsi la compatibilité de ces dernières avec notre modèle.
8.1 L’influence multimodale sur l’apprentissage sensoriel
Utilisée de manière isolée, nous attendons d’une carte modale qu’elle s’auto-organise de manière à généraliser la représentation des corrélations monomodales apprises (voir la partie II). Dans SOMMA, cette auto-organisation est contrainte de manière à apprendre les corrélations multimodales. Cela nécessite une nouvelle propriété pour l’apprentissage des poids montants. Nous détaillons dans la première section les propriétés attendues pour l’apprentissage des poids montants afin de permettre l’utilisation des cartes modales dans SOMMA. Dans une seconde section, nous étudions les propriétés de la règle BCM vis-à-vis de ces attentes.
8.1.1 Les propriétés attendues
Dans SOMMA, afin d’obtenir l’auto-organisation conjointe des cartes modales, après apprentissage, l’étage sensoriel d’une colonne doit non seulement discriminer une corrélation proche de celles discriminées par les étages sensoriels des colonnes proches, mais la réception de cette corrélation discriminée doit également provoquer l’activation de l’étage perceptif de cette même colonne. Du point de vue de la règle utilisée pour l’apprentissage des poids montants, cela se traduit par l’existence de quatre propriétés. Les trois premières permettent l’émergence d’une auto-organisation dans la carte modale comme dans le cas de son utilisation de manière isolée. La dernière est nécessaire à l’apprentissage des corrélations multimodales.
Premièrement, la règle doit fournir une émergence autonome d’information pour que l’étage sensoriel initie l’apprentissage progressif de notre modèle. D’un point de vue technique, cela doit amener, au niveau de la carte, à une activité sensorielle significativement différente selon les stimuli reçus permettant l’émergence d’une perception différente pour chacun de ces stimulus (voir le chapitre 5).
Deuxièmement, après apprentissage, la règle doit fournir un codage tabulaire de l’environnement fondé sur la discrimination d’une corrélation présente dans le flux d’entrée reçu. Nous avons décrit dans le chapitre 5 les avantages de la discrimination d’une corrélation plutôt que celle d’un prototype.
Troisièmement, afin d’obtenir l’auto-organisation des discriminations par la rétropropagation de l’ac-tivité perceptive, la règle doit présenter une propriété d’extrapolation locale. Cela signifie que si deux corrélations proches sont modulées, c’est-à-dire que la réception de ces corrélations est simultanée à celle d’un signal de modulation, alors la règle peut apprendre la discrimination à une autre corrélation qui est proche de celles modulées (pour plus de précisions se reporter au chapitre 5).
Quatrièmement, la réception de la corrélation discriminée par l’étage sensoriel doit amener à l’acti-vation perceptive de la colonne. Or, l’activité perceptive est utilisée comme signal de modulation pour l’apprentissage des poids montants. La règle doit donc faire émerger une discrimination à une corrélation qui est modulée.
8.1.2 Efficacité de la modulation sur l’apprentissage BCM
Nous avons détaillé dans la section précédente les quatre propriétés dont doit disposer la règle d’ap-prentissage utilisée pour l’étage sensoriel des colonnes corticales dans SOMMA. Nous vérifions, dans cette section, la satisfaction de ces propriétés par la règle BCM avec modulation additive que nous utilisons dans notre modèle de carte modale isolée (voir le chapitre 6). Nous nous intéressons plus particulièrement à la quatrième propriété, qui est nécessaire pour la mise en relation des cartes modales, et qui consiste en la discrimination d’un stimulus qui est modulé. Pour cela, nous analysons, dans une première partie, l’efficacité du mécanisme de modulation de la règle BCM et plus spécifiquement son évolution par rap-port au moment d’apparition de la modulation du stimulus. Cette efficacité est définie par le fait que le stimulus discriminé est un stimulus modulé. Dans une seconde partie, nous mettons ces résultats en perspective avec la dynamique de notre modèle.
Cas général
Reprenons la terminologie et les équations de la règle BCM avec modulation additive introduite dans la section 5.3 : u(t) = X i wi(t)xi(t) + λm(t) (8.1) θ(t) = 1 τ Z t −∞ u(t)2e−t−t′τ dt′ (8.2) dwi(t) dt = ηxi(t)u(t)(u(t) − θ(t)) (8.3) avec u(t) l’activité du neurone, w(t) = (w1(t), ..., wm(t)) son vecteur de poids des connexions afférentes, x(t) = (x1(t), ..., xm(t)) les activités reçues par les connexions afférentes, τ la fenêtre temporelle utilisée
8.1. L’influence multimodale sur l’apprentissage sensoriel 153 pour le calcul du seuil flottant LTP/LTD θ(t), λ la force de la modulation, m(t) le signal de modulation et η le taux d’apprentissage.
Pour rappel, la règle BCM se fonde sur un mécanisme de compétition temporelle entre les stimuli, ce qui signifie que le neurone tend à discriminer le stimulus qui provoque la plus forte réponse neuronale (voir le chapitre 5 pour plus de détails). L’efficacité de la modulation dépend ainsi de sa capacité à faire d’un stimulus modulé le stimulus auquel le neurone répond le plus fortement. Or, comme la règle BCM fait forcément émerger une discrimination à l’un des stimuli reçu, l’activité maximale du neurone à ce stimulus augmente avec l’avancement de l’apprentissage. En effet, initialement, les poids sont tirés aléatoirement et les réponses aux différents stimuli sont proches. En revanche, une fois la convergence atteinte, le neurone répondra 1
p au stimulus discriminé, avec p sa probabilité d’apparition dans le flux entrant perçue par le filtre exponentiel utilisé pour le calcul du seuil flottant, et 0 aux autres stimuli. Par conséquent, l’efficacité de la modulation dépend du moment d’apparition du signal modulateur relativement à l’avancement de l’apprentissage comme cela peut être observé avec les bassins d’attraction (voir la figure 8.1).
Nous avons quantifié l’évolution de l’efficacité du mécanisme de modulation, par rapport à la dy-namique de la règle BCM, sur un exemple simple d’un neurone recevant en entrée un ensemble fini de 10 stimuli x1 à x10 orthonormés. Parmi ces stimuli, seul x1 est modulé, avec un signal de modulation constant, à partir d’un temps t0. Ainsi le signal de modulation est défini par la fonction suivante :
m(t) =
M si x(t) = x1 et t ≥ t0
0 sinon
Pour t0variant de 0 à 107, par pas de 104, nous avons mesuré l’efficacité du mécanisme de modulation, calculée comme le pourcentage de fois, sur 1000 essais, où le neurone discriminait le stimulus modulé (voir la figure 8.2). Il apparaît clairement que l’efficacité de la modulation dépend de l’avancement de la convergence de la règle BCM.
Dans la première phase, les réponses aux différents stimuli sont du même ordre de grandeur puisque les poids initiaux sont aléatoires. L’augmentation de la réponse neuronale à un stimulus, provoquée par sa modulation, permet alors à ce stimulus de facilement gagner la compétition temporelle entre les stimuli et donc à la modulation d’être toujours efficace.
Dans la deuxième phase, le seuil LTP/LTD augmente rapidement engendrant la compétition temporelle entre les stimuli. Cette compétition entraîne l’augmentation de la réponse au stimulus qui deviendra discriminé pendant que la réponse aux autres stimuli tendra au final vers 0 (voir le chapitre 5 pour plus de détails). Plus cette compétition est avancée, plus l’écart entre la réponse à un stimulus quelconque et la réponse au futur stimulus discriminé est grande et plus il est difficile à la modulation de faire d’un stimulus modulé le stimulus auquel le neurone répond le plus fortement. Il en résulte que l’efficacité de la modulation diminue à mesure que la compétition avance.
Dans la troisième phase, la règle BCM a convergé vers un point stable, qui correspond à la discrimination d’un stimulus et la modulation n’est alors plus efficace.
Les valeurs d’efficacité mesurées dépendent des paramètres choisis et en particulier de la valeur de la force et du signal de modulation. Cependant, la dynamique d’évolution de cette efficacité est similaire dans tous les cas. En particulier, la modulation ne peut plus être efficace dans la troisième phase. En effet, afin d’assurer des poids positifs, la valeur de la modulation, égale au produit du paramètre λ par le signal de modulation, ne peut excéder 1
p, avec p la probabilité d’apparition de n’importe quel stimulus (voir le chapitre 5). Par conséquent, si la modulation porte sur un stimulus non discriminé, la réponse du neurone à ce stimulus est nulle donc l’augmentation de cette réponse ne peut faire en sorte de la rendre supérieure à la réponse au stimulus discriminé à cause de la contrainte exposée précédemment. Par la