4.3 Preuve de concept d’un apprentissage
4.3.2 Résultats d’apprentissage des simulations
Pour apprendre, les synapses exploitent les différents mécanismes plastiques des cellules électrochimiques métalliques Ag2S, qu’il s’agisse de la transition d’une plasticité à court terme vers une plasticité à plus long terme, ou encore du comportement de type Spike-Timing
De-pendent Plasticity. Parce que les impulsions présynaptiques et postsynaptiques sont de formes
exactement opposées, l’apprentissage est entièrement dirigé par les distances temporelles en-tre les impulsions reçues par les synapses. Le fait que la règle d’apprentissage soit intrinsèque aux composants synaptiques est intéressant en termes de circuits CMOS : les événements de programmation ont des formes d’onde simples et il n’est pas nécessaire d’utiliser d’autres cir-cuits que ceux des neurones pour mettre en œuvre la règle d’apprentissage, contrairement à des systèmes utilisant d’autre nanocomposants mémristifs264.
4.3.2.1 Évolution des cartes de conductance
Comparaison entre situation initiale et situation finale. Les deux ensembles de six images de la figure4.12présentent les cartes de conductance des synapses au début (t = 0s) et à l’is-sue (t = 7,2s) d’une simulation. La couleur de chacun de leurs pixels indique la valeur de la conductance de la cellule électrochimique métallique Ag2S connectée au couple de neurones correspondant. Les pixels de ces cartes sont organisés de la même façon que ceux des vidéos d’entrée.
À t = 0s, avant l’application des premières impulsions, les synapses sont dans un état de potentialisation modérée (conductance moyenne de 0,2 mS, avec un coefficient de variation de 16 %). À l’issue de la simulation (t = 7,2s), nous pouvons observer sur les cartes de conduc-tance correspondantes le résultats d’un apprentissage fructueux : chaque neurone de sortie s’est spécialisé dans une voie de circulation, comme l’indiquent les motifs de 3 synapses forte-ment potentialisées sur chacune des cartes. Les motifs appris par les cartes de conductance supérieures et inférieures correspondent respectivement au front arrière et au front avant des motifs se déplaçant dans la vidéo d’entrée. Ceci suggère que l’apprentissage est principalement sensible aux corrélations temporelles très rapprochées entre les impulsions d’entrée et les im-pulsions de sortie.
Étant donné que les neurones d’entrée sont réglés pour ne pas pouvoir tirer plus d’une fois par millisecondeI et que les synapses sont initialement potentialisées de façon modérée, la conductance de ces dernières fait l’objet d’une relaxation si elles sont uniquement exposées à des impulsions présynaptiques : les trajectoires associées dans le paysage de la figure4.7b demeurent dans la zone hachurée d’évolution négative de la conductance. Contrairement à d’autres nanocomposants mémristifs, la dépression des cellules électrochimiques métalliques Ag2S n’est pas obtenue en superposant des impulsions de forme d’onde ad hoc. À la place, nous
264. S. SA Ï G H Iet coll., Frontiers in neuroscience, 2015.
I. La présence de délais entre impulsions présynaptiques inférieurs à 1 ms ne peut être due qu’à un possible bruit.
exploitons la relaxation naturelle des composants dans leur régime de plasticité à court terme pour mettre en œuvre la dépression synaptique (équation (4.2)). Cette relaxation est régie par la constante de tempsτfacdu modèle analytique décrit précédemment. Ce paramètre dépend de la conductance de la cellule électrochimique métallique Ag2S : la relaxation de la cellule est d’autant plus rapide que la conductance de cette dernière est faible (équation (4.3)). Seuls des couples formés d’une impulsion présynaptique et d’une impulsion postsynaptique faiblement espacées dans le temps sont en mesure de déclencher l’apprentissage synaptique, en excitant la dynamique de type Spike-Timing Dependent Plasticity qui permettra de basculer du régime de plasticité à court terme vers une potentialisation à long terme.
3,2
0,4
1,8
G [mS]
Sortie 0
Début (t = 0 s)
Sortie 1 Sortie 2
Fin (t = 7,2 s)
Sortie 0 Sortie 1 Sortie 2
FI G U R E4.12 – Les 3×2 cartes de conductance du réseau synaptique, à gauche juste avant de commencer à présenter les premières entrées (t = 0s) et à droite juste après les dernières impulsions présynaptiques (t = 7,2s). Les annotations « Sortie 0/1/2 » font référence au neurone de sortie, tandis que le petit symbole gris en bas à gauche de chacune des vignettes indique le type de neurones présynaptiques auquel les synapses sont connectées (voir la figure4.10). La couleur de chaque pixel indique la valeur de la conductance G pour la synapse associée.
Évolution synaptique au cours de l’apprentissage. La figure 4.13 présente l’évolution au cours du temps de la conductance des 81 synapses appartenant à l’une des deux cartes de conductance associées au neurone de sortie no2 de la figure4.12, qui s’est spécialisé dans la détection des motifs circulant sur la voie centrale. Le motif appris par les synapses de cette carte de conductance est constitué de trois éléments fortement potentialisés à l’issue de l’appren-tissage (en violet foncé dans la carte de conductance en haut à droite). Les courbes en rouge foncé sur le graphe principal correspondent à ces trois synapses, tandis que les courbes asso-ciées aux autres éléments synaptiques, qualifiées de « fond », sont tracées en bleu clair. À t = 0s, les valeurs de conductance sont distribuées selon une distribution proche d’une gaussienne, avec une moyenne de 0,2 mS et un coefficient de variation de 16 %. Les impulsions qui seraient employées dans la pratique pour atteindre un tel état sont supposées s’être terminées 80 ms auparavant. Entre 0 et 7,2 s, les impulsions présynaptiques issues d’une vidéo artificielle sont appliquées sur la matrice de cellules électrochimiques métalliques Ag2S.
Temps [s]
Co
nd
uc
ta
nc
e
[m
S] FondMotif
0,5
1,75
3
[m
S]
FI G U R E4.13 – Évolution de la conductance des 81 cellules électrochimiques métalliques Ag2S connectées au même neurone de sortie ainsi qu’aux neurones d’entrée sensibles à un incrément d’intensité des pixels. Les courbes rouges correspondent aux synapses qui forment le motif appris, tandis que les lignes bleues correspondent quant à elles à toutes les autres synapses, qualifiées de « fond ». Les vignettes du haut sont des cartes de conductance des 81 synapses étudiées. Elles sont tracées à six instants différents, indiqués par des lignes verticales en pointillé gris.
Durant les premières centaines de millisecondes a lieu une relaxation de la conductance de la totalité des synapses mis à part deux d’entre elles. Un motif partiel, composé de deux pixels sur trois, commence à être appris par le biais de couples d’impulsions présynaptiques et d’impulsions postsynaptiques, qui potentialisent graduellement les deux synapses en question. Comme nous le verrons par la suite avec notamment la figure4.15, ces paires d’impulsions n’excitent pas toutes la dynamique de type Spike-Timing Dependent Plasticity. Néanmoins ce comportement plastique à court terme de type Spike-Timing Dependent Plasticity est essentiel au processus d’apprentissage : des simulations où cette plasticité est désactivée à dessein mon-trent que dans ce cas l’ensemble des synapses connait une relaxation de leur conductance et aucun apprentissage n’est alors observé.
Au cours de trois premières secondes, la synapse manquante du motif en cours d’appren-tissage ne connaît que de faibles potentialisations, ce qui la maintient dans son régime de plasticité à court terme : elle ne parvient pas à sortir de la zone d’évolution∆G négative dans le paysage de la figure4.7b page 138. Autour de t = 3,4s, deux paires d’impulsions excitant la dynamique de type Spike-Timing Dependent Plasticity sont appliquées coup sur coup sur cette troisième synapse, ce qui déclenche l’évolution de cette dernière vers une potentialisation à long terme. Des paires d’impulsions supplémentaires, excitant ou non la dynamique de type
Spike-Timing Dependent Plasticity, finissent ensuite de la potentialiser, permettant d’obtenir
Robustesse au bruit. À environ t = 3,4s et t = 5,4s, nous pouvons observer la potentialisation partielle erronée de deux synapses appartenant au fond. Sur les vignettes des cartes conduc-tance correspondantes de la figure4.13, ces deux synapses apparaissent en jaune plus foncé que le reste du fond. Sachant que le délai entre des impulsions présynaptiques correctes appliquées sur une même synapse est toujours supérieur à 1 ms, ces potentialisations accidentelles sont dues au bruit qui peut être à l’origine de paires d’impulsions non significatives. Dans le cas présent, le bruit est ajouté selon la méthodologie présentée dans la partie4.3.1.2. Au contraire des paires d’impulsions répétées liées aux motifs sujets à un apprentissage, les occurrences de tels événements restent rares et ne déclenchent donc pas de potentialisation à long terme : les synapses concernées sont déprimées naturellement grâce à la relaxation intrinsèque de leur conductance. À l’issue de la relaxation de la conductance des synapses du fond, le système présente ainsi une tolérance à un bruit de fréquence modéréeI.
4.3.2.2 Résultats synthétiques
À l’issue d’une simulation, une stratégie simple pour juger de la qualité de l’apprentissage se base sur une évaluation visuelle des cartes de conductance finales : un motif est considéré comme « appris nettement » s’il présente une paire de cartes de conductance sur lesquelles exactement 2×3 synapses sont fortement potentialisées à long terme et forment un arrangement similaire à ceux des cartes de conductance finales de la figure4.12 page 149. Il convient de noter que ce critère est particulièrement drastique. Une étude de visu des impulsions postsynaptiques montre qu’un neurone de sortie associé à une paire de cartes de conductance totalisant 5 ou 7 synapses fortement potentialisées peut se révéler capable de détecter correctement les motifs se déplaçant le long d’une voie.
La table4.1 récapitule la proportion de simulations à l’issue desquelles au moins deux motifs (sur les trois possibles) étaient appris nettement, dans différentes situations. Sans va-riabilité synaptique, le système apprend nettement au moins deux motifs dans plus de 93 % des simulations dans le cas d’entrées idéales sans bruit et demeure capable de maintenir une performance de 70 % dans le cas où les impulsions présynaptiques sont sujettes au bruit décrit dans la partie4.3.1.2(et que nous avons pu observer indirectement sur la figure4.13).
Les simulations effectuées en ajoutant une dispersion artificielle sur certains paramètres clefs du modèle synaptique (détails dans la partie4.3.1.2) montrent une tendance analogue, avec un apprentissage net d’au moins deux motifs à l’issue de 85 % des simulations effectuées en l’absence de bruit et de 60 % d’entre elles dans la situation d’entrées présynaptiques bruitées. Contrairement à ce que l’observation de la figure4.11aurait pu laisser craindre, ces premiers résultats suggèrent une assez bonne tolérance du système à la variabilité entre synapses. Et ce malgré les dimensions réduites de ce dernier, qui limitent les effets de redondance. Même
I. Dans les simulations présentées, en raison de la façon dont le bruit est ajouté sur les données vidéo d’entrée, la fréquence de ce dernier ne peut pas excéder 450 Hz. De plus, une telle situation est peu probable : elle constitue le pire des cas possibles pour un pixel, avec un événement de bruit par image.
Entrées non bruitées Entrées bruitées
Sans variabilité synaptique 93,3 % 70 %
Avec variabilité synaptique 85 % 60 %
TA B L E4.1 – Proportion des simulations à l’issue desquelles au moins deux des trois paires de motifs attendues étaient nettes sur les cartes de conductances. 120 et 60 simula-tions ont été effectuées, respectivement avec et sans variabilité entre composants synaptiques (que les entrées aient été bruitées ou non).
en durcissant encore la métrique adoptée, pour ne retenir par exemple que les situations d’ap-prentissage de trois motifs nets après présentation d’entrées non bruitées, la performance du système en présence de variabilité synaptique se maintient à 38,3 %, contre 43,3 % pour un système aux synapses de caractéristiques toutes identiques.
4.3.2.3 Interaction entre les différents comportements plastiques
0 s 2 s 4 s 6 s
Temps
1 S
10 S
100 S
1 mS
Co
nd
uc
ta
nc
e
(a) Évolution temporelle de la conductance dans le cas d’une succession réaliste d’impulsions.
10 s 100 s 1 ms 10 ms 100 ms
Délai
100 S 1 mSCo
nd
uc
ta
nc
e
pr
éc
.
-200 -100 0 100 200 300Év
ol
ut
io
n
[
S]
(b) Trajectoire associée dans le paysage d’évolution de la conductance.
FI G U R E4.14 – figure similaire aux figures4.8et4.9, présentant en rouge foncé (a) l’évolution temporelle de la conductance d’une synapse lors de l’apprentissage d’un motif et (b) les déplacements associés dans le paysage d’évolution de conductance∆G de la figure4.7b. Ces résultats sont tirés d’une simulation à l’échelle d’un sys-tème et illustrent l’interaction entre les différents comportements plastiques des synapses électrochimiques métalliques Ag2S sur laquelle repose l’apprentissage. La figure4.14illustre la manière dont interagissent les différents mécanismes de plasticité d’une même cellule électrochimique métallique Ag2S pour mener à la potentialisation à long terme de cette synapse lors d’une simulation à l’échelle d’un système. Sur le panneau (b), la trajectoire de l’évolution de conductance∆G dans le paysage de la figure4.7best plus complexe que celles des quelques situations schématiques des figures4.8et4.9. Néanmoins il est possible de reconnaître certains des comportements précédemment décrits.
Partant d’une situation initiale dans la zone d’évolution de conductance∆G négative (sym-bole°dans la région hachurée), la synapse étudiée demeure tout d’abord dans son régime de plasticité à court terme, effectuant des cycles entre des niveaux de faible potentialisation. Après environ 1 s, plusieurs paires d’impulsions finissent par exciter son comportement de type Spike-Timing Dependent Plasticity, causant des incréments de conductance suffisamment importants pour déclencher la transition vers le régime de plasticité à plus long terme. Les impulsions reçues par la suite achèvent la potentialisation à long terme de cette synapse, quelle que soit leur nature.
La figure4.14bpermet de mieux comprendre le rôle primordial du comportement plastique de type Spike-Timing Dependent Plasticity observé à la partie4.3.2.1: sans lui, même la poten-tialisation causée par une paire d’impulsions demeure insuffisante pour sortir du régime de plasticité à court terme une synapse de très faible conductance.
La figure4.15présente la fonction de répartition empirique des délais entre impulsions inférieurs à une milliseconde en agrégeant à l’issue d’une simulation toutes les distances tem-porelles entre les impulsions appliquées sur chacune des 3×162 synapses du système. Ces délais sont nécessairement le résultat d’une paire constituée d’une impulsion présynaptique et d’une impulsion postsynaptique puisque les neurones d’entrée comme ceux de sortie sont réglés pour ne pas pouvoir émettre deux impulsions consécutives espacées de moins d’une milliseconde. Les valeurs sont distribuées de façon relativement continue, chaque comportement plastique de dynamique rapide des cellules électrochimiques métalliques Ag2S étant stimulé. En par-ticulier, environ un tiers des paires excite le comportement de type Spike-Timing Dependent
Plasticity, absolument nécessaire au bon apprentissage des motifs : dans les simulations où
ce comportement est désactivéI, aucun apprentissage n’est observé. Par ailleurs, cette figure permet d’estimer à approximativement un tiers la proportion de ces paires stimulant la dy-namique de type Spike-Timing Dependent Plasticity sans être constituées d’impulsions qui se superposent.
0,01 0,1 1
Délai entre impulsions 1 ms [ms]
0
20
40
60
80
100
Fonction de répartition [%]
Impulsions
superposées
Paire
courte
Paire
espacée
FI G U R E4.15 – La courbe rouge représente la fonction de répartition empirique des distances temporelles entre impulsions qui sont inférieures à 1 ms, dans un cas où les trois motifs ont été appris. Les délais employés sont tirés de l’agrégation des 3×162 ensembles de délais entre impulsions appliquées sur chacune des 3× 162 synapses du système. La région hachurée désigne les délais inférieurs à la durée d’une impulsion. Les zones orange et bleue indiquent respectivement si un délai excite ou non la dynamique de type Spike-Timing Dependent Plasticity des cellules électrochimiques métalliques Ag2S modélisées. La valeur de 150µs pour la frontière entre ces deux régions s’appuie sur l’observation du paysage d’évolution de la conductance ∆G de la figure4.7b. NB : les transitions très marquées pour les délais inférieurs à 10µs sont le fruit du pas de temps employé lors des simulations.