4.4 Apprentissage et classification de motifs
4.4.2 Performances comparées avec un Perceptron
Les simulations suivantes ont été effectuées par Damien Querlioz avec l’aide du simu- lateur Xnet (Querlioz et al.,2011a). L’étude porte sur l’apprentissage et la classification de chiffres écrits à la main. Pour cela, la base MNIST est utilisée, celle-ci consiste en images de 28×28 pixels représentant des chiffres écrits par 250 personnes (Lecun et al., 1998). Cette base est couramment utilisée pour évaluer les performances d’algorithmes d’apprentissage. Pour réaliser un apprentissage, nous présentons l’ensemble de la base MNIST (60 000 chiffres) trois fois au système. Chaque neurone d’entrée est connecté à un pixel de l’image. Il émet une impulsion avec une fréquence proportionnelle à l’in- tensité du pixel (fréquence maximale de 20 Hz). La phase initiale est aléatoire. Le formalisme introduit précédemment pour STDP est donc applicable. Chaque chiffre est présenté durant 350 ms. Aucun pré-traitement sur les chiffres n’est utilisé et le jeu de données n’est pas augmenté avec des distorsions. Le réseau est ensuite testé avec la base de donnée de test MNIST (10 000 chiffres).
La figure 4.27 représente les poids synaptiques appris par le système dans une configuration avec seulement 10 neurones de sortie. Il est remarquable que sans aucune supervision et en utilisant uniquement notre règle STDP locale, le système a identifié 9 chiffres différents (sur 10), c’est-à-dire les vrais motifs constituant l’entrée. De plus, il a identifié les caractéristiques distinctives de chaque chiffre (et pas simplement le chiffre écrit à la main le plus courant) : la boucle du chiffre deux, le bas du six, ou les parties horizontales consistant les chiffres trois et huit.
Afin d’évaluer quantitativement les performances du réseau, la figure 4.28 montre le taux de reconnaissance durant le processus d’apprentissage pour différents nombres de neurones de sortie. Pour évaluer le taux de reconnaissance, nous associons chaque neurone de sortie au chiffre pour lequel il s’active le plus souvent a postériori. Ma- tériellement, cette association pourrait être implémentée avec un circuit logique. Cet étiquetage peut également être implémenté avec une deuxième couche supervisée com- patible avec la variabilité des dispositifs (Querlioz et al.,2012).
Avec dix neurones de sortie, le taux de reconnaissance atteint 60%. Avec 50 neurones de sortie, celui-ci atteint 81% et avec 300 neurones, 93.5% (avec le même nombre de synapses par neurone). Un réseau de neurones classique avec apprentissage par rétro- propagation du gradient et 300 neurones cachés atteint 95% (Lecun et al.,1998), proche des 93.5% que nous obtenons. Le meilleur algorithme dans la littérature atteint un taux de reconnaissance nettement supérieur de 99.7%, mais avec l’équivalent de 12 millions
de poids ajustables (contre 235 200 ici) et en utilisant un jeu de données d’apprentissage largement augmenté (Cireşan et al.,2010). Bien que nos chiffres soient clairement plus modestes, l’intérêt de notre réseau est qu’il est entièrement non supervisé avec une règle d’apprentissage locale extrêmement simple et non sensible à la variabilité.
Figure 4.27 – Reconstruction des poids appris dans une simulation avec 10 neurones de sortie. Le poids est maximal en rouge et minimal en bleu.
40 50 60 70 80 90 100 2 104 6 104 1 105 1.4 105 1.8 105 100 10 output neurons 50 300
Recogni
tion rat
e (%)
Iteration number
Figure 4.28 – Taux de reconnaissance durant l’apprentissage pour différents nombres de neu- rones de sortie (de bas en haut : 10, 50, 100 et 300). Le taux de reconnaissance est calculé à partir d’une moyenne glissante sur 10 000 itérations.
Robustesse à la variabilité
Les simulations ont montré une tolérance à des niveaux de variabilités impres- sionnants pour les paramètres synaptiques (Querlioz et al.,2011a). Sont concernés les paramètres modélisant l’évolution des poids synaptiques α+, α−, wmin, wmax et winit.
Une variabilité de 25% sur l’ensemble de ces paramètres n’affecte pas les performances en classification du réseau. Les performances chutent légèrement avec 50% de variabi- lité. Avec une variabilité extrême de 100%, le système reste fonctionnel et le taux de reconnaissance des chiffres reste de 67% avec seulement 50 neurones. A ce niveau de variabilité, il est notable que 30% des synapses ne peuvent plus être programmées (α+ ou α− est nul).
4.5
Discussion et perspectives
Dans ce chapitre, nous espérons avoir pu apporter un premier aperçu convainquant des possibilités et de la richesse de notre approche pour le traitement des données naturelles. Tout d’abord, nous avons introduit le premier système à notre connaissance capable d’extraire de manière exhaustive et non supervisée des motifs se recouvrant temporellement directement à partir de données AER non filtrées, en utilisant une règle STDP simple et locale, ne comportant en tout que 10 paramètres pour les neurones. Nous avons montré que ce type de réseau de neurones impulsionnel peut apprendre à compter des véhicules avec une précision supérieure à 95%, à partir d’une rétine artificielle à la résolution limitée de 128×128 pixels et seulement 10 min de données au temps réel.
Nous avons appliqué ces mêmes principes avec succès sur de l’apprentissage de mo- tifs auditifs, générés à partir d’un modèle de cochlée. Ces travaux proposent en outre un modèle simple capable d’expliquer plusieurs résultats significatifs en psychoaccous- tique, sur la formation rapide de mémoire auditive robuste. Ce modèle dispose même de qualités prédictives, qui ne manqueront pas d’être explorées dans le futur. Il offre enfin des perspectives intéressantes pour le traitement de données auditives plus complexes, et en premier lieu celui de la parole.
Enfin, nous avons établi des résultats forts sur les capacités de l’apprentissage de STDP pour la classification de motifs, avec un début de formalisme inédit à notre connaissance. La force de ces résultats tient également dans la comparaison avec une application de reconnaissance qui fait référence dans le domaine.
Implémentations matérielles sur
des technologies memristives
Sommaire
5.1 Introduction . . . 105 5.2 État de l’art . . . 106 5.3 Démonstration d’une mémoire associative sur NOMFET . 109
5.3.1 Introduction . . . 109 5.3.2 Caractérisation du NOMFET . . . 110 5.3.3 Méthodologie . . . 111 5.3.4 Résultats expérimentaux . . . 115 5.3.5 STDP asymétrique . . . 119 5.4 Implémentation de STDP sur PCM . . . 120 5.4.1 État de l’art . . . 121 5.4.2 Synapse et architecture proposées . . . 123 5.4.3 Résultats de simulation . . . 128
5.5 Apprentissage STDP stochastique sur CBRAM . . . 133
5.5.1 Synapse et architecture proposées . . . 134 5.5.2 Résultats de simulation . . . 137
5.6 Discussion et perspectives . . . 140
5.1
Introduction
Dans ce chapitre, nous présentons tout d’abord un état de l’art des propositions d’implémentation de «Spike-Timing-Dependent Plasticity» (STDP) sur des dispositifs memristifs. Cet état de l’art, mis en perspective avec nos études d’apprentissage STDP introduites dans le chapitre précédent, nous permet de proposer une implémentation simplifiée adaptée à des dispositifs memristifs dont la conductance peut être modifiée de manière progressive et cumulative. Ceci est le cas pour certains dispositifs expéri- mentaux de type mémoire résistive – «Resistive RAM» (RRAM), mais des dispositifs plus matures comme la mémoire à changement de phase – «Phase-Change Memory» (PCM) et la «Conductive-Bridging RAM» (CBRAM) n’ont pas cette caractéristique. Pour cette raison, nous proposons dans ce chapitre des implémentations spécifiques pour la PCM et la CBRAM. Dans le cadre de ces travaux, nous avons également réalisé une démonstration de mémoire associative sur le «Nanoparticle-Organic Memory Field Effect Transistor» (NOMFET), qui est un dispositif mémoire volatile, et nous montrons en quoi celle-ci peut être mise en relation avec notre règle d’apprentissage STDP.
Chacune des parties de ce chapitre a fait l’objet d’une ou plusieurs publications et les architectures STDP présentées sur les dispositifs memristifs progressifs, sur la PCM et sur la CBRAM ont fait l’objet d’un dépôt de brevet.