1.1 Évolution des réseaux de neurones artificiels
1.1.3 Émergence des réseaux impulsionnels
En biologie, les neurones transmettent l’information sous la forme d’impulsions électriques, appelées « potentiels d’action » (figure1.1). Si les valeurs analogiques « continues » employées dans le cadre des réseaux de neurones artificiels profonds sont généralement interprétées comme l’équivalent des fréquences d’impulsions des neurones biologiques, une autre famille
40. R. VA I L L A N T, C. MO N RO C Qet Y. LECU N, IEEE Proceedings of Vision Image and Signal Processing, 1994. 41. S. LAW R E N C Eet coll., IEEE Transactions on Neural Networks, 1997.
I. De l’anglais Convolutional Neural Network. 42. D. CI R E ¸SANet coll., Neural Networks, 2012.
43. J. TO M P S O Net coll., Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015. 44. Y. TA I G M A Net coll., Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014. 45. D. H. HU B E Let T. N. WI E S E L, The Journal of physiology, 1962.
de réseaux de neurones artificiels, dits impulsionnels, s’est également développée en parallèle, davantage tournée vers le bio-réalisme ainsi que la basse consommation. Il est parfois question de 3egénération de réseaux de neurones47, après le perceptron originel et les réseaux à plusieurs couches.
Le double intérêt de l’approche impulsionnelle. Les réseaux de neurones artificiels impul-sionnels présentent plusieurs avantages :
1. il est énergétiquement plus efficace d’utiliser des impulsions à la place de signaux élec-triques continus (ce qui constitue un argument non négligeable dans le cas de la biologie pour un organe pouvant consommer 20 % du budget énergétique pour seulement 2 % de la masse corporelle12) ;
2. un tel système est plus robuste aux défaillances48:
– alors qu’en représentation binaire, une défaillance du bit de poids fort est bien plus problématique qu’une défaillance du bit de poids faible, les conséquences d’une dé-faillance d’un neurone dans le cadre impulsionnel dépendent peu du neurone en ques-tion ;
– s’il est difficile de distinguer d’un signal non valide un signal émis par une porte logique conventionnelle bloquée dans un état donné, la défaillance d’un neurone impulsionnel est quant à elle silencieuse.
Quelques modèles de neurones impulsionnels. Il existe différents modèles pour décrire un comportement impulsionnel des neurones. Un exemple connu de modèle biologiquement plau-sible est le neurone de HO D G K I N et HU X L E Y49, capable de reproduire un certain nombre de comportements rencontrés dans la nature. Ce modèle provient de la modélisation électrique de la membrane plasmique d’un neurone, qui résulte en un système de quatre équations différen-tielles couplées. La figure1.7présente un exemple de comportement de ce type de neurone.
D’autres modèles, plus simples à mettre en œuvre, sont généralement préférés dans les do-maines des neurosciences computationnelles ou des systèmes neuromorphiques. Notamment le neurone dit « intègre-et-tire », qui s’inspire d’une idée ancienne51et connaît de nombreuses variantes, telles que le modèle « intègre-et-tire avec fuites52», dont un circuit électrique équi-valent est représenté à la figure1.8. La figure1.9présente un exemple de comportement d’un neurone « intègre-et-tire avec fuites »(LIFI). La fréquence des impulsions qu’émet un tel neu-rone dépend de l’amplitude du courant reçu en entrée, de sa constante de temps (représentée
47. W. MA A S S, Neural networks, 1997.
12. D. AT T W E L Let S. B. LAU G H L I N, Journal of Cerebral Blood Flow & Metabolism, 2001. 48. S. B. FU R B E R, IET Computers & Digital Techniques, 2016.
49. A. L HO D G K I Net A. F. HU X L E Y, The Journal of physiology, 1952. 51. L. LA P I C QU E, J. Physiol. Pathol. Gen, 1907.
52. R. B. ST E I N, Biophysical Journal, 1965. I. De l’anglais Leaky Integrate-and-Fire.
0
20
40
Courant injecté [µ
A
cm
2]
0 50 100 150 200
Temps t [ms]
50
0
50
Potentiel de
membrane [mV]
FI G U R E1.7 – (b) Évolution du potentiel de membrane d’un neurone de HO D G K I Net HU X L E Y
lorsque ce dernier reçoit le courant (a). La fréquence des impulsions dépend notamment de l’amplitude du courant injecté. N.B. : les valeurs numériques des paramètres de simulation sont tirées de la référence [50].
ϑj
C
R
Σwi⋅xi
yj
Comparateur et générateur d'impulsions Variable interne Intégrateur avec fuitesFI G U R E1.8 – Circuit électrique équivalent d’un neurone « intègre-et-tire avec fuites ». Le con-densateur C assure le rôle d’intégrateur du courant image de la somme des en-trées xipondérées par leur poids synaptique respectif wi, tandis que la résistance
R est à l’origine des fuites. La tension aux bornes de ces deux composants
consti-tue la variable interne du neurone. Elle est utilisée comme entrée d’un compara-teur de seuilϑjet d’un circuit de génération d’impulsions qui impose la tension de sortie yj.
par le produit RC dans la figure1.8) et de sa période réfractaire, ainsi que de la valeur du seuil ϑj.
0
0,5
1
1,5
Courant reçu
[mA]
Tendance (a)
0 0,5 1
Temps [s]
0
0,5
1
Variable interne
[u.a.]
Impulsion
Seuil
(b)
FI G U R E1.9 – (b) Évolution de la variable interne d’un neurone « intègre-et-tire avec fuites » (LIF) lorsque ce dernier reçoit le courant (a), orienté algébriquement de façon identique à celle de la figure1.8. Une impulsion est déclenchée lorsque la vari-able interne atteint le seuilϑj(ici égal à 0,5) et le neurone entre alors dans un état réfractaire, durant lequel sa variable interne est maintenue à zéro. La durée néces-saire pour atteindre le seuil est d’autant plus courte que le courant est important. Par ailleurs, à la fin de la trace, le courant reçu ne permet plus de contrebalancer les fuites : même en présence d’un courant incident positif, la valeur de la variable interne continue de décroître.
Au-delà du codage en fréquence. Certaines expériences et théories récentes dans le domaine des réseaux de neurones impulsionnels suggèrent qu’il existe des stratégies de codage l’informa-tion ne reposant pas uniquement sur la fréquence des impulsions53,54. Ou tout du moins cette vision des choses ne permet-elle pas d’expliquer tous les phénomènes pertinents rencontrés en biologie. Le temps de réaction visuelle de l’homme à une scène complexe a par exemple été évalué à moins de 150 ms par S. TH O R P Eet coll.55. Durant ce laps de temps, un neurone ayant une fréquence d’impulsions autour de la dizaine de hertz n’a guère le temps de se dé-clencher plus d’une fois : un codage de l’information dans la fréquence des impulsions semble peu plausible dans cette situation. Les propositions alternatives de codage de l’information
53. W. GE R S T N E R, R. RI T Zet J. L. VA NHE M M E N, Biological cybernetics, 1993. 54. R. BR E T T E, Frontiers in systems neuroscience, 2015.
dans le cadre des réseaux de neurones impulsionnels sont multiples, par exemple en utilisant l’ordre d’arrivée des impulsions56, ou encore en exploitant le délai entre certaines impulsions57.
Une règle d’apprentissage basée sur la distance temporelle entre impulsions. Suggérée par des expériences de biologie in vitro sur des neurones de rat57, dont certains résultats sont repro-duits sur la figure1.10, la Spike-Timing Dependent Plasticity (STDP) est une famille de règles d’apprentissage qui exploite la distance temporelle entre une impulsion présynaptique (PRÉ) et une impulsion postsynaptique (POST). À la manière de la règle de Hebb évoquée précédem-ment, cette stratégie d’apprentissage vise à moduler les poids synaptiques lorsque qu’une im-pulsion postsynaptique est temporellement proche d’une imim-pulsion présynaptique. Ainsi, dans le cas présenté à la figure1.10, une connexion synaptique participant :
– à une suite causale d’impulsions (l’impulsion présynaptique précède l’impulsion post-synaptique) est potentialisée (sa conductance augmente) ;
– à une suite anti-causale d’impulsions (l’impulsion postsynaptique précède l’impulsion présynaptique) est déprimée (sa conductance diminue).
Par ailleurs, les changements relatifs de conductance associés sont d’autant plus conséquents que la distance temporelle est faible.
-100 ms -50 ms 0 s 50 ms 100 ms
Délai entre impulsions PRÉ et POST
-40 %
-20 %
0 %
20 %
40 %
60 %
80 %
100 %
Changement relatif de conductance
t
POST<t
PREt
PRE<t
POSTDonnées : Bi & Poo,
J. Neurosci. (1998)
Mesures
Ajust. exponentiel
FI G U R E1.10 – Observation de la Spike-Timing Dependent Plasticity en biologie : changement relatif de la conductance synaptique selon le délai tPOST− tPR ´Eentre un potentiel d’action présynaptique et un potentiel d’action postsynaptique. Les symboles sont des mesures expérimentales tirées de la référence [57], tandis que les lignes en trait plein sont des fonctions exponentielles ajustées sur ces données.
56. S. TH O R P E, A. DE L O R M Eet R. VA NRU L L E N, Neural networks, 2001. 57. G.-Q. BIet M.-M. PO O, The Journal of neuroscience, 1998.
Les règles d’apprentissage de la famille Spike-Timing Dependent Plasticity sont de type non supervisé, ce qui les rend intéressantes pour développer des systèmes capables de classifier des données non étiquetées. Certains travaux suggèrent que ces règles d’apprentissage pourraient expliquer l’émergence de cartes de fonction dans un système visuel biologique, par simple exposition à un flux d’images naturelles58.
Des capteurs bio-inspirés comme sources d’impulsions. L’émergence de capteurs bio-inspirés apporte un intérêt supplémentaire aux réseaux de neurones impulsionnels. En effet, la plupart de ces capteurs encodent directement l’information sous la forme de trains d’impul-sions asynchrones59, ce qui en fait des sources naturelles de signaux d’entrée pour les réseaux impulsionnels. Ils permettent en outre d’atteindre une efficacité énergétique importante60, ce qui les rend d’autant plus attractifs pour l’électronique embarquée et la basse consommation.
Remarque
Le protocole employé par ces capteurs neuromorphiques est très souvent du type AERatel que proposé dans la référence [61]. Il s’agit d’une représentation numérique, cons-tituée d’une série de couples formés de l’adresse d’un neurone ayant émis une impulsion et de l’instant de cette impulsion.
a. De l’anglais Address-Event Representation.
Les exemples les plus probants de capteurs neuromorphiques sont certainement les rétines artificielles de type Dynamic Vision Sensor62(DVS), qui émulent le fonctionnement d’une rétine biologique. Chacun des éléments de la matrice de pixels d’une telle rétine fonctionne de façon asynchrone, indépendamment de ses voisins. Ces pixels sont sensibles aux variations de l’in-tensité lumineuse qu’ils reçoivent. Ils signalent par l’émission d’une impulsion une variation d’amplitude supérieure à un seuil fixé. Cette impulsion encode l’information sur seulement un bit et chaque pixel dispose en réalité de deux adresses, pour lui permettre de différencier une variation positive d’une variation négative. Ce type de capteurs présente deux grands avan-tages en comparaison des capteurs vidéo conventionnels exploitant une succession d’images
complètes à fréquence fixe :
1. ils produisent des données plus parcimonieuses (seules les variations sont transmises), ce qui nécessite moins de puissance de calcul pour le traitement de ces dernières et permet de réduire la consommation énergétique63;
2. leur caractère asynchrone permet d’obtenir une résolution temporelle plus courte (sous la milliseconde voire moins), notamment du fait d’une bande-passante moins sollicitée.
58. T. MA S QU E L I E Ret S. J. TH O R P E, PLoS Computational Biology, 2007. 59. A. VA N A R S E, A. OS S E I R A Net A. RA S S AU, Frontiers in Neuroscience, 2016. 60. J. HA S L E Ret H. MA R R, Frontiers in Neuroscience, 2013.
62. P. LI C H T S T E I N E R, C. PO S C Het T. DE L B R Ü C K, IEEE Journal of Solid-State Circuits, 2008. 63. C. PO S C Het coll., Proceedings of the IEEE, 2014.
Par exemple, le capteur DVS128 de la référence [62] présente une dynamique de 120 dB et une résolution temporelle de moins d’une milliseconde, pour une consommation énergétique de seulement 23 mW. Il est notamment utilisé en robotique64ainsi qu’en imagerie haute fréquence65. L’engouement autour des rétines artificielles est à l’origine de travaux visant à encore en améliorer les caractéristiques ou à les doter de nouvelles fonctionnalités64,66. L’une des principales limita-tions des réalisalimita-tions existantes est leur résolution limitée (typiquement de 128×128 à 320×240 pixels), qui a pour origine l’utilisation de nœuds technologiques assez anciens (180 nm voire 350 nm).
Dans le domaine de l’acoustique, la cochlée artificielle AEREAR267est un autre exemple de capteur neuromorphique prometteur. Son fonctionnement est inspiré de celui d’une cochlée biologique, modélisée par une cascade de filtres passe-bandes émettant des impulsions. Une nouvelle fois, la représentation parcimonieuse sous forme d’impulsions asynchrones permet de réduire la consommation ainsi que la puissance de calcul nécessaire à l’interprétation des signaux de sortie. Ainsi, le système AEREAR2 permet une audition binaurale sur (2×)64 voies pour une consommation de 52 mW et nécessite environ 40 fois moins de puissance de calcul pour effectuer une localisation de source par rapport aux algorithmes classiques par corrélation croisée67. Ce capteur a été utilisé pour identifier des orateurs68 ou reconnaître des chiffres énoncés isolément69.
Les capteurs olfactifs complètent la liste des capteurs neuromorphiques connaissant au-jourd’hui un certain succès, en répondant au besoin de nez électroniques portatifs, fiable et à des prix abordables70, notamment pour l’agriculture. Il a été démontré qu’utiliser une approche impulsionnelle couplée à un algorithme d’apprentissage de type Spike-Timing Dependent
Plas-ticity était pertinent pour réduire la consommation énergétique, même en se contentant
d’uti-liser un nez électronique conventionnel71. Des exemples de réalisation de capteurs olfactifs impulsionnels72ont par ailleurs permis de constater que ces derniers produisent des signaux dont les signatures sont plus simples à identifier, donnant lieu à des taux de reconnaissance de presque 95 % pour une consommation de moins 7 mW.
Un argument opposable aux capteurs impulsionnels est qu’ils ne permettent pas de réu-tiliser directement les algorithmes de traitement des données conventionnels et bien établis : il est généralement nécessaire d’adapter ces algorithmes à la nature impulsionnelle des signaux. Toutefois, ce problème ne se pose plus lorsque ces capteurs servent à alimenter des réseaux de neurones impulsionnels, à condition de disposer d’une règle d’apprentissage adaptée à cette nature impulsionnelle. Par ailleurs, un avantage intéressant du fonctionnement impulsionnel
64. C. BR A N D L Iet coll., Frontiers in Neuroscience, 2014. 65. D. DR A Z E Net coll., Experiments in Fluids, 2011.
66. T. SE R R A N O-GOTA R R E D O N Aet B. LI N A R E S-BA R R A N C O, IEEE Journal of Solid-State Circuits, 2013. 67. S.-C. LI Uet coll., IEEE Transactions on Biomedical Circuits and Systems, 2014.
68. C.-H. LI, T. DE L B R Ü C Ket S.-C. LI U, IEEE International Symposium on Circuits and Systems, 2012. 69. M. AB D O L L A H Iet S.-C. LI U, IEEE Biomedical Circuits and Systems Conference, 2011.
70. S.-W. CH I Uet K.-T. TA N G, Sensors, 2013.
71. H. Y. HS I E Het K. T. TA N G, IEEE Transactions on Neural Networks and Learning Systems, 2012. 72. K. T. NGet coll., Sensors, 2009.
commun à ces différents capteurs est qu’il facilite la fusion multi-sensorielle, dont un exemple est l’exploitation conjointe de signaux visuels et auditifs pour faciliter la prise de décision avec des signaux d’entrée ambigus, bruités ou incomplets73,74, ce qui demeure encore aujourd’hui un défi dans le domaine de la robotique.