Avant de me passionner pour la règle d'apprentissage Hebbienne dépendant de l'ordre d'occurrence entre l'EPSP et la décharge du neurone postsynaptique, j'ai utilisé au sein de ces réseaux une règle d'apprentissage optimale du point de vue de l'ordre des décharges des neurones afférents.
Cette règle fait converger les poids synaptiques des neurones vers la modulation -
shunting inhibition - qui les affecte au moment de leur propagation. Cela signifie par exemple
que si un EPSP arrive en 10ème position sur un neurone, sa modulation, si elle suit une loi puissance, sera de X10 (X représentant le niveau de modulation, 1>X>0) et le poids synaptique convergera donc vers cette valeur. Cette règle est optimale du point de vue du codage par ordre car la sélectivité d'un neurone est maximale si l'ordre d'activation des neurones afférents
14 Du point de vue computationnel, il semble cependant plus efficace et plus stable de se baser sur l'ordre plutôt que la latence exacte.
175 III.2 - E M E R G E N C E D E L A S E L E C T I V I T E A L ' O R I E N T A T I O N D A N S V 1
est le même que celui des poids synaptiques (Veneau, 1996) 15.
Les résultats obtenus avec ce type de règle sont très similaires à ceux obtenus pour la règle d'apprentissage Hebbienne (figure 2.7). La règle d'apprentissage sur l'ordre peut en fait être ramenée à une règle binaire, renforçant les poids synaptiques arrivant avant la décharge du neurone et affaiblissant ceux qui arrivent après. Cette règle binaire est elle-même très proche de la règle d'apprentissage Hebbienne. Je vais tenter de détailler cette approche mais je tiens à
souligner que je ne considère absolument pas ce qui suit comme une démonstration.
Tout d'abord, la loi d'apprentissage basée sur la date relative de décharge des neurones - optimale pour l'ordre - se rapproche de la loi d'apprentissage binaire. La variabilité contenue dans les images permet de linéariser en quelque sorte, cette loi binaire. Par exemple, lorsqu'un neurone décharge pour deux patterns qui ne sont pas totalement identiques, certains poids synaptiques seront renforcés dans un cas et affaiblis dans l'autre, d'autres seront soit renforcés soit affaiblis dans les deux cas. Il s'ensuit que la distribution des poids synaptiques, loin d'être binaire, sera continue et approchera celle de la loi d'apprentissage basée sur l'ordre, les synapses activées à des latences très précoces étant celles dont les poids synaptiques sont les plus élevés16. Déterminer le bruit que l'on peut attendre des images naturelles et dans quelle mesure la répartition des poids est affectée dans la loi d'apprentissage binaire est hors de propos ici et nécessite des analyses mathématiques plus poussées qui sont en cours (Perrinet, 1999).
15 Je présente ici une démonstration que je pense bien plus simple pour le cas de l'activation de toutes les synapses afférentes d'un neurone. Supposons que l'ordre des poids synaptiques soit le même que celui de leur activation. Le potentiel atteint alors la valeur A. Soit deux synapses afférentes à un même neurone de poids w1 et
w2 (w1>w2) activées dans un certain ordre. Pour A, on a A=B+mw1+mαw2 avec B l'ensemble des autres activations synaptiques, m la modulation de la synapse de poids w1 et α<1. Dans le cas où on intervertit l'ordre d'activation des deux synapses, on obtient A'=B+mw2+mαw1. Or w1-w2 >α(w1-w2)>0 et donc w1+αw2 >w2+αw1
, soit B+mw1+mαw2 >B+mw2+mαw1. On en déduit que A>A' et donc que le niveau d'activation sera plus faible. La généralisation pour une distribution de poids synaptiques quelconque est triviale.
16 J'ai également effectué des simulations avec cette loi d'apprentissage binaire. Les résultats sont qualitativement identiques à la règle d'apprentissage biologique et à celle optimale pour l'ordre.
Figure 2.7 : exemple de propagation basée sur une règle d'apprentissage optimale pour un codage par l'ordre de décharge des neurones (cf. texte). Dans cet exemple, la modulation est relativement élevée et très peu de synapses activées suffisent à faire décharger un neurone. Avec des modulations plus faibles, on obtient des résultats similaires à ceux que j'ai présentés pour la règle d'apprentissage dépendant de la date relative de l'EPSP par rapport à la décharge du neurone.
176 III.2 - E M E R G E N C E D E L A S E L E C T I V I T E A L ' O R I E N T A T I O N D A N S V 1
La loi binaire elle-même est corrélée à la loi Hebbienne de type biologique que j'ai utilisée dans mon modèle. Les valeurs mesurées font état d'environ 50 ms pour la décroissance des courbes de potentiation/dépression (figure 2.2). Si l'on considère que le temps d'intégration synaptique qui conduit un neurone à décharger est d'environ 10 ms, les deux lois biologique et binaire sont très proches. La figure 2.8 indique dans quelle mesure les trois règles, biologique, binaire et optimale pour l'ordre, sont corrélées. Encore une fois, ces indications ne constituent en aucun cas une démonstration, et doivent être prise pour ce qu'elles sont, c'est-à-dire une approche intuitive des conséquences de la règle d'apprentissage biologique dans le cadre du codage par ordre.
On peut se demander cependant pourquoi les neurones utiliseraient la règle d'apprentissage décrite par Markram et al (1997) plutôt que celle basée sur l'ordre. En fait, la règle d'apprentissage de type biologique possède un avantage sur sa consœur basée sur l'ordre, à savoir que les poids synaptiques ne doivent pas nécessairement suivre la distribution des modulations. Dans la règle d'apprentissage où les poids synaptiques convergent vers la modulation, la distribution des poids synaptiques est nécessairement biaisée par les valeurs de modulation. La règle d'apprentissage de type biologique permet aux poids synaptiques de converger vers des valeurs qui dépendent de la statistique des images (bien qu'indirectement, du fait de l'intégration neuronale, elles dépendent aussi de la modulation). De plus la règle d'apprentissage biologique peut être implémentée en continue, sur un flot d'images, alors que la règle optimale pour l'ordre nécessite que l'on détermine un début à la propagation, début au niveau duquel la modulation sera minimale.
Très clairement, ces travaux ne couvrent pas l'ensemble des implications - notamment
Figure 2.8 : représentation des trois règles d'apprentissage, optimale pour l'ordre, binaire et biologique. A, règle d'apprentissage faisant converger les poids synaptiques vers une valeur de modulation qui dépend de l'ordre. Cette règle est optimale du point de vue de la shunting inhibition rapide. B, règle d'apprentissage binaire, renforçant les poids synaptiques arrivés avant la décharge du neurone et affaiblissant les poids synaptiques arrivant après la décharge du neurone. La décharge du neurone est indiquée par une flèche. En présence de bruit dans les images, cette règle est très proche de la première (cf. texte). C, règle d'apprentissage biologiquese basant sur la date de l'EPSP par rapport à celle de la décharge du neurone. Cette règle est réinterprétée en utilisant l'ordre d'arrivée de l'EPSP par rapport à la décharge du neurone plutôt que sa latence exacte. Dans B et C, l'axe des abscisses coupe l'axe des ordonnés à 0 (les axes d'abscisses et d'ordonnées sont exprimés en unités arbitraires respectivement d'ordre de décharge et de renforcement/dépression synaptique).
Renforcement Dépression Renforcement Dépression Renforcement Dépression
Ordre de décharge Ordre de décharge Ordre de décharge
177 III.2 - E M E R G E N C E D E L A S E L E C T I V I T E A L ' O R I E N T A T I O N D A N S V 1
mathématiques - de cette règle d'apprentissage. L'étendue de ces phénomènes et de leurs conséquences pour la modélisation est à mon avis majeure et nécessitera de nombreuses études. Nous allons voir maintenant la relation qu'entretient notre modèle avec ceux présents dans la littérature et quelles sont les extensions que l'on peut espérer.