R` egle de covariance

a l’apprentissage d’un grand nombre de motifs.

En conclusion, les deux r`egles pr´esent´ees fondent les changements synap-tiques sur les caract´eristiques statiques de la dynamique, c’est `a dire sur des niveaux moyens d’activation. Ceci a pour cons´equence la r´eduction syst´ematique de l’´ecart-type et de la complexit´e de la dynamique au cours de l’apprentissage. On comprend d`es lors que l’effet d’un apprentissage pouss´e trop loin provoque syst´ematiquement un effondrement g´en´eralis´e de la dynamique. C’est pour cette raison que l’on va maintenant s’int´ eres-ser `a un autre type de r`egle, qui ne se fonde que sur les caract´eristiques dynamiques de l’activation des neurones, et tend au contraire `a renforcer l’activit´e dynamique des r´eseaux.

4.2 Covariance des activations

4.2.1 R`egle de covariance

Les limites des r`egles d’apprentissage qui reposent sur les caract´eristiques sta-tiques des activations ont ´et´e `a peu pr`es cern´ees. En particulier, il est apparu sur la premi`ere r`egle ´etudi´ee (4.1), qui est fond´ee sur un produit entre les acti-vations effectives, que le terme constant x<sup>∗</sup><sub>i</sub> intervient de fa¸con d´ecisive dans le changement synaptique. De mani`ere globale, la r`egle tend `a renforcer l’influence des neurones dont l’activation est la plus forte en moyenne, c’est `a dire les neu-rones satur´es. Sachant que les neurones satur´es produisent un signal d’activation d’amplitude tr`es faible, on augmente l’influence des neurones qui sont les moins repr´esentatifs de la dynamique.

Il paraˆıt d`es lors logique de mettre en place une r`egle qui gomme les aspects statiques du signal d’activation, c’est `a dire qui n´eglige autant que possible sa partie constante. Lorsque l’on souhaite renforcer l’intensit´e des signaux propa-g´es, la quantit´e qui nous int´eresse est la partie dynamique du signal d’activation a_i(t) = x_i(t) − x^∗_i.

La mise en œuvre de cette nouvelle r`egle n´ecessite d’utiliser l’estimation ins-tantan´ee de l’activation moyenne ˜x<sup>∗</sup><sub>i</sub>(t). Cette variable conserve `a tout instant une m´emoire de l’activation moyenne , remise `a jour `a chaque pas de temps selon le param`etre d’habituation β = 0.1 (voir page 158). On acc`ede ainsi `a tout instant T `a une estimation de l’activit´e dynamique

˜

162 Apprentissage : une dynamique sur les poids

Et (en r´egime stationnaire) on a :

˜ a_i(T ) = (x_i(T ) − x^∗_i β T −1 X t=0 (1 − β)^t | {z } →1(T →∞) ) − β T −1 X t=0 (1 − β)^ta_i(T − t) Pour T grand : ˜ a_i(T ) ' a_i(T ) − e^∗_i(T )

Comme pr´ec´edemment, une valeur de β proche de z´ero am´eliore l’estimation sur l’activit´e dynamique. La valeur op´erationnelle β = 0.1 n´ecessite un temps de convergence d’environ 60 pas de temps.

Le m´ecanisme d’adaptation synaptique propos´e ici reste fondamentalement un m´ecanisme Hebbien. Le but de la nouvelle r`egle d’apprentissage est de mo-difier les liens synaptiques J<sub>ij</sub> selon les caract´eristiques de l’activit´e dynamique a<sub>i</sub>(t) exclusivement. Dans notre syst`eme, le principe g´en´eral de Hebb doit subir quelques adaptations :

– Dans le mod`ele biologique, l’activation d’un neurone est un ´ev´enement rare. Dans notre mod`ele, comme on l’a vu, les ´ev`enements rares (et donc “charg´es de sens”) sont les activit´es dynamiques de grande amplitude.

– Notre mod`ele est `a ´etats continus. La co-occurrence de spikes peut ˆetre fonc-tionnellement remplac´ee par la covariance, qui prend en compte l’amplitude des signaux aff´erents et r´ecepteurs. Il est possible d’avoir une covariance n´ e-gative.

– Contrairement au mod`ele biologique, o`u inhibiteurs et excitateurs sont s´ epa-r´es, tout neurone envoie `a la fois des connexions inhibitrices et excitatrices. L’´equivalent du renforcement d’un lien excitateur doit ˆetre l’affaiblissement (en valeur absolue) d’un lien inhibiteur. Inversement, l’´equivalent de l’affai-blissement d’un lien excitateur doit ˆetre le renforcement (en valeur absolue) d’un lien inhibiteur.

– Le d´elai biologique τ est le d´elai 1 qui correspond `a la mise `a jour synchrone des ´etats des neurones.

On traduit le m´ecanisme de Hebb par la dynamique sur les poids (4.4), fond´ee sur le produit des activit´es dynamiques entre l’activit´e des neurones ´emetteurs au temps t − 1 et l’activit´e des neurones r´ecepteurs au temps t. Il est important de bien insister sur le rˆole majeur que joue `a pr´esent le d´elai de transmission τ = 1. Le renforcement des liens se fonde sur les caract´eristiques des signaux ant´erieurs d’un pas de temps au signal actuel. Les r`egles analogues pr´esentes dans la litt´erature [55] ne prennent pas en compte ce d´elai temporel. [59] montre l’importance de la prise en compte du d´elai de transmission pour des syst`emes visant `a apprendre des motifs spatio-temporels.

`

4.2 Covariance des activations 163

la r`egle :

J_ij(t + 1) = J_ij(t) + ^α

N^{ai(t)aj(t − 1) (4.4)} La notation a_i(t) qui apparaˆıt dans la r`egle d’apprentissage, d´esigne en fait ˜

a_i(t) dans la mise en œuvre num´erique, avec pour valeur op´erationnelle β = 0.1. – Si le produit a_i(t)a_j(t − 1) > 0, la valeur du poids augmente.

– Si le poids est excitateur, il est renforc´e et devient plus excitateur. – Si le poids est inhibiteur, il est affaibli et devient moins inhibiteur. – Si le produit a_i(t)a_j(t − 1) < 0, la valeur du poids diminue.

– Si le poids est excitateur, il est est affaibli et devient moins excitateur. – Si le poids est inhibiteur, il est renforc´e et devient plus inhibiteur (il

pro-page l’oppos´e du signal aff´erent). Ainsi, si x_j(t − 1) est oppos´e `a x_i(t), J_ijx_j(t − 1) est de mˆeme signe que x_i(t), et cette co-activation est renfor-c´ee. Moins par moins ´egale plus.

On voit que les liens “excitateur” et “inhibiteur” jouent des rˆoles sym´etriques, ce qui n’est pas le cas des neurones biologiques.

Si un des deux neurones est satur´e ou silencieux, le produit ai(t)aj(t − 1) est proche de z´ero, et par cons´equent le poids change tr`es peu. L’essentiel des modifications de poids s’effectue sur les liaisons entre neurones actifs.

La r`egle que nous avons mise en place repose fondamentalement, comme nous allons le voir, sur une estimation de la covariance effective entre les signaux d’acti-vation aff´erents et eff´erents. Au prix d’une hypoth`ese de stationnarit´e du proces-sus d’apprentissage, on peut montrer que les modifications synaptiques inscrites par la r`egle sont en effet proportionnelles `a cette covariance. Ainsi, si l’appren-tissage est effectu´e entre t = t₀ et t = T , et si dans ce cas on prend une valeur d’α suffisamment petite pour que l’hypoth`ese de stationnarit´e soit correctement approch´ee, alors :

J_ij(T ) − J_ij(t₀) = ^α N T X t=t0+1 (x_i(t) − x^∗_i)(x_j(t − 1) − x^∗_j) ' ^{T α} N ^cov [1] ij

Dans le cas g´en´eral, l’influence de la covariance des activations sur le renforce-ment des poids reste, comme nous le verrons plus loin, tout `a fait fondamentale. La r`egle renforce les liens propageant des signaux corr´el´es `a t − 1 au signal du neurone au temps t, ce qui revient `a renforcer les liens entre les diff´erentes ´etapes du circuit d’activation.

Avant l’´etude des effets de l’apprentissage sur la dynamique, la section sui-vante propose un aper¸cu de la r´epartition de ces covariances sur nos r´eseaux.

164 Apprentissage : une dynamique sur les poids