Application de la r` egle sur la dynamique spontan´ ee

Dans un premier temps, les effets de la r`egle d’apprentissage sont ´etudi´es en l’absence de tout signal exterieur. Le syst`eme est beaucoup plus complexe que pr´ec´edemment puisque les poids du r´eseau deviennent ´egalement des variables d’´etat (qui ´evoluent avec le temps).

4.2 Covariance des activations 165

Fig. 4.1 – Loi de puissance sur la valeur absolue de la covariance des activations. La mesure est faite sur un r´eseau de 200 neurones en dynamique stationnaire. On a trac´e l’histogramme de la valeur absolue de la covariance cov^[1]_ij. Abcisse et ordonn´ee sont en ´echelle logarithmique. Figure de gauche : r´egime pseudo-p´eriodique (g = 4.2). La pente est b ' 1, 37. Figure de droite : r´egime chaotique (g = 5). La pente est b ' 1, 09. Param`etres : ¯θ = 0, σ_θ = 0, ¯J = 0, σ_J = 1.

Observations g´en´erales

R´egime pseudo-p´eriodique Sur un r´eseau de taille N = 200, la dynamique spontan´ee est it´er´ee jusqu’`a ce que la dynamique soit estim´ee suffisamment proche de la stationnarit´e. Le temps t0 marque cette entr´ee en dynamique stationnaire. La valeur de g a ´et´e choisie afin que le syst`eme soit en r´egime pseudo-p´eriodique. De t = t₀ + 1 `a t = t<sub>0</sub> + T , la dynamique d’apprentissage est it´er´ee, avec α = 0.1. La figure 4.2 pr´esente l’´evolution du signal moyen mN(t), avec t0 = 1000. L’apprentissage est arrˆet´e arbitrairement apr`es T pas de temps (deux valeurs de T sont utilis´ees : T = 1000 et T = 2000). La dynamique spontan´ee est it´er´ee apr`es apprentissage sur 1000 pas de temps suppl´ementaires (avec la nouvelle matrice de poids).

Lorsque la dynamique initiale est un cycle limite d’amplitude faible, on constate d’embl´ee que la dynamique d’apprentissage tend `a augmenter l’amplitude du si-gnal moyen. Cet effet sur l’observable global correspond localement `a une aug-mentation de l’amplitude moyenne des signaux individuels. En effet, si le signal d’activation xj(t − 1) est corr´el´e au signal d’activation xi(t), l’apprentissage fa-cilite et amplifie la transmission du neurone j vers le neurone i. Sachant que les neurones aff´erents corr´el´es `a x_i(t) sont ´egalement corr´el´es entre eux, le renforce-ment des liens en provenance de ce groupe de neurones accentue l’influence de leur signal commun sur le champ local du neurone i, ce qui a pour effet d’augmenter :

166 Apprentissage : une dynamique sur les poids

Fig. 4.2 – ´Evolution du signal mN(t) au cours de la dynamique d’ap-prentissage (dynamique spontan´ee). Les 1000 premiers pas de temps cor-respondent `a la dynamique de relaxation. Les 1000 (Figure du haut) ou 2000 (Figure du bas) pas de temps suivants correspondent `a la dynamique d’appren-tissage. Apr`es apprentissage, on it`ere la dynamique spontan´ee sur 1000 pas de temps. `A droite sont repr´esent´es les diagrammes de premier retour, qui super-posent l’attracteur avant apprentissage et l’attracteur apr`es apprentissage. Dans le second cas (2000 pas d’apprentissage), l’attracteur est p´eriodique de p´eriode 5. On a reli´e les 5 points successifs par des traits. Param`etres : α = 0.1, N = 200, g = 4.9, ¯θ = 0, σθ = 0, ¯J = 0, σJ = 1.

4.2 Covariance des activations 167

– l’amplitude du signal de champ local c_i(t).

Par ailleurs, on constate que l’´evolution du r´egime dynamique est non-monotone. On observe fr´equemment une augmentation de la complexit´e de la dynamique qui va de pair avec l’augmentation du diam`etre du signal m<sub>N</sub>(t), suivie d’une r´ egu-larisation de la dynamique qui aboutit `a un cycle de forte amplitude. On peut voir cette ´evolution en deux ´etapes comme la manifestation de deux tendances concurrentes :

– Par augmentation de l’amplitude des signaux locaux, le r´egime dynamique tend `a se complexifier (c’est l’´equivalent de l’augmentation du param`etre de gain g).

– En renfor¸cant les corr´elations entre classes de neurones successives, on tend `

a produire un r´egime r´egulier de type p´eriodique.

La dynamique cyclique atteinte en fin de compte est strictement p´eriodique (p´ e-riode fondamentale enti`ere). Au cours de l’apprentissage, la valeur irrationnelle de la p´eriode dominante d´erive l´eg`erement jusqu’`a se bloquer sur une valeur ra-tionnelle.

R´egime chaotique La figure 4.3 pr´esente un exemple de dynamique d’ap-prentissage, lorsque l’on place le r´eseau `a la fronti`ere du chaos. Apr`es 200 pas de temps de dynamique spontan´ee, on lance l’apprentissage sur 500 pas de temps, avec α = 0.1. La pseudo-p´eriode initiale, tr`es proche de 6, ´evolue en cours d’ap-prentissage. Apr`es apprentissage, la dynamique est strictement p´eriodique, de p´eriode τ = 6.

Fig. 4.3 – ´Evolution du signal m_N(t) au cours de l’apprentissage. Les 200 premiers pas de temps correspondent `a la dynamique de relaxation. Les 500 pas de temps suivants correspondent `a la dynamique d’apprentissage. Les 200 derniers pas de temps donnent la dynamique issue de l’apprentissage. Param`etres : α = 0.1, N = 200, g = 6, ¯θ = 0, σ_θ = 0, ¯J = 0, σ_J = 1.

168 Apprentissage : une dynamique sur les poids

Fig. 4.4 – ´Evolution de g_dest et g_chaos au cours de l’apprentissage. Pour chaque plage de 100 pas d’apprentissage, on mesure les valeurs de d´estabilisation et d’entr´ee dans le chaos sur 10 r´eseaux tests. Les valeurs pr´esent´ees sont moyen-n´ees sur ces 10 r´eseaux. Param`etres : α = 0.1, N = 200, ¯θ = 0, σ_θ = 0, ¯J = 0, σJ = 1.

t − 1 et le pouvoir inhibiteur des neurones les plus anticorr´el´es au temps t − 1, on tend `a ce que l’activit´e de certains neurones au temps t d´epende plus fortement d’un groupe de neurones dont le signal est fort et significatif au temps t − 1 (qui eux mˆemes d´ependent de l’activit´e simultan´ee d’un certain nombre de neurones au temps t − 2 etc...). Si une p´eriode sous-jacente existe dans le syst`eme, celle-ci sera renforc´ee, l’activit´e du neurone devenant de proche en proche de plus en plus corr´el´ee `a sa propre activit´e au temps t − τ . Au contraire, si aucune p´eriodicit´e n’existe au pr´ealable, les poids seront modifi´es selon l’al´ea de la dynamique sans induire de modification significative sur le r´egime pour des dur´ees d’apprentissage de l’ordre de 500 pas de temps.

Effet sur la valeur de d´estabilisation

Contrairement aux deux r`egles pr´esent´ees pr´ec´edemment, la nouvelle r`egle d’apprentissage tend `a produire des r´egimes cyclique sans jamais mener `a un point fixe. La r`egle semble favoriser les r´egimes cycliques au d´etriment des r´egimes de point fixe. Apr`es apprentissage, on s’attend donc `a un ´elargissement de la plage de d´estabilisation, favorisant ainsi l’apparition de r´egimes p´eriodiques et pseudo-p´eriodiques.

La figure 4.4 pr´esente l’´evolution des valeurs de d´estabilisation et d’entr´ee dans le chaos au cours de l’apprentissage, en moyenne sur 10 r´eseaux.

Il apparaˆıt tr`es clairement que la r`egle d’apprentissage tend `a baisser forte-ment la valeur de d´estabilisation. Cette valeur baisse presque lin´eairement en fonction de la dur´ee de l’apprentissage. La valeur d’entr´ee dans le chaos reste

4.2 Covariance des activations 169

Fig. 4.5 – R´epartition des valeurs de δJ . La matrice δJ est issue d’un ap-prentissage sur 500 pas de temps, avec α = 0.1. Chaque |δJ_ij| est report´e dans l’histogramme, pour des plages de r´epartitions de largeur 5.10⁻⁴. On trouve une pente b ' 0.88. Param`etres : N = 200, g = 6, ¯θ = 0, σ_θ = 0, ¯J = 0, σ_J = 1.

stationnaire pour des dur´ees d’apprentissage inf´erieures `a 500 pas, puis se met `

a augmenter pour des dur´ees d’apprentissage sup´erieures. L’apprentissage aug-mente de fa¸con tr`es marqu´ee la largeur de la plage de d´estabilisation puisqu’apr`es 1000 pas d’apprentissage, celle-ci prend place en moyenne sur un intervalle de g de l’ordre de 5.

Effet sur la matrice des poids

Apr`es apprentissage, on observe une augmentation faible, mais sensible et sys-t´ematique, de la variance empirique de la distribution des poids. Si t<sub>0</sub> marque le d´ebut de l’apprentissage et T est la dur´ee de l’apprentissage, on d´efinit la matrice d’´evolution des poids synaptiques par δJ = J (t0+ T ) − J (t0). L’observation de la matrice δJ montre que la r´epartition des valeurs n’est pas du tout uniforme. Sachant que la modification des poids est proportionnelle `a cov^[1]_ij, dont la dis-tribution suit une loi de puissance avant apprentissage, la r´epartition des δJij

correspond logiquement `a une loi de puissance (voir figure 4.5). On voit que la modification de variance observ´ee de mani`ere globale, correspond localement `a des augmentations fortes et cibl´ees sur certains liens synaptiques sp´ecifiques et rares.

Par ailleurs, les liens renforc´es correspondent au circuit d’activation sp´ eci-fique de la dynamique spontan´ee du r´eseau. Dans le cas o`u τ est proche de 2, par exemple, la matrice δJ est `a peu pr`es sym´etrique (renforcement des signaux en opposition de phase). Dans le cas o`u la p´eriode τ est proche de 4, la matrice δJ est `a peu pr`es antisym´etrique (renforcement des signaux en quadrature). Glo-balement, une forte valeur de δJ_ij indique un d´ecalage de phase de 1 entre le

170 Apprentissage : une dynamique sur les poids

Fig. 4.6 – Exemple de configuration de la matrice δJ , dans le cas d’une dyna-mique de p´eriode 3. Les liens renforc´es permettent de d´eduire la nature du circuit d’activation.

signal de i et celui de j. La r`egle a plus g´en´eralement tendance `a renforcer la connectivit´e positive entre les relais du circuit interne dont le d´ecalage de phase vaut 1 (et la connectivit´e n´egative entre les relais dont le d´ecalage de phase vaut environ 1 + ^τ₂).

L’´etude de la matrice δJ permet d’observer la mise en place de circuits d’ac-tivation qui relient entre eux des groupes de neurones corr´el´es avec un d´ecalage d’un pas de temps. Chaque colonne (d’indice j) de la matrice contient des valeurs significativement plus ´elev´ees que la moyenne qui d´esignent les neurones cibles i que le neurone source j active pr´ef´erentiellement. On peut ainsi d´efinir un graphe o`u apparaˆıt le chemin complet, dont la longueur doit correspondre `a la p´eriode fondamentale. Le sch´ema de la figure 4.6 illustre ce principe de renforcement, pour 5 neurones et une p´eriode τ = 3.

Effet sur l’amplitude des signaux individuels

Les notions d’´energie introduites page 131, peuvent ´egalement ˆetre utilis´ees dans le cadre de l’apprentissage pour mesurer l’´evolution de l’amplitude des si-gnaux individuels. `A partir du terme de transfert d’´energie E<sub>ij</sub> = −J<sub>ij</sub>cov<sup>[1]</sup><sub>ij</sub>, il est possible en effet d’estimer un terme d’´energie local `a chaque neurone caract´ e-ristique de l’amplitude du signal produit localement.

E_i =PN j=1E_ij = − lim_{T →∞T}¹ PT t=t0+1(x_i(t) − x^∗_i)PN j=1J_ij(x_j(t − 1) − x^∗_j) = − lim_{T →∞T}¹ PT t=t0+1(x_i(t) − x^∗_i)^hPN j=1J_ijx_j(t − 1) −PN j=1J_ijx^∗_jⁱ (si on accepte l’approximation PN

j=1Jijx^∗_j ' u∗ i) ' − lim_{T →∞} 1 T PT t=t0+1(x_i(t) − x^∗_i)(u_i(t) − u^∗_i)

4.2 Covariance des activations 171

Fig. 4.7 – ´Evolution du terme d’´energie global au cours de l’apprentis-sage. Les six lignes correspondent `a des apprentissages effectu´es sur 6 r´eseaux diff´erents. Pour chaque plage de 100 pas d’apprentissage, on mesure la valeur du terme d’´energie global. L’abcisse est en coordonn´ee logarithmique, indiquant la d´ecroissance exponentielle du terme d’´energie global. Param`etres : α = 0.1, N = 200, ¯θ = 0, σ_θ = 0, ¯J = 0, σ_J = 1.

On a donc E_i ' −cov(x_i(t), u_i(t)). Les signaux x_i(t) et u_i(t) ´etant fortement corr´el´es, le terme d’´energie locale donne tout simplement une indication sur l’am-plitude du signal produit, en tenant `a la fois compte de la variance du signal de potentiel, qui est assez homog`ene d’un neurone `a l’autre, et de celle du signal d’activation, qui est importante si le neurone est actif et tr`es faible si le neurone est inactif. En cons´equence, les neurones inactifs, muets ou satur´es, ont un terme d’´energie local tr`es faible. Les neurones actifs sont ceux qui concentrent l’essentiel des valeurs de l’´energie.

Le terme global d’´energie E = P

iE_i donne quant `a lui une indication sur l’amplitude moyenne de chaque signal individuel.

La modification des liens synaptiques se fonde comme on l’a vu sur la cova-riance entre neurone aff´erent et neurone r´ecepteur. Tous les neurones actifs dans le r´eseau subissent une augmentation de l’amplitude de leur signal d’activation, qui se traduit ´egalement par une augmentation de la valeur de la covariance entre le neurone et ses pr´ed´ecesseurs. La Figure4.7montre l’´evolution du terme d’´ ener-gie globale en cours d’apprentissage. Celui-ci tend `a augmenter en valeur absolue, au cours de l’apprentisage, `a vitesse exponentielle en fonction du nombre de pas d’apprentissage. L’apprentissage semble ainsi produire une r´eaction en chaˆıne qui conduit `a une augmentation exponentielle de l’amplitude des signaux d’activation individuels.

Pour l’exemple pr´esent´e figure 4.3, la valeur de l’´energie totale passe de -4 `

a -46.5, soit globalement multipli´ee par 10. Chaque terme de transfert d’´ ener-gie E_ij = −J_ijcov^[1]_ij d´epend lin´eairement de la covariance et voit son amplitude

172 Apprentissage : une dynamique sur les poids

Fig. 4.8 – R´epartition des transferts d’´energie E_ij = −J_ijcov^[1]_ij. Figure du haut : avant apprentissage. Figure du bas : apr`es 500 pas d’apprentissage. Param`etres : α = 0.1, N = 200, g = 6, ¯θ = 0, σθ = 0, ¯J = 0, σJ = 1.

augmenter dans les mˆemes proportions au cours de l’apprentissage. Ainsi, la r´ e-partition des E_ij subit une dilatation du mˆeme ordre, comme on peut le voir sur la figure4.8. L’assym´etrie de la distribution se maintient, et la proportion de liens frustr´es reste `a peu pr`es la mˆeme.

On a vu dans les parties pr´ec´edentes qu’il subsistait `a la fronti`ere du chaos une p´eriodicit´e r´esiduelle. L’effet de l’apprentissage est de renforcer cette p´eriodicit´e, et de mener progressivement d’une dynamique chaotique `a une dynamique cyclique. La pr´esence d’une p´eriodicit´e r´esiduelle est une condi-tion n´ecessaire pour que l’apprentissage fond´e sur la dynamique spontan´ee ait un effet sensible sur le r´egime. Plus on est loin de la fronti`ere du chaos, plus il faut it´erer longtemps l’apprentissage pour produire un r´egime cy-clique.

L’´etude de la dynamique d’apprentissage sans stimulation ext´erieure per-met de montrer le mode d’action de la r`egle, `a savoir :