Caract´ eristiques profondes de la dynamique

L’´etude du spectre de puissance du signal m_N(t) nous a permis de caract´eriser pour un r´eseau la p´eriode ou pseudo p´eriode dominante, qui se maintient lors de la route vers le chaos et persiste apr`es le passage en r´egime chaotique.

Pour ´etudier plus en profondeur les caract´eristiques de la dynamique, on prend en compte le signal d’activation x(t) qui contient les N signaux neuronaux indi-viduels, pour t = t0..t0+ T − 1. On suppose t0 suffisamment grand pour ˆetre en r´egime stationnaire. Ce signal `a N dimensions correspond `a la description la plus d´etaill´ee de l’attracteur du syst`eme.

Circuits d’activation, dynamique pseudo-p´eriodique

Consid´erons un r´eseau en r´egime cyclique (p´eriodique ou pseudo-p´eriodique), pr´esentant une p´eriode dominante τ .

Si la p´eriode est enti`ere, elle repr´esente le nombre de pas de temps n´ecessaires pour que la dynamique s’auto-reproduise. Le r´eseau passe par τ ´etats distincts avant de revenir `a son point de d´epart et de recommencer le cycle. On voit donc bien dans ce cas qu’il existe une s´equence d’´etats x(t), t = 1..τ , qui caract´erise compl`etement la dynamique.

Dans le cas g´en´erique d’un r´egime pseudo-p´erodique, on peut tenir un raison-nement analogue, et dire que la pseudo-p´eriode nous donne une valeur approch´ee du nombre de pas de temps n´ecessaires pour revenir dans un ´etat voisin de l’´etat dans lequel a d´ebut´e le cycle.

Pour une dynamique de type chaotique pr´esentant une p´eriodicit´e r´esiduelle, les maxima de l’autocorr´elogramme nous donnent la mˆeme estimation du temps au bout duquel la dynamique tend `a s’auto-reproduire. On con¸coit que plus le chaos est profond, moins cette reproduction est fid`ele.

´

124 Dynamique spontan´ee et dynamique contrainte

est donn´ee par :

cov_ij = ¹ T T X t=1 (x_i(t) − x^∗_i)(x_j(t) − x^∗_j)

o`u ¯x_irepr´esente la moyenne empirique du signal x_i(t) et la matrice des corr´elations crois´ees est obtenue par normalisation de la matrice des variances-covariances, soit :

ψij = ^covij σ_xiσ_xj

o`u σ_xi et σ_xj sont les ´ecarts-types des signaux x_i(t) et x_j(t).

On se place sur un r´eseau de taille N = 200, en dynamique pseudo-p´eriodique, avec une pseudo-p´eriode proche de 6 (τ ' 5.88). Dans ces conditions, on consid`ere que les neurones pour lesquels ψ_ij est proche de 1 sont synchronis´es. Ceux pour lesquels ψ_ij est proche de -1 sont consid´er´es en opposition de phase.

On a repr´esent´e sur la partie gauche de la figure 3.11 une partie de matrice des corr´elations crois´ees, correspondant aux signaux d’activation ´emis par les 40 premiers neurones du r´eseau. On a repr´esent´e sur la partie droite de la figure3.11

la mˆeme matrice, dont on a permut´e les lignes et les colonnes en fonction de la ressemblance entre ces lignes et ces colonnes. Ce classement permet de mettre en relief les caract´eristiques communes de certaines lignes et de certaines colonnes ; on met ainsi cˆote `a cˆote les indices des signaux dont les valeurs de corr´elation crois´ees pr´esentent la mˆeme configuration.

On voit sur la matrice class´ee la pr´esence de blocs sur la diagonale, dont les fronti`eres sont plus ou moins bien d´elimit´ees. Le fait de raisonner sur des “blocs” permet juste de fixer les id´ees dans un premier temps.

Les neurones appartenant au mˆeme bloc tendent `a ˆetre mutuellement synchro-nis´es. La corr´elation ´etant proche de 1, tous les neurones de ce bloc produisent un signal qui a les mˆemes caract´eristiques.

Qui plus est, ce bloc peut ˆetre mis en correspondance avec un bloc n´egatif `a valeurs proche de -1, situ´e dans le mˆeme alignement. Le signal produit par les neurones du deuxi`eme bloc semble donc avoir les mˆemes caract´eristiques, `a ceci pr`es qu’il est d´ecal´e dans le temps d’une demi-p´eriode.

On a repr´esent´e sur la figure 3.12 des signaux individuels issus du mˆeme r´eseau pr´esentant deux `a deux un d´ecalage de phase de 1 (on rep`ere la valeur de ce d´ecalage de phase par rapport `a l’instant o`u la d´eriv´ee du signal s’annule).

On voit bien sur la figure 3.12 que le signal d’activation du premier neurone (i = 140) est corr´el´e `a celui du second neurone (j = 25) au pas de temps pr´ e-c´edent. Ceci est vrai pour tout temps en moyenne. On a le mˆeme rapport de corr´elation entre l’activation du second neurone au temps t et celle du troisi`eme au temps t − 1, quel que soit t. De proche en proche, on voit que l’on peut ´ eta-blir un circuit d’activation qui propage un signal en boucle ferm´ee du sixi`eme au premier neurone.

3.2 Propri´et´es de la dynamique spontan´ee 125

Fig. 3.11 – Matrice des corr´elations crois´ees. `A gauche : matrice de cor-r´elations crois´ees pour les 40 premiers signaux d’activation. `A droite : la mˆeme matrice dont on a class´e les lignes et les colonnes pour faire ressortir les neurones dont les signaux d’activation ont des caract´eristiques communes. Repr´esentation de Hinton. Param`etres : g = 7.6 (r´egime cyclique), T = 100, N = 200, ¯θ = 0.1, σθ = 0.1, ¯J = 0, σJ = 1

Fig. 3.12 – Quelques signaux individuels en d´ecalage de phase. On a re-pr´esent´e six signaux individuels pris dans un r´eseau en r´egime pseudo-p´eriodique, pr´esentant deux `a deux un d´ecalage de phase de 1. Param`etres : g = 7.6, T = 40, N = 200, ¯θ = 0.1, σ_θ = 0.1, ¯J = 0, σ_J = 1

126 Dynamique spontan´ee et dynamique contrainte

Fig. 3.13 – Circuit d’activation, p´eriode τ .

Par extension, tout neurone en phase avec le deuxi`eme neurone propage le mˆeme signal vers tout neurone en phase avec le premier neurone. On voit donc que ce circuit d’activation met en jeu tous les neurones du r´eseau, qui servent de relais pour la propagation en boucle ferm´ee du mˆeme signal dynamique. Le nombre de relais est en moyenne ´egal `a la p´eriode interne de la dynamique.

Plusieurs raisons font que l’appartenance `a une classe (une ´etape du circuit) n’est pas absolue, mais ob´eit `a des crit`eres flous. Tout d’abord, mˆeme en r´egime cyclique, il y a des signaux dont les harmoniques sont pr´epond´erants par rapport `

a la fr´equence fondamentale, et qui pr´esentent deux maxima sur l’intervalle d’une p´eriode. Ils appartiennent dans ce cas `a deux classes en opposition de phase. Par ailleurs, le d´ecalage de phase entre deux neurones est lui mˆeme non-entier, et il existe des neurones qui se positionnent de fa¸con interm´ediaire entre deux classes successives. Enfin, lorsque la p´eriode est non enti`ere, le nombre de classes lui mˆeme peut ˆetre approxim´e par la valeur enti`ere la plus proche, mais on peut aussi consid´erer que le nombre de classes est fractionnaire.

Malgr´e toutes ces remarques, il y a une structure qui ´emerge de l’activit´e dynamique, qui permet dans les faits de diff´erencier fonctionnellement les neu-rones par leur appartenance `a une (ou plusieurs) ´etapes du circuit. Les neurones sont plac´es dans un rapport de succession temporelle. On parle dans ce cas de configuration dynamique (par opposition `a configuration spatiale). Seule l’obser-vation des signaux d’actil’obser-vation permet de d´efinir le circuit. Ce circuit manifeste une architecture dont les caract´eristiques ne sont pas directement d´eductibles des

3.2 Propri´et´es de la dynamique spontan´ee 127

valeurs de la matrice des poids.

C’est plutˆot sur une toute autre propri´et´e de la matrice des poids que repose la mise en place de ce circuit. La matrice des poids est en effet une matrice al´eatoire de grande taille. Ces deux caract´eristiques : al´eatoire et de grande taille sont importantes. C’est en effet en raisonnant sur le comportement limite des syst`emes al´eatoires de grande taille que l’on peut proposer une explication sur la mise en place de ce circuit.

Les ´equations de champ moyen (voir page 72) d´ecrivent un processus it´ e-ratif sur les grandeurs macroscopiques du syst`eme (moyenne m(t), moment du deuxi`eme ordre q(t)). Ce processus permet de d´eterminer l’´evolution de ces gran-deurs en fonction de la loi initiale des activations. Sur le mod`ele `a une population, la valeur moyenne m(t) tend vers une constante m^∗, quel que soit le r´egime d´ecrit (point fixe ou chaos). Cela signifie en particulier que dans le cas du r´egime chao-tique, l’activit´e de tous les neurones se compense en moyenne. Autrement dit : les neurones ne sont pas synchronis´es.

Comme on l’a vu, `a taille finie, sur un intervalle de temps 1..T , la valeur empirique moyenne m<sub>N</sub>(t) est d’autant plus proche de la moyenne th´eorique des ECM m(t) que la taille est ´elev´ee. En particulier, dans la mesure o`u m(t) se rapproche de son point fixe m^∗ pour t grand (num´eriquement : t > 10, voir figure

2.2), m_N(t) tend ´egalement `a ˆetre constant et proche de m^∗ pour les t et les N grands (voir aussi page 68). La diminution de l’´ecart-type du signal moyen est assez lente (en 1/√

N ) comme on peut le constater sur la figure2.14. N´eanmoins, pour des tailles `a partir de N = 50, l’´ecart-type du signal moyen est d´ej`a tr`es significativement inf´erieure `a la moyenne des ´ecarts-types des signaux individuels. Cette absence de synchronisation est ind´ependante du r´egime dynamique qui se d´eveloppe dans le r´eseau. Elle est assez banale si on consid`ere un r´egime chao-tique profond, o`u les signaux individuels ressemblent `a du bruit d´ecorr´el´e. Par contre, pour des r´egimes p´eriodiques ou pseudo-p´eriodiques, la d´ecorr´elation des signaux individuels implique que les phases individuelles soient uniform´ement r´eparties sur [0, τ ], o`u τ est la valeur de la p´eriode ou pseudo-p´eriode.

Une petite simulation simplificatrice montre que cette cons´equence aboutit naturellement `a la mise en place de circuits d’activation. On condsid`ere N signaux dont le d´ecalage de phase est compris entre _N^τ et τ : pour i = 1..N , ˜u_i(t) = 0.3 ∗ sin(^π₃t + _2πNⁱ ) − 0.4. Ces signaux ont des caract´eristiques (moyenne, ´ ecart-type) que l’on peut retrouver sur un r´eseau r´eel. On a repr´esent´e ce signal sur la figure3.14, ainsi que sa matrice de corr´elations.

La matrice de corr´elation associ´ee `a ces signaux ne permet pas de d´eceler des blocs distincts caract´erisant des signaux manifestant mutuellement un degr´e de corr´elation ´elev´e (ou du moins l’´elaboration de telles classes serait purement arbitraire).

Si l’on fait passer ces signaux par la fonction de transfert fg, on constate que la d´eformation du signal induite a pour effet d’associer les maxima d’activation `a des instants discrets, et donc finalement de cr´eer des classes de neurones qui tendent

128 Dynamique spontan´ee et dynamique contrainte

Fig. 3.14 – 30 signaux p´eriodiques de p´eriode 6 dont la phase est uni-form´ement r´epartie et matrice de corr´elations associ´ee.

`

a atteindre leur maximum (sous forme de pic d’activation) simultan´ement. Des blocs apparaissent alors sur la diagonale (voir figure 3.15) qui ont pour effet de s´eparer fonctionnellement les neurones, et de faire apparaˆıtre les diff´erentes ´etapes du circuit. On peut ´egalement voir dans ce cas que l’appartenance `a une classe est floue, dans la mesure o`u il reste des neurones qui sont interm´ediaires entre deux classes.

Ce ph´enom`ene, observ´e sur des signaux tr`es simples, est ´egalement `a l’œuvre sur les r´eseaux que nous ´etudions, mˆeme si les signaux sont moins r´eguliers. L’apparition des circuits d’activation repose `a la fois sur une contrainte forte de non synchronisation entre les neurones, sur la pr´esence de r´egimes cycliques `a taille finie et sur les caract´eristiques non-lin´eaires de la fonction de transfert.

Le nombre d’´etapes du circuit repose ´evidemment sur la p´eriode initiale, qui elle-mˆeme provient des valeurs propres de la jacobienne `a la d´estabilisation. La configuration spatiale a donc une influence directe sur les caract´eristiques du circuit.

Sachant que la probabilit´e d’apparition d’une p´eriode longue est plus faible que celle d’une p´eriode courte, et que le circuit d’activation qui se met en place poss`ede τ ´etapes, on voit en cons´equence que les circuits longs sont moins probables que les circuits courts. C’est bien les circuits les plus “simples” qui sont favoris´es de fa¸con g´en´erale.

La mise en ´evidence de circuits d’activations sur un r´egime cyclique a taille finie est une illustration int´eressante de la contrainte exerc´ee par le macro-scopique sur le micromacro-scopique. On voit en effet que les r´egimes cycliques, qui ne sont pas d´ecrits `a la limite thermodynamique, subissent n´eanmoins

3.2 Propri´et´es de la dynamique spontan´ee 129

Fig. 3.15 – Passage par la fonction de transfert (g = 8) des signaux pr´ec´edents, et matrice de corr´elations associ´ee.

la contrainte de d´ecorr´elation des signaux individuels mise en ´evidence `a la limite thermodynamique. Cette contrainte implique, pour ces r´egimes cycliques, que les phases des signaux individuels soient uniform´ement r´ e-parties sur la longueur de la p´eriode, ce qui a pour cons´equence de faire ´

emerger une structure dynamique en forme de circuit qui propage la phase d’un groupe de neurones `a l’autre.

Par analogie avec la configuration spatiale (neurones muets/actifs/satur´es), on a parl´e de configuration dynamique pour d´esigner ce circuit. Cette nou-velle forme d’organisation permet de classer les neurones selon leur phase, ind´ependamment de l’amplitude de leur signal.

Les paragraphes qui suivent tentent d’´evaluer dans quelle mesure la confi-guration dynamique peut ˆetre d´eduite des couplages Jij, et montre ´ ega-lement la relative ind´ependance de la structure du circuit par rapport `a une augmentation du param`etre de gain g et `a une complexification de la dynamique.

Estimation de la covariance

Dans le cadre de la mise en place d’un circuit d’activation `a la d´estabilisation, il reste la question du choix pr´ecis des neurones : dans quelle mesure la matrice des poids d´etermine-t-elle la position d’un neurone au sein du circuit ? On va voir dans le paragraphe suivant que la contrainte des poids est beaucoup plus lˆache que dans le cas de la configuration spatiale, mais on peut n´eanmoins la mettre en ´evidence en utilisant la notion de frustration.

130 Dynamique spontan´ee et dynamique contrainte

nous servira au paragraphe suivant pour caract´eriser la frustration. ´

Etant donn´es deux signaux x_i(t) et x_j(t), de moyenne x^∗_i et x^∗_j, pour t de 1 `a T , l’expression empirique de leur covariance selon le d´elai τ est donn´ee par :

cov^{[τ ]}_ij = ¹ T − τ T X t=τ +1 (x_i(t) − x^∗_i)(x_j(t − τ ) − x^∗_j) = ¹ T − τ T X t=τ +1 a_i(t)a_j(t − τ )

Dans le cadre de notre mod`ele, on s’int´eressera essentiellement au d´elai τ = 1, qui donne le d´elai de transmission. Dans ce cas, la covariance entre a_i(t) et a_j(t − 1) donne une indication sur les rapports de succession dans la transmission de l’activit´e dynamique. Une valeur positive de la covariance indique que le signal aff´erent du neurone j est synchronis´e avec le signal eff´erent du neurone i. Une valeur n´egative indique que le neurone j produit un signal aff´erent en opposition avec le signal eff´erent du neurone i. Si cette valeur est proche de z´ero, les signaux peuvent ˆetre consid´er´es comme non-corr´el´es, un cas fr´equent de non-corr´elation correspondant au fait que l’un au moins des neurones est fig´e.

Transferts d’´energie et Frustration

Rappelons ici que les poids synaptiques prennent leurs valeurs sur R. En cons´equence, le signal d’activation source x_j(t − 1) atteint le neurone cible sous la forme c_ij(t) = J_ijx_j(t − 1), qui est corr´el´e `a x<sub>j</sub>(t − 1) si J<sub>ij</sub> est positif et anticorr´el´e `

a x_j(t − 1) si J_ij est n´egatif.

On peut par extension dire, a priori, qu’un lien excitateur (positif) tend `a favoriser la corr´elation entre x<sub>j</sub>(t − 1) et x<sub>i</sub>(t), et un lien n´egatif tend `a favoriser l’anticorr´elation entre x_j(t − 1) et x_i(t). Ceci vaut pour les N² liens synaptiques qui d´efinissent le r´eseau. Dans les faits, l’organisation qui se met en place dans le r´eseau peut ˆetre vue comme le r´esultat d’un compromis entre toutes ces tendances. Deux neurones peuvent pr´esenter une covariance positive en (t−1, t) et n´eanmoins avoir un lien de l’un vers l’autre n´egatif ; dans ce cas, l’influence globale de tous les autres ´etats du r´eseau domine cette instanciation particuli`ere.

Le concept de frustration, introduit par les physiciens dans l’´etude des verres de spin [92], pourrait ˆetre ´etendu ici. Rappelons que dans le mod`ele de Hopfield, o`u les liens sont sym´etriques, et o`u les activations prennent leurs valeurs sur {−1, 1}. une connexion Jij est dite frustr´ee si le lien est positif et les activations oppos´ees, ou si le lien est n´egatif et les activations sont ´egales. En effet, l’´energie d’interaction entre neurones (spins) ´etant E_ij = −J_ijx_ix_j, une configuration est frustr´ee si elle ne peut r´ealiser un minimum global de son ´energie. Si les Jij sont al´eatoires, il n’existe pas en g´en´eral de configuration r´ealisant un minimum global de l’´energie, mais plutˆot une multitude de configurations r´ealisant un minimum

3.2 Propri´et´es de la dynamique spontan´ee 131

local et dans lesquelles certaines liaisons sont frustr´ees. Il s’en suit l’existence d’une multitude d’attracteurs cr´eant la richesse du mod`ele de Hopfield.

La d´efinition de la frustration que nous adopterons porte non pas sur l’activa-tion du signal, mais sur la covariance entre x_i(t) et x_j(t − 1). Cette covariance est estim´ee une fois que le r´eseau a atteint sa dynamique stationnaire. On propose la terminologie suivante :

– Un lien J_ij est dit frustr´e si J_ijcov^[1]_ij < 0 soit : – J_ij > 0 et cov^[1]_ij < 0.

– J_ij < 0 et cov^[1]_ij > 0.

– Un lien est non frustr´e si J_ijcov^[1]_ij > 0 soit : – J_ij > 0 et cov^[1]_ij > 0.

– J_ij < 0 et cov^[1]_ij < 0.

On pose E_ij = −J_ijcov^[1]_ij, analogue formel de l’´energie d’interaction du mod`ele de Hopfield. Ce terme peut encore ˆetre appel´e transfert d’´energie pour indiquer le mouvement induit par le d´ecalage temporel. La somme de tous ces transferts d’´energie donne un terme d’´energie global E =P

i,jE_ij, qui donne une indication sur l’activit´e dynamique du r´eseau (en cas de point fixe, l’´energie globale est nulle).

La figure 3.16 montre que la r´epartition des valeurs de E_ij est non centr´ee, d´ecal´ee vers les valeurs n´egatives, ce qui indique qu’en dynamique stationnaire, il y a moins de liens frustr´es que de liens non-frustr´es. La dynamique semble s’organiser de telle sorte que la frustration soit faible. On voit donc l’analogie qui peut ˆetre ´etablie avec le mod`ele de Hopfield, `a ceci pr`es que le crit`ere de frustration repose sur l’activit´e dynamique qui n’existe pas dans le mod`ele de Hopfield.

Ce d´ecalage des Eij vers les valeurs n´egatives, montr´e sur un exemple, est syst´ematiquement observ´e sur toutes les dynamiques, du cycle limite au chaos profond. En particulier, l’histogramme pr´esent´e porte sur une dynamique de type chaos profond. Cette dynamique reproduit ext´erieurement toutes les caract´ eris-tiques d’un signal al´eatoire. On observe une r´egularit´e statistique reposant sur une tendance `a r´eduire la frustration.

Dans le cas o`u la dynamique est cyclique et o`u l’on peut discerner un cir-cuit d’activation, la disposition des neurones dans ce circir-cuit suit en partie cette contrainte de minimisation de la frustration qui repose sur les valeurs particu-li`eres des poids synaptiques. On peut cependant remarquer que cette contrainte est assez lˆache et autorise un grand nombre de circuits diff´erents. Il est en effet peu probable que le circuit qui se met en place dans le r´eseau soit pr´ecis´ement celui qui minimise la frustration, dans la mesure o`u de nombreux circuits diff´