Influences internes et externes

Le jeu de valeurs des u^∗_i fournit une indication pr´ecise sur l’organisation spa-tiale du r´eseau. On peut voir ce jeu de valeurs comme un motif statique interne, qui caract´erise le syst`eme. Il permet en particulier de classifier les neurones dans les cat´egories actif/satur´e/silencieux. Cette cat´egorisation des neurones est d´ efi-nie, mˆeme si le r´eseau est en point fixe. On l’appelle la configuration spatiale du r´eseau.

En dynamique contrainte, la configuration spatiale est perturb´ee lorsque le motif est pr´esent´e. La configuration initiale subit un remodelage, dont l’inten-sit´e est fonction de l’intensit´e de la stimulation. Sous l’effet de l’entr´ee, certains neurones deviennent actifs, d’autres se figent. L’importance de ces transferts de populations traduit l’intensit´e de la “r´eaction” au motif pr´esent´e.

Dans les paragraphes qui suivent, on regardera en d´etail l’effet de la pr´ esen-tation d’un motif statique sur la configuration spatiale du r´eseau, et comment la configuration finale traduit le compromis entre influence interne et influence externe.

Rˆole de l’al´ea des poids sur la configuration spatiale

Nos syst`emes sont des syst`emes `a al´ea gel´e. Les poids synaptiques et les seuils sont tir´es une fois pour toutes. On cherche ici `a estimer l’influence du tirage initial de la matrice des poids sur la configuration spatiale, en l’absence de motif d’entr´ee.

Il est possible d’estimer `a partir de la simple matrice des poids J (sans it´erer la dynamique) la valeur du point fixe {u<sup>∗</sup><sub>i</sub>}<sub>i=1..N</sub> pour tout i. Les ´equations de champ moyen nous donnent `a tout instant une estimation de l’activation moyenne m(t), qui tend pour les temps longs vers la valeur m^∗. `A taille finie, les couplages sont d´efinis par la matrice al´eatoire J . En supposant l’ind´ependance des activations aff´erentes {x_j(t−1)}_j=1..N, et en supposant que m^∗ fournit une bonne approxima-tion de l’esp´erance des activations m^∗_N, l’estimation de l’esp´erance du potentiel u_i(t) =PN

i=1J_ijx_j(t − 1) − θ_i est donn´ee par :

E(ui(t)) = u^∗_i ' m^∗

N

X

j=1

Jij − θi (3.2)

Cette estimation est donc fond´ee `a la fois sur la somme des lignes de la matrice des poids et sur la valeur locale du seuil.

3.1 Configuration spatiale 111

La pertinence de cette estimation peut ˆetre ´evalu´ee en it´erant la dynamique et en calculant les u^∗_i effectifs. Pour des seuils nuls, on trouve une corr´elation entre la valeur estim´ee et la valeur effective comprise entre 0.7 et 0.8. Ces valeurs de corr´elation ne d´ependent pas de la taille N (l’estimation n’est pas meilleure si on augmente la taille).

´

Etant donn´e la d´ependance de la configuration spatiale par rapport aux va-leurs u^∗_i, la conclusion imm´ediate, pr´evisible, est que le tirage des poids “pr´ed´ eter-mine” la configuration spatiale. La matrice des poids donne d´ej`a une estimation de la cat´egorie des neurones. Il ne s’agit n´eanmoins que d’une estimation, et les ´ecarts observ´ees entre la valeur effective et la valeur estim´ee peuvent ˆetre fortement amplifi´ees par la fonction de transfert ; ces ´ecarts s’av`erent suffisants pour induire des diff´erences sensibles entre la configuration spatiale estim´ee et la configuration spatiale effective.

On voit donc que certains neurones sont favoris´es “d`es la naissance”, mais fort heureusement il reste une marge d’incertitude, reposant sur la coop´ e-ration entre neurones, qui permet `a certains neurones d´efavoris´es de sortir du lot. La morale est sauve !

Influence du r´egime dynamique sur la configuration spatiale

On montre ici que les valeurs des u^∗_i d´ependent peu du param`etre de gain g, ce qui signifie que la configuration spatiale d´epend faiblement du r´egime dynamique. Le tableau3.1 donne, sur un r´eseau de 200 neurones, la corr´elation entre u<sup>∗(g)</sup> et u<sup>∗(∞)</sup>, o`u u^∗(g)est le vecteur des potentiels moyens pour le gain g et u^∗(∞)donne le vecteur des potentiels moyens pour g = ∞, c’est `a dire pour une fonction de transfert binaire.

g 0 1 2 3 4 5 10 15 20

cor(u^∗(g), u^∗(∞)) 0.782 0.942 0.992 0.994 0.982 0.984 0.992 0.989 0.994

Tab. 3.1 – Corr´elation entre u^∗(g) et u^∗(∞), pour diff´erentes valeurs de g, calcul´ees sur un r´eseau en [0, 1], N = 200.

On voit ainsi qu’au del`a de g = 2, le vecteur des potentiels moyens u^∗ est stabilis´e, et reste fortement autocorr´el´e aux alentours de 0,99. On peut par ex-tension dire que pour g > 2, la configuration spatiale ne change pas, que le r´eseau soit en r´egime de point fixe, en r´egime cyclique ou en r´egime chaotique.

La configuration spatiale apparaˆıt donc comme ind´ependante du r´egime dyna-mique. Elle caract´erise l’organisation profonde du r´eseau. On peut la consid´erer comme un socle `a partir duquel la dynamique se d´eveloppe, sans l’affecter en retour.

`

A l’inverse, le paragraphe suivant montre qu’une modification des seuils a des cons´equences tr`es importantes sur la configuration spatiale.

112 Dynamique spontan´ee et dynamique contrainte

Influence d’un motif statique

L’estimation de u^∗_i donn´ee en (3.2) fait ´egalement intervenir la valeur locale du seuil θ_i dont on a peu parl´e jusqu’`a pr´esent. Au signe pr`es, le rˆole du seuil θ est en fait tout `a fait similaire `a celui d’une entr´ee statique gaussienne I (de moyenne

¯

I et d’´ecart-type σI). La diff´erence entre θ et I repose plutˆot sur l’interpr´etation de ces deux grandeurs : le motif statique est une modulation externe du champ local, tandis que le seuil est une modulation consid´er´ee comme “interne”. Les r´esultats qui suivent, qui portent sur l’influence de motifs statiques gaussiens sur la configuration spatiale, sont donc directement transposable aux seuils.

Si l’on consid`ere la dynamique contrainte par un motif I gaussien, l’estimation d’u<sup>∗</sup> `a partir de J devient :

E(u_i(t)) ' m^∗ N X j=1 J_ij − θ_i ! + I_i

Selon cette estimation, on s’attend `a ce que le vecteur des u^∗_i de la dynamique contrainte soit une simple addition lin´eaire du vecteur des u^∗_i de la dynamique spontan´ee et du motif.

Ce n’est pourtant pas exactement ce qui se passe. En effet, la pr´esentation d’un motif cr´ee une perturbation dans les interactions entre neurones qui ne se “r´esout” qu’`a l’issue du temps de relaxation. La nouvelle configuration d´epend aussi du nouvel ´equilibre qui s’instaure entre les neurones. Le syst`eme ´etant non-lin´eaire, on peut dans tous les cas s’attendre `a un nouveau vecteur des potentiels qui s’´eloigne dans une certaine mesure de la simple addition entre le vecteur initial et le motif.

On va ici chercher `a ´evaluer un peu plus pr´ecis´ement la nature de cette re-configuration. Suivant le choix des param`etres ¯I et σ_I, l’“impact” du motif sur la dynamique du r´eseau sera plus ou moins important.

Soit un r´eseau d´efini par le tirage de ses poids synaptiques et de ses seuils. On cherche `a mesurer deux choses :

– L’influence interne, que l’on mesure par la quantit´e :

C = 1 − cor(u^∗, I)

o`u u^∗ est le vecteur des potentiels moyens de la dynamique contrainte, et I est le motif pr´esent´e. Plus C est proche de 1, plus les interactions propres au r´eseau sont pr´epond´erantes par rapport au motif externe pour d´eterminer la configuration spatiale. Remarque : par compl´ementarit´e, mboxcor(u^∗, I) donne l’influence externe.

– La discrimination, que l’on mesure par la quantit´e :

3.1 Configuration spatiale 113

O`u les potentiels moyens u<sup>∗</sup> et u<sup>∗0</sup> correspondent, sur un mˆeme r´eseau (mˆemes couplages, mˆemes seuils), aux dynamiques contraintes issues de motifs I et I<sup>0</sup> ind´ependants. Une discrimination D proche de 1 assure que des motifs diff´erents conduisent bien `a des configurations spatiales diff´ e-rentes :

On peut voir que si l’influence interne est forte et la discrimination faible, le r´eseau fournit une r´eponse qui d´epend peu de son entr´ee. `A l’inverse, si l’influence interne est faible et la discrimination forte, le r´eseau se contente de reproduire sur son vecteur des potentiels les caract´eristiques de l’entr´ee. On peut dire dans ce cas que la configuration spatiale du r´eseau est “contrˆol´ee” par le motif.

En observant le comportement des grandeurs C et D dans l’espace des para-m`etres, on cherche les valeurs de param`etres optimales telles que l’on maximise `

a la fois l’influence interne et la discrimination.

Pour estimer le comportement de ces grandeurs dans l’espace des param`etres, on a mesur´e les quantit´es C et D, sur 10 r´eseaux pour chaque valeur des para-m`etres ¯I (moyenne du motif) et σ_I (´ecart-type du motif). La taille des r´eseaux est N = 200 et g = 8. Les motifs ´etant tir´es selon une loi gaussienne, ils sont comparables `a des seuils additionnels. Les r´esultats de cette mesure sont pr´esent´es figure3.3.

On voit clairement qu’influence interne et discrimination tendent `a se com-porter de mani`ere compl´ementaire. Une influence interne ´elev´ee correspond g´en´ e-ralement `a une discrimination faible, et vice-versa. De fa¸con pr´evisible, des motifs de faible ´ecart-type (σ<sub>I</sub> ' 0.1) sont mal discrimin´es (les caract´eristiques spatiales de la dynamique spontan´ee l’emportent), tandis que des motifs de fort ´ ecart-type sont bien discrimin´es (les caract´eristiques spatiales du motif l’emportent). On constate que c’est pour des valeurs de l’ordre de σ<sub>I</sub> = 0.5 que l’on observe un croisement des deux tendances, et o`u influence interne et influence externe s’´equilibrent.

La qualit´e du compromis entre influence interne et discrimination peut ˆetre mise en ´evidence par le produit C ×D. On voit sur la figure3.3que la valeur de ce produit n’est pas uniforme dans l’espace des param`etres. Si l’influence interne ou la discrimination sont tr`es faibles, la valeur du produit sera proche de z´ero. Une valeur ´elev´ee de ce produit correspond `a un bon ´equilibre entre les deux tendances. On trouve, sur les donn´ees pr´esent´ees, une valeur maximale du produit pour les param`etres ( ¯I = −0.4, σ_I = 0.3), pour lesquels l’influence interne vaut 0.41 et la discrimination 0.71.

La figure 3.4 repr´esente les potentiels pour un motif dont la r´epartition ob´eit `

a une loi gaussienne et dont on a dispos´e les valeurs spatialement en faisant ressortir la diagonale pour faciliter l’interpr´etation visuelle 1. On constate que

1Le r´eseau est dens´ement connect´e, donc la repr´esentation spatiale des neurones sur un carr´e 10 × 10 ne sert qu’au confort visuel, et ne correspond pas `a un sch´ema de connexion carr´e `a plus proches voisins.

114 Dynamique spontan´ee et dynamique contrainte

Fig. 3.3 – Mesure de l’influence interne et de la discrimination sur des r´eseaux de taille finie. Figure du haut, gauche : influence interne C en fonction de ¯I et σ_I. Figure du haut, droite : discrimination D en fonction de ¯I et σ_I. Figure du bas : produit C × D. Param`etres : g = 8, N = 200, ¯θ = 0, σ_θ = 0, ¯J = 0, σ_J = 1. Pour chaque couple ( ¯I,σ_I), les valeurs de C et D sont moyenn´ees sur 10 r´eseaux.

3.1 Configuration spatiale 115

Fig. 3.4 – ´Evolution des potentiels moyens avec l’´ecart-type σ_I du mo-tif. Le motif I pr´esent´e correspond `a un tirage selon une loi normale centr´ee. Le vecteur des potentiels u<sup>∗</sup> est donn´ee pour σ<sub>I</sub> = 0.3, σ<sub>I</sub> = 0.6, σ<sub>I</sub> = 1. La repr´ esen-tation est celle de Hinton (les points noirs correspondent aux valeurs positives, les points blancs aux valeurs n´egatives, et la valeur absolue donne le diam`etre du cercle). On a v´erifi´e dans les trois cas que la dynamique d´evelopp´ee est de mˆeme nature (dynamique chaotique). Param`etres : ¯I = 0, g = 8, N = 100, ¯J = 0, σJ = 1.

l’augmentation du param`etre σ<sub>I</sub> rend la diagonale plus visible sur les potentiels moyens, ce qui correspond `a une augmentation de la corr´elation entre I et u^∗.

Donc, plus on augmente σ_I, plus le motif intervient fortement pour d´ eter-miner la configuration spatiale. N´eanmoins, on peut remarquer comme dans le paragraphe pr´ec´edent qu’une corr´elation de l’ordre 0.6 entre le motif I et le vec-teur des potentiels moyens u^∗ autorise des ´ecarts importants entre les deux jeux de valeurs ; ces ´ecarts, amplifi´es par la non-lin´earit´e de la fonction de transfert, abou-tissent `a des r´epartitions entre neurones actifs et neurones fig´es qui d´ependent en fin de compte faiblement des valeurs pr´ecises du motif I et d´ependent fortement des interactions qui prennent place entre les neurones au cours de la dynamique.

On a donc principalement deux r´esultats :

– La configuration spatiale, issue du vecteur des potentiels u^∗, est une donn´ee fondamentale de l’organisation du syst`eme. En particulier, sur un r´eseau donn´e, cette configuration spatiale reste la mˆeme pour les diff´erents r´egimes dynamiques qui se d´eveloppent quand on fait varier la valeur du param`etre de gain g.

– Par contre, la pr´esentation d’un motif statique tend `a modifier profond´ e-ment la configuration spatiale. On a en particulier trouv´e des valeurs des param`etres ( ¯I = −0.4, σI = 0.3) pour lesquels l’organisation r´esultante offre un bon compromis entre :

116 Dynamique spontan´ee et dynamique contrainte

– la prise en compte de l’influence issue des interactions synaptiques (influence interne)

– la sp´ecificit´e par rapport au motif (discrimination).

Sachant que la configuration spatiale a une influence importante sur les ca-ract´eristiques de la dynamique (valeur de d´estabilisation), il reste `a regar-der dans quelle mesure la reconfiguration spatiale issue de la pr´esentation d’un motif agit sur la dynamique du r´eseau.

Avant cela, on va tenter de pr´eciser la nature de l’organisation dynamique.