Comportement statistique ` a taille finie

A chaque instant, chaque neurone traite un signal de champ (champ local) qui se fonde sur la totalit´e de l’activit´e du r´eseau au temps pr´ec´edent.

2.1.2 Comportement statistique `a taille finie

Les mesures que nous pr´esentons ici ont pour but d’illustrer le rˆole du pa-ram`etre de gain g et du seuil ¯θ sur la r´epartition statistique des activations des neurones. On ne s’int´eresse (pour l’instant) pas au r´egime dynamique. Nous pr´ e-sentons ici des r´epartitions empiriques fond´ees sur l’observation des activations et des potentiels sur les quelques pas de temps qui suivent l’initialisation.

2il est n´eanmoins possible de mettre en ´evidence des r´egions de l’espace des param`etres macroscopiques o`u l’on peut s’attendre `a avoir deux bassins d’attraction, voir [79]

48 Un mod`ele g´en´erique pour l’´etude des dynamiques neuronales

Les r´eseaux sont de taille N = 100. Cette taille assure une bonne homog´en´eit´e des comportements dynamiques d’un r´eseau `a l’autre. Les param`etres invariants sont ¯J = 0 (poids synaptiques centr´es), σ_J = 1 et σ_θ = 0.1. On regarde donc l’´evolution des r´epartitions des potentiels u_i et des activations x_i en modifiant les param`etres g et ¯θ.

`

A t = 0, les activations x_i(0) de chaque r´eseau sont initialis´ees suivant une loi uniforme en ]0, 1[. On it`ere ensuite la dynamique jusqu’au temps t<sub>m</sub> > 0. On mesure alors le potentiel u<sub>i</sub>(t<sub>m</sub>) (ou l’activation x<sub>i</sub>(t<sub>m</sub>)) d’un seul neurone du r´eseau, d’indice i. Le temps t<sub>m</sub> et l’indice i ´etant fix´es, cette mesure de r´epartition porte sur l’al´ea des r´eseaux, c’est `a dire sur un grand nombre de tirages des poids qui d´efinissent les syst`emes. Pour plusieurs jeux de param`etres g et ¯θ, on r´ep`ete cette mesure sur 10000 r´eseaux diff´erents, ce qui permet d’obtenir des histogrammes de r´epartition assez pr´ecis.

On constate en premier lieu que la convergence vers une r´epartition station-naire est tr`es rapide. Sur la figure 2.2, on a represent´e trois r´epartition des po-tentiels obtenues pour les valeurs t<sub>m</sub> = 1, t<sub>m</sub> = 2 et t<sub>m</sub> = 100. On voit alors clairement que d`es le deuxi`eme pas de temps, on est tr`es pr`es d’avoir atteint la r´epartition stationnaire. En particulier, cette r´epartition stationnaire, qui corres-pond `a une observation sur tous les r´eseaux de fa¸con indiff´erenci´ee, est atteinte bien avant le r´egime stationnaire de la dynamique des r´eseaux individuels (voir page 54).

Les mesures suivantes sont toutes effectu´ees au temps t_m = 20, temps auquel on s’attend `a obtenir une r´epartition stationnaire.

– Le premier jeu de figures (figure 2.3) a pour mission d’illustrer le rˆole du param`etre de gain g sur la r´epartition des activations x<sub>i</sub>(t). On voit que cette r´epartition des activations a une forme particuli`ere en “cuvette”. Cette forme correspond au passage de la r´epartition gaussienne des u_i(t) dans la fonction de transfert f_g, qui r´epartit les valeurs non-lin´eairement sur l’intervalle ]0, 1[. La loi des xi(t) est plus pr´ecis´ement la loi image par la fonction de transfert de la loi des u_i(t). Ainsi, en changeant la valeur de g, on modifie la forme de la fonction de transfert ce qui a un effet direct sur la loi des x_i(t). Sachant que l’augmentation du gain fait tendre la fonction de transfert vers une fonction seuil Θ(x > 0), la mˆeme augmentation de gain fait tendre la r´epartition des x_i(t) vers une r´epartition binaire. Ainsi, la r´epartition en cuvette des activations tend `a se creuser lorsque l’on augmente le gain. Par contraste, on constate que la modification du param`etre g a peu d’influence sur la r´epartition des u_i(t).

Le tableau 2.1 donne les valeurs de la moyenne ´egale `a l’esp´erance sur l’al´ea M₁(t_m) = E(x_i(t_m)), du moment d’ordre 2 M₂(t_m) = E(x2

i(t_m)), du moment d’ordre 3 M₃(t_m) = E(x3

i(t_m)) et du moment d’ordre 4 M₄(t_m) = E(x⁴_i(tm)), `a partir de la r´epartition des xi(tm) de la figure 2.3. L’´evolution de ces grandeurs empiriques est donn´ee en fonction de g. Les indicateurs appel´es “Gauchissement” et “Aplatissement” donnent des indications sur le

2.1 ´Equations d’´evolution `a taille finie 49

Fig. 2.2 – Convergence vers la r´epartition stationnaire. On a repr´esent´e sur cette figure la r´epartition empirique sur l’al´ea des u_i(t_m), pour (de gauche `a droite) t<sub>m</sub> = 1, t<sub>m</sub> = 2 et t<sub>m</sub> = 100. Les mesures ont ´et´e effectu´ees `a chaque fois sur 10000 r´eseaux diff´erents. Les histogramnmes font apparaˆıtre des r´epartitions centr´ees dont l’´ecart-type est de l’ordre de 0,7. On constate que la convergence vers une r´epartition stationnaire est tr`es rapide, puisqu’`a t_m = 2 on a une r´epartition tr`es proche de celle obtenue pour tm = 100. Les autres param`etres sont ¯J = 0, σJ = 1, σ_θ = 0.1, ¯θ = 0, g = 4.

50 Un mod`ele g´en´erique pour l’´etude des dynamiques neuronales

caract`ere non gaussien de la distribution (cette loi est par ailleurs calculable analytiquement, voir [9]) :

– Le Gauchissement (skewness) vaut ^E((x−E(x))_σ3 ³⁾

x , o`u σ<sub>x</sub> est l’´ecart-type pE((x − E(x))2). Il mesure le caract`ere asym´etrique de la loi de part et d’autre de la valeur moyenne. Pour une loi gaussienne, le gauchisse-ment doit se rapprocher de z´ero.

– L’Aplatissement (Kurtosis) vaut ^E((x−E(x))_σ4 ⁴⁾

x . Il donne une indication sur le caract`ere non-connexe de la distribution (plus l’aplatissement est proche de 1, plus la loi tend `a pr´esenter deux zones de forte densit´e disjointes). L’Aplatissement d’une loi gaussienne vaut 3, celui d’une loi uniforme vaut 1.8, celui d’une loi binaire vaut 1.

g 2 4 6 2 4 6

M₁(t_m) 0.4960 0.5010 0.5029

M₂(t_m) 0.3626 0.4298 0.4563 Variance 0.1166 0.1788 0.2033 M₃(t_m) 0.2965 0.3939 0.4327 Gauchissement 0.0245 0.0245 -0.0143 M4(tm) 0.2550 0.3702 0.4170 Aplatissement 1.5085 1.2221 1.1386

Tab. 2.1 – Valeur des moments de la r´epartition empirique sur l’al´ea des x_i(t_m) en fonction de g, sur une base de 10000 mesures, avec N = 100, ¯J = 0, σ_J = 1, σ_θ = 0.1, ¯θ = 0, t_m = 20.

On constate `a la lecture du tableau que l’aplatissement tend vers 1 lorsque g croˆıt, ce qui illustre le fait que la distribution tend vers une distribution binaire pour g croissant. On a donc un passage progressif de l’analogique au digital.

– Rappelons que les seuils θ_i, tout comme les poids, sont fix´es `a l’initiali-sation du r´eseau selon une loi gaussienne N (¯θ, σ<sub>θ</sub><sup>2</sup>). La deuxi`eme s´erie de figures 2.4, qui est `a mettre en parall`ele avec la pr´ec´edente, montre, `a g constant, l’influence du param`etre de moyenne sur les seuils ¯θ sur la r´ epar-tition des activations x_i(t). Plus pr´ecis´ement, une valeur positive de ¯θ d´ecale la r´epartition des potentiels ui(t) vers une gaussienne centr´ee en −¯θ. Cette non-sym´etrie se traduit sur la r´epartition des x_i(t). On voit donc que des seuils positifs tendent en moyenne `a att´enuer l’activation des neurones (et a contrario des seuils n´egatifs tendent `a renforcer l’activation des neurones). On donne dans le tableau2.2les valeurs de la moyenne M₁(t_m), du moment d’ordre 2 M₂(t_m), du moment d’ordre 3 M₃(t_m) et du moment d’ordre 4 M4(tm) de la r´epartition des xi(tm) de la figure 2.4, en fonction de ¯θ. On constate cette fois-ci que l’indicateur de gauchissement augmente avec ¯θ, ce qui illustre l’asym´etrie croissante de la distribution.

Ces premi`eres mesures ont permis d’illustrer :

– l’homog´en´eit´e du comportements statistiques d’un grand ensemble de r´ e-seaux. Ce premier point permet de se familiariser avec les grandeurs

mani-2.1 ´Equations d’´evolution `a taille finie 51

Fig. 2.3 – Influence du gain sur la r´epartition des activations. Les figures du haut donnent la r´epartition empirique sur l’al´ea des u_i(t_m) et les figures du bas donnent la r´epartition empirique sur l’al´ea des x_i(t_m), toutes sur la base de 10000 r´eseaux. On a de gauche `a droite g = 2, g = 4 et g = 6. On constate une influence forte du param`etre de gain sur la r´epartition des activations : une augmentation du gain tend `a creuser la distribution et `a rapprocher la distribution d’une distribution binaire. Les autres param`etres sont N = 100, ¯J = 0, σJ = 1, σ_θ = 0.1, ¯θ = 0, t_m = 20.

52 Un mod`ele g´en´erique pour l’´etude des dynamiques neuronales

Fig. 2.4 – Influence du seuil moyen ¯θ sur la r´epartition des activations. Les figures du haut donnent la r´epartition empirique sur l’al´ea des ui(tm) et les figures du bas donnent la r´epartition empirique sur l’al´ea des x_i(t_m), toutes sur la base de 10000 r´eseaux. On a de gauche `a droite ¯θ = 0, ¯θ = 0.1 et ¯θ = 0.2. La pr´esence de seuils non centr´es tend `a d´ecaler vers des valeurs n´egatives la r´epartition des u_i(t_m), ce qui se traduit par une asym´etrie sur la distribution des x_i(t_m). Les autres param`etres sont N = 100, ¯J = 0, σ_J = 1, σ_θ = 0.1, g = 4, tm = 20.

2.1 ´Equations d’´evolution `a taille finie 53 ¯ θ 0 0.1 0.2 0 0.1 0.2 M₁(t_m) 0.5010 0.4398 0.3645 M₂(t_m) 0.4298 0.3639 0.2829 Variance 0.1788 0.1705 0.1500 M₃(t_m) 0.3939 0.3269 0.2452 Gauchissement 0.0245 0.2397 0.5641 M₄(t_m) 0.3702 0.3030 0.2218 Aplatissement 1.2221 1.3070 1.6376

Tab. 2.2 – Valeur des moments de la r´epartition empirique sur l’al´ea des xi(tm) en fonction de ¯θ, sur une base de 10000 mesures, avec N = 100, ¯J = 0, σ_J = 1, σ_θ = 0.1, g = 4, t_m = 20.

pul´ees dans le cadre des ´equations de champ moyen (voir page 66).

– le caract`ere changeant de la r´epartition des x<sub>i</sub> lorsque l’on fait varier les param`etres g et θ. La physionomie de la loi des activations a des effets importants sur le r´egime dynamique du r´eseau, et influence en particulier l’aspect du spectre de la jacobienne `a la d´estabilisation (voit page 56).