Mesures empiriques sur l’activit´ e

– Signal sinuso¨ıdal, moyenne -1, ´ecart-type 0.35 :

fg

−→

On constate imm´ediatement que les signaux non-centr´es, dont les valeurs sont situ´ees aux alentours de 1 ou de -1 pour cet exemple, se retrouvent “aplatis” par la fonction de transfert. Le signal de moyenne 1 produit un signal presque plat, prenant ses valeurs aux alentours de 1 (limite sup´erieure de la sortie de la fonction de transfert). Le signal de moyenne -1 produit un signal presque plat, prenant ses valeurs aux alentours de 0 (limite inf´erieure de la sortie de la fonction de transfert). Un signal dont les valeurs sont situ´ees aux alentours de z´ero subit une l´eg`re d´eformation, mais la sortie prend ses valeurs sur l’ensembles de l’intervalle ]0,1[. En g´en´eral, plus la moyenne du signal consid´er´e est excentr´ee, plus la fonction de transfert tend `a aplatir le signal.

On peut ramener ces observations aux signaux produits par le r´eseau. Le signal de potentiel u_i(t) est un signal non-centr´e, dont la moyenne est u^∗_i (potentiel moyen). Suivant la valeur du potentiel moyen, le signal xi(t) = fg(ui(t)) n’aura pas les mˆemes caract´eristiques.

– Si la valeur de u^∗_i est proche de z´ero, le neurone tend `a propager son signal de potentiel. Ce neurone est dit actif.

– Si la valeur de u^∗_i est excentr´ee, le signal x_i(t) est tr`es ´ecras´e, et son activit´e dynamique est faible. Ce neurone est dit fig´e.

– Si l’activation reste proche de la valeur 0, le neurone est dit muet. – Si l’activation reste proche de la valeur 1, le neurone est dit satur´e. Ainsi, dans un r´eseau pour lequel les potentiels moyens peuvent prendre des valeurs excentr´ees, seul un sous-ensemble de neurones transmet le signal dyna-mique, et est r´eellement actif dans l’entretien de la dynamique qui se d´eveloppe dans le r´eseau. La r´epartition des activations moyennes x^∗_i et des potentiels moyen u^∗_i peut nous renseigner sur ces proportions.

3.1.2 Mesures empiriques sur l’activit´e

3.1 Configuration spatiale 107

Fig. 3.1 – R´epartition empirique de l’activit´e locale, mesur´ee par l’ecart-type des signaux ai(t). Les mesures sont effectu´ees sur 3500 r´eseaux de taille N = 50, d´efinis selon les param`etres g = 6, ¯θ = 0, σ_θ = 0, ¯J = 0 et σ_J = 1. L’histogramme se fonde sur 3500 × 50 valeurs.

– Au niveau global (ou macroscopique), la d´efinition coule de source : on dira qu’un r´eseau d´eveloppe une activit´e dynamique non nulle s’il n’est pas en point fixe.

– Au niveau local (ou microscopique), l’activit´e dynamique est donn´ee par le signal a_i(t) = x_i(t) − x^∗_i. L’´ecart-type de ce signal permet de quantifier cette activit´e. Plus l’´ecart-type est ´elev´e, plus le neurone peut ˆetre consid´er´e comme “actif” dynamiquement parlant.

Les deux jeux de mesure qui suivent visent `a montrer, pour le premier que l’activit´e dynamique locale ne se r´epartit pas de fa¸con uniforme, et pour le second que le d´eveloppement d’une activit´e macroscopique peut ˆetre reli´ee aux caract´ e-ristiques de la r´epartition des potentiels moyens.

R´epartition de l’activit´e locale

Pour effectuer cette mesure, on se place au sein d’une population de r´eseaux dont l’activit´e dynamique est non nulle. `A l’issue du tirage des r´eseaux, on effectue donc une s´election qui ´elimine les r´eseaux en point fixe.

La mesure porte sur la r´epartition de l’activit´e dynamique locale ; on regarde la r´epartition des ´ecart-types σ_a de l’activit´e dynamique a_i(t). L’histogramme de la figure3.1est issu de mesures faites sur 3500 r´eseaux de 50 neurones avec g = 6. Remarque g´en´erale sur la forme de la r´epartition : La densit´e de probabilit´e que l’on peut attacher `a cet ´echantillon pourrait ´evoquer une loi de Poisson, mais une ´etude plus approfondie montre que cette r´epartition est non-monotone. Cette r´epartition empirique atteint en effet un minimum local vers 0,17 une maximum local aux alentours de 0,32. Il est donc facile de s´eparer les activit´es dynamiques en deux cat´egories, une `a activit´e faible, correspondant `a un ´ecart-type inf´erieur `

108 Dynamique spontan´ee et dynamique contrainte

Fig. 3.2 – R´epartition des potentiels moyens. La figure de gauche donne la r´epartition des u^∗_i pour les r´eseaux fig´es. La figure au centre donne la r´epartition des u^∗_i pour les r´eseaux dynamiques. La figure de droite donne la r´epartition globale, somme des deux r´epartitions pr´ec´edentes. Param`etres : g = 4.9, N = 50,

¯

θ = 0, σ_θ = 0, ¯J = 0, σ_J = 1. Taille de l’´echantillon global : 5000 × 50 neurones.

On remarque que les neurones dont l’activit´e dynamique est faible repr´esentent pr`es de 68% du total des neurones, tous r´eseaux confondus, sur ces valeurs de param`etres.

La conclusion provisoire que l’on peut en tirer, c’est que pour les param`etres que l’on s’est fix´es, les neurones actifs repr´esentent environ 1/3 du total des neurones.

Activit´e dynamique et r´epartition des potentiels moyens

On a cherche ici `a ´etablir un lien entre entre la r´epartition spatiale des neurones et l’activit´e dynamique globale. On fixe une valeur g<sub>ref</sub> = 4.9, on tire les poids pour obtenir 5000 r´eseaux de 50 neurones, on it`ere la dynamique et on classe les r´eseaux en deux cat´egories :

– cat´egorie 1 : ceux qui ne sont pas encore destabilis´es pour g = g_ref, et pr´esentent une activit´e dynamique nulle : r´eseaux fig´es.

– cat´egorie 2 : ceux qui sont d´ej`a destabilis´es pour g = g_ref, et pr´esentent une activit´e dynamique non nulle : r´eseaux dynamiques.

On compare alors la r´epartition des potentiels moyens pour ces deux cat´egories. Remarque : pour les param`etres choisis, la valeur g<sub>ref</sub> = 4.9 correspond `a la valeur th´eorique de d´estabilisation ; on a ainsi environ autant de r´eseaux dans les deux cat´egories.

La diff´erence entre les deux r´epartitions, pr´esent´ees sur la figure 3.2, saute aux yeux. On a ici une caract´erisation tr`es nette du lien entre la r´epartition des potentiels et l’activit´e dynamique. Ainsi :

– Les r´eseaux fig´es pr´esentent une sous densit´e en valeurs centr´ees.

– Les r´eseaux dynamiques pr´esentent `a l’inverse une surdensit´e en valeurs centr´ees.

L’exc`es en valeurs centr´ees d’un cˆot´e, et le d´eficit de l’autre se compensent lorsque l’on superpose les deux r´epartitions ; on obtient alors la courbe en cloche caract´eristique de la r´epartition gaussienne, conforme aux pr´evisions des ´ equa-tions de champ moyen.

3.1 Configuration spatiale 109

On constate donc que la prise en compte des caract´eristiques de la dynamique introduit un biais fort sur la r´epartition des potentiels. On le voit, la surdensit´e en potentiels centr´es est corr´el´ee au d´eveloppement pr´ecoce d’une activit´e dyna-mique (et inversement). Plus g´en´eralement, ces mesures confirment le lien entre potentiels centr´es et neurones `a forte activit´e dynamique.