Cas où la distribution initiale est uniforme

6.2 La dynamique

6.2.1 Cas où la distribution initiale est uniforme

Nous allonsmaintenantdécrirece qui arriveàune populationd'agentsqui

implémententcespré-suppositions.L'espacedesrelationsentreorganesseraici

mono-dimensionnel,etladistributioninitialeserauniforme.Dans cettepartie,

σ = 0.001

êt îl^yâ

150

ûnités ^nerveusesêt ¹⁰âgents.

0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

agent 1 agent 2

espace des relations entre organes

Fig. 6.8 Distribution initiale des vecteurs préférés des unités nerveuses de deux

agents; l'espace desrelationsentreorganes, enabscisses,esticimono-dimensionnel;

Lesagentsproduisentdesvocalisationsspéciéespardesobjectifsarticulatoiresrépartis

surtout lecontinuum (lesvocalisationssontanalogues).

audébutd'unesimulation.L'axedesabscissesreprésentel'espacedesrelations

entre organes (par exemple le lieu d'articulation ou la rondeurdes lèvres), et

lespointsquilaparcourentsontlesvecteurspréférésdesunitésnerveusesd'un

agent.L'axedesordonnéesreprésenteladensitédesvecteurspréférés(cela

per-metdemieuxvoircommentilssontrépartis,surtoutsibeaucoupdepointssont

les uns sur les autres). Nous voyonsqu'ils sont approximativement distribués

uniformément. Comme laloi d'apprentissage desunités nerveuses fait que les

agentstendentàproduirelamêmedistributiondesonsquecellequ'ilsentendent

autour d'eux, et commeinitialement tous les agents produisent à peu près la

même distribution de sons, la situation initiale est un équilibre et est

symé-trique.C'estunesituationdanslaquellechaquecartenerveuseestdansunétat

chapitre 3 (à la diérence qu'on aici une population de cartesnerveuses qui

interagissentles unes avecles autres). A causede la stochasticitédans le

mé-canisme,il vayavoirdesuctuations.L'étude del'évolutiondesdistributions

montre quel'équilibre initial est instable: lesuctuations fontchangerle

sys-tèmed'état. Lagure6.9montreladistribution desvecteurspréférésdesdeux

mêmesagents2000vocalisationsplustard.Nousvoyonsquemaintenantilya

desclusters,etquecesclusterssontlesmêmespourlesdeuxagents.Lanouvelle

distributionde leursvecteurspréférésest multi-modale;la symétrie aété

bri-sée.Cela veutdirequelesobjectifsarticulatoiresqu'ilsutilisentpourproduire

des vocalisations sont maintenant pris parmi l'un des clusters ou modes. Le

continuumdesobjectifspossiblesaétécassé,laproductiondesvocalisationsest

maintenant digitale.De plus,le nombrede clusters qui apparaissentest petit,

ce qui faitqueautomatiquementlesobjectifs articulatoiresvontêtre

systéma-tiquement ré-utilisés pour produire des vocalisations, qui sont donc devenues

compositionelles. Tousles agentspartagentlemême codede laparoledans la

mêmesimulation.Parcontre,dansdeuxsimulationsdiérentes,lapositionetle

nombredesmodesestdiérent.Celaestvraimêmequandonutiliselesmêmes

paramètresdelasimulation.C'estdûàlastochasticitéinhérente auprocessus.

Lagure6.10illustrecettediversité.

L'évolutionsestabiliseaucoursdelasimulation.Pourmontrercela, le

de-gréde clusterisationetlasimilaritéentre lesdistributionsde vecteurspréférés

desagentsontété calculés àchaquepasde temps. Cela aété faiten utilisant

l'entropiemoyennedesdistributionsetladistanceKLentredeuxdistributions

(Duda et al.,2000).

Lesgures6.11et 6.12montrentl'évolution decesdeux

9.Toutd'abord,onfaitunmodèledesdistributionsdevecteurspréférésdanschaquecarte

nerveuse.Onutilise latechniquedufuzzybinning (Dudaetal.,2001).Elleconsisteà

ap-proximerlocalementladistributionenuncertainsnombresdepointsrépartis dansl'espace

àmodéliser.Ici,onprend100pointsrégulièrementespacésentre0et1.Pourchacundeces

points

v

^,l'approximationdeladensitélocaledepointsestcalculéeaveclaformule:

p _v = ¹ _n ₁₅₀

i=1 1 2πσ e ⁻

||v− vi ||

σ 2

agent 1 agent 2 espace des relations

entre organes

espace des relations entre organes

Fig.6.9 Ladistributiondesvecteurspréférésdescartes nerveusesdesdeuxmêmes

agents, après 2000 vocalisations: elles sont multi-modales, ce qui veut dire que les

objectifsarticulatoiresutiliséssontprisparmiunpetitnombre de clusters,et deplus

cesmodes sontles mêmeschez les deux agents (c'estuncode de laparole partagé et

digital).Acausedufaitqu'ilyapeudemodes,automatiquementilsvontêtreré-utilisés

systématiquementpourconstruire desvocalisations(donclecodeest compositionnel).

mesurescorrespondantàunesimulationimpliquant10agents.D'unepart,

l'en-oùles

v _i

^sont^les^vecteurs^préférés^des^neurones^de^la^carte.

σ

^est^pris^de^telle^manière^que^les

gaussiennesontunelargeuréquivalente à1/100. Unefoisquelesdistributionsdesvecteurs

préférés descartes detouslesagent ontétémodélisées,on peut calculerpourchacune son

entropie (Dudaet al., 2001).L'entropie permetd'évaluer indirectement le degré de

cluste-risation,ou d'organisation,despointsd'unedistribution. L'entropie estmaximalepourune

distributioncomplètementuniforme,etminimalepourunedistributiondepointsouvecteurs

quionttouslamêmevaleur(c'est-à-direquandilyaununiqueet parfaitcluster).Elleest

dénieparlaformule:

entropy = − ₁₀₀

i=1 p _v ln ( p _v )

Ensuite,onfaitlamoyennedesentropiesdetouteslesdistributions(chacunecorrespondant

à un agent), ce qui donne uneévaluation de laclusterisation moyenne dans les cartes de

touslesagents.C'estdoncuneévaluationdudegrédecodagephonémiquedanslapopulation

d'agents.Pourévaluerledegrédesimilaritéentredeuxdistributions

p

^et

q

^de^vecteurs^préférés

dechaqueagent,onutiliseladistancedeKullback-Leibler,déniedelamanièresuivante:

distance ( p,q ) = ¹ ₂

v q _v log ( ^q _p ^v _v ) + p _v log ^p _q ^v

v

Oncalculeainsitouteslesdistancesdeuxàdeuxdesdistributionsdetouslesagents,etonen

faitlamoyennepour évalueràquelpointlesagentsontuneorganisationdeleurespacedes

Fig.6.10 Plusieursexemplesde distributionsnalesdevecteurspréférésdansdes

simulations diérentes. Tous ces résultats sont obtenus avec les mêmes paramètres.

Lastochasticité du système permet de générerdes répertoires de phonèmes de tailles

diérentes etdontles emplacementsdansl'espacesontaussidiérents.

tropie diminue, puissestabilise,ce qui montre lacristallisation,c'est-à-direla

formationdeclusters.D'autrespart,ladistancemoyenneentrelesdistributions

dedeuxagentsn'augmententpas(initialement,ilsontdéjàlamêmedistribution

uniforme!),etmêmedécroît,cequimontrequelesmodesquiapparaissentsont

lesmêmescheztouslesagents.

Laraisonpourlaquelleilyaunecristallisationestqu'àcausedela

stochas-ticité naturelle dumécanisme,de tempsen temps, certainssonssontproduits

Fig.6.11 Pourévaluerl'évolutiontemporelledesdistributionsdesvecteurspréférés

desunitésnerveuses,leurentropiemoyenneaétécalculéeàchaquepasdetemps;nous

voyonsqu'elledécroit,cequicorrespondàlaformationdeclustersoumodes,etqu'elle

sestabilise,cequicorrespondàunétatde convergence(avecplusieursmodes).

désigne une petite partie d'unevocalisation).Cela crée des déviations autour

de ladistributionuniforme, qui sontalors parfoisampliées parlemécanisme

d'apprentissageautraversd'unebouclederétro-actionpositive.Ensuite, la

sy-métriesebrise.On retrouvelàlesingrédientstypiquedesphénomènes

d'auto-organisationquel'onadécrits auchapitre3.

Cependant,pourêtreexact,cequ'onappelleicil'étatdecristallisationdans

lequel plusieursmodes apparaissent,n'est pasencorel'état d'équilibredu

sys-tème.Eneet,sionlaissaittournerlasimulationextrêmementlongtemps,alors

dans tous lescas, quelsque soient les paramètres,on nirait par n'avoirplus

qu'un seul cluster, c'est-à-dire unseul mode. C'est parce que la loi

d'adapta-tion desvecteurspréférésest uniquementune force d'attraction,qui àchaque

pasde tempsfaitserapprocherlesvecteurspréférésduvecteurcorrespondant

au stimulus.Comme lesstimulus sontgénérés àpartirde ces distributions de

vecteurs préférés,ils sonttoujours àl'intérieur de la zone dénie par tousles

vecteurspréférésdetouslesagentsdelasociété.Etdoncglobalementàchaque

Fig. 6.12 La distance moyenne entre les distributions des vecteur préférés des

unitésnerveusesdechaque agent;nousvoyonsqu'ellerestelamême,ce quiveut dire

queles modessontidentiquescheztous lesagents àlande lasimulation.

s'éloignerlesunsdesautresàcausedelanon-linéarité delaloid'adaptation).

Seulement,aumomentoùseformentlesdiérentsclusterscommeonvientde

le présenter,lesstimuli deviennentconcentrés justementsur les zonesdénies

parcesclusters. Imaginonsqu'ilyadeuxclustersC1etC2.Celaveutdireque

lesstimulisontstatistiquementtrèsconcentrésautour descentresdeC1etC2.

PrenonsunstimuluscorrespondantaucentredeC1.Ilvafaireserapprocherdu

vecteurquiledénitàlafoislesvecteurspréférésdeC1etC2.PourceuxdeC1,

celavaavoirpour conséquencede lesrapprocherencoreplusducentre deC1,

etvontnirparnequasimentplusbougerunefoisqu'ilsyseront.Pourceuxde

C2,celavaavoirtrèspeudeconséquences:eneet,laforced'attractiondueà

lafonctiongaussienneest extrêmementfaible àmoyenneet longuedistance.Si

l'on prend

σ ² = 0.001

^,^le ^paramètre^par^défaut ^des simulations,alors siC1 et C2sontséparésd'unedistancede 0.2,alorsledéplacementdesvecteursdeC2

endirectiondeC1àchaqueperceptiond'unstimulusdeC1estde

5.36 ∗ 10 ⁻²⁰

Celaveutdirequ'ilfaudraitdel'ordrede

10 ¹⁸

^pas^de^temps^dans^la^simulation

Ce phénomène de formation de patterns auto-organisés lors de la trajectoire

d'un système dynamique en chemin vers unétat d'équilibre est l'analogue de

ceux découverts par Prigogine (Nicolis et Prigogine, 1977) dans les systèmes

dissipatifs.D'ailleursonpeutremarquerquecegenredephénomènen'apasété

étudié ni mêmeconceptualisétrès tôt au20ème sièclecar lesoutils

mathéma-tiquesdontdisposaientlesphysiciensleurpermettaientuniquementdecalculer

lesétatsd'équilibre.C'estl'utilisationdesimulationsinformatiquesquiapermis

d'observerlecomportementdessystèmesdynamiquesavantqu'ilsn'atteignent

leurétatd'équilibre,etdedécouvrirquedesstructurestrèsorganiséespouvaient

seformer.Demême,lesrésultatsprésentésdanscettethèse nécessitentl'usage

delasimulationinformatiquecarànotreconnaissance,nousnepouvonspasles

prédireavecdestechniquespurementmathématiquesexistantes.

Enn,s'il n'y aqu'uneseul agentdanslasimulationet qu'on lelaisse

pro-duiredesvocalisationsetlesentendre,alorssacarted'unitésnerveusesvaaussi

s'auto-organiser dans un état où plusieurs modes co-existent. Cela veut dire

qu'ily adeux résultatsséparables:ladigitalitéet lacompositionalitésont

ex-pliquées par le couplage entre la perception et la production avec les

n _i

^, ^et

peuventêtre obtenuesavecun seulagent;maislorsqu'onmet plusieursagents

degestes,sesynchronisent(alorsques'ils développaientchacun dansleurcoin

unrépertoire,celui-ciseraitparticulieràchaqueagent).

Etude de la variation duparamètre

σ ²

Le système articiel comporte un certain nombre de paramètres:

σ ²

^, ^le

nombred'agents,lenombredeneurones,lenombred'agentsquientendentune

vocalisation. Seul

σ ²

â ûne înuence ^cruciale ^sur ^la ^dynamique. Ên êet, ^le

nombredeneuronesparexemplenechangeriendutoutaurésultats'il est

as-sezgrand,c'est-à-dires'ilpermetunecouvertureinitialedel'espaceassezdense.

Expérimentalement,ilsutqu'ilsoitsupérieurà100neuronespourobtenirles

résultatsqu'onaprésentés.Onaaussitestél'inuencedunombred'agentsen

faisantdessimulationincluantentre1et50agents:laconvergenceest obtenue

àchaquefoisauboutd'unnombred'interactionsparagentaugmentanttrèspeu

(entre 150et 500).Lenombred'agentsqui entendentlesvocalisations

pronon-céesparl'und'euxaaussitrèspeud'inuence.Nousallonsdoncnousconsacrer

danscettesectionàmontrerl'inuencede

σ ²

Nous avons fait varier ce paramètre dans une zone de valeur allant de

0.000001à0.1(nousavonsutilisé lesvaleurs:0.1,0.05,0.01,0.005,0.001,etc,

0.000001).Lagure6.13montre quelques-unesdesfonctionsgaussiennes

asso-ciéesàcesparamètres.Onvoitqu'oncouvretoutl'espacepertinent,c'est-à-dire

qu'onvadelagaussiennedontlalargeurestégaleàlalargeurdel'espaceàla

gaussiennedontlalargeurestinme.Pourchacundecesparamètres,onafait

tourner10simulationsavec10agents,etmesurél'entropiemoyennedes

distri-butions des agents une fois que la convergence était atteinte (ausens énoncé

dans lasection précédente). L'entropie est une manièrede mesurerle nombre

10.Sil'onmet un agentavec unecarte nerveuse uniformedans une population d'agents

qui adéjàformé uncodedelaparole, cetagentva apprendre ce code.Celaveut direque

lemécanismepourapprendre uncodedelaparoleest lemêmeque celuiquipermetà une

l'on peut obtenir,qui correspond àl'entropie minimale, et à labrisure de

sy-métriemaximale.Al'autreextrémitédel'espacedesvaleurs,quand

σ ²

^est^plus

petitque

10 ⁻⁵

^,âlors^l'entropieêst^maximale^:^la^symétrieînitialecorrespondant àladistributionaléatoireuniformedesvecteurspréférésn'estpasbrisée.Cette

étatdesymétrie maximalecorrespondàunétatdedésordre. Lagure6.15en

donne unexemple (distribution du bas). Entre ces deux zones de valeurs, on

observeunetroisièmephasequicorrespondàlaformationdeplusieursclusters

bien délimités(entre2et unedouzaine,au-delàil n'y aplusvraimentde

clus-tersetlesagentsnesontplussynchronisés).C'estdanscettezonequesetrouve

leparamètre

σ ² = 0.001

^utilisé ^par^défaut^dans^les^sectionsprécédentes.Cette organisation des vecteurspréférés en clusters bien délimités est une structure

complexequiapparaîtdoncdanslazonelimiteentrel'ordreetlechaos,comme

onlerésumesouventdanslalittérature(Kauman,1996).Lestransitionsentre

ces trois phases sont analogues à celles que nous avons décrites pour les

cel-lulesdeBénardoulesplaquesferromagnétiquesauchapitre3.Enoutre,ilfaut

remarquer que lazone de paramètresdans laquelle seforment desrépertoires

de modes partagés entre tous les agents est très large: entre

0.00001

^et

0.01

c'est-à-direunespacequicouvreplusieurspuissancesde10!Onpeutdoncdire

quelecomportementdusystèmearticielest trèsrobusteauxchangementsde

Fig.6.13 Quelques fonctiongaussiennescorrespondant auxdiérentes valeursde

σ ²

^que^nous^avons^utilisées.

paramètres.

Dans le document a gaiai de (Page 126-136)

Cas où la distribution initiale est uniforme

6.2 La dynamique

6.2.1 Cas où la distribution initiale est uniforme

σ = 0.001

150

0

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

agent 1 agent 2

espace des relations entre organes

espace des relations entre organes

v

p v = 1 n 150

i=1 1 2πσ e −

||v− vi ||

σ 2

agent 1 agent 2 espace des relations

entre organes

espace des relations entre organes

v i

σ

entropy = − 100

i=1 p v ln ( p v )

p

q

distance ( p,q ) = 1 2

v q v log ( q p v v ) + p v log p q v

v

σ 2 = 0.001

5.36 ∗ 10 −20

10 18

n i

σ 2

σ 2

σ 2

σ 2

σ 2

10 −5

σ 2 = 0.001

0.00001

0.01

σ 2

p _v = ¹ _n ₁₅₀

i=1 1 2πσ e ⁻

v _i

entropy = − ₁₀₀

i=1 p _v ln ( p _v )

distance ( p,q ) = ¹ ₂

v q _v log ( ^q _p ^v _v ) + p _v log ^p _q ^v

σ ² = 0.001

5.36 ∗ 10 ⁻²⁰

10 ¹⁸

n _i

σ ²

σ ²

σ ²

σ ²

σ ²

10 ⁻⁵

σ ² = 0.001

σ ²