Cas où la distribution initiale est non-uniforme

6.2 La dynamique

6.2.2 Cas où la distribution initiale est non-uniforme

Dans le paragrapheprécédent, nous avonssupposé que la distribution

ini-tiale des vecteurs préférésétait à peu près uniforme. Cela voulait dire que la

fonction qui fait correspondre un son à des congurations articulatoires était

linéaire,doncqu'onneprenaitpasencomptelescontraintesduesaux

proprié-tésphysiquesduconduitvocal.C'étaitintéressantcarcelaapermisdemontrer

qu'aucune asymétrie initialen'est nécessaire pourobtenir de ladigitalité (qui

est unepropriétéd'asymétrie). End'autrestermes,cela montrequ'iln'yapas

besoind'avoirdesdiscontinuitésounon-linéaritésdanslafonctionqui fait

cor-respondre des sons aux congurations articulatoires pour expliquer le codage

Fig. 6.14 Variation de l'entropiemoyenne des distributions de vecteurs préférés

produitespardessimulations utilisantdesvaleursde

σ ²

^diérentes.^Pourreprésenter

σ ²

^, ôn ûtilise ^l'échelle ^des ^puissances ^de ¹⁰^: ^Par êxemple,

sigma ² = 0.001 = 10 ⁻³

est représenté par le point d'abscisse 3. On remarque trois phases: pour les petites

valeurs,ilneseformequ'unseulmode;pourlesgrandesvaleurs,ladistributionreste

aléatoire etuniforme;pour les valeursintermédiaires, plusieursmodesbiendélimités

apparaissent.

juste qu'ellesnesontpasnécessaires).

Cependant,cettefonctionaune formeparticulièrechezleshumains,ce qui

introduit unbiaissurlessonsdelaparole.Nousavonsexpliquéplushautque

ce biais pouvait être modélisé pourl'instant par lecontrôle de ladistribution

initialedesvecteurspréférés.

Nousallonstravaillerdanscechapitreavecunbiaisabstrait,quinereproduit

pasdemanièreréalistelesnon-linéaritésduconduitvocalhumain,maisdontla

généricité vanouspermettredecomprendrelesconséquencesdelaprésencede

non-linéarités.Onseplacetoujoursicidanslecasd'unespacedesrelationsentre

sigma^2 = 10^−3

sigma^2=10^−3.3

sigma^2 = 10^−4

sigma^2 = 10^−5 sigma^2 = 10^−2.3

sigma^2=10^−2 sigma^2 = 10^−1

Fig.6.15 Exemplesde systèmesgénérés pourdesvaleursde

σ ²

^diérentes.

linéairement entre 0 et 1 (elle était constante dans le cas d'une distribution

uniforme).Lagure6.16montre lesdistributions initialesde vecteurspréférés

dedeuxagents.Onvoitqu'ilyamoinsdeneuronesavecdesvecteurspréférés

proches de0quede neuronesavecdes vecteurspréférésprochesde1.Cela va

naturellement mener à une préférence statistique pour des modes ou clusters

situésdans ladeuxième partie de l'espacepar rapport auxcluster situés dans

agent 1

espace des relations

entre organes agent 2

espace des relations entre organes

Fig.6.16 Distribution initialedes vecteurspréférés desunités nerveuses de deux

agents danslecasoùl'onprendencomptedescontraintes duesàlanon-linéaritésde

lafonction quifaitcorrespondre dessons àdes congurationsarticulatoires. On voit

iciqu'ilyaplusdevecteurspréférés dansladeuxième partiede l'espace.

2000 vocalisations plus tard. La préférence pour les modes dans la deuxième

partie de l'espace n'est cependant que statistique: il se peut quedes groupes

d'agentsdéveloppentunsystèmeavecautantdemodesdanslapremièrepartie

del'espace.Lagure6.18donnequelquesexemplesdeladiversitédessystèmes

quel'onobtient.Cephénomèneestcrucialpourcomprendreàlafoislaprésence

de régularitésstructurelles statistiques à propos des inventaires de phonèmes

des langues humaines, et en même temps leur grande diversité. Nous ferons

une étude plus détaillée de cet aspect dans le chapitre suivant, dans lequel

nousutiliseronsdescontraintesréalistesquinous permettronsdecomparerles

0

Fig.6.17 Ladistributiondesvecteurspréférésdesdeuxmêmeagentsaprès2000

vo-calisations.Onvoitunepréférencepourlesclusters,etdonclesobjectifsarticulatoires,

placésdans lasecondepartiedel'espace.

6.3 Une extension du mécanisme: catégorisation

et illusions acoustiques

Dans la partie précédente,lesagentsn'avaient pasde mécanismepour

ca-tégoriserlesobjectifsarticulatoiresqu'ilsutilisaient.C'est-à-direqu'ilsne

pou-vaient pas regrouperdes objectifs similairesdans la même boite. Ils n'avaient

pasdemoyendes'apercevoirquequandils activaientdeuxneuronesdumême

clustersàlandelasimulation,celacorrespondaiten faitaumêmemode,au

mêmephonème.Ainsi,d'unecertainemanière,ladigitalitéainsiquela

compo-sitionalité étaientdans l'oeil del'observateur,mais lesagents n'enavaientpas

connaissance.Demême,quand ilspercevaientunevocalisation,etlapassaient

à travers le ltre temporel pour la décomposer en petites parties ensuite

ap-partieprécédente,d'unecertainemanière,lesagentsavaientleurcartenerveuse

quiatteignaitdirectementunétatstableaprèslaperceptiond'unstimulus:une

entrée activait tous les neurones, et cette activation ne bougeait pas jusqu'à

ce qu'unenouvelleentréesoit donnée.Maisdecette manière,deux stimuliqui

étaient proches d'un clusters de vecteurs préférés, mais légèrement diérents,

conduisaientà une activité globalede la cartesimilaire, mais pas exactement

identique.Ilfautdoncrajouterunmécanismequifassequelesunitésnerveuses

soientdanscecasconduitesexactementverslemêmepattern d'activations.

Pour cela, nous allons replacer la carte nerveuse dans son contexte

géné-ral. Chez les humains, ce genre de cartesnerveuses aété souventutilisé pour

modéliserles cartes corticalesqui sont, comme leur nom l'indique, des

dispo-sitifs qui font des modèles de leur environnement(il y ades cartes auditives,

visuelles,tactiles,etc...), etdontl'informationestensuitepossiblementutilisée

par d'autresparties du cerveau. Ces autres parties utilisent l'information

sto-ckée grâce à un décodage qui idéalement recalcule le stimulus d'entrée qui a

conduitàl'ensembledesactivationsdesneuronesàcemoment.Unedécouverte

enneurosciences,dueà(Georgopoulos,1988),apermisd'établirunmodèlede

lamanièredontcedécodageesteectué.Laméthodeutiliseleconceptde

vec-tousles vecteurs préférésdesunités de lacarte(pondérés par leur activation)

etnormalisée parlasommedetouteslesactivations. Si

s

^est ^le^stimulus,^et

N

lenombred'unités nerveuses:

pop(s) = ^N ⁱ⁼¹ N ^tune ^i,t ^∗v ⁱ i=1 tune i,t

est levecteurpopulationqui recalcule

s

^à^partir^de^l'ensemble ^desactivations

tune _i,t

^des^unités^nerveuses^et ^de^leurs^vecteurs^préférés

v _i

^.^Quand^il^y^a

beau-coupd'unités nerveuseset quelesvecteurspréféréssontrépartisuniformément

danstoutl'espace,alorscette méthodere-calculeassezprécisémentlestimulus

d'entrée.Cependant,siladistributiondesvecteurspréférésn'estpasuniforme,

des imprécisions apparaissent.Un certains nombrede chercheurs pensent que

cette imprécision est un défaut du modèle de Georgopoulos, et ont essayé de

mettreaupointdesformulesplusprécises(AbbotetSalinas,1996).Cependant,

nous pensonsque cette imprécision permet aucontrairede rendre compte de

phénomènepsychologiquecommelesillusionsacoustiques.Nousallonsmontrer

quel'eet d'aimantperceptif,que nousavonsdécrit auchapitredeux,permet

d'être expliqué par cette imprécision. Ensuite, nousmontrerons commentune

simplebouclederétro-actionentrelacartenerveuseet lesystèmededécodage

permetd'avoirunmécanismedecatégorisation.

Rappelonsbrièvementen quoiconsistel'illusion acoustiquediteeet

d'ai-mant perceptif. Notre perception des sonsest biaisée parnotre connaissance

des sons de notre propre langue. (Kuhl, 1992) a montré que quand des gens

doiventévaluerlasimilaritédecouplesdevoyelles,ilsonttendanceàpercevoir

les voyellesplus proches qu'elles ne le sont dans un espace objectif physique

quand elles sont toutes les deux proches d'un même prototype de voyelle de

leurlangue,etàpercevoirlesvoyellespluséloignéesqu'ellesnelesontdansun

espacephysiquequandellessontprochesdeprototypesdiérents.En bref,il y

desprototypessonoresd'unelangue donnée,ilssontdesphénomènesculturels.

Orleprocessusdedécodageaveclevecteurpopulationesttoutàfaitadapté

pour modéliser le phénomène de sensation que l'on a d'un son. Ila d'ailleurs

déjà étéutilisé dans (Guentheret Gajda, 1996),pourrendrecompte de l'eet

d'aimant perceptif. Dans ce modèle, les auteurs utilisent une carte nerveuse

similaireàcellequel'onutilise,àladiérencequ'ilsutilisentunproduitscalaire

plutôtqu'unegaussiennepourlafonctiond'activation desunitésnerveuses.La

loid'évolutiondesvecteurspréférésdesneuronesest aussisimilaireàlanôtre.

Cependant,une grandediérenceavecletravailquel'on présente iciestqu'ils

font apprendreàunagentunsystèmede sonsqui existedéjà (enl'occurrence

unsystèmedevoyelles).Ilsneseplacentdoncpasdansl'optiquedelarecherche

surl'originedelaparole,etneseposentpaslaquestiondesavoird'ouvientle

système desonsqu'ilspré-supposent.

Pour illustrer ce processus,nous allons refaire des simulations similairesà

cellesprésentéesdanslapartieprécédente,maisenutilisantunespacedes

rela-tionsentreorganesendeuxdimensions,cequivapermettredevisualiserl'eet

d'aimantperceptifaveclesystèmededécodageduvecteurpopulation.Lagure

6.19montrel'exempledesdistributionsdevecteurspréférésdescartesnerveuses

mêmeagentsseretrouventavecdescartesnerveusescommecellesreprésentées

surlagure6.21.Desclusterspartagésparlesagentsseforment,maisnesont

pastrèsvisiblessurlareprésentationdesvecteurspréféréscard'unepartla

plu-partdesvecteurspréférésd'unmêmeclustersontreprésentésparlemêmepoint

(ils ont des valeursquasi identiques) et d'autrepart il reste ici et là des

neu-ronesisolésqui sontreprésentéseux-aussiparunpoint.C'estlareprésentation

dudessous,aveclesèches, quivanouspermettredepercevoirladistribution

desvecteurspréféréscommeonval'expliquerdanslesparagraphessuivants.

Nous allons maintenant évaluerla manière dont ces deux agents sentent

lessonsaudépart delasimulationetàlandelasimulation.Pourcela, nous

donnonsàchaquefoisenentréeuneensembledestimuli,quisonticinonpasdes

trajectoirescommedanslapartie précédente,maisdes points(l'équivalentdes

moyennes générées parle ltre temporel de lapartie précédente). Ces stimuli

sont répartis régulièrement sur tout l'espace, selon une grille régulière. Pour

chacundecesstimuli,oncalculel'activationdetouteslesunitésnerveuses,puis

oncalculelevecteurpopulation,quiredonneunpointdansl'espacedesrelations

entreorganes,résultatdudécodage.Onreprésentealorsl'ensembledecesstimuli

etdeleurdécodageàpartirdesactivationsdesunitésnerveusespardesèches:

chaque èche a son début qui correspond à un stimulus et son extrémité (là

oùil yaletriangle)au pointdécodéparlevecteurpopulation.Lagure6.20

représente ainsi la manière dont les agents sentent les sons au début de la

simulation.Onvoitquelespointsdécodéscorrespondentassezbienauxstimuli

(malgréquelquesminusculesimprécisions).Lagure6.21représentelamanière

desentirlessonsdecesdeuxmêmeagents2000vocalisationsplustard(surles

carrésdubas).On voit que cette fois ciledécodagen'estplus dutout précis.

Aucontraire,lesstimulussontrapprochésaprèsdécodagedesclustersdontils

fond et s'arrêterdans la même position,quelle quesoit laposition initiale de

cettebille dans lavallée. Si onlalâchedans unevallée diérente,alorselleva

aussitomber,maiss'arrêterdansunautrefond.Cettemanièredevoirlagure

6.21 est en fait à la base d'une extension du système qui va luipermettre de

catégoriserlessons,ausensénoncéplushaut.Eneet,commelepointdécodé

par le vecteur population est de même nature que le point d'entrée, on peut

trèsbienrenvoyercevecteurenentréedelacartenerveuse,commeunstimulus,

mais généréparl'agentlui-même.Cetteidée serapprochedessystèmes de

ré-entrance décrit par Edelman dans sa théorie du fonctionnement du cerveau

humain(Edelman, 1993).En eet,il décritle cerveau humainnonpascomme

un dispositifdans lequellesinformations vontde manièremono-directionnelle

dessenseursjusqu'auxcentresdecontrôle,maisplutôtcommeunsystèmedans

lequellesystèmedecontrôleenvoielui-mêmeaussibeaucoupd'informationsvers

lessenseurs,créantdesbouclesderétro-action.Dansnotresystème,unefoisque

nousavonsrenvoyélepointdécodéenentrée,celui-ciré-activetouteslesunités

nerveuses et unnouveaudécodage est eectué. Ensuite, on itèrece processus.

Géométriquement,lasuitedespositionsdecespointssuccessifssuitexactement

latrajectoiredelaballequitombedanslavallée:auboutd'unmoment,après

quelquesitérations,lepointdécodéestégalaupointdonnéenentréedelacarte

itérationunefoiscepointxeatteint.Lesystèmeestalorsdansunétatstable,

correspondantà une catégorisationdu stimulus initialement donné en entrée.

Pour suivre la trajectoire de ces points successifs, il sut de partirdu point

stimulus, et de suivre les èches par exemple de la gure 6.21. Evidemment,

chaque carte nerveuse dénit un paysage de èches, et donc de vallées et de

fond de vallées (dans le langage des systèmes dynamiques,on dit des bassins

d'attraction et des attracteurs) qui lui sont particuliers. Quand les vecteurs

préféréssontdistribués uniformémentdanstoutl'espace,alorsapparaissentun

certain nombre de vallées dont l'emplacement et les formes sont diérents à

chaquefois.Lagure6.20endonnedesexemples.Quandilyadesclustersqui

apparaissent,alorsceuxquisontdetaillesusantedénissentchacununevallée

etunattracteur.Lagure6.22endonnedesexemples.Grâceàlapropriétéde

lissage due à la fonction gaussienne d'activation des unités nerveuses, le fait

d'avoirdesunitésnerveusesdontlesvecteurspréférésn'appartiennentpasàdes

clusters(celaestlerésultatdelastochasticitédumécanisme),etquiintroduisent

donc une forme de bruit dans le paysage des unités nerveuses, ne modie

paslepaysageglobaldesvalléesd'un ensembledeclusters. Ainsiparexemple,

les agentsde la gure 6.21 n'ont pas exactement les mêmes cartes nerveuses,

mais partagent lemême paysagede vallées, car ils ontles mêmes clusters. Ils

catégorisentainsilessonsdelamêmemanière.Ilssontdoncmaintenantcapables

eux-mêmesde mesurerladigitalité deleur systèmede parole.Chacun dispose

d'unemanièred'évaluerquanddeuxsonssontdiérentsetquanddeuxsonssont

les mêmes. Ils sont capables maintenant de segmenter la trajectoire continue

d'une vocalisation en segments dont chacune des petites parties, résultat du

ltretemporel, estuneentréequiestcatégoriséedelamême manière.

Fig.6.18 Quelquesexemplesdesystèmesobtenusaprès2000vocalisations.La

pré-férencepourlesclustersplacésdanslasecondemoitiédel'espacen'estquestatistique:

carte nerveuse de l’agent 1 au départ carte nerveuse de l’agent 2 au départ

Fig.6.19 Lesvecteurs préférésdedeuxagents audébutdelasimulation.

Fig.6.20 Représentation de lamanièredont les agents sententles sonsau début

delasimulation:ledébutdechaqueèchecorrespondàunstimulusquiactivelacarte

nerveuse, etlan decesèches corresponds àlareconstruction dece stimulusaprès

décodagedesactivationsdes neuronesparlevecteurpopulation.

carte neurale de l’agent 1 après 2000 vocalisations carte neurale de l’agent 2 après 2000 vocalisations

bassins d’attractions associés à la carte de l’agent 2 bassins d’attractions associés à la carte de l’agent 1

Fig.6.21 Exemplede l'étatdes cartes nerveuses dedeux agentsaprès2000

voca-lisations. Lescarrés du haut représentent directement les vecteurs préférés. La gure

du basreprésente lamanière dont les agents sentent les sons à ce moment.On voit

qu'ilyaune organisationde l'espaceen zonesdans lesquelles les stimulisontperçus

plus proches du centre de ces zones qu'ils ne le sont objectivement. Ces zones sont

partagéesparles deuxagents.Elles correspondent auxbassinsd'attraction dénispar

lecomportementdecatégorisationunefoisqu'onaintroduitunebouclederétro-action

codage/décodagedans leréseau.

Fig.6.22 Exemples desystèmesde bassinsd'attraction quel'onpeut obtenir. On

voitque leurnombreainsiqueleursformesetleursemplacementssontvariés.

Extensions

Danslapartieprécédente,noussupposionsquelesagentsétaientcapablesde

passer del'espace desreprésentationsperceptuellesàcelui desreprésentations

gestuelleset musculaires.Celaapermis deprésenter unmécanismesimplequi

rendait compte de la dynamique d'auto-organisationqui forme un code de la

parole digital,compositionnel et partagé parune communautéd'agents.Nous

avonscependantsuggéréaudébutdelathèsequelescomposantsde

l'architec-turedechaqueagentseraientgénériqueset nonspéciquesàlaparole.Ilnous

restedoncàmontrercommentlacapacité depasserd'unespaceàl'autrepeut

être réaliséepar desstructures nerveuses qui ne sontpaspré-câblées ni

spéci-ques à la parole. En eet, alors que certains chercheurs proposentque cette

capacitéestinnée(Mehleret al.,2000),nousallonsillustrercommentellepeut

êtreapprise.

Pourcela,nousallonsmodier lespré-suppositionsdelapartieprécédente.

Alorsquenoussupposionsquelesagentsétaientcapables,étantdonnéun

stimu-lus sonore, de retrouverla congurationarticulatoirequi luicorrespond, nous

à apprendre: celle qui va de l'espace perceptuel à l'espace des relations entre

organes, et celle qui va de l'espace des relations entre organesà l'espace des

activationsmusculaires.Parsoucidesimplicitéetparcequenousnedisposons

pasdemodèleecaceetprécisdelafonctionquifaitcorrespondredesrelations

entre organesà desactivations musculaires,nous nous concentrerons sur

l'ap-prentissagede la fonction qui fait correspondre des sonsà des relations entre

organes.

La conséquenceest que nous allonsdevoirtravaillermaintenant avecdeux

représentations,lareprésentationperceptuelleetlareprésentationdesrelations

entre organes. Les agents ont non plus une, mais deux cartes nerveuses,

cha-cune codantpour un espace. La carte perceptuelle est composée de neurones

auxpropriétésidentiquesàceuxdelapartieprécédente,maisceux-cireçoivent

en entrée des mesures faites par un modèle de l'oreille. La carte motrice est

composée de neurones qui prennent en entrée des mesures de l'activation des

neuronesdelacarteperceptuelle.En plus,cesneuronesontdesconnectionsde

sortie destinées àenvoyer des commandes au système de contrôle du conduit

vocal.Ils ontdesvecteurspréféréscorrespondantàcessignauxde sortie: leur

valeurreprésentelarelationentreorganes àatteindrelorsqu'ilssontactivésen

mêmetempsqu'unsignalGO estenvoyé.

Lesconnectionsentrelesdeuxcartessonttotalesetréaliséesparles

connec-tions d'entrée des neurones moteurs, qui mesurent les activités des neurones

perceptuels.Chaqueconnectionestcaractériséeparunpoids,quiainitialement

une valeuraléatoireet prochede zéro.Les vecteurspréférésdesneurones

per-ceptuels,quireprésententlamesurequi activemaximalementchaqueneurone,

sont aussi aléatoires initialement, suivant une distribution uniforme. Les

vec-teurspréférésdesneuronesmoteurs,qui représententlarelationentreorganes

Fig.7.1 Architecturedesagents

distributionuniforme.

Pourproduireunevocalisation,lemécanismeestlemêmequedanslapartie

précédente: des neuronesde la carte motrice sont activés séquentiellement et

Dans le document a gaiai de (Page 136-0)