Les performan es

L'implémentation du mé anisme de séle tion d'a tion dans CoCoA a été réalisée dans le but de pouvoir onduire des expérimentations. Bien que ette implémentation puisse être optimiséeand'améliorerlesperforman esentempsde al uldel'ASM,j'aiee tuédestests an de al uler le sur oût de son utilisation dans la plateforme de simulation CoCoA. Pour ela,j'aiutilisé Proler4Junoutilpermettant de onnaîtrelenombredefoisqu'une méthode estappeléeainsiqueletempsd'exé utiontotaletmoyende etteméthode.Proler4Jintroduit un sur oût de par leltrage qu'il ee tuean de al uler les données de prolage. Le temps de haque appeldépend également de l'ordinateur utilisé pour les tests, de ses disponibilités de al ulettaillemémoireallouéeàlaJVM,jemontrerailesperforman esdel'ASMàtravers lesur oût qu'il engendre en moyenne.

18

Bienqueles prototypesMangeuretBuveurpeuventêtreutiliséssimultanément(sansposerdeproblème de ohérentsurles paramètresdesmotivations),les utiliserenmêmetempsnepermettraitpasdemettreen éviden ele hoixdelarésolutiondubut

g2

basésurlespréféren esdel'agent.C'estpourquoijedénispouvoir onstruirejusqu'à16prolsdiérentsaulieude32

(a)Premièresimulationsurl'inuen edespro- priétés.

(b) Deuxième simulation sur l'inuen e des propriétés.

Fig.5.21Simulationssurl'inuen e despropriétés.Beau oupde butset don beau oupde plans à maintenir. Les alternatives sont ourtes en nombres d'a tions, le oût de l'ASM est assez faible.

Fig. 5.22  Simulation sur les prototypes et les prols d'individualité. L'agent a un hamp de per eption très important, le sur oût par rapport aux autres simulations est visible. Les alternatives ne ontiennent pasbeau oup d'intera tions, le oûtde l'ASM estassez faible.

Lessimulationstoys (voirlapartie5.2.2)n'ontpasétéévaluées,eneetdeparleursim- pli ité essimulationsnefourniraientpasdevaleurssigni ativesdesperforman esdel'ASM. Les simulations de l'expérimentation sur l'inuen e despropriétés (voir la partie 5.2.4) pro- posentdemaintenir douzepropriétésviadouzebuts.Enmoyenne haquebutpeutêtrerésolu pardeux iblesdiérentes. Bienquenombreuses,lesalternativessont ourtesennombred'a - tions.La satisfa tiond'unbut nené essitequ'une intera tionetlagestiondesdépla ements. De par la taille des alternatives, leurs olle tes et leurs évaluations ont un oût assez faible (voir lagure5.21).

Les simulations sur les prototypes et les prols d'individualité (voir la partie 5.2.5) sont dansunenvironnement d'unetaille plus importante quel'expérimentation surl'inuen e des propriétés. L'environnement ne possédant pas d'obsta le, le al uldes heminsest pluslong ( arilyaplusdepossibilités)maisle al ulàee tuerestbeau oupmoinsimportant(moins debuts, moinsde dépla ement à planier). Deplus, dans ette expérimentation, l'agent pos- sède un hamp de per eption lui permettant de onnaitre l'ensemble de son environnement dèsledébut. Nouspouvons onstaterle sur oût liéà laper eption danslagure5.22.

L'expérimentation présentant la ombinaisondes motivations (voir lapartie 5.2.3)se dé- rouledansunenvironnement d'unetailleplusimportantequelesdeuxpré édentes. L'agentne possède quedeuxbuts,maisilexisteplusieursfaçonsdelesrésoudre.Deplus,latailleimpor- tantede l'environnement requiert de nombreux al ulsde dépla ement (dus auxnombreuses

Fig.5.23Simulationsurla ombinaisondesmotivations.L'environnementestdeplusgrande taille que les autres expérimentations, le oût de l'ASM s'en trouve augmenté. En eet, les al uls desdistan es représentent

43, 58%

du temps total.Le temps né essaire à l'a omplis- sement en espa ereprésente

12, 1869%

du temps total delasimulation.

possibilités de dépla ement). Ces al uls de dépla ement prennent une part importante du temps de al ul total (

43, 58%

) de la simulation. L'a omplissement en espa e, basé sur une estimationdesdépla ementsàee tuer,entraineunsur oûtdansl'évaluationdesalternatives par lemé anisme deséle tion d'a tion(voirlagure 5.23).

Dans les simulations que j'ai ee tuées, nous pouvons voir que le oût de l'ASM dépend de la taille des plans (voir la gure 5.21 et la gure 5.22). En eet, plus un plan possède d'alternatives(i.e.plusilexistedefaçonsdiérentesderésoudreunbut)etpluslesalternatives ontiennentd'a tions(i.e.pluslesrésolutionssontlongues)pluslare her hedansun

Arbre −

et/ou

etl'évaluationprennentdu temps.Demême,lataillede l'environnement estégalement unfa teurpouvantaugmenterle oûtdel'utilisationdel'ASM.Eneet,sil'environnementest de taille importante, les al uls de distan e prendront beau oupde temps. Parmi es al uls de distan e, il y a les al uls de hemin né essaire à l'a omplissement en espa e (voir la gure 5.23).

Con lusion

Dans e hapitreje mesuis fo alisésurla on eptionde omportements. J'aid'abord pré- sentél'atelier de on eption qui a étémis en pla e ande permettre à l'utilisateur de on e- voirdes omportementsindépendammentdessimulations. Cetatelier,destinéàunutilisateur averti,permetde on evoir(entotalité oupartiellement)le omportementd'unagent touten exploitant les fon tionnalités oertes par lemé anismede séle tion d'a tion. Deplus j'aimis en pla eunsystèmede monitoringpermettant desuivre l'évolutiondesévaluationsdesalter- nativesde haqueagentan demettreenéviden el'inuen ede l'ASMsurle omportement. Dans le but de montrer l'importan e des diérents éléments intervenant dans le mé anisme de séle tion d'a tion, j'ai ee tué plusieurs expérimentations. La première est omposée de plusieurs petites simulations qui montrent l'inuen e de haque motivation surle omporte- ment de l'agent. La se onde a illustrél'a tion omplémentaire d'unensemble de motivations et dela ombinaisonde esmotivationssurle omportementdel'agent.Latroisièmeapermis de omprendrel'importan e despropriétés internes de l'agent dont lavaleur évoluedurant la simulation. Ladernièreamontré omment ladénitiondeprototypesetleurs utilisationsont permisd'obtenir,danslemêmeenvironnement,diérents omportementspourdesagentsqui

La n justie lesmoyens. Maisqu'est- e qui justiera la n? Albert Camus

Con lusion

Le omportement d'un agent se dénit à partir de l'observation des a tionsqu'il exé ute dansun environnement. Chaquea tion exé utéerésulted'un hoix del'agent parmises apa- ités. Le omportement se onstruit don àpartir desa tionsquel'agent peutee tuerpour résoudre ses buts et d'un hoix inuen é par ses traits de ara tère. L'une des appli ations possibles destravauxde simulation de omportements est lesjeux vidéo.La modélisationde omportementsdansles jeuxvidéoestun ritère important.Plusles omportementsdesper- sonnages dans un jeu sont variés, plus l'immersion du joueur est intense et aptivante. Une solution pour rendre les omportements plus variés est d'a roître le nombre des traits de ara tère de l'agent an d'augmenter la diversité des inuen es sur son omportement. Or, estraitsde ara tèrepeuventêtredenaturesdiérentes. Ildon estimportantdedénirune stru ture permettant à la fois de prendre ompte tous es éléments, d'autoriser l'ajout et la suppressiond'untraitde ara tèretouten gardant la ohéren e du omportement obtenu.

Ma ontribution onsiste àdénirdes omportementsqui sont omposés dedeuxparties: le raisonnement et l'individualité. Le omportement est onstruit à partir des apa ités de l'agent lui permettant de résoudre ses buts, le raisonnement, et d'un hoix inuen é par ses traits de ara tère, l'individualité. Le raisonnement utilise un plani ateur pour déduire l'ensemble des résolutions possibles des buts de l'agent à partir de ses onnaissan es et de ses apa ités. L'individualité utilise un mé anisme de séle tion d'a tion (ASM pour A tion Sele tion Me hanism) an de déterminer la meilleure a tion parmi l'ensemble des a tions exé utables. C'est sur ettedernière partie quemes re her hesse fo alisent.

Le mé anisme deséle tion d'a tion queje proposesebase surles notions d'alternative et de motivation.Une alternative est une séquen ed'a tions omposée d'unea tion exé utable, d'a tionsintermédiairesetdel'a tionpermettantderésoudreunbut.Lesalternativessontdes prévisions àmoyen termedesrésolutions possiblesdesbuts, elles sont al ulées par la partie raisonnement du omportement. Les motivations sont l'expression de traits du ara tère de l'agent qui inuen ent le hoix de l'a tion à exé uter. Leur rle est d'évaluer à haque ins-

tantlesa tionsexé utablesparl'agentenprenanten omptelesalternatives orrespondantes. Les motivations sont dénies indépendamment du ontexte d'appli ation du omportement, ellessont don réutilisablespourd'autresagentsetd'autressimulations. Ellessont également indépendantes les unes des autres, rendant le mé anisme de séle tion d'a tion robuste aux ajouts et aux suppressions de motivation. Enn, les motivations sont paramétrables an de réer des prols d'individualité. Ces prols sont l'expression de la manière dont la motiva- tion va inuen er l'individualité de l'agent. Les paramètres ont don une interprétation qui fa ilite leur utilisation. Ma proposition repose surune dénition d'individualité sans a priori sur l'environnement danslequel le omportement sera appliqué. Cettedénition seveut être réutilisable (mêmepartiellement)pour d'autresenvironnementsetd'autres agents.

Ces travaux s'ins rivent dans le adre du projet CoCoA de l'équipe SMAC de Lille. Le mé anisme de séle tion d'a tion a été implémenté et testé dans la plateforme de e projet. Cette tâ he a né essité la réation d'algorithmestels quela re her he d'alternativesdans un

Arbre − et/ou

et l'ajout de nouvelles notions omme les propriétés qui évoluent pendant la simulation. Ce mé anisme vient enri hir le plani ateur basé sur l'appro he entrée intera - tion an d'obtenir un moteur omportemental générique etune dénition du omportement réutilisabletantsurlapartieraisonnement quesurlapartie individualité.L'ASMquej'aimis en pla e dans CoCoA utilise sept motivations qui répondent aux ritères de Tyrrell dénis- sant un bon mé anisme de séle tion d'a tion. Plusieurs simulations ont été réalisées an de montrer l'importan e de haque motivation, de la ombinaison desmotivations, de la notion de propriétés évolutives et des prols d'individualité. Enn des outils de on eption et de visualisation ont également étémis en pla e.

Perspe tives

Nousavonsvudansunesimulationquelesprototypesdeprolsd'individualitépermettent de simplierla on eptiondes omportements. Lesprototypesutilisésn'avaient au unemoti- vationen ommun.Lorsquel'onveututiliserl'ensembledesprototypesparamétrantlesmêmes motivations,laquestion dela ombinaisondesparamètres sepose.Selon moi,deuxsolutions sont à explorer, à testeretà omparer. La première serait de dénir une fon tion ombinant les paramètres de diérents prols pour une même motivation. La di ulté est demaintenir la ohéren e entre les diérents prototypes et de faire des hoix. En eet, omment peut- on ombiner une inhibition etune forte attra tion? Pour une même motivation, l'inhibition est-elle toujours prioritaire? La se onde serait d'utiliser plusieurs fois une même motivation (i.e. plusieurs instan es d'une même motivation) mais ave des paramètres diérents. Cette solutionbienqu'ellesoita tuellement réalisabledansCoCoA, risquederendreplusdi ilela ompréhension desprols.

Dans [Cañ97 ℄, l'auteur prend en ompte l'état émotionnel de l'agent dans la séle tion d'a tion. Dans ette appro he, ertaines émotions inuen ent laprodu tion d'hormones, es dernièressontprisesen ompteslorsdu al uldestendan esdesmotivationsetdel'importan e desstimuli (internes etexternes). L'étatémotionnel quimodielaprodu tiond'hormones in- uen e don le omportement del'agent. Cetteinuen e est toutà faitnaturelle etdoit être prise en ompte par lemé anismedeséle tion d'a tion. Pour ela,j'envisagedeuxpistespos- sibles.La première est depouvoir modierl'impa t desmotivations, lase onde estd'ajouter

ramètresduprold'individualitédel'agent.Parexemple,lespréféren esdel'agentpourraient êtremodiéessousl'inuen ed'uneémotion,lapeur pourraitfavoriserlafuite,l'ennui favori- seraitle hangementd'alternativesendiminuantl'impa tdel'inertieetla uriositépousserait l'agentàfavoriserlesrésolutionsprésentantdesexplorations.Dansledeuxième as, ommeles motivationssontindépendantes,ilestpossibled'ajouterdenouvellesmotivationssanstou her aumé anismedeséle tiond'a tion, esmotivationsémotionnellesévalueraientlesalternatives suivant l'état émotionnel del'agent.

J'envisage également d'utiliser le mé anisme de séle tion d'a tion pour la oopération d'agents ognitifs. Je suis onvain u que des motivations peuvent permettre d'exprimer des omportementsdutypealtruismeoudeprendreen omptelaréputation d'autresagents.L'al- truisme ou empathie[CC03℄a pour objetd'exprimer de quelle manière l'agent estprédisposé à aider les autres agents. La réputation d'un agent peut être issued'é hanges so iaux pré é- dentsoù d'uneréputation so ialea ordée aux autres agents. Ainsiun agent exé utera plus volontiersdesbuts(ordres) provenant d'unagent possédant une bonne réputation. Cesmoti- vationspermettraient d'obtenirdes omportements oopératifs, autresque euxa tuellement mis en pla edansCoCoA. Pour lemoment, les omportements oopératifsd'agents ognitifs dansCoCoAné essitentl'utilisation d'unestru turehiérar hique préalablement déniepar la désignation d'un hef onnu par tous les agents subordonnés[DMR05 ℄. Or, laréputation des agentspeut-êtrevue ommeunerelationhiérar hiqueimpli ite.Ainsi,l'altruismeetlaréputa- tionpermettraient une oopérationsanspourautant avoir déniexpli itement une stru ture hiérar hiqueentrelesagents.Maispourpouvoiree tuerdes omportements oopératifsdans CoCoA,ilestné essairequ'unagentnepuissepasexé uteruneintera tionquirendralaréali- sationd'unbutd'unautreagentimpossible.C'estpourquoilanotiond'a tions mutuellement ex lusives(MUTEX)doitêtrepriseen ompteparlapartieraisonnementandelimiterlessi- tuationsdeblo age.Pour elal'utilisationd'unplani ateur ommeGraphPlan[BF95,GA00℄ peutêtre une solution.

Une autre piste serait d'utiliser un système d'allo ation de ressour es dé entralisée et mon mé anisme de séle tion d'a tion pour dénir une tâ he olle tive. L'idée est de voir une a tion faisant partie d'un plan omme une ressour e à distribuer et d'attribuer omme préféren el'évaluationde ette a tionpar l'ASM.Ainsi,lesystèmed'allo ation de ressour es dé entralisée pourrait donnerune distribution des tâ hes maximisant lebien ommun, 'est- à-diredistribuerlesalternativesàrésoudreenprenanten omptelesindividualitésdesagents. Ladistribution destâ hespourraitégalement sebasersurlesémotions etlanotionde harge ognitiveprésentée dans[PCS03 ℄.

[And03℄ Fenintsoa Andriamasinoro : Proposition d'un modèle d'agents hybrides basé sur la motivationnaturelle. Thèsede do torat,Universitéde laRéunion, 2003. [Arr51℄ K.J. Arrow : So ial hoi e andindividual values. J.Wiley,New York, 1951. [BF81℄ AvronBarr etEdward Feigenbaum: The Handbook Of Arti ial Intelligen e,

volume I, hapitre II. Pitman,1981.

[BF95℄ Avrim L. Blum et Merri k L. Furst : Fast planning through planning graph analysis. In Pro eedings of the 14th International Joint Conferen e on Arti ial Intelligen e (IJCAI 95),pages16361642, 1995.

[Blu94℄ Bru e Blumberg : A tion sele tion in hamsterdam : Lessons from ethology. In Pro eedings of 3rd International Conferen e on the simulation of Adaptative behaviour,pages 108117.MITPress, 1994.

[Bon08℄ Laetitia Bonte : IA,http://devblog.dofus. om/fr/billets/53-ia.html, 2008. [BQLC03℄ Cédri Bu he,RonanQuerre ,Pierre DeLooretPierreChevaillier:Mas-

aret :Pedagogi al multi-agents system for virtual environment for training. In InternationalConferen eon Cyberworlds(CW2003),pages423431.IEEECom- puter So iety,2003.

[Bro85℄ R.A.Brooks:Arobustlayered ontrolsystemforamobilerobot.IEEEJournal of Roboti s andAutomation, 2(1):1423, 1985.

[Bue05℄ Axel Buendia : Une ar hite ture pour la on eption de modèles dé isionnels : appli ationaux réaturesvirtuellesdanslesjeux vidéo.Thèsededo torat,Institut International duMultimédia, Paris, Novembre2005.

[Bur36℄ Albert Burloud : Prin ipes d'une psy hologie des tendan es. Librairie Félix Al an,Paris (Fran e), 1936.

[CAG07℄ LolaCañameroetOrlandoAvila-Gar ía: Abottom-upinvestigationofemo- tional modulation in ompetitive s enarios. In Ae tive Computing and Intelli- gentIntera tion(ACII),Se ondInternationalConferen e,volume4738deLe ture Notes in Computer S ien e, pages398409, Lisbon,Portugal, 2007.Springer. [Cañ97℄ DoloresCañamero:Modelingmotivationsandemotionsasabasisforintelligent

behavior. In W.Lewis Johnson, éditeur:Pro eedingsof theFirstInternational Symposium on Autonomous Agents, Agents'97, pages 148155. The ACMPress, 1997.

[CC03℄ François Charpillet etIadine Chadès : Modèlede on eption de sma oopé- ratifs par plani ation réa tive. In Andreas, Brahim Chaib-draa, Philippe

Mathieu et herzig, éditeurs : Modèles formels de l'intera tion, A tes des Se- ondes Journées Fran ophones, pages5160. Cépaduès, 2003.

[Che06℄ Pierre Chevaillier : Les systèmes multi-agents pour les environnements vir- tuels de formation. Habilitation à diriger desre her hes, Université de Bretagne O identale,Brest, 2006.

[Clo05℄ Christine Cloare : La motivation au travail : Tour d'horizon des grandes théories,2005.

[Dev07℄ DamienDevigne: Appro he entrée intera tionpourla simulationd'agents og- nitifs situés. Thèsede do torat,Université desS ien es etTe hnologies de Lille, Juillet 2007.

[DMR04℄ Damien Devigne, Philippe Mathieu et Jean-Christophe Routier : Planning for spatially situated agents. In Pro eedings of IEEE/WIC/ACM International Conferen e onIntelligentAgent Te hnology(IAT'04),pages385388.IEEEPress, 2004.

[DMR05℄ Damien Devigne, Philippe Mathieu et Jean-Christophe Routier : Teams of ognitive agentswithleader:howtolet themsomeautonomy. In GrahamKen- dall et Simon Lu as, éditeurs :Pro eedings of IEEE Symposium on Computa- tional Intelligen e Games (CIG'05),pages 256262, 2005.

[Don01℄ Jean-PaulDon kèle : Prols D'enseignants, ProlsD'enseignés.SeConnaître, Les Connaître. Chronique So iale,2001.

[dS06℄ Etienne de Sevin : An A tion Sele tion Ar hite ture for Autonomous Virtual Humans in Persistent Worlds. Thèse de do torat, E ole Polyte hnique Fédérale deLausanne, 2006.

[DZ01℄ Mark A. Depristo et Robert Zubek : Being-in-the-world. In AAAI Spring Symposium on Arti ial Intelligen e and Intera tive Entertainment, 2001. [Eva02℄ Ri hard Evans : AI Game Programming Wisdom : Varieties of Learning, vo-

lumeI, hapitre 11. Pitman, 2002.

[Fer95℄ Ja ques Ferber : Les systèmes multi-agents, vers une intelligen e olle tive. InterEditions, Paris(Fran e),1995.

[FN71℄ R.FikesetN.J.Nilsson:Strips:Anewapproa htotheappli ationoftheorem proving to problem solving. Arti ial Intelligen e, 2:189208,1971.

[GA00℄ Emmanuel Guéré etRa hid Alami : An a essibility graphlearning approa h

Dans le document Construction d'individualité par un mécanisme de sélection d'action basé sur les motivations (Page 157-169)