Jeux spaciaux Licence 3 - Introduction aux Syst`emes Complexes

Licence 3 - Introduction aux Syst`emes Complexes

S´ebastien Verel verel@i3s.unice.fr

www.i3s.unice.fr/∼verel/TEACHING/12- 13/introSC/index.html

´Equipe ScoBi - Universit´e Nice Sophia Antipolis

23 mai 2013

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Evolutionary games

Ce cours est en partie bas´e sur les travaux et le livre de Martin A. Nowak

M.A. Nowak, Evolutionary Dynamics ed. The Belknap press of Harvard University press, 2006.

Plan

1 Rappel th´eorie des jeux

2 Jeux ´evolutionnistes/´evolutionnaires

3 Jeux spatiaux

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Le probl` eme de la coop´ eration

Groupe de d´efense et fouragement

Surveillance de pr´edateur et appel d’alarme

Protection sociale

Viabilit´e globale de certains syst`emes

→ Conflit d’int´erˆet entre les performances d’un individu et d’une communaut´e

Dilemme social

Principe

Les coop´erateurssoutiennent le bien commun malgr´e un certain coˆut personnel

Les traitres tentent d’exploiter les ressources en ´evitant le coˆut de cette exploitation

D´efinition

un groupe de coop´erateurs fait mieux qu’un groupe de traitres les traitres font mieux que les coop´erateurs dans chacun des groupes (coop´erateurs ou traitre)

=⇒ Situation dedilemme social

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Dilemme des prisonniers

5 / 5 0 / 9 9 / 0 2 / 2

Defects Cooperates

D C

D C

AliceBob

Meilleur r´eponse : 5/5 est stable D / D est un ´equilibre de Nash : Ne pas changer tout seul

D / D est une strat´egie dominante : Ne pas changer quelque soit les autres

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Dilemme des prisonniers

5 / 5 0 / 9 9 / 0 2 / 2

Defects Cooperates

D C

D C

AliceBob

D / D est un ´equilibre de Nash : Ne pas changer tout seul

D / D est une strat´egie dominante : Ne pas changer quelque soit les autres

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Dilemme des prisonniers

5 / 5 0 / 9 9 / 0 2 / 2

Defects Cooperates

D C

D C

AliceBob

Meilleur r´eponse : 5/5 est stable D / D est un ´equilibre de Nash : Ne pas changer tout seul

D / D est une strat´egie dominante : Ne pas changer quelque soit les autres

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Dilemme des prisonniers

5 / 5 0 / 9 9 / 0 2 / 2

Defects Cooperates

D C

D C

AliceBob

D / D est un ´equilibre de Nash : Ne pas changer tout seul

D / D est une strat´egie dominante : Ne pas changer quelque soit les autres

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Dilemme des prisonniers

5 / 5 0 / 9 9 / 0 2 / 2

Defects Cooperates

D C

D C

AliceBob

Meilleur r´eponse : 5/5 est stable

D / D est un ´equilibre de Nash : Ne pas changer tout seul

D / D est une strat´egie dominante : Ne pas changer quelque soit les autres

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Dilemme des prisonniers

5 / 5 0 / 9 9 / 0 2 / 2

Defects Cooperates

D C

D C

AliceBob

Meilleur r´eponse : 5/5 est stable D / D est un ´equilibre de Nash : Ne pas changer tout seul

Ne pas changer quelque soit les autres

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Dilemme des prisonniers

5 / 5 0 / 9 9 / 0 2 / 2

Defects Cooperates

D C

D C

AliceBob

Meilleur r´eponse : 5/5 est stable D / D est un ´equilibre de Nash : Ne pas changer tout seul

D / D est une strat´egie dominante :

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Equilibre de Nash

Plusieurs strat´egies possibles :s_i ∈S_i Plusieurs joueurs :i ∈ {1, . . . ,n}

Coˆut (ou gain) pour le joueur i :ui(s1, . . . ,sn)

∀t_i

u_i(s₁, . . . ,s_i−1,s_i,s_i+1, . . . ,s_n)≤u_i(s₁, . . . ,si−1,t_i,s_i+1, . . . ,s_n) Strat´egie dominante

∀t₁. . .t_n

u_i(t₁, . . . ,ti−1,s_i,t_i+1, . . . ,t_n)≤u_i(t₁, . . . ,ti−1,t_i,t_i+1, . . . ,t_n)

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Equilibre de Nash

Plusieurs strat´egies possibles :s_i ∈S_i Plusieurs joueurs :i ∈ {1, . . . ,n}

Coˆut (ou gain) pour le joueur i :ui(s1, . . . ,sn) Equilibre de Nash

∀t_i

u_i(s₁, . . . ,s_i−1,s_i,s_i+1, . . . ,s_n)≤u_i(s₁, . . . ,si−1,t_i,s_i+1, . . . ,s_n)

Strat´egie dominante

∀t₁. . .t_n

u_i(t₁, . . . ,ti−1,s_i,t_i+1, . . . ,t_n)≤u_i(t₁, . . . ,ti−1,t_i,t_i+1, . . . ,t_n)

Equilibre de Nash

Plusieurs strat´egies possibles :s_i ∈S_i Plusieurs joueurs :i ∈ {1, . . . ,n}

Coˆut (ou gain) pour le joueur i :ui(s1, . . . ,sn) Equilibre de Nash

∀t_i

u_i(s₁, . . . ,s_i−1,s_i,s_i+1, . . . ,s_n)≤u_i(s₁, . . . ,si−1,t_i,s_i+1, . . . ,s_n) Strat´egie dominante

∀t₁. . .t_n

u_i(t₁, . . . ,ti−1,s_i,t_i+1, . . . ,t_n)≤u_i(t₁, . . . ,ti−1,t_i,t_i+1, . . . ,t_n)

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Dilemme des prisonniers

5 / 5 0 / 9 9 / 0 2 / 2

Defects Cooperates

D C

D C

AliceBob

Equilibre de Nash n’est pas toujours optimal

Dilemme des prisonniers it´ er´ e

5 / 5 0 / 9 9 / 0 2 / 2

Defects Cooperates

D C

D C

AliceBob

D / D : Equilibre de Nash

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Le probl` eme de la coop´ eration

Groupe de d´efense et fouragement

Surveillance de pr´edateur et appel d’alarme

Protection sociale

Viabilit´e globale de certains syst`emes

→ Conflit d’int´erˆet entre les performances d’un individu et d’une communaut´e

Dilemme des prisonniers it´ er´ e

Comp´etition

5 / 5 0 / 9 9 / 0 2 / 2

Defects Cooperates

D C

D C

AliceBob

Gagnant : oeil pour oeil et dent pour dent (tit-for-tat) Mieux : oeil pour oeil et dent pour dent avec pardon (x% de Coop´erer)

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Dilemme des prisonniers it´ er´ e

Capacit´e cognitive limit´ee⇒ Coop´eration

Punition pousse `a la Coop´eration

Connaitre la fin pousse `a tricher (prisons, cartons, etc.)

Ecrire l’automate de tit-for-tat Quelles sont les propri´et´es de l’automate ?

Dilemme des prisonniers it´ er´ e

Capacit´e cognitive limit´ee⇒ Coop´eration

Punition pousse `a la Coop´eration

Connaitre la fin pousse `a tricher (prisons, cartons, etc.)

Ecrire l’automate de tit-for-tat Quelles sont les propri´et´es de l’automate ?

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Dilemme des prisonniers

1 / -1 -1 / 1 -1 / 1 1 / -1

Face Pile

F P

F P

AliceBob

Pas d’´equilibre de Nash pure

Strat´egie mixte (0.5,0.5) est un ´equilibre de Nash

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Dilemme des prisonniers

1 / -1 -1 / 1 -1 / 1 1 / -1

Face Pile

F P

F P

AliceBob

Strat´egie mixte (0.5,0.5) est un ´equilibre de Nash

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Dilemme des prisonniers

1 / -1 -1 / 1 -1 / 1 1 / -1

Face Pile

F P

F P

AliceBob

Pas d’´equilibre de Nash pure

Strat´egie mixte (0.5,0.5) est un ´equilibre de Nash

Equilibre de Nash

Strat´egies mixtes :

Joueur plusieurs strat´egies de mani`ere stochastique ex : 0.2 strat´egieA et 0.8 strat´egieB

Th´eor`eme

Pour tout jeux, il existe au moins un ´equilibre de Nash

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Jeux, jeux it´ er´ es, ´ equilibre de Nash

Lorsque les joueurs jouent un ´equilibre de Nash, ils n’ont pas int´erˆet `a changer de strat´egie.

Comment d´ecider d’un changement de strat´egie ? S’appuyer sur une hypoth`ese de rationnalit´e ?

Consid´erations psychologiques (pardon, oublie, etc.) ?

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Jeux, jeux it´ er´ es, ´ equilibre de Nash

Lorsque les joueurs jouent un ´equilibre de Nash, ils n’ont pas int´erˆet `a changer de strat´egie.

Comment d´ecider d’un changement de strat´egie ?

Consid´erations psychologiques (pardon, oublie, etc.) ?

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Jeux, jeux it´ er´ es, ´ equilibre de Nash

Lorsque les joueurs jouent un ´equilibre de Nash, ils n’ont pas int´erˆet `a changer de strat´egie.

Comment d´ecider d’un changement de strat´egie ? S’appuyer sur une hypoth`ese de rationnalit´e ?

Consid´erations psychologiques (pardon, oublie, etc.) ?

Jeux ´ evolutionnistes/´ evolutionnaires

Premiers principes

1 Population de joueurs

2 Chaque joueur adopte l’une des 2 strat´egies possibles{ A,B }

3 Les joueurs ne changent pas de strat´egie

4 Les joueurs disparaissent (meurent) au profit de ceux qui ont les meilleurs performances qui se reproduisent

Remarques

Pas de consid´eration psychologique sur le changement de strat´egie Pas d’hypoth`ese de rationnalit´e

(connaissance parfaite environnement et d´ecision gain optimale)

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Reproduction : Equation g´ en´ erale en temps discr´ etis´ e

Evolution des moyennes

x_t : nombre moyen d’individus au temps t xt+1 : nombre moyen d’individus au temps t+ 1

x_t+1 = (1 +r)x_t avecr ∈[0,+∞[

Solution : croissance exponentielle

xt = (1 +r)^tx0 avecr ≥0

Disparition : Cellules meurt

t=0 t=1 t=2 t=3 t=4

d ≈0.5

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Disparition : individus mortels

Taux de mortalit´e d : disparition ded.xt individus Mod´elisation en temps discr`et : suite

x_t+1=x_t+rx_t−dx_t

xt+1 = (1 +r−d)xt

Dynamiques possibles

si r >d : la taille de la population augmente ind´efiniment si r <d : la population s’´eteint

Si r =d : la taille de la population reste constante, mais la situation est instable.

une petite variation provoque l’expansion ou la disparition

Disparition : individus mortels

Taux de mortalit´e d : disparition ded.xt individus Mod´elisation en temps discr`et : suite

x_t+1=x_t+rx_t−dx_t

xt+1 = (1 +r−d)xt

Dynamiques possibles

si r >d : la taille de la population augmente ind´efiniment si r <d : la population s’´eteint

Si r =d : la taille de la population reste constante, mais la situation est instable.

une petite variation provoque l’expansion ou la disparition

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Reproduction / Disparition : mod´ elisation stochastique

Mod´elisation d´eterministevs. stochastique

Mod`ele d´eterministe : pas de variable al´eatoire, relation fonctionnelle entre les variables

La variabilit´e n’est pas mod´elis´ee (valeurs moyennes, grande population, etc.), crainte des cons´equences des ´ev´enements rares Mod`ele stochastique : variable(s) al´eatoires(s)

Distribution de valeurs au lieu d’une valeur unique

Bien s`ur un mixte est possible selon les situations...

Population de taille finie

La reproduction suit une loi de Bernouilli de param`etre r <1 (au plus un enfant par g´en´eration)

La disparition suit une loi de Bernouilli de param`etre d <1

Jeux ´ evolutionnistes / ´ evolutionnaires

Principes

1 Population de joueurs

2 Chaque joueur adopte l’une des 2 strat´egies possibles{ A,B } 3 Les joueurs ne changent pas de strat´egie

4 Les joueurs disparaissent (meurent) au profit de ceux qui ont les meilleurs performances qui se reproduisent

5 Variation taille des populations est proportionnelle `a : la taille de la population

la performance de la strat´egie (fitness)

6 Performance de la strat´egie (fitness) d´epend de la taille des 2 sous-populations de joueurs

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Reproduction

Sans disparition

5 Variation de la taille des populations est proportionnelle `a : la taille de la population

la performance de la strat´egie (fitness)

Equation reproduction sans disparition x_A,t+1= (1 +f_A)x_A,t x_B,t+1 = (1 +f_B)x_B,t Avec :

x_A,t etx_B,t taille de la population Aet B resp. au tempst fA et fB fitness de la population Aet B resp. au tempst

Disparation

Taux de mortalit´e d identique dans chaque sous-population

x_A,t+1 = (1 +f_A−d)x_A,t x_B,t+1= (1 +f_B −d)x_B,t Ressources limit´eesne peuvent nourrir qu’au plus un mˆeme nombre d’individus : Pression de s´election Taille de population constante :

∀t x_A,t+x_B,t= 1 d =x_A,tf_A+x_B,tf_B

(couplage des ´equations) f_A = 2 etf_B = 1

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Evolution sous s´ election constante

Les fitness sont constantes :

f_A=F_A etf_B =F_B En posant :

xA,t =xt et xB,t = 1−xt

On en d´eduit par substitution :

xt+1−xt= (fA−fB)(1−xt)xt

Equation non lin´eaire avec 2 ´etats stables : x=1 x=0

tout B tout A

fa > fb

Jeux ´ evolutionnistes : s´ election non constante

6 Performance de la strat´egie (fitness) d´epend de la taille des 2 sous-populations de joueurs

fitness A > fitness B fitness A < fitness B

La fitness d´epend de la composition de la population, de la taille de chaque sous-population

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Jeux ` a 2 joueurs

Les fitness d´ependent de x_A et x_B :

f_A =f_A(x_A,x_B) etf_B =f_B(x_A,x_B)

x_A,t+1= (1 +f_A(x_A,x_B)−d)x_A,t x_B,t+1 = (1 +f_B(x_A,x_B)−d)x_B,t

Comment d´efinir les fonctions de gain (fitness) f_A etf_B?

Jeux ` a 2 joueurs

A B

A a b

B c d

A gagne le gaina lorsqu’il joue contre A

A gagne le gainb lorsqu’il joue contre B

B gagne le gainc lorsqu’il joue contre A

B gagne le gaind lorsqu’il joue contre B

Rencontre al´eatoire des joueurs.

Chaque joueur rencontre : Aavec une probabilit´ex_A B avec une probabilit´e xB

fitness = esp´erance du gain f_A =ax_A+bx_B f_B =cx_A+dx_B

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Evolutionarily Stable Strategy (ESS) - J. Maynard Smith

Imaginons une large population de joueurs A.

Un mutant de type B est introduit dans la population.

Quelle condition interdit l’invasion de A par B ? posonsx_B =

f_A >f_B donne a(1−) +b >c(1−) +d en n´egligeant les termes en (quand on peut) :

a>c, oua=c etb >d Evolutionarily Stable Strategy

A est un ESS ssi soita>c, soita=c et b>d.

⇒ ⇒ ⇒

5 Dynamiques possibles

A domine B, si a>c etb >d A B

B domine A, si a<c etb <d A B

A et B sont bi-stable, si a>c etb <d

B A

A et B co-existent, si a<c et b >d

B A

A et B sont neutres, si a=c etb =d A B

Equilibre stable de B Equilibre stable de A

Co existence stable de A et B Equilibre unstable de A Equilibre unstable de B co existence unstable de A et B Sens de l’évolution

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Pause historique et bibliographique

Th´eorie des jeux invent´ee par John Von Neumann et Oskar Morgenstein (1944)

John Nash ”This man is genius” : prix Nobel en 1950,

´

equilibre de Nash

Domaine scientifique : John Maynard Smith, Price (1973), application `a la biologie et l’´evolution des populations J.M. Smith : evolutionarily Stable Strategy

essor dans les ann´ees 1990 et 2000

Hofbauer et Sigmund : ”Evolutionary Game and population dynamics”. Cambridge : Cambridge university Press, 1998.

La th´eorie des jeux ne repose pas sur la rationalit´e. Population de joueurs de strat´egie fixe. Interaction al´eatoire. Le gain est

Faucon ou Colombe ? - J. Maynard Smith

2 esp`eces :

H : Faucons qui font monter le combat

D : Colombes qui se retirent toujours d’un combat Gains :

b : gain d’avoir gagn´e un combat

c : cout de la perte

H D

H ^b−c₂ b

D 0 ^b₂

Gains :

un faucon face `a une colombe gagne b contre 0 lorsque 2 animaux de la mˆeme esp`ece se rencontrent, il partage le paiement.

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Faucon ou Colombe ?

H D

H ^b−c₂ b

D 0 ^b₂

Si b<c (gain combat<cout perte) :

Pas d’´equilibre de Nash Co-existence des esp`eces : proportion de faucons ^b_c

B A

Jeux de la poule mouill´ ee

2 voitures roulent face `a face `a grande vitesse, le perdant est celui qui sort en premier de sa voiture

2 strat´egies :

A : on reste dedans B : on saute apr`es un certain temps

Gains et perte :

−c : perte due `a la collision b : gain si gagnant

A B

A −c b

B 0 ^b₂

pas d’´equilibre de Nash Co-existence des strat´egies

B A

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Dilemme des prisonniers

Deux prisonniers se font prendre, ils sont interrog´es s´epar´ement.

2 strat´egies :

Soit il d´enonce son camarade (d´efection D) Soit il coop`ere et reste silencieux (coop´eration C)

traduction en ann´ees de prison :

C D

C -1 -10

D 0 -7

Que faire ? ? ? ?

Dilemme des prisonniers

traduction en gain :

C D

C 3 0

D 5 1

Dynamique d’´evolution vers traitrise

A B

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Dilemme des prisonniers

C D

C R S

D T P

T >R P >S R >P

Et mˆeme :R >(T +P)/2 : pour garantir que

l’alternance est moins bonne que la coop´eration

D´efection est un ´equilibre de Nash

La coop´eration mutuelle est plus avantageuse que la d´efection

Pas de coop´eration avec une dynamique ´evolutionniste

Dilemme des prisonniers it´ er´ e : r´ eciprocit´ e directe

Le jeux est r´ep´et´e m fois.

2 strat´egies :

GRIM : coop`ere la premi`ere fois jusqu’`a la premi`ere traitrise adversaire

ALLD : toujours la d´efection

GRIM ALLD

GRIM mR S+ (m−1)P

ALLD T + (m−1)P mP

si mR>T + (m−1)P, GRIM est un ´equilibre de Nash : la coop´eration se maintient

m> T −P R−P

ALLD est aussi un ´equilibre de Nash :

GRIM n’explique pas l’apparition de la coop´eration

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Oeil pour oeil : tit-for-tat

Tournoi d’Axelrod

strat´egie tit-for-tat :

TFT : coop´eration, puis reproduit la strat´egie de l’adversaire

Tournoi gagn´e face `a des strat´egies inconnues TFT ne reste pas bloqu´e dans la traitrise

TFT ALLD

TFT mR S+ (m−1)P

ALLD T + (m−1)P mP

D´ efinition

La population de joueurs est dispos´ee sur une grille A chaque partie, chaque joueur joue avec ses 9 voisins

Le paiement total est calcul´e les joueurs adoptent la strat´egie du joueur voisin avec le plus grand gain s’il est sup´erieur au sien

3a+5b 4c+4d

2c+6d 4a+4b 7a+1b

1c+7d

4c+4d 2c+6d 4a+4b

A B

A a b

B c d

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Un cas simple

C D C 1 0 D b

b >1 : C n’est pas un

´

equilibre de Nash proche de 0 : pour d´epartager les cas d’´egalit´e

2b+6e 4b+4e

2b+6e

4b+4e 3 4

7 4

b+7e

Les traitres envahissent les coop´ erateurs

Croissance D

7 8

8b

5b 3b 0

7 6 5

8

8 5

7 7

4b 5b

Trouvez les conditions sur chaque transition.

Rappel th´eorie des jeux Jeux ´evolutionnistes/´evolutionnaires Jeux spatiaux

Les coop´ erateurs envahissent les traitres

b

8

5 3

3b 2b

Condition : coin-et-ligne

5 7

5b 0 3b

8 6