= ∞. La marche est donc récurrente nulle : elle revient infiniment souvent en 0 mais l’espérance du temps de retour est infinie.
4.3 Mesures invariantes
Le théorème 3.10 sur les mesures invariantes dans le cas des espaces d’états finis se généralise aux chaînes récurrentes positives sur des espaces d’états dénombrables. Théorème 4.6. Pour toute chaîne de Markov irréductible sur un espace d’états E dénombrable, les deux assertions suivantes sont équivalentes :
(i) La chaîne est récurrente positive.
(ii) Il existe une mesure de probabilité invariante.
De plus s’il existe une mesure de probabilité invariante alors elle est unique et est donnée par
∀x∈E, π(x) = 1
Ex(Tx+) >0.
Pour une chaîne de Markov irréductible et récurrente nulle, on peut montrer qu’il existe toujours une mesure invariante (voir par exemple [13]), cependant celle-ci ne peut pas être normalisée en une mesure de probabilité. Ainsi, la mesure π(x) = 1 est inva-riante pour la marche aléatoire dans Zd (que la chaîne soit récurrente nulle ou transi-toire). Certaines chaînes de Markov irréductibles et transitoires peuvent ne pas admettre de mesures invariantes.
Démonstration?. L’implication (i) donne (ii) est une conséquence directe de la preuve du théorème 3.10 dans le cas des espaces d’états finis.
Considérons maintenant l’implication inverse et supposons que (ii) soit vérifiée. La preuve se décompose en trois étapes.
Étape 1.Montrons que tous les états sont récurrents.
La chaîne étant irréductible, les états sont tous transitoires ou tous récurrents. Suppo-sons qu’ils soient tous transitoires alors pour tousxetydeE
lim n→∞P
4.3. MESURES INVARIANTES 59 car le nombre de visites enyest fini
Ex(Ny) =
∑
n>0
Pn(x,y)<∞.
S’il existe une mesure de probabilité invarianteπ, elle vérifie pour tout tempsnles rela-tions
∀y∈ E, π(y) =
∑
x∈E
π(x)Pn(x,y).
Comme ∑x∈Eπ(x) = 1, on en déduit (par exemple en utilisant le théorème de conver-gence dominée) que
∀y∈ E, π(y) = lim n→∞
∑
x∈E π(x)Pn(x,y) =∑
x∈E π(x) lim n→∞P n(x,y) =0.Ce qui contredit l’existence de la mesureπ. Par conséquent, la chaîne de Markov doit être récurrente.
Étape 2.Montrons que la chaîne est récurrente positive.
Soitxun état de référence fixé. Comme dans le théorème 3.10 pour les espaces d’états finis, nous allons montrer que la mesure définie par les excursions issues dex
∀y ∈E, π˜(y) =
∑
n>0
PxXn =y, Tx+>n (4.4) est invariante. Nous n’avons pas encore établi que la chaîne est récurrente positive, par conséquent il faut vérifier que la mesure ˜π est bien définie. Par l’hypothèse (ii), il existe
πune mesure invariante qui vérifie
π(y) =
∑
z1∈E
π(z1)P(z1,y) =π(x)P(x,y) +
∑
z16=x
π(z1)P(z1,y). En appliquant la propriété d’invariance aux étatsz16=x
π(y) =π(x)P(x,y) +
∑
z16=x∑
z2∈E π(z2)P(z2,z1)P(z1,y) =π(x)P(x,y) +∑
z16=x π(x)P(x,z1)P(z1,y) +∑
z16=x∑
z26=x π(z2)P(z2,z1)P(z1,y). On itère`fois cette procédureπ(y) =π(x) P(x,y) + `−1
∑
k=1∑
z16=x,z26=x, ...zk6=x P(x,zk). . .P(z1,y) +∑
z16=x,z26=x, ...z`6=x π(z`)P(z`,z`−1). . .P(z1,y) >π(x) `−1∑
n=1 PxXn=y,Tx+ >n60 CHAPITRE 4. ESPACES D’ÉTATS DÉNOMBRABLES où la dernière inégalité a été obtenue en identifiant le terme entre crochets par l’espérance du nombre de passages en yavant de revenir enx et en négligeant le second terme qui est positif. Quand`tend vers l’infini, ceci implique que pour toutydeE
π(y)>π(x)π˜(y). (4.5) La chaîne étant irréductible, la mesureπest strictement positive pour toutx(cf. théorème 3.7). La mesure ˜πest donc bien définie et
Ex Tx+ =
∑
y∈E ˜ π(y)6 1 π(x)∑
y∈E π(y)<∞.L’étatxest donc récurrent positif. En répétant la preuve pour d’autres états de référence, on en déduit que tous les états deEsont récurrents positifs, i.e. que la chaîne de Markov est récurrente positive.
Étape 3.Représentation de la mesure invariante.
Un calcul identique à celui du théorème 3.10 montre que ˜π(définie en (4.4)) est une mesure invariante. On rappelle que x est l’état de référence pour construire ˜π et que
˜
π(x) =1. Supposons queπ(x) =1 (quitte à multiplier tous les coefficients par le facteur 1/π(x)) alors l’argument utilisé au théorème 3.7 permet de conclure à l’unicitéπ=π˜. En effet la mesureν={π(y)−π˜(y)}y∈Ea tous ses termes positifs ou nuls d’après l’inégalité (4.5). De plusνest invariante carπet ˜πle sont. Commeνatteint son minimum enxcar
ν(x) = π(x)−π˜(x) = 0, il suffit de suivre la preuve du théorème 3.7 pour montrer
π = π˜. On a donc identifié l’unique mesure invariante telle queπ(x) = 1. Pour obtenir une mesure de probabilité, il suffit maintenant de la normaliser et on retrouve
∀x∈ E, π(x) = 1 Ex(Tx+).
Corollaire 4.7. Les états d’une chaîne de Markov irréductible et récurrente sont tous récurrents positifs ou tous récurrents nuls.
Démonstration. S’il existe un état récurrent positif, on peut construire une mesure de pro-babilité invariante (4.4) et on en déduit par le théorème 4.6 que tous les états sont récur-rents positifs.
Leprocessus de naissance et de mortest un exemple classique de chaîne de Markov à valeurs dans N. Au temps n, on note Xn le nombre d’individus dans une population ou de clients dans une file d’attente et on suppose que ce processus évolue comme une chaîne de Markov de matrice de transition
P(x,x+1) = p, P(0, 0) =1−p et P(x,x−1) =1−p six>1.
Le processus de naissance et de mort s’interprète comme une marche aléatoire sur N réfléchie quand elle touche 0. Si p < 1/2 la chaîne de Markov aura tendance à revenir vers 0. Quel que soit l’état de initial, on s’attend donc à ce que la chaîne atteigne un régime stationnaire décrit par une mesure invariante localisée autour de 0. Sip >1/2 la chaîne de Markov va croître en moyenne et elle va diverger vers l’infini.
4.3. MESURES INVARIANTES 61 Théorème 4.8. On distingue deux comportements :
— Si p61/2, la chaîne est récurrente. — Si p>1/2, la chaîne est transitoire.
Les mesures invariantes de cette chaîne de Markov sont de la forme
∀x>1, π(x) =π(0)
p 1−p
x
et elle est récurrente positive si et seulement si p<1/2.
Démonstration. Tant que la chaîne n’a pas touché 0, elle se comporte comme une marche aléatoire sur Z avec probabilités de transition (p, 1−p). On peut donc reprendre les notations et l’argument de la preuve du théorème 4.5 pour obtenir
U(1, 0,s) =E1 sT0+ 1{T+ 0 <∞} = 1−p 1−4p(1−p)s2 2ps .
Au point 0, les nouvelles probabilités de transition s’appliquent U(0, 0,s) =s (1−p) +pU(1, 0,s) = s(1−p) + 1−p 1−4p(1−p)s2 2 . Finalement, on obtient P0(T0+ <∞) =U(0, 0, 1) = (1−p) + 1−p 1−4p(1−p) 2 = (1−p) + 1 2− |12−p|. Ceci conclut la première partie du théorème
P0(T0+ <∞) = (
1, si p61/2 2−2p, si p >1/2 Une mesure invarianteπsatisfait les relations
∀x>1, π(x) =pπ(x−1) + (1−p)π(x+1) et π(0) = (1−p)π(0) + (1−p)π(1) qui se réécriventπ(1) =1−ppπ(0)et ∀i>1, π(x+1)−π(x) = p 1−p π(x)−π(x−1) = p 1−p x π(1)−π(0) . La famille des mesures invariantes est donc indexée par un paramètreπ(0)
∀x>1, π(x) =π(0) p 1−p x .
Ces mesures ne peuvent être normalisées que pour p < 1/2 et dans ce cas la chaîne de Markov est récurrente positive. On remarque que la chaîne de Markov est réversible pour ces mesures invariantes
62 CHAPITRE 4. ESPACES D’ÉTATS DÉNOMBRABLES Exercice 4.9. Montrer qu’un processus de naissance et de mort de matrice de transition générale
P(x,x+1) = px >0, P(0, 0) =1−p0 et P(x,x−1) =1−px si x>1 admet une mesure de probabilité invariante si et seulement si
∑
n>1 n∏
x=1 px−1 1−px <∞.4.4 Application : processus de branchement et graphes aléatoires
Les processus de branchement ont de nombreuses applications allant de la démo-graphie, aux arbres phylogénétiques en passant par la fission nucléaire. Nous allons dé-crire un exemple de processus de branchement, les arbres aléatoires de Galton-Watson, et montrer comment ces arbres permettent d’étudier des graphes aléatoires.4.4.1 Arbres aléatoires de Galton-Watson
Les processus de branchement que nous allons considérer modélisent le nombre d’in-dividus au cours du temps d’une population en fonction de règles de reproduction. Le modèle à été proposé par Sir Francis Galton en 1873 pour décrire l’évolution des noms de famille en Angleterre. À l’époque les noms de famille étant transmis exclusivement par les hommes, il suffisait de suivre le nombre de descendants masculins dans chaque famille. Cette hypothèse permet de considérer un seul type d’individus et de supposer qu’à chaque génération les individus se reproduisent selon la même loi de probabilité. On s’intéressera à la taille de la population à chaque génération. Ce modèle peut aussi décrire la fission des neutrons dans une réaction nucléaire. Si cette fission s’opère trop ra-pidement cela peut conduire à une explosion. La mutation de gènes dans une population peut être modélisée par ces processus de branchement. D’autres applications des proces-sus de branchement en écologie et dans les modèles d’évolution sont détaillées dans le coursModèles aléatoires en écologie et évolution[22].
Lesarbres aléatoires de Galton-Watsonsont des processus de branchement définis par récurrence. On se donne une loiν ={pk}k>0surN. On considère une suite (à 2 indices) de variables aléatoires indépendantes et identiquement distribuées{ζti}i>1,t>1de loiν
∀k>0, P(ζti =k) = pk.
On notera le nombre d’individus au tempstparZt. Au tempst =0, on poseZ0 =1. Au temps t = 1, cet individu a Z1 = ζ11 enfants. Chaque enfant a lui même un nombre de descendants selon la loiν. On définit ainsi par récurrence
Zt+1 = (
ζt1+1+· · ·+ζtZ+1
t , si Zt>0
0, si Zt=0 (4.6)
S’il n’y a plus de descendants à partir d’un tempst alors la population restera éteinte à jamais.