Modèles aléatoires en Ecologie et Evolution

Sylvie Méléard

1. sylvie.meleard@polytechnique.edu

Sylvie Méléard

Ecole Polytechnique

MODELES ALEATOIRES EN ECOLOGIE ET EVOLUTION

Table des matières

3

Chapitre 1 Introduction

After years, I have deeply regretted that I did not proceed far enough at least to understand something of the great leading principles of mathematics : for men thus endowed seem to have an extra-sense. (Darwin, Autobiography).

5

1.1 Introduction du cours

People who have mathematical computation and statistical skills, and establish a colla- boration and work on real biological problems, have the chance of doing some very, very significant things for human welfare. (Jaroslav Stark, Imperial College -Science, 2004) La biologie va d’études très microscopiques, comme la recherche de séquences sur un brin d’ADN, l’étude des échanges moléculaires dans une cellule, l’évolution de tumeurs cancé- reuses, l’invasion de parasites dans une cellule, à des problèmes beaucoup plus macrosco- piques concernant des comportements de grands groupes d’individus et leurs interactions (extinction de populations, équilibre des éco-systèmes, invasion d’une population par une autre, équilibre proies-prédateurs, meta-populations), ou des problèmes de génétique de populations (recherche d’ancêtres communs à plusieurs individus dans une espèce, phylo- génies). A tous les niveaux, l’aléatoire intervient, et certains modèles peuvent aussi bien servir à décrire des problèmes de biologie posés au niveau d’individus microscopiques que de populations macroscopiques.

Le but de ce livre est de montrer l’importance des modèles aléatoires dans la compré- hension de la biologie des populations : déplacement de cellules, croissance des bacté- ries, développement d’une population, réplication de l’ADN, évolution des espèces. L’idée de base est la suivante : même si la population semble présenter un certain nombre de caractéristiques déterministes, elle est composée d’individus dont le comportement est fondamentalement aléatoire et soumis à une grande variabilité. Ainsi, chaque individu se déplace dans une direction différente, chaque bactérie a son propre mécanisme de division cellulaire, chaque réplication de l’ADN peut engendrer une mutation. Cette variabilité in- dividuelle est une idée fondamentale de la biologie évolutive et en particulier de Darwin.

Pour pouvoir décrire et comprendre comment la population évolue au cours du temps, il faut prendre en compte le comportement de chaque individu. La démarche du probabi- liste consiste à déduire du comportement de l’individu ou de la cellule ou de la bactérie, des résultats concernant toute la population. Cela permet ainsi, à partir d’une descrip- tion microscopique précise d’en déduire des comportements macroscopiques de manière rigoureuse, qu’ils soient déterministes ou aléatoires.

Ce cours va consister à étudier la dynamique de certaines populations au cours du temps.

L’hypothèse fondamentale des modèles introduits est que la population a un comporte- mentmarkovien : son comportement aléatoire dans le futur ne dépendra de son passé que par l’information que donne son état présent. Cette hypothèse est largement admise par les biologistes, même si c’est une approximation de la réalité.

La population est décrite par un processus stochastique qui décrit l’évolution aléatoire de chaque individu au cours du temps. Le temps peut être discret (n ∈ N). Il pourra par exemple décrire la succession des différentes générations ou des reproductions périodiques, saisonnières ou annuelles. Les outils probabilistes de base seront alors les chaînes de Mar- kov à temps discret. Trois modèles classiques illustreront ce propos : les marches aléatoires

pour décrire les déplacements spatiaux d’un individu, les processus de Bienaymé-Galton- Watson qui décrivent la dynamique d’une population, le modèle de Wright-Fisher qui décrit une généalogie. Mais le temps peut aussi être le temps physique, un temps t∈R+

qui évolue continûment. Nous serons alors amenés à considérer des processus en temps continu, à savoir des familles de variables aléatoires indexées par le temps continu. Les processus décrivant les comportements individuels seront alors, soit des processus conti- nus du temps modélisant par exemple le mouvement spatial et desordonné de petits organismes, dont le prototype est le mouvement brownien, soit des processus discontinus décrivant les naissances et morts d’individus, tels le processus de Poisson ou les processus de branchement ou de naissance et mort en temps continu, que nous étudierons en détail.

Nous développerons en particulier les outils du calcul stochastique et la notion d’équation différentielle stochastique.

Quand la taille de la population est très grande, il devient difficile de décrire le com- portement microscopique de la population, en prenant en compte chaque naissance ou mort d’individu. Nous changerons alors d’échelle de taille de la population et d’échelle de temps, pour nous ramener à des approximations plus facilement manipulables ma- thématiquement, sur lesquelles nous pourrons développer résultats théoriques et calculs.

Dans certaines échelles, nous obtiendrons des approximations déterministes, qui ont été historiquement les premières introduites pour décrire les dynamiques de population. Dans d’autres échelles nous obtiendrons des approximations aléatoires définies comme solutions de certaines équations différentielles stochastiques appelées équations de Feller dans le cas de la dynamique des populations ou équations de Wright-Fisher dans le cas de la géné- tique des populations. Des calculs sur ces processus permettront d’en déduire un certain nombre d’informations sur le comportement des populations. Nous définirons également, à partir du modèle de Wright-Fisher, le coalescent de Kingman, qui est devenu, dans ces dernières années, fondamental pour la modélisation des généalogies, en génétique des populations.

Le cours sera développé autour de trois types de modèles fondamentaux qui seront liés à trois problématiques différentes concernant les populations : les déplacements spatiaux, la dynamique des populations, la génétique des populations.

1.2 Importance de la modélisation

Notre but est d’essayer de comprendre, en utilisant un modèle mathématique, l’évolution temporelle, ou “dynamique”, d’un phénomène biologique. Pour pouvoir mettre en évidence ce phénomène, nous serons obligés de simplifier le système biologique pour obtenir un modèle plus facile à étudier mathématiquement. Une difficulté de cette démarche est donc d’obtenir un bon compromis entre le réalisme biologique du modèle et la faisabilité des calculs.

L’existence d’un modèle mathématique permet de pouvoir quantifier numériquement cer- tains phénomènes et de pouvoir prédire certains comportements : par exemple, montrer

qu’une certaine population va s’éteindre et calculer l’espérance du temps d’extinction ou savoir comment elle va envahir l’espace.

Evidemment, Il est important de se poser la question de la justification du modèle. Une étape ultérieure, dans le cas où il est possible d’obtenir des données observées pour le phénomène qui nous intéresse, est de construire des tests statistiques, qui permettront, ou non, de valider le modèle. Nous n’aborderons pas cette question dans cet ouvrage.

L’intérêt d’un modèle réside dans son “universalité”. Par exemple, nous verrons que des problèmes biologiques très différents (par exemple par les échelles de taille : gènes - cellules - bactéries - individus - colonies) peuvent avoir des comportements aléatoires de même type et être étudiés par des modèles analogues.

Typiquement, introduisons le modèle de naissance et mort le plus simple. Nous définissons X_n= taille de la population à la génération (ou instant) n,

qui évolue de la manière suivante. A chaque instant n, un individu apparaît ou meurt de manière indépendante de ce qui s’est passé précédemment, et indépendamment de ses congénères, avec probabilité ¹₂. Le nombre initial d’individus est X₀. Ainsi,

X_n =X₀+

n

X

i=1

Z_i,

où les variables aléatoires (Z_i)_i sont indépendantes et de même loi P(Zi = 1) =P(Zi =−1) = 1

2.

Bien-sûr, comme X_n décrit la taille d’une population et que sans individu, il n’y a pas de reproduction possible (sans immigration), le processus s’arrête quand X_n atteint 0.

Considérons maintenant le modèle de déplacement spatial le plus simple. Un kangourou se déplace sur une route en sautant par sauts de 1 mètre, aléatoirement et indifféremment en avant ou en arrière, à chaque unité de temps, et sa position initiale estX₀. La position X_n du kangourou au temps n sera alors donnée par

X_n =X₀+

n

X

i=1

Z_i,

où les variables aléatoires (Z_i)_isont définies comme ci-dessus. Bien-sûr, ici, il n’y a aucune raison de supposer que le processus s’arrête quand X_n = 0. Le kangourou peut en fait repasser une infinité de fois par 0.

D’un point de vue probabiliste, les modèles qui décrivent ces deux phénomènes bien distincts sont très proches. Nous retrouverons une telle analogie plusieurs fois dans la suite du livre.

1.3 Modélisation mathématique et Ecologie

A vital next step will be to promote the training of scientists with expertise in both ma- thematics and biology. (Science 2003).

Notre but est d’étudier les modèles probabilistes de base qui apparaissent en écologie, en dynamique des populations, et en génétique des populations. Tous ces problèmes contri- buent à l’étude des écosystèmes et de l’évolution.

1.3.1 Ecologie et Evolution

L’écologie est l’étude des interactions entre les êtres vivants (animaux, végétaux, micro- organismes, ...) et avec le milieu qui les entoure et dont ils font eux-mêmes partie, comme par exemple leur habitat et l’environnement. L’écologie étudie en particulier la hiérarchie complexe des écosystèmes, les mécanismes biologiques associés à l’extinction des espèces, la dynamique de la biodiversité, l’adaptation des populations. À son développement contri- buent les disciplines plus spécialisées de la dynamique et de la génétique des populations.

La dynamique des populations a depuis longtemps fait l’objet de modélisations mathéma- tiques. Les premières études quantitatives de populations sont dues au Révérend Thomas Robert Malthus (1798). Dans son modèle, la croissance de la population est géométrique et celle des ressources est arithmétique. Cette idée nouvelle qui consiste à dire que la croissance est liée à la limitation des ressources, prend toute sa force dans la théorie dé- veloppée par Darwin. Celui-ci défend (en 1859) l’idée fondamentale de sélection naturelle et d’évolution pour les espèces vivantes. On appelle évolution, en biologie, la modification des espèces vivantes au cours du temps. Elle est fondée sur l’idée simple que les individus les mieux adaptés à leur environnement sont sélectionnés et ont les descendances les plus importantes. L’adaptation découle d’une part des mutations dans les mécanismes de la reproduction, qui créent de la variabilité dans les caractéristiques des individus, et d’autre part des interactions entre les individus et leur environnement. Les interactions peuvent être de multiples formes. On peut citer la compétition des individus d’une espèce pour le partage des ressources, les liens dans un réseau trophique (chaîne alimentaire) comme par exemple les systèmes proie-prédateur ou les liens entre hôtes et parasites, la lutte des femelles pour les mâles.

L’idée de variabilité individuelle est à la base de la modélisation probabiliste.

1.3.2 Dispersion et colonisation

Dans ce cours, nous allons nous intéresser tout d’abord aux processus probabilistes pou- vant modéliser les dynamiques spatiales des populations. Ces processus modélisent la manière dont les individus se déplacent ou dispersent leur progéniture. Les modèles utili- sés seront communs pour différentes échelles biologiques, par exemple celle des virus, des poissons ou des mammifères. La structuration spatiale de la population est le résultat des

comportements individuels de dispersion. Elle induit par exemple en écologie des ques- tions sur la colonisation d’un espace par une population (invasion de territoires), l’atteinte de certaines barrières (points de capture, points d’eau, bords d’un domaine), les effets de la migration sur la conservation de la biodiversité. Le chapitre 2 nous permettra de nous familiariser à certains modèles markoviens, essentiellement en temps continu, qui seront également développés dans les chapitres ultérieurs.

1.3.3 Dynamique des populations

La dynamique des populations étudie la répartition et le développement quantitatif de po- pulations d’individus, asexués ou sexués. Elle s’intéresse aux mécanismes d’auto-régulation des populations, au problème de l’extinction d’une population ou à l’existence d’un éven- tuel état stationnaire ou quasi-stationnaire. Elle étudie également les interactions entre diverses espèces, comme les liens de prédation entre proies et prédateurs ou plus généra- lement la structuration des réseaux trophiques ou les modèles de coopération ou (et) de compétition.

Les modèles de populations non structurées que nous allons voir dans le chapitre 3 ont l’avantage de la simplicité, mais sont bien sûr très naïfs pour rendre compte de la diver- sité biologique. Nous n’aborderons que légèrement le cas de populations multi-types. Pour rendre ces modèles un peu plus réalistes, il faudrait détailler les variabilités individuelles, comme la position spatiale, l’âge, le sexe, les caractères phénotypiques ou génotypiques.

Mais les modèles sont alors beaucoup plus compliqués et les outils mathématiques de- viennent essentiellement des objets de dimension infinie (processus à valeurs mesures ou équations aux dérivées partielles), ce qui dépasse largement le cadre de notre propos.

1.3.4 Génétique des populations

Pour comprendre l’évolution des espèces, il faut pouvoir comprendre les mécanismes in- ternes des généalogies à l’intérieur d’une espèce. C’est l’un des buts de la génétique des populations, qui constitue l’approche mathématique la plus ancienne de modélisation de l’évolution. Elle a pris son essor à partir des travaux de Mendel (1822-1884), commu- nément reconnu comme le père fondateur de la génétique. Il est à l’origine de règles de retransmission génétique, appelées lois de Mendel, qui définissent la manière dont les gènes se transmettent de génération en génération. La génétique des populations est l’étude de la fluctuation des allèles (les différentes versions d’un gène) au cours du temps dans les populations d’individus d’une même espèce, sous l’influence de la dérive génétique (la va- riabilité due à l’aléa des événements individuels de naissance et de mort), des mutations, de la sélection naturelle et des migrations. Elle a été initiée par les biologistes Fisher, Hal- dane et Wright entre 1920 et 1940. Elle se développe à partir des principes fondamentaux de la génétique mendélienne et de la théorie darwinienne de l’évolution et a de grandes applications en Biologie.

Dans le chapitre 4, nous allons développer les outils de base de génétique des populations, qui décrivent la dynamique au cours du temps de l’information génétique des individus en supposant que la taille de la population observée reste constante. Cela revient à nous placer d’emblée dans un état stationnaire du point de vue de la dynamique des populations.

Nous aurons également le point de vue inverse : reconstruire les lignées généalogiques d’un groupe d’individus observés, en remontant dans le temps l’histoire de ces individus.

1.3.5 Modélisation mathématique et biodiversité

Bien-sûr, le but ultime est de modéliser la dynamique des individus en prenant en compte l’information génétique qu’ils contiennent et les interactions qu’ils développent et de pou- voir répondre aux questions suivantes :

• Comment la structuration génétique des populations influe-t-elle sur leur dynamique et leur évolution ?

• Comment les interactions écologiques produisent-elles la sélection des gènes ?

Ces questions sont au coeur de la recherche fondamentale qui se développe aujourd’hui entre mathématiques appliquées et modélisation de la biodiversité.

Chapitre 2

Populations spatiales

The mathematics is not there till we put it there. Sir Arthur Eddington (1882 - 1944), The Philosophy of Physical Science.

Dans ce chapitre, nous cherchons à modéliser la dynamique spatiale d’une population, c’est à dire l’évolution de sa répartition spatiale au cours du temps. Cette structuration est le résultat de comportements individuels de déplacement, comme par exemple la dispersion au moment de la reproduction des descendants d’un individu (pollen, oeufs, graines), la progression des déplacements d’un troupeau, le développement d’une épidémie. La dis- persion des individus d’une population peut être due à la recherche de nourriture, à la nécessité de trouver un partenaire, à la fuite devant un prédateur ou à la nécessité de coloniser des zones propices à la survie ou à la reproduction. Les problèmes de coloni- sation de nouveaux territoires, d’invasion et de structure spatiale de la biodiversité sont fondamentaux en écologie et se situent à différents niveaux de populations : individus, espèces, communautés. Ils sont affectés par la fragmentation croissante des habitats et par le réchauffement climatique et sont au coeur des questions environnementales. Les exemples les plus populaires sont les colonisations d’espèces invasives. On peut citer par exemple les études faites sur la progression des lapins en Europe centrale, l’invasion du cerf-rouge en Nouvelle-Zélande (voir Renshaw [?]), la vitesse d’invasion surprenante des crapauds-buffles en Australie (voir [?]).

Le phénomène de dispersion spatiale devrait être étudié conjointement avec l’évolution démographique de la population, mais cela nécessiterait l’introduction d’objets mathéma- tiques trop complexes. Nous allons nous limiter dans ce chapitres à l’étude de la modé- lisation spatiale et développerons l’étude des modèles démographiques dans les chapitres suivants. Toutefois, les outils probabilistes que nous allons introduire par cette motiva- tion sont des outils fondamentaux pour la modélisation aléatoire, que l’on retrouvera ultérieurement.

Nous allons dans ce premier chapitre étudier le déplacement spatial d’un individu évoluant 13

dans un espace discret du type Z, Z² ou Z³, dans un espace continu du type R, R² ou R³, ou dans un sous-domaine de ces espaces. Le choix de la dimension est dû à la nature de l’espace d’états. On choisira la dimension un pour un déplacement le long d’une route, d’une rivière, du littoral, d’un brin d’herbe ou d’un brin d’ADN, ou bien la projection sur une dimension d’un déplacement dans l’espace (l’altitude par exemple). La dimension deux correspondra à un déplacement sur le sol, une paroi, un fond marin ou à la projection sur un plan d’un déplacement en trois dimensions. Soit à cause de frontières naturelles (mer, chaîne de montagne), ou de limitation de la zone de ressources, les populations se déplacent souvent dans des domaines fermés et le comportement au bord du domaine est important. Le bord du domaine est dit absorbant si les animaux meurent ou restent bloqués à son contact, (un poisson capturé au bord d’un bassin). Il est dit réfléchissant si l’individu rebrousse chemin à son contact, (le poisson au bord de l’aquarium).

Nous ne tiendrons pas compte ici de la reproduction (naissances et morts), mais nous ferons toutefois, à plusieurs occasions, allusion à l’analogie, développée dans l’introduction, entre les processus décrivant la position spatiale en dimension un et ceux décrivant la taille d’une population.

2.1 Marches aléatoires

Dans ce chapitre nous rappellerons les propriétés principales des marches aléatoires et des chaînes de Markov à temps discret, en privilégiant des problématiques propres aux modèles de populations. Pour plus de détails, nous renvoyons aux ouvrages suivants, [?], [?], [?] et [?].

Le modèle aléatoire le plus simple pour décrire le déplacement au hasard d’un individu est celui d’une marche aléatoire sur le réseauZ^d. Le temps est discret. L’individu, à partir d’un point x = (x₁, . . . , x_d) peut aller vers un autre point du réseau avec une certaine probabilité. Les déplacements successifs de l’individu sont indépendants les uns des autres.

Plus précisément, on note X_n la position de l’individu à l’instant n, et Z_n =X_n−X_n−1 son n-ième déplacement.

Définition 2.1.1 La suite de variables aléatoires (X_n)n∈N est appelée marche aléatoire sur le réseau Z^d si

X_n =X₀+

n

X

i=1

Z_i,

et les déplacements successifs Z_n ∈ Z^d sont indépendants et de même loi. Si chaque déplacement ne peut se faire que vers un de ses proches voisins, la marche aléatoire est dite simple. Si de plus les déplacements vers chacun des voisins immédiats se font avec la même probabilité _2d¹ , la marche est dite symétrique.

Les figures 2.1, 2.2 et 2.4 (Paragraphe 2.2.2) montrent des simulations des marches aléa- toires simples symétriques en dimension 1 et 2. Dans le premier cas, la marche peut avancer ou reculer d’une amplitude 1avec probabilité ¹₂. Dans le deuxième cas, l’individu pourra sauter vers un de ses voisins immédiats avec probabilité uniforme ¹₄.

Remarque 2.1.2 Dans le cadre de cet ouvrage, nous allons essentiellement nous limiter aux marches aléatoires en dimension un qui, comme nous l’avons vu dans l’introduction, décrivent non seulement des déplacements spatiaux, mais aussi des dynamiques de tailles de population. Dans la suite de ce chapitre, l’espace d’état considéré sera Z.

Exemple 2.1.3 Nous allons prendre comme exemple type le déplacement vertical d’une particule de plancton. Si nous considérons sa position à des temps discrets, nous pou- vons supposer que cette particule se déplace verticalement comme une marche aléatoire unidimensionnelle. Par exemple, nous étudions le déplacement vertical du plancton dans l’océan Atlantique, où la profondeur moyenne est d’environ 3300 m. Cette profondeur est suffisamment grande par rapport à la taille de la cellule pour que le déplacement de celle-ci soit considéré comme possible sur tout Z. Le point 0 pourra alors être pris à la moitié, à 1650 m de profondeur.

2.1.1 Propriété de Markov et structure de la chaîne de Markov

Les marches aléatoires introduites ci-dessus sont un cas particulier simple de chaînes de Markov. La propriété de Markov décrit une propriété satisfaite par de nombreux phé- nomènes aléatoires, pour lesquels l’évolution aléatoire future ne dépend du passé qu’à travers l’état du processus au temps présent. Dans la suite du cours, nous verrons un grand nombre de processus vérifiant la propriété de Markov.

Définition 2.1.4 Une suite de variables aléatoires (X_n)n∈N à valeurs dans Z satisfait la propriété de Markov si pour tous n ∈ N, j, i₀, . . . , i_n ∈ Z, tels que P(X_n = i_n, . . . , X₀ = i₀)>0, on a

P(X_n+1 =j|X_n=i_n, . . . , X₀ =i₀) =P(X_n+1 =j|X_n=i_n). (2.1) La loi conditionnelle de X_n+1 sachant X₀, . . . , X_n, est égale à sa loi conditionnelle sa- chant X_n.

Si cette loi ne dépend pas de n, on dit que la chaîne de Markov est homogène (en temps).

La loi d’une chaîne de Markov homogène est caractérisée par ses probabilités de transition P_i,j =P(X₁ =j|X₀ =i) i, j ∈Z.

Remarquons qu’alors,

P(X₀ =i₀, . . . , X_n=i_n) = P(X₀ =i₀)P_i0,i1. . . P_in−1,in.

On note Pi la loi de la chaîne de Markov issue de l’état i. Ainsi pour tout événement A, Pi(A) = P(A|X₀ =i).

Introduisons la suite des tribus F_n =σ(X₀, . . . , X_n) engendrées par la chaîne (X_n)_n. Les ensembles de la tribu F_n sont de la forme {(X₀, X₁,· · · , X_n) = (i₀,· · · , i_n)} pour tout i₀,· · · , i_n. Ainsi, F_n décrit l’information donnée par le processus jusqu’à l’instant n. Les tribus F_n sont croissantes (pour l’inclusion) comme l’information qui croît au cours du temps. La suite (F_n)_n s’appelle la filtration engendrée par la chaîne de Markov (X_n)_n. Remarque 2.1.5 La suite (Xn)n satisfait la propriété de Markov si et seulement si pour toute fonction f bornée sur Z, et pour tout entier naturel n, on a

E(f(X_n+1)|F_n) = E(f(X_n+1)|X_n).

En effet, il suffit de vérifier que pour tout i₀,· · · , i_n, E(f(X_n+1)|(X₀,· · ·, X_n) = (i₀,· · ·, i_n)) =X

j

f(j)P(X_n+1=j|(X₀,· · · , X_n) = (i₀,· · · , i_n))

=X

j

f(j)P(X_n+1 =j|X_n =i_n) =E(f(X_n+1)|X_n =i_n).

Exemple 2.1.6 1) Marche aléatoire simple dans Z. Les déplacements Zn sont indépen- dants et équidistribués de loi chargeant{−1,1}avec probabilités respectives q= 1−pet p. (Voir Figure 2.1). La marche aléatoire simple est une chaîne de Markov homogène de matrice de transition (Pi,j) vérifiant

P_i,i+1 =p; P_i,i−1 = 1−p=q ; Pi,j = 0 si j 6=i+ 1, i−1.

Si p= ¹₂, la marche aléatoire est symétrique.

2) Modèle de dynamique des ressources. A chaque instant n ≥ 0, une quantité R de ressources est créée et une quantité aléatoireZn en est consommée par un certain groupe d’individus. On suppose que les variables aléatoires(Z_n)_n sont indépendantes et de même loi à valeurs entières et l’on note p_k =P(Z₁ =k)pour tout entier k. Si l’on note par X_n le niveau des ressources à l’instant n, on obtient la dynamique suivante :

Xn = (X_n−1+R−Zn)⁺ pour toutn ≥1.

La suite (Xn)n forme alors une chaîne de Markov homogène de matrice de transition (P_ij) vérifiant

P_i,0 =P(Z_n≥i+R) = X

k≥i+R

p_k ; P_i,j =P(i+R−Z_n=j) =p_R+i−j pour tous i, j ∈N, j ≥1.

3Processus de branchement. Ces modèles ont été introduits pour modéliser les générations successives d’une population. Ils seront développés au Chapitre 3.1.2. Désignons par X_n la taille d’une population à l’instant n. Notons par Y_iⁿ la variable aléatoire à valeurs entières représentant le nombre de descendants de chaque individu i ≤ X_n au temps n.

La dynamique de la taille de la population est ainsi décrite pour n≥0 par X_n+1 =

n

X

i=1

Y_iⁿ,

où la somme est nulle sur{X_n = 0}. On suppose de plus que toutes les variables aléatoires Y_iⁿsont indépendantes et de de même loi. La suite(Xn)nforme alors une chaîne de Markov homogène de matrice de transition (P_i,j) vérifiant

P_0,0 = 1 ; P_i,j =P

i

X

k=1

Y_k⁰ =j

!

pour tous i, j ∈N, i≥1.

Dans cette exemple, la matrice de transition est difficile à utiliser et nous verrons au Chapitre 3.1.2 que la bonne approche est d’étudier la fonction génératrice de Xn.

4) Processus de naissance et mort. Voici un autre modèle markovien de taille de popula- tion indexé par un temps discret. Désignons comme précédemment parXnla taille d’une population à l’instant n. A chaque instant n, un unique individu peut naître ou mourir.

Ses probabilités de naissance et mort dépendent de la taille de la population à cet ins- tant. Ainsi, conditionnellement à {Xn =i}, les probabilités de naissance et mort seront respectivement b_i et d_i. Nous supposerons que b₀ = d₀ = 0 et que d_i > 0 pour i ≥ 1.

Le processus prend ses valeurs dans N sauf si l’on impose une contrainte sur la taille de la population, par exemple que celle-ci ne puisse pas dépasser le seuil N. Dans ce cas nous allons supposer également que b_N = 0. Cette contrainte peut-être une manière de modéliser une compétition des individus pour le partage des ressources : si il y a trop d’in- dividus, ceux-ci utilisent la totalité des ressources pour survivre et n’ont plus les moyens énergétiques pour se reproduire. Les probabilités de transition seront alors égales à

P_i,i+1 =b_i ; P_i,i−1 =d_i ; P_i,i = 1−b_i−d_i ;P_i,j = 0 si i≥1, j 6=i+ 1, i−1, i.

De plus, P_0,0 = 1, P_0,j = 0 pour j 6= 0 et dans le cas d’une population de taille au plus N, on a également que PN,N+1 =bN = 0.

Revenons à la situation générale où nous considérons de nouveau une chaîne de Markov homogène quelconque. Les probabilités de transition (P_i,j)_i,j∈N définissent une matrice, appelée matrice de transition, à coefficients positifs et dont la somme de chaque ligne est égale à 1: pour tous i, j,

P_i,j ≥0 ; X

j∈N

P_i,j = 1.

Notons par (P_i,j⁽ⁿ⁾) la matrice définie par

P_i,j⁽ⁿ⁾ =P(X_n=j|X₀ =i). (2.2) Proposition 2.1.7 La matrice P⁽ⁿ⁾ est égale au produit de matrices P × · · · ×P, n fois.

Preuve. Montrons cette relation par récurrence en supposant que la propriété (2.2) est vraie au temps n−1. Nous avons

P_i,j⁽ⁿ⁾ = P(X_n=j|X₀ =i) =

∞

X

k=1

P(X_n =j , X_n−1 =k|X₀ =i)

=

∞

X

k=1

P(X_n=j|X_n−1 =k , X₀ =i)P(X_n−1 =k|X₀ =i)

=

∞

X

k=1

P(Xn=j|X_n−1 =k)P(X_n−1 =k|X₀ =i) par la propriété de Markov

=

∞

X

k=1

P_k,jP_i,k⁽ⁿ⁻¹⁾ par la propriété de récurrence

= P_i,j⁽ⁿ⁾.

Les relations entre les états de la chaîne de Markov engendrent une classification pour ces états.

On dira que l’état j est atteint depuis l’état i s’il existe n > 0 tel que P_i,j⁽ⁿ⁾ > 0. Cette relation est notée i−→j. Si i−→j etj −→i, on dit que les états ietj communiquent, et l’on note i ←→j : il existe n > 0 et n⁰ >0 tels que P_i,j⁽ⁿ⁾ >0 et P_j,i⁽ⁿ⁰⁾ >0. Il est facile de montrer que cette relation entre iet j définit une relation d’équivalence.

Définition 2.1.8 Les classes d’équivalence de la relation de communication i←→j sont appelées les classes de la chaîne de Markov.

Si il n’y a qu’une seule classe, la chaîne de Markov est dite irréductible.

Une classe C est dite fermée s’il est impossible de passer de C au complémentaire de C en une étape : P_i,j = 0 pour i∈C et j /∈C.

Exemple 2.1.9 Modèle makovien de substitution de base (Allman, Rhodes [?] p. 141).

Nous allons décrire un modèle d’évolution moléculaire grâce à une chaîne de Markov à 4 états. Chaque site dans une séquence d’ADN est l’une des 4 bases A, G, C, T (Adénine, Guanine, Cytosine, Thymine), choisie aléatoirement suivant les probabilitésp_A, p_G, p_C, p_T

telles que p_A+p_G+p_C +p_T = 1. Ainsi, le vecteur P₀ = (p_A, p_G, p_C, p_T) décrit la distri- bution ancestrale des bases dans la séquence d’ADN. Nous supposons que les sites sont indépendants les uns des autres. Supposons de plus que ces bases peuvent muter et qu’une seule mutation peut avoir lieu par génération. Le but est d’étudier l’évolution de la chaîne de Markov qui décrit l’état d’un site de la séquence d’ADN à valeurs dans{A, G, C, T}et de distribution initiale P₀. Le modèle de Jukes Cantor d’évolution moléculaire [?] est un cas particulier supposant que les transitions décrivant les probabilités de mutation d’une base à une autre dans la structure d’ADN sont toutes égales et égales à un certain nombre

α

3, avec 0< α <1. Ainsi la matrice de transition vaut

P =









1−α ^α₃ ^α₃ ^α₃

α

3 1−α ^α₃ ^α₃

α 3

α

3 1−α ^α₃

α 3

α 3

α

3 1−α







 .

La chaîne de Markov de matrice de transition P est irréductible. Remarquons également que la somme des éléments de chaque colonne est égale à1(on a déjà cette propriété pour les lignes). Dans ce cas, la matrice de transition est dite doublement stochastique. Cela reste vrai pour toutes ses puissances. Si la répartition ancestrale des bases est uniforme, alors elle restera uniforme. En effet, calculons par exemple la probabilité d’avoir une base de Guanine au tempsn. Par une analogie entre{A, G, C, T}et{1,2,3,4}, cette probabilité vaut

Q^G_n =

4

X

i=1

P_iP_i,2⁽ⁿ⁾ = 1 4

4

X

i=1

P_i,2⁽ⁿ⁾ = 1 4.

En revanche, si la répartition initiale vaut (¹₃,¹₆,¹₆,¹₃), alors au temps n= 3, Q^G₃ =

4

X

i=1

P_iP_i,2⁽³⁾ = 1

3P_1,2⁽³⁾+ 1

6P_2,2⁽³⁾+ 1

6P_3,2⁽³⁾+1 3P_4,2⁽³⁾.

On peut vérifier facilement que P_2,2⁽³⁾ = (1−α)³+α²(1−α) + 2^α₉³ et que donc pour i6= 2, P_i,2⁽³⁾ = ¹₃(1−P_2,2⁽³⁾). Ainsi, Q^G₃ = ¹₆(⁵₃ − ²₃P_2,2⁽³⁾).

Définition 2.1.10 La période d’un état i est le plus grand diviseur commun de tous les entiers n ≥1 tels que P_i,i⁽ⁿ⁾>0.

Si l’état a une périoded(i)>1, il est dit périodique de période d(i). Si la période est égale à 1, l’état i est dit apériodique.

Si P_i,i⁽ⁿ⁾ = 0 pour tout n, on définit par extension d(i) = 0.

La périodicité est une propriété de classe. Plus précisément, nous avons la proposition suivante.

Proposition 2.1.11 Si i←→j, alors d(i) =d(j).

Preuve. Supposons que i←→j. Si d(i) = 0, la proposition est triviale. Supposons donc que d(i) ≥ 1. Alors si k est tel que P_i,i^(k) > 0, on sait que d(i) divise k. Par ailleurs, par hypothèse, il existe n etn⁰ tels que P_i,j⁽ⁿ⁾ >0 et P_j,i⁽ⁿ⁰⁾ >0. Nous en déduisons que

P_j,j^(n0+k+n) ≥P_j,i⁽ⁿ⁰⁾P_i,i^(k)P_i,j⁽ⁿ⁾>0.

Cela entraîne que d(j) divise n⁰ +k +n. Nous pouvons reprendre le raisonnement en remplaçant k par 2k et nous en déduisons de même que d(j) divise n⁰+ 2k +n. Par différence, il vient que d(j) divise k arbitraire et en particulier d(j) divise d(i). Nous pouvons inverser les notationsi et j dans le raisonnement, ce qui permet de conclure.

Une classe sera dite apériodique si tous ses états sont apériodiques.

2.1.2 Temps de passage, récurrence et transience

Il est important de connaître la chaîne de Markov aux temps discrets n, mais certains temps aléatoires vont aussi s’avérer fondamentaux, en particulier ceux dont la connais- sance est liée à la dynamique du processus. Pour la marche aléatoire (X_n)_n, les temps successifs de passage de la marche en un état particulier i sont essentiels. On les définit ainsi :

Ti = inf{n≥1 :Xn =i} (2.3)

T_i¹ = T_i ; T_i^k+1 = inf{n > T_i^k:X_n=i}, pour toutk ≥1, (2.4) avec la convention habituelle que l’infimum de l’ensemble vide vaut +∞. La suite (T_i^k)_k décrit les temps de passage successifs de la chaîne en l’état i.

Si X₀ =i alors Ti est le temps de premier retour à l’étati et Tj, (j 6=i), est le temps de premier passage en l’étatj. La loi deT_i est donnée par lesf_i,i⁽ⁿ⁾=P(T_i =n|X₀ =i), pour toutn ≥1(npeut éventuellement être infini). Remarquons quef_i,i⁽¹⁾ =P_i,i. On verra dans le paragraphe suivant une méthode de calcul de ces lois.

Remarquons que l’observation deX₀, . . . , X_n, c’est-à-dire de la chaîne jusqu’à l’instant n, permet de décider siT_i vautn ou non, s’il est plus petit ou plus grand quen. En d’autres termes, nous avons

{T_i =n}, {T_i < n}, {T_i > n} ∈ F_n. En effet, par exemple

{T_i =n}={X₁ 6=i} ∩. . .∩ {X_n−1 6=i} ∩ {X_n=i}.

Nous allons nous intéresser plus généralement à tous les temps aléatoires qui vérifient cette propriété, appelés temps d’arrêt.

Définition 2.1.12 On appelle temps d’arrêt une variable aléatoire T à valeurs dans N∪ {+∞} qui vérifie que pour tout n ∈N,

{T =n} ∈ F_n. (2.5)

Remarque : T_i est bien un temps d’arrêt.

Exemple 2.1.13 Pour toutA ⊂Z, on peut montrer que le temps d’atteinte de A défini par

T_A= inf(n≥0 :X_n ∈A) est un temps d’arrêt. En effet,

{T_A=n}={X₀ ∈/A} ∩ · · · ∩ {X_n−1 ∈/A} ∩ {X_n∈A}.

Le kième temps de passage en A est encore un temps d’arrêt. On peut le montrer par exemple par récurrence sur k en remarquant que

{T_i^k =n}=∪ⁿ⁻¹_m=0{T_i^k−1 =m} ∩ {X_m+1 ∈/ A} ∩ · · · ∩ {X_n−1 ∈/ A} ∩ {X_n ∈A}.

En revanche, l’instant de dernier passage en A,

LA = sup(n≥0 :Xn ∈A),

n’est pas un temps d’arrêt. Pour connaître LA, il faut avoir de l’information sur les états ultérieurs de la chaîne.

La marche aléatoire satisfait encore la propriété de Markov si l’on conditionne par sa position à un temps d’arrêt. Cette propriété s’appelle la propriété de Markov forte et est fondamentale pour les applications.

Théorème 2.1.14 (Propriété de Markov forte). Soit (X_n)_n une marche aléatoire et T un temps d’arrêt. Conditionnellement à X_T sur {T <∞}, la suite (X_T+n)_n≥1 est une chaîne de Markov indépendante de la trajectoire de (X_n)_n jusqu’au temps T. Autrement dit, pour tout événement A tel que A∩ {T =n} ∈ F_n pour tout n,

P(A∩ {X_T+1 =i₁, . . . , X_T+m =i_m}|X_T =i, T <∞) (2.6)

=P(A|X_T =i, T <∞)Pi(X₁ =i₁, . . . , X_m =i_m) (2.7) Preuve. Il suffit de remarquer que

P(A∩ {T =n} ∩ {X_T+1 =i₁, . . . , X_T+m=i_m}|X_T =i)

=P(A∩ {T =n}|XT =i)Pⁱ(X₁ =i₁, . . . , Xm =im).

2.1.3 Loi du premier temps de retour en 0 d’une marche aléatoire simple

Revenons à l’exemple 2.1.3. Nous voudrions savoir si la particule de plancton se déplace sur toute la colonne verticale ou si elle a tendance à aller vers la surface ou vers le fond et à y rester. Pour cela nous pouvons étudier ses temps de passage en 0 (à la profondeur

−1650m), en fonction des probabilités de monter ou de descendre du plancton. Nous allons donc étudier plus généralement les temps de passage en 0 d’une marche aléatoire simple sur Z.

Considérons une marche aléatoire simple partant de0, c’est-à-dire telle queX₀ = 0. Nous nous intéressons à la suite des instants aléatoires où la particule se retrouve à l’origine.

Pour décrire ces instants, il suffit de considérer l’instant de premier retour à l’origine, puisque les instants suivants sont des sommes de copies indépendantes de celui-ci par la propriété de Markov forte. En effet, si

T₀ = inf{n ≥1 : X_n= 0} ∈N^∗∪ {∞},

désigne l’instant de premier retour en0, (en posantmin{∅}=∞), etT₀^j désigne l’instant duj-ième retour en 0pour la marche aléatoire, on voit que sur {T₀^j <∞},

T₀^j+1 =T₀^j + ˜τ₀,

où τ˜₀ est le premier temps d’atteinte de 0 par la marche aléatoire (X_T^j

0+n)_n≥0. L’égalité reste vraie si {T₀^j = +∞}. Donc par application de la propriété de Markov forte (2.6) appliquée au temps d’arrêtT₀^j, nous en déduisons queτ˜₀ est indépendant deT₀^j et a même loi que τ₀. La propriété décrite plus haut s’en déduit par récurrence.

Nous souhaitons connaître la loi deT₀. Nous allons calculer sa fonction génératrice. Pour cela, introduisons, pour n ≥1

f(n) =P(T₀ =n) =P(X₁ 6= 0, . . . , X_n−1 6= 0, X_n = 0).

Attention, il se peut queP(T₀ = +∞)>0(si le processus ne revient jamais en 0), auquel cas la fonction génératriceF deT₀, définie pour s∈[0,1] par

F(s) =E(s^T0) =

∞

X

n=1

f(n)sⁿ,

vérifie F(1) = 1−P(T₀ = +∞) =P(T₀ <+∞).

Proposition 2.1.15 Si (X_n)_n est une marche aléatoire simple issue de 0, la fonction génératrice du premier temps de retour en 0 vaut pour tout s∈[0,1],

F(s) = 1−(1−4pqs²)^1/2.

Preuve. Nous allons introduire la fonction auxiliaire Qdéfinie pour s ∈[0,1] par Q(s) =

∞

X

n=0

P(X_n = 0) sⁿ, que l’on calcule plus aisément. Montrons que

(i) Q(s) = 1 +Q(s)F(s).

(ii) Q(s) = (1−4pqs²)^−1/2 . D’après la formule de Bayes,

P(Xn= 0) =

n

X

k=1

P(Xn = 0|T₀ =k)P(T₀ =k).

Il est facile de voir que, puisque les variables aléatoires Z_i (i ≥1) sont indépendantes et de même loi, la propriété de Markov forte entraîne que

P(X_n= 0|T₀ =k) =P(X_n−X_k = 0|T₀ =k) = P(Xn−k= 0).

Nous en déduisons que a_n=P(X_n = 0) est solution de a_n=

n

X

k=1

a_n−kf(k),

et a₀ = 1. En multipliant par sⁿ et en sommant en n, puis en utilisant le théorème de Fubini, nous obtenons

Q(s) =X

n≥0

ansⁿ= 1 +X

n≥1 n

X

k=1

an−ks^n−k f(k)s^k

= 1 +

∞

X

k=1

f(k)s^k

+∞

X

n=k

an−ks^n−k = 1 +F(s) Q(s), ce qui démontre (i).

Remarquons que ^Xn₂⁺ⁿ suit la loi binomiale B(n, p). En effet, ^Xn₂⁺ⁿ = Pn i=1

(Zi+1) 2 et les variables aléatoires ^Zi₂⁺¹ sont indépendantes et de loi de Bernoulli de paramètrep. Ainsi, P(X_n = 0) =

n n/2

(pq)^n/2 lorsque n est pair et P(X_n = 0) = 0 si n est impair. Nous avons alors

Q(s) = X

n≥0

2n n

(pq)ⁿs²ⁿ =X

n≥0

2ⁿ(2n−1)(2n−3)· · ·1

n! (pq s²)ⁿ

= X

n≥0

(2n−1)(2n−3)· · ·1

2ⁿ n! (4pq s²)ⁿ.

Nous pouvons identifier le dernier terme en le comparant au développement en série entière (1 +u)⁻¹² = 1− 1

2u+ (−¹₂)(−¹₂ −1)

2! u²+. . .+ +(−¹₂)(−¹₂ −1)· · ·(−¹₂ −n+ 1)

n! uⁿ+· · · (pour |u|<1). Nous en déduisons (ii), puis la valeur de F(s).

Corollaire 2.1.16 La probabilité que la particule retourne au moins une fois à l’origine vaut

P(T₀ <+∞) =F(1) = 1− |2p−1| =







2(1−p) si p >1/2 2p si p <1/2 1 si p= 1/2 .

Si p= 1

2, le temps moyen de premier retour E(T₀) est infini.

Preuve. On a

P(T₀ <+∞) = lim

z%1F(s) = 1−(1−4pq)^1/2

= 1− |2p−1|

d’après la Proposition 2.1.15. De plus, lorsque p= 1/2, F(s) = 1−(1−s²)^1/2 et E(T₀) = lim

s%1F⁰(s) = +∞.

Remarque 2.1.17 D’après le Corollaire 2.1.16, la marche aléatoire simple est récurrente, c’est-à-dire qu’elle revient presque-sûrement à son point de départ, si et seulement si p = 1

2. Ceci est conforme à la loi des grands nombres, qui entraîne ici que P( lim

n→∞

S_n n = 2p−1) = 1.

Notons que lorsque p = 1/2, T₀ est fini presque-sûrement, mais le retour à 0 s’effectue lentement puisque le temps moyen de retour en 0 est infini.

Le modèle de marche aléatoire simple se généralise en supposant que les variables aléatoires Zn sont indépendantes et de même loi de carré intégrable, et l’on note

E(Z_n) =m ; V ar(Z_n) = σ². (2.8)

Remarquons que nous connaissons le comportement asymptotique du processus (X_n)_n : par la loi des grands nombres, nous savons que ^X_nⁿ converge presque-sûrement vers m quand n tend vers l’infini. Nous en déduisons que si m 6= 0, la chaîne est forcément transiente : à partir d’un certain rang, elle ne pourra plus repasser par0. Ce raisonnement peut également s’appliquer dans le cas d’une dimension supérieure à1. Le cas oùm = 0est plus délicat comme on peut déjà l’observer dans le cas des marches aléatoires symétriques.

Nous avons étudié le cas de la dimension 1dans le Corollaire 2.1.16, mais l’on montre en fait que les propriétés de transience et de récurrence de la marche aléatoire symétrique sont liées à la dimension de l’espace. Nous ne démontrerons pas le théorème suivant.

Théorème 2.1.18 (voir [?], [?], [?]) La marche aléatoire simple symétrique est récur- rente si la dimension d est égale à 1 ou 2. Si d≥3, la marche aléatoire est transiente.

Nous allons maintenant donner une définition précise de ces propriétés pour une chaîne de Markov et en déduire certains comportements en temps long.

2.1.4 Théorèmes ergodiques

Nous allons donner ici les principaux résultats concernant le comportement d’une chaîne de Markov quand le temps n tend vers l’infini. Ces résultats font partie d’une théorie probabiliste importante qui n’est pas le but de ce livre. Nous renvoyons par exemple aux livres de Pardoux [?] et Graham [?] pour plus de détails.

Nous considérons une chaîne de Markov (X_n)_n et pour chaque état i, nous définissons le nombre N_i de passages au point i. Ainsi,

N_i =X

n≥0

1_Xn=i.

Proposition 2.1.19 La variable aléatoire N_i suit sous Pi une loi géométrique sur N^∗ de paramètre Pi(T_i <+∞) : pour tout k ∈N^∗,

P(N_i =k) = Pⁱ(T_i <+∞)^k−1(1−Pⁱ(T_i <+∞)).

Si Pⁱ(Ti <+∞)<1, le nombre moyen de passages en i vaut alors E(N_i) = Pi(T_i <+∞)

1−Pⁱ(T_i <+∞) <+∞.

Preuve. Remarquons que si la chaîne de Markov part de i, nécessairement N_i ≥ 1. La propriété de Markov forte (Théorème 2.6) permet de montrer que pour tout k ≥0,

Pi(N_i > k) = Pi(T_i <+∞)^k.

En effet, nous avons pour k ≥2,

Pⁱ(Ni ≥k) = Pⁱ(Ni ≥k, Ti <+∞) =Pⁱ(Ni ≥k−1)Pⁱ(Ti <+∞).

Nous en déduisons facilement que Eⁱ(N_i) = X

k≥0

Pⁱ(N_i > k) = Pi(T_i <+∞) 1−Pi(T_i <+∞).

Nous pouvons ainsi observer deux comportements opposés qui conduisent à donner la définition suivante.

Définition 2.1.20 Un état i est dit transitoire si et seulement si

Pi(T_i <+∞)<1⇐⇒Pi(N_i = +∞) = 0 ⇐⇒Ei(N_i)<+∞.

Un état i est dit récurrent si et seulement si

Pⁱ(Ti <+∞) = 1⇐⇒Pⁱ(Ni = +∞) = 1 ⇐⇒Eⁱ(Ni) = +∞.

Un entieriest donc un état récurrent si la chaîne de Markov issue de l’étatirevient en i en temps fini avec probabilité 1, c’est à dire si P∞

n=1f_ii⁽ⁿ⁾ = 1. L’état iest transient dans le cas contraire.

Proposition 2.1.21 Si i ←→ j, alors i et j sont simultanément transitoires ou récur- rents.

Si la chaîne est irréductible, les états sont soit tous récurrents, soit tous transients et la chaîne est alors dite récurrente ou transitoire.

Dans le cas où tous les états sont récurrents, la chaîne est alors dite irréductible récurrente.

Preuve. Supposons que isoit récurrent. Alors les temps de passage successifs en i, notés T_i^k, sont finis Pi-presque-sûrement. Appelons Y_k le nombre de passages en j entre T_i^k−1 etT_i^k. La propriété de Markov forte entraîne que les variables aléatoiresY_k sont indépen- dantes et équidistribuées sous Pⁱ et par hypothèse, (puisque i−→j), Pⁱ(Y₁ = 0)<1. En particulier, pour tout n

Pⁱ(∪_k≥0{Y_k+1 =Y_k+2 =· · ·= 0}) = lim

k Pⁱ(Y_k+1 =Y_k+2 =· · ·= 0)

=Pi(∀k, Y_k = 0)≤Pi(Y₁ =· · ·=Y_n= 0) =Pi(Y₁ = 0)ⁿ, d’où Pⁱ(∪_k≥0{Y_k+1 =Y_k+2 =· · · = 0}) = 0. Soit Nj =P

k≥1Yk le nombre de passage en j. Alors

Pi(N_j <+∞) = Pi(∪_k≥0{Y_k+1 =Y_k+2 =· · ·= 0}) = 0,

et Pi(N_j = +∞) = 1. La propriété de Markov implique par ailleurs que

Pi(N_j = +∞) = Pi(T_j <+∞)Pj(N_j = +∞). (2.9) Nous en déduisons que Pj(N_j = +∞) = 1 et que l’état j est récurrent.

Signalons qu’une autre preuve de la Proposition 2.1.21 est donnée dans l’Exercice 2.6.2.

Nous allons maintenant prouver des théorèmes décrivant le comportement en temps long d’une chaîne de Markov irréductible et récurrente.

Définition 2.1.22 Une probabilité stationnaire pour la chaîne de Markov de matrice de transition (P_i,j)i,j∈N est une probabilité π = (π_i)i∈N telle que

π P =π ⇐⇒ X

i

π_iP_i,j =π_j, ∀j. (2.10) Cette probabilité représente un équilibre en loi de la chaîne, au sens où si la condition initiale X₀ a pour loi π, alors à chaque instant n, la variable aléatoire Xn a la loi π.

Celle-ci s’appelle aussi la loi invariante de X. L’équation 2.10, réécrite sous la forme X

i6=j

π_iP_i,j =π_j(1−P_j,j),

peut être vue comme un bilan égalisant ce qui part dej et ce qui arrive enj. La recherche d’une probabilité invariante se ramène à un problème d’algèbre linéaire, puisque le vecteur π est un vecteur propre à gauche de la matrice P associé à la valeur propre 1. Dans le cas de la dimension finie, l’existence et l’unicité d’un tel vecteur sont liées au théorème de Perron-Frobenius.

En effet, dans le cas d’un espace d’état fini, on a le théorème suivant.

Théorème 2.1.23 Une chaîne de Markov à espace d’état fini et irréductible admet au moins une probabilité stationnaire π.

Preuve. Supposons que l’espace d’état soit {1,· · ·, N}. La matrice P est telle que la somme des éléments de chacune de ses lignes est égale à 1 et chacun de ses coefficients est positif. Ainsi, il est immédiat que 1 est valeur propre associée au vecteur propre dont chaque coordonnée est égale à 1. Par ailleurs, si λ est une valeur propre de P, et v un vecteur propre associé à λ tel que |v_i0|= max|v_i|. Alors, on a

|λ||v_i0|=|X

j

P_i0,jv_j| ≤ max

i=1,···,N|v_i|,

d’où |λ| ≤ 1. La valeur propre 1 est donc une valeur propre supérieure au module de toute autre valeur propre. Comme la chaîne de Markov est irréductible, le théorème de

Perron-Frobenius (Voir Appendice Théorème 3.1.28) s’applique. Nous en déduisons que la valeur propre 1 est associée à un vecteur propre à gauche π qui est une probabilité

stationnaire de la chaîne de Markov.

Plus généralement, nous donnons ci-dessous des conditions assurant l’existence et l’uni- cité d’une probabilité stationnaire. Nous dirons qu’une chaîne de Markov irréductible est récurrente positive si elle est irréductible et si tous ses états i sont récurrents et vérifient Ei(T_i)<+∞.

Théorème 2.1.24 Une chaîne de Markov (X_n)_n irréductible de matrice de transition (P_i,j) est récurrente positive si et seulement si il existe une probabilité stationnaire π.

Dans ce cas, π est l’unique probabilité stationnaire, πi >0 pour tout i et πi = 1

Ei(T_i) >0.

Preuve. Rappelons que si la chaîne est récurrente, le temps d’arrêt T_i est fini presque- sûrement. Introduisons mⁱ_j, le nombre moyen de visites de la chaîne à l’état j entre deux temps de passage en i. Nous avons mⁱ_i = 1 et pour j 6=i,

mⁱ_j = Ei(

Ti

X

n=1

1_Xn=j) =X

n≥1

Pi(X_n=j, n≤T_i) =X

k

X

n≥1

Pi(X_n−1 =k, n−1≤T_i, X_n =j)

= X

k

X

n≥1

Pi(X_n−1 =k, n−1≤T_i)

!

P_k,j = (mⁱ.P)_j.

Ainsi, la mesure mⁱ est une mesure invariante, au sens oùmⁱP =mⁱ. Montrons que cette mesure est strictement positive en chaque point et est de masse finie.

La chaîne est irréductible et donc il existe n >0tel que P_i,j⁽ⁿ⁾>0. Ainsi, puisquemⁱ_i = 1, nous avons

0< P_i,j⁽ⁿ⁾ =mⁱ_iP_i,j⁽ⁿ⁾ ≤(mⁱ.P)_j =mⁱ_j. De plus,

X

j

mⁱ_j =Eⁱ(Ti), qui est fini par hypothèse.

Nous avons donc montré l’existence d’une probabilité invarianteπ définie parπ_j = ^m

i j

Ei(Ti). En particulier, π_i = ¹

Ei(Ti). Montrons l’unicité. Soit λ une autre mesure invariante (de