On peut alternativement traiter le cas p 6= 1/2 avec un peu plus d’intuition probabiliste. En effet, la loi forte des grands nombres affirme qu’on a presque sûrement Xn = X0+ n(2p − 1 + on→∞(1)), donc Xn → +∞ p.s. si p > 1/2 et Xn→ −∞ p.s. si p < 1/2, ce qui interdit toute récurrence. ⊓⊔ Le théorème suivant permet d’étudier le problème de la ruine d’un joueur qui gagne 1 Euro avec probabilité p et perd 1 Euro avec probabilité 1 − p. La fortune initiale est x et le joueur quitte le jeu lorsqu’il possède a < x Euros (ruine) ou b > x Euros (gain). On adopte la notation conditionnelle traditionnelle Px(·) := P(· | X0= x) et Ex(·) = E(· | X0= x).
Théorème 2.2 (Sortie de boîte1 ou ruine du joueur). Soient a < b dans Z,
et les temps d’arrêt τa, τb, et τ définis par
τa= inf{n > 0 : Xn= a}, τb= inf{n > 0 : Xn = b}, et τ = min(τa, τb).
Alors pour tout x ∈ [a, b] ∩ Z, il existe c > 0 tel que Ex(ecτ) < ∞. En
particulier Ex(τ) < ∞ et donc Px(τ < ∞) = 1. De plus, en posant ρ = 1 − p
p , Px(Xτ= a) = ρb− ρx ρb− ρa si p 6= 1 2, b− x b− a si p = 1 2, et Ex(τ) = x− a 1 − 2p−(b − a)1 − 2p ρx − ρa ρb− ρa si p 6= 1 2, (b − x)(x − a) si p = 1 2.
Si p = 1/2 alors la chaîne est récurrente et visite presque sûrement chaque état une infinité de fois et donc Px(τa <∞) = 1 et Px(τb <∞) = 1 pour tout a 6 x 6 b. En revanche, si p 6= 1/2 alors la chaîne est transitoire et les temps d’atteinte de a ou de b ne sont plus finis presque sûrement (selon la probabilité p et le point de départ x). On le voit bien dans les formules du théorème 2.2 en faisant tendre a ou b vers l’infini. Le temps de sortie τ de [a, b] est identique en loi au temps d’absorption T par {a, b} de la chaîne
Y = (Yn)n>0d’espace d’états fini {a, . . . , b} de mêmes transitions que (Xn)n>0 mais avec absorption en a et b. Comme pour Y , les états a et b sont récurrents et tous les autres (en nombre fini) transitoires, et comme presque sûrement la chaîne Y ne visite qu’un nombre fini de fois chaque état transitoire, on en déduit que Px(τ < ∞) = Px(T < ∞) = 1 pour tout a 6 x 6 b.
Démonstration. Montrons que Ex(τ) < ∞ pour tout a 6 x 6 b. Il suffit d’obtenir une majoration géométrique pour la queue de la loi de τ. Il serait
22 2 Marches aléatoires
possible de procéder par couplage, comme pour le modèle de Wright-Fisher, voir remarque 12.7. Pour tout a 6 x 6 b, il existe un chemin ℓxde longueur |ℓx| 6 (b − a) qui mène de x à a ou b. On a
Px(τ > (b − a)) 6 P(X1:|ℓ
x|6= ℓx)
= 1 − P(X1:|ℓx|= ℓx)
61 − min(p, 1 − p)|ℓx|.
Si η = maxa<x<b(1 − min(p, 1 − p)|ℓx|) < 1 alors on obtient, par récurrence, pour tout k > 1, en utilisant l’indépendance conditionnelle du passé et du futur sachant le présent,
Px(τ > k(b − a)) = X a<y<b Px(τ > k(b − a), X(k −1)(b−a)= y, τ > (k − 1)(b − a)) = X a<y<b
Py(τ > (b − a))Px(X(k−1)(b−a)= y, τ > (k − 1)(b − a)) 6ηPx(τ > (k − 1)(b − a)) 6 ηηk−1= ηk.
Comme η < 1 on obtient que Ex(ecτ) < ∞ pour un réel c > 0, et en particulier tous les moments de τ sont finis sous Px et Px(τ < ∞) = 1. Calculons
r(x) := Px(Xτ= a). On a pour tout a < x < b
r(x) = Px(Xτ = a | X1= x + 1)p + Px(Xτ = a | X1= x − 1)(1 − p)
= pr(x + 1) + (1 − p)r(x − 1).
L’ensemble des solutions de cette récurrence linéaire d’ordre deux est un es- pace vectoriel qui contient la solution constante 1. Si p 6= 1/2 alors ρx est aussi solution, linéairement indépendante de 1, et donc les solutions sont de la forme A + Bρxavec A et B constantes. Les conditions aux bords r(a) = 1,
r(b) = 0 fixent A et B, ce qui donne l’unique solution r(x) = ρ
b − ρx
ρb− ρa.
Si p = 1/2 alors ρ = 1 et les deux solutions fondamentales précédentes sont confondues. Cependant, on observe que dans ce cas, x est également solution, linéairement indépendante de 1, et donc les solutions sont de la forme A + Bx où A et B sont des constantes. Les conditions aux bords r(a) = 1 et r(b) = 0 fixent A et B, ce qui donne l’unique solution
r(x) = b− x b− a.
2.1 Marche aléatoire simple sur la droite 23
Calculons à présent
R(x) := Ex(τ).
En conditionnant selon X1 on obtient pour tout a < x < b la récurrence
linéaire (la méthode est valable pour toute chaîne de Markov, idem pour r(x))
R(x) = pR(x + 1) + (1− p)R(x − 1) + 1.
La présence du second membre 1 fait rechercher des solutions particulières. Si
p6= 1/2 alors x/(1 − 2p) est solution particulière, et les solutions de l’équation
sont de la forme R(x) = x/(1 − 2p) + A + Bρx. Les conditions aux bords
R(a) = 0 et R(b) = 0 donnent enfin R(x) = x− a
1 − 2p−(b − a)1 − 2p
ρb − ρx
ρb− ρa.
Si p = 1/2 alors −x2est solution particulière, et les solutions sont de la forme
−x2+ A + Bx. Les conditions aux bords R(a) = R(b) = 0 donnent enfin
R(x) = (b− x)(x − a).
On peut de même calculer les fonctions suivantes :
F (x, s) = Ex(sτ), G(x, s) = Ex(sτ1Xτ=a), et G(x, s) = Ex(s
τ1 Xτ=b)
qui, pour a 6 x 6 b et s ∈ ] − 1, 1[, vérifient la relation de récurrence
r(x) = psr(x + 1) + (1− p)sr(x − 1) avec les conditions aux bords respectives suivantes :
F (a, s) = F (b, s) = 1, G(a, s) = 1 = 1−G(b, s), H(a, s) = 0 = 1−H(b, s).
On peut alors retrouver l’expression de Ex(τ) en dérivant la fonction généra- trice. Les expressions explicites de F , G et H sont toutefois assez lourdes. ⊓⊔
Remarque 2.3 (Les théorèmes limites à la rescousse). Voici un autre argu- ment pour établir que Px(τ < ∞) = 1. Posons m = 2p − 1 et σ2= 4p(1 − p).
Si m 6= 0 alors par la loi des grands nombres, presque sûrement (Xn)n>1tend
vers +∞ si m > 0 et vers −∞ si m < 0, et donc Px(τ < ∞) = 1. Si m = 0
alors pour tout n > 1, en posant In=√1n]a, b[, on a Px(τ = ∞) 6 P(a < Xn< b) = P X n √n ∈ In . Or (n−1/2X
n)n>1converge en loi vers N (0, σ2) par le théorème limite central.
Mais In dépend de n. Cependant, comme (In)n>1est décroissante, lim sup n→∞ P X n √n ∈ In 6 inf n>1 1 √ 2πσ2 Z In e−2σ2t2 dt = 0.
24 2 Marches aléatoires
Remarque 2.4 (Martingales). Si (Zn)n>0 est une chaîne de Markov sur E
fini de noyau P = L+I alors pour toute fonction f : E → R, la suite (Mn)n>0
donnée par M0= 0 et pour tout n > 1
Mn= f(Zn) − f(Z0) −
n−1
X k=0
(Lf)(Zk)
est une martingale pour la filtration naturelle de la suite (Zn)n>0. La formule
ci-dessus peut être vue comme une formule d’Itô discrète. Lorsque f est har- monique pour L, c’est-à-dire que Lf = 0, alors (f(Zn) − f(Z0))n>0 est une
martingale. Il se trouve que le vecteur des probabilités d’atteinte d’un ensemble clos est harmonique. Il est possible de retrouver les formules du théorème 2.2 en utilisant des martingales bien choisies et le théorème d’arrêt. Par exemple, la martingale (Xn− n(p − q))n>0 donne E0(Xτ) = (p − q)E0(τ) tandis que
la martingale (ρXn)
n>0 donne E0(ρXτ) = 1. Cette méthode à base de mar-
tingales s’adapte au cadre des processus à temps et espace d’états continus, et permet notamment d’obtenir des formules pour le temps de sortie pour un processus de diffusion sur Rd, voir chapitre 27. D’autre part, les équations
satisfaites par les fonctions r et R dans la preuve du théorème 2.2 sont des cas particuliers du problème de Dirichlet du théorème 2.8.
Théorème 2.5 (Nombres de Catalan). Si τ := inf{n > 1 : Xn= 0} alors P0(τ = 2n + 2) = 2 n + 1 2n n pn+1(1 − p)n+1, n > 0. 0 2n m Sm
Fig. 2.2. Un chemin de 0 à 0 ne restant pas positif et le chemin de 0 à −2 qui lui
est associé dans la preuve du théorème 2.5.
On reconnaît le ne nombre de Catalan 1
n+1
2n
n
. Les nombres de Catalan sont également les moments pairs de la loi du demi-cercle, voir chapitre 21.
2.1 Marche aléatoire simple sur la droite 25
Démonstration. Sachant {X0 = 0}, l’événement {τ = 2n + 2} correspond à
une trajectoire de longueur 2n + 2 partant de 0 et revenant à zéro en restant strictement positive ou strictement négative. Ces deux cas sont équiprobables, d’où le facteur 2 dans le résultat. Dans les deux cas, il y a eu forcément n + 1 incréments +1 et n + 1 incréments −1, d’où
P0(τ = 2n + 2) = 2Cnpn+1(1 − p)n+1.
où Cnest le nombre de chemins de longueur 2n+2 partant de zéro et revenant à zéro, et restant strictement positifs. Le premier incrément est forcément +1 et le dernier forcément −1 et Cn est égal au nombre de chemins de longueur 2n partant de zéro et revenant à zéro et restant positifs. Il y a n incréments +1 et n incréments −1. Considérons les chemins partant de zéro et revenant à zéro et contenant n incréments +1 et n incréments −1. Il y en a 2n
n
. Si un chemin de ce type n’est pas positif alors juste après la première position négative, modifions tous les incréments en permutant le signe des +1 et des −1. Un exemple d’illustration est donné dans la figure 2.2. On obtient de la sorte un chemin avec n − 1 incréments +1 et n + 1 incréments −1, et il s’avère que tous les chemins partant de zéro avec n −1 incréments +1 et n+1 incréments −1 s’obtiennent de la sorte, et il y en a 2n
n−1 . Cette bijection donne donc Cn= 2nn − n2n−1 = 1 n+1 2n n
(formule de Désiré André). ⊓⊔
Théorème 2.6 (du scrutin2). Si n = a + b et k = a − b avec 0 6 b 6 a alors
P(S1> 0, . . . , Sn> 0| S0= 0, Sn= k) = k
n = a− b
a + b.
Le théorème 2.6 indique que lors d’une élection avec deux candidats A et
B et n votants, dans laquelle A obtient a votes et B obtient b 6 a votes, la
probabilité que A soit devant B tout le long du dépouillement des n bulletins de vote est (a − b)/(a + b).
Démonstration. Notons tout d’abord que 0 6 k 6 n et (n+k, n−k) = 2(a, b).
Soit Pn,kl’ensemble des chemins de la marche aléatoire simple, de longueur n, partant de (0, 0) et finissant en (n, k). Tous ces chemins possèdent exactement
a incréments +1 et b incréments −1. Ils sont donc au nombre de a+ba . Soit
Pn,k+ l’ensemble de ces chemins strictement positifs aux temps 1, . . . , n. On a P(S1> 0, . . . , Sn> 0| S0= 0, Sn = k) = card(P+
n,k)
pa(1 − p)b P(Sn= k | S0= 0). D’un autre côté P(Sn= k | S0= 0) = card(Pn,k) pa(1 − p)b et donc
P(S1> 0, . . . , Sn> 0| S0= 0, Sn= k) =card(P
+
n,k) card(Pn,k)
.
26 2 Marches aléatoires
Il est tout à fait remarquable que cette formule ne dépende pas de p. L’en- semble Pn,k\Pn,k+ est invariant par la réflexion sur la portion du chemin située avant le retour à 0. On reconnaît là l’astuce de la preuve du théorème 2.5. Il en découle que l’ensemble des éléments de Pn,k\ Pn,k+ qui commencent par un in- crément +1 est en bijection avec l’ensemble des éléments de Pn,k\Pn,k+ qui com- mencent par un incrément −1. Or ce dernier est en bijection avec l’ensemble des éléments de Pn,k qui commencent par un incrément −1, lui même en bi- jection avec Pn−1,k+1. Cela donne card(Pn,k)−card(Pn,k+ ) = 2card(Pn−1,k+1).
Comme card(Pn,k) = (n+k)/2n , on obtient enfin card(P+ n,k) = n (n + k)/2 − 2 n − 1 (n + k)/2 = k n n (n + k)/2 .
En d’autres termes, card(P+
n,k) = (k/n)card(Pn,k). ⊓⊔
La formule à base de nombres de Catalan du théorème 2.5 s’écrit 22n+2P(S 1> 0, . . . , S2n+1 > 0| S0= 0, S2n+2= 0) = card(P+ 2n+1,1) = 1 n + 1 2n n .