Partiel du 8 janvier

Master 2 Agr´egation-Module ”Chaˆınes de Markov”

Partiel du 8 janvier

Notes de cours autoris´ees. Appareils ´electroniques interdits. Barˆeme indicatif : 15-5.

Probl`eme. Soit {p<sub>n</sub>, n ≥ 0} une suite `a valeurs dans ]0,1[. On consid`ere la chaˆıne de Markov{X<sub>n</sub>, n≥0}`a valeurs dansNdont la matrice de transition est donn´ee par

P =



















q₀ p₀ 0 0 · · · 0 · · · q₁ 0 p₁ 0 · · · 0 · · · q₂ 0 0 p₂ · · · 0 · · · ... ... ... ... . .. 0 · · · q_n 0 0 0 · · · p_n · · · ... ... ... ... ... ... . ..



















avecq_n= 1−p_n pour toutn. On a donc

P_ij = Pi[X₁ =j] = P[X₁ =j |X₀ =i] = P[X_n+1 =j |X_n =i]

pour tousi, j, n ≥0. On pose β0 = 1, β∞ =Q∞

i=0pi et βk=Qk−1

i=0 pi pour tout k ≥1.

(a) Montrer que pour touti, j ≥ 0 il existe n₀ ≥1 tel que Pⁿ_ij >0 pour tout n≥ n₀. En d´eduire que la chaˆıne {Xn, n≥0} est irr´eductible et ap´eriodique.

(b) On noteτ_j = inf{n ≥1, X_n=j}le temps d’atteinte de l’´etatj ≥0. Montrer que pour touti, k ≥0 on a

Pi[τ₀ > k] = β_i+k β_i ·

En d´eduire une condition n´ecessaire et suffisante sur β_∞ pour que {X_n, n≥0} soit r´ecurrente, et une condition n´ecessaire et suffisante sur {β_k, k ≥1} pour qu’elle soit r´ecurrente positive.

(c) On suppose que{X_n, n≥0}est r´ecurrente positive. Calculer l’unique probabilit´e invarianteπ, solution de πP =π.

(d) Montrer que pour touti >0 on aP⁰[τi < i] = 0,P⁰[τi =i] =βi et

P⁰[τi =k] =

i

X

n=1

P⁰[τ0 =n]P⁰[τi =k−n]

pour toutk > i.

(e) On suppose que {X_n, n≥0} est r´ecurrente. On pose m(i, j) = Ei[τ_j].

1

• Montrer que pour tout i≥0 on a

m(i,0) = 1 β_i

X

k≥0

β_k+i.

• Montrer que pour tout n≥ 1 on a P0[τ₀ =n] =βn−1qn−1 et en d´eduire par (d) que pour tout i >0 on a

m(i,0) = iβ_i +

i−1

X

n=0

(n+ 1)q_nβ_n + m(0, i)

i−1

X

n=0

q_nβ_n.

• En utilisant la transformation d’Abel, montrer alors que

m(i,0) = 1 β_i

i−1

X

n=0

β_n.

• Etablir les ´egalit´es m(i, j) =m(0, j) +m(i,0) pour tout i≥ j >0 et m(i, j) = m(0, j)−m(0, i) pour tout j > i > 0. En d´eduire une formule g´en´erale pour m(i, j) pour touti, j ≥0 et retrouver l’expression dem(i, i) d´ej`a obtenue en (c).

(f) Montrer que Pⁱ[τj =k] = 0 pour tout i≥j ≥k >0 et

Pⁱ[τj =k] =

k

X

n=1

Pⁱ[τ0 =n]P⁰[τj =k−n]

pour toutk > j et i≥j >0.

(g) On suppose que {X_n, n≥0} est transitoire. On pose n(i, j) = Pi[τ_j <+∞].

• En utilisant le (f), montrer que pour tout i≥j >0 on an(i, j) =n(i,0)n(0, j).

• On suppose maintenant j > i≥0. Montrer que

{τ_j = +∞} ⊂ {N₀+· · ·+Nj−1 = +∞} Pi p.s.

avec la notation N_k=P

n≥01{Xn=k}. En d´eduire n(i, j) = 1.

• Montrer enfin que

n(i, j) = 1 − β_∞ β_i pour tout i≥j ≥0.

2

Exercice. Soit E = {1, . . . , N} un espace fini et P une matrice stochastique sur E×E. On rappelle que P_ij ≥0 et que

N

X

j=1

P_ij = 1

pour touti = 1, . . . , N. On se propose de donner deux d´emonstrations de l’existence d’une probabilit´e invariante π pour P.

Preuve topologique:

• Identifier l’espaceP(E) des probabilit´es surE `a un ensemble ferm´e born´e deR^N et le munir de la topologie de R^N (convergence composante par composante).

• Soit µ₀ ∈ P(E).Montrer que

µn = 1

n+ 1(µ0 + µ0P + · · · + µ0Pⁿ) ∈ P(E)

pour tout n ≥1. Montrer qu’il existe une suite {µ_nk} extraite de {µ_n} conver- gente dans P(E) et noter µsa limite.

• Montrer que µP =µ.

Preuve alg´ebrique :

• Montrer que 1 est valeur propre de P et en d´eduire l’existence d’un vecteur m = (m₁, . . . , m_N)∈R^N non nul tel que mP =m.

• Montrer que |m|P =|m|,o`u |m| d´esigne le vecteur (|m₁|, . . . ,|m_N|).

• Conclure.

3