la probabilité d’atteinte de A partant de i par uAi =Pi(TA&lt

D’ABSORPTION

MICHEL BONNEFONT

Master MIMSE Bordeaux

Dans tout ce chapitre, (X_n)_n∈N sera une chaîne de Markov homogène de para- mètres (µ, P) sur un espace d’état fini ou dénombrableE.

Définition 0.1. Soit A⊂E, on définit

— le temps d’atteintede A par

T_A= inf{n∈N, X_n∈A}.

— la probabilité d’atteinte de A partant de i par u^A_i =Pi(T_A<∞).

Si le sous-ensemble A est fermé on parle alors de probabilité d’absorption par A partant de i

— le temps moyen d’atteinte deA partant de i v_i^A=Eⁱ(TA).

Théorème 0.2. Le vecteur des probabilités d’absorption (u_i)i∈E est la plus petite solution positive du système







x_i = 1 si i∈A, x_i =X

j∈E

P_ijx_j sinon.

Plus petite dans le sens suivant : si (x_i)i∈E est une autre solution positive alors pour tout i dans E on a x_i ≥u_i.

Remarque 0.3. Le vecteur (ou fonction) x_i ≡1 est solution du système précédent.

Démonstration.

• Montrons tout d’abord que (u_i)_i∈E vérifie bien le système.

— Si X₀ =i∈A alors on a bien sûrT_A= 0 et donc u_i =P(T_A <∞) = 1.

1

— Si X₀ = i /∈ A, alors T_A ≥ 1. Soit j tel que P(X₁ = j) > 0 (c’est à dire P_ij >0) alors

Pⁱ(T_A<∞|X₁ =j) =

∞

X

k=1

Pⁱ(T_A=k|X₁ =j),

=

∞

X

k=1

Pⁱ(X₁ ∈/ A, X₂ ∈/ A, . . . , X_k−1 ∈/ A, X_k ∈A|X₁ =j),

=

∞

X

k=1

P^j(X₀ ∈/ A, X₁ ∈/A, . . . , X_k−2 ∈/ A, X_k−1 ∈A)

d’après la propriété de Markov faible,

=

∞

X

k=1

P^j(TA =k−1) =P^j(TA<∞).

D’où

u_i =Pi(T_A <∞) = X

j∈E

Pi(T_A<∞, X₁ =j),

= X

j∈E,i−→j

Pⁱ(TA <∞|X1 =j)Pⁱ(X1 =j),

= X

j∈E,i−→j

P_ijPj(T_A<∞),

= X

j∈E,i−→j

P_iju_j,

=X

j∈E

Pijuj car si i6−→j alors Pij = 0.

• Montrons maintenant la minimalité de (u_i)_i∈E. Soit (x_i)_i∈E solution positive du système. On a immédiatement x_i = 1 = u_i, pour tout i ∈ A. Soit i /∈ A,

alors

x_i =X

j∈E

P_ijx_j =X

j∈A

P_ij +X

j /∈A

P_ijx_j,

=X

j∈A

P_ij +X

j /∈A

P_ij X

k∈A

P_jk+X

k /∈A

P_jkx_k

! ,

=X

j∈A

P_ij +X

j /∈A

X

k∈A

P_ijP_jk +X

j /∈A

X

k /∈A

P_ijP_jkx_k,

=Pⁱ(X₁ ∈A) +Pⁱ(X₁ ∈/ A, X₂ ∈A) +X

j /∈A

X

k /∈A

P_ijP_jkx_k,

=Pi(T_A= 1) +Pi(T_A= 2) +X

j /∈A

X

k /∈A

P_ijP_jkx_k,

=Pⁱ(T_A≤2) +X

j /∈A

X

k /∈A

P_ijP_jkx_k.

Et par récurrence surn on obtient (Exercice : faire la récurrence proprement) que pour tout n ≥1

x_i =Pi(T_A≤n) + X

j1∈A/

X

j2∈A/

. . .X

jn∈A/

P_ij1P_j1j2. . . P_jn−1jnx_jn.

On a supposé que x_i ≥0, pour touti dansE donc on ax_i ≥Pi(T_A≤n). Ceci étant vrai pour tout n on a

x_i ≥ lim

n→∞Pi(T_A≤n) =Pi(T_A <∞) = u_i.

On a bien le droit de passer à la limite car la suite (Pi(T_A ≤ n))_n∈N est une suite croissante. Et on a bien obtenu que x_i ≥u_i pour tout idans E.

Théorème 0.4. Le vecteur des temps moyen d’atteinte (v_i)i∈E est la plus petite solution positive du système







y_i = 0 sii∈A, y_i = 1 +X

j /∈A

P_ijy_j sinon.

Démonstration.

• Montrons tout d’abord que (v_i)i∈E est solution du système.

— Si X0 =i∈A alors on a bien sûrTA= 0 et donc vi =E(TA) = 0

— Si X0 =i /∈A alors on a v_i =Ei(T_A) = X

j∈E

Ei(T_A1_X1=j) = X

j∈E,i−→j

Ei(T_A1_X1=j)

et pour tout j ∈E tel que i−→j on a, car Pi(X₁ =j)>0,

Ei(T_A1_X1=j) = X

k∈N^∗

kPi(T_A =k, X₁ =j)

!

+∞.Pi(T_A=∞, X₁ =j),

= X

k∈N^∗

kPⁱ(TA =k|X1 =j)Pⁱ(X1 =j)

!

+∞.Pⁱ(TA =∞|X1 =j)P(X1 =j),

= X

k∈N^∗

kP^j(T_A=k−1)P_ij

!

+∞.P^j(T_A=∞)P_ij

par la propriété de Markov faible,

=P_ij X

k∈N^∗

kPj(T_A=k−1) +∞.Pj(T_A =∞)

! ,

=P_ij

X

k∈N

kPj(T_A=k) +∞.Pj(T_A=∞)

!

+ X

k∈N

Pj(T_A =k) +Pj(T_A=∞)

!!

,

=P_ij(Ej(T_A) + 1).

D’où

Ei(T_A) = X

j∈E,i−→j

P_ij + X

j∈E,i−→j

P_ijEj(T_A) =X

j∈E

P_ij +X

j∈E

P_ijEj(T_A),

v_i = 1 +X

j∈E

P_ijv_j = 1 +X

j /∈A

P_ijv_j

• Montrons maintenant la minimalité de (v_i)i∈E. Soit (y_i)i∈E solution du système.

Alors si i∈A on a immédiatementy_i = 0 =u_i. Et si i /∈A on a y_i = 1 +X

j /∈A

P_ijy_j,

= 1 +X

j /∈A

P_ij 1 +X

k /∈A

P_jky_k

! ,

= 1 +X

j /∈A

P_ij +X

j /∈A

X

k /∈A

P_ijP_jky_k,

=Pi(T_A≥1) +Pi(T_A ≥2) +X

j /∈A

X

k /∈A

P_ijP_jky_k.

Et par récurrence sur n on obtient (Exercice : faire la récurrence proprement) que pour tout n≥1

y_i =

n

X

p=1

Pⁱ(T_A≥p) + X

j1∈A/

X

j2∈A/

. . .X

jn∈A/

P_ij1P_j1j2. . . P_jn−1jny_jn. On a de plus supposé que yi ≥0 pour touti dans E d’où

y_i ≥

n

X

p=1

Pi(T_A≥p).

Ceci étant vrai pour tout n≥1, on a y_i ≥

∞

X

p=1

Pi(T_A≥p),

et le passage à la limite est autorisé car la suite

n

X

p=1

Pi(T_A≥p)

!

n≥1

est croissante.

De plus

∞

X

p=1

P(T_A ≥p) =

∞

X

p=1

pP(T_A =p) +∞.Pi(T_A=∞) = Ei(T_A).

D’où y_i ≥Ei(T_A) =v_i.