Martingales et théorème d'arrêt

Dénition 2.5. Soit (Xn)n≥0 un processus adapté tel que, pour toutn≥0,Xnest intégrable.

On dit que le processus(Xn)n≥0 est une martingale, resp. sur-martingale, sous-martingale, si E[X_n+1|Fn] =X_n, resp. E[X_n+1|Fn]≤X_n, resp. E[X_n+1|Fn]≥X_n.

Interprétation : une martingale représente un jeu équitable. Imaginons queX_nreprésente l'avoir du joueur au temps n, alors le gain moyen qu'il peut espérer au tempsn+ 1connaissant toute l'information jusqu'au temps n est son gain à l'instantn; en résumé le joueur ne gagne ni ne perd.

Propriété 2.2. Si (Xn)n≥0 est une martingale, resp. sur-martingale, alors 1. Pour tout 0≤n≤m, E[X_m|Fn] =X_n, resp. E[X_m|Fn]≤X_n.

2. Pour tout n≥0, E[X_n] =E[X₀], resp. E[X_n]≤E[X₀].

Proof. Nous ne démontrons que le cas martingale, le cas sur-martingale étant analogue. La propriété 1. se montre par récurrence. Sim=n, c'est une propriété de l'espérance conditionnelle.

L'étape d'induction utilise le fait suivant : soit m ≥ n+ 1, alors Fn ⊂ Fm−1 et d'après une propriété de l'espérance conditionnelle,

E[X_m|Fn] =E[E[X_m|Fm−1]|Fn] =E[Xm−1|Fn].

Pour montrer la propriété 2. on prend l'espérance dans l'égalité du point 1.

Exemple 2.3.

1. SoitX une v.a. dansL¹(F); posons

∀n≥0, Xn=E[X|Fn],

alors(Xn)n≥0 est une martingale. En eet, pour tout n≥0,Xn est Fn-mesurable, dans L¹ et

E[X_n+1|Fn] =E[E[X|Fn+1]|Fn] =E[X|Fn] =X_n, en utilisant une propriété de l'espérance conditionnelle.

Chapter 2. Arrêt optimal en horizon fini

2. Marche aléatoire. Soit (Y_k)k≥0 une suite de v.a. indépendantes, intégrables, telles que, pour tout k≥0,E[Y_k] = 0. Pour toutn≥0, on pose

d'après les propriétés de l'espérance conditionnelle, et en utilisant que les v.a. (Y_k)k≥0

sont indépendantes et centrées.

Théorème 2.1 (Théorème d'arrêt). Soit(Xn)n≥0 une martingale, resp. sur-martingale, et soit T un temps d'arrêt; alors (Xn∧T)n≥0 est aussi une martingale, resp. sur-martingale. De plus, si le temps d'arrêt T est borné p.s., on a XT ∈L¹(FT) et

E[XT] =E[X0], resp. E[XT]≤E[X0].

Proof. Montrons d'abord que (Xn∧T)n≥0 est une martingale. D'après la remarque 2.3, ce processus est adapté. Une preuve alternative s'obtient en écrivant, pour tout n≥0,

Xn∧T =

qui est intégrable comme somme nie de v.a. intégrables. Pour la dernière propriété d'une martingale, calculons

X_(n+1)∧T −Xn∧T (2.1)

= X_n+1I{T≥n+1}−X_nI{T≥n}+X_nI{T=n}

= (Xn+1−Xn)I{T≥n+1}.

La v.a. I{T≥n+1}étantFn-mesurable, et(Xn)n≥0étant une martingale, on déduit immédiatement que

E[X_(n+1)∧T −Xn∧T|Fn] =I{T≥n+1}E[Xn+1−Xn|Fn] = 0.

Supposons maintenant que T est borné p.s., c'est-à-dire qu'il existe N > 0 tel queT ≤N p.s.

Le fait queX_T estFT-mesurable est montré dans la propriété 2.1. Montrons queX_T ∈L¹. On a

Chapter 2. Arrêt optimal en horizon fini

qui est dansL¹ comme somme nie de v.a. dansL¹.

Utilisant de plus que(Xn∧T)n≥0 est une martingale, on déduit que E[X_T] =E[XN∧T] =E[X0∧T] =E[X₀], ce qui nit de démontrer la deuxième partie du théorème.

Théorème 2.2. SoientS, T deux temps d'arrêt bornés p.s. tels que S≤T p.s., et soit(X_n)n≥0

2.2 Arrêt optimal en horizon fini : résultats généraux Dans cette section on se donne

(H1) l'information connue au temps n.

◦ Un processus (Y_n)n≥0 adapté à la ltration (Fn)n≥0. Typiquement, pour toutn≥0, Yn représente le gain à l'instantn, on suppose queYn est intégrable.

◦ Un entierN déterministe qui représente l'horizon de temps.

Chapter 2. Arrêt optimal en horizon fini

À chaque instant précédant N on peut décider de continuer ou de s'arrêter et on cherche à optimiser le gain moyen. Autrement dit, le but est de trouver le moment optimal pour s'arrêter, d'où le terme d'arrêt optimal. Cet instant ne doit dépendre que de l'information passée ou présente, c'est pourquoi apparaissent naturellement les temps d'arrêt.

Avant de formaliser la question, voici quelques exemples d'applications.

◦ Un joueur doit décider quand quitter un jeu.

◦ Un particulier vend sa maison; des acheteurs successifs proposent un prix. A chaque fois le vendeur peut accepter de vendre à ce prix, mais un prix refusé ne se représente pas.

◦ Vous vous dirigez en voiture vers un but en cherchant à vous garer le plus près possible.

Vous ne pouvez pas faire demi-tour, si vous ne protez pas d'une place libre lorsque vous la voyez, vous ne la retrouverez pas.

◦ Vous souhaitez déterminer le bon moment pour vendre ou acheter une action.

Formalisons maintenant la question. Notons TN l'ensemble des temps d'arrêt bornés parN. Dénition 2.6.

◦ Le gain moyen optimal, notéJ_N, est

JN = sup

T∈TN

E[YT].

◦ Un temps d'arrêt optimal, notéT^?, est un temps d'arrêt dans TN tel que E[Y_T^?] =J_N.

Remarquons, qu'a priori, on ne sait pas si un tel temps d'arrêt existe, ou même s'il est unique.

La solution du problème d'arrêt optimal (comme la plupart des problèmes d'optimisation) passe par la détermination d'une fonction valeur (Zn)0≤n≤N associée aux diérents choix possibles au temps n. La fonction valeur représente le gain que je peux espérer au temps n en fonction de l'information accumulée jusqu'au temps n.

A chaque étape j'ai deux choix : m'arrêter ou continuer sauf au temps nalN où je suis obligé de m'arrêter. Au temps nal, je gagne Y_N. Au temps n < N, si je m'arrête je gagne Y_n; si je continue, connaissant l'information jusqu'au temps n, je peux espérer gagnerE[Z_n+1|Fn]. On souhaite choisir la meilleure des deux solutions. La fonction valeur(Zn)0≤n≤N est donc dénie par récurrence descendante de la manière suivante :

◦ ZN =YN,

◦ ∀0≤n≤N −1, Z_n= max(Y_n,E[Z_n+1|Fn]). Montrons une propriété importante de(Z_n).

Chapter 2. Arrêt optimal en horizon fini

Proposition 2.2. La fonction valeur (Zn)0≤n≤N est une sur-martingale, et c'est la plus petite sur-martingale supérieure ou égale à(Y_n)0≤n≤N.

Dénition 2.7. On dit que (Zn)est l'enveloppe de Snell du processus adapté(Yn). Proof.

• Le processus(Z_n)0≤n≤N est une sur-martingale.

◦ (Zn) est adapté : clair.

◦ ∀n≥0, Zn∈L¹. Par récurrence descendante. C'est vrai pourZN =YN. Puis,

|Z_n| ≤ |Y_n|+|E[Z_n+1|Fn]|, et les deux termes du membre de droite sont dansL¹.

◦ Zn≥E[Zn+1|Fn]: clair.

• (Z_n)est supérieure ou égale à (Y_n) : clair.

• (Z_n) est la plus petite ... Soit (V_n) une sur-martingale supérieure ou égale à (Y_n). Montrons par récurrence descendante que (Vn) est supérieure ou égale à (Zn). On a VN ≥ YN = ZN. Supposons vrai pour n+ 1; alors,

V_n≥Y_n et V_n^sur-mart.≥ E[V_n+1|Fn]^hyp.≥ E[Z_n+1|Fn], donc V_n≥max(Y_n,E[Z_n+1|Fn]) =Z_n.

Comme mentionné plus haut, pour tout0≤n≤N,Zn représente le gain que l'on peut espérer au tempsnconnaissant l'information accumulée jusqu'au tempsn. Ainsi il semble qu'un moment opportun pour s'arrêter est lorsque Yn=Zn. Ceci motive la dénition suivante :

T^? = min{0≤k≤N : Y_k=Z_k}=

(inf{0≤k≤N−1 : Y_k ≥E[Z_k+1|Fk]} si non vide

N sinon.

Le théorème suivant démontre les propriétés fondamentales deT^?et résoud de manière théorique le problème d'optimisation que nous nous sommes posé.

Théorème 2.3.

1. T^?∈TN, autrement dit T^? est un temps d'arrêt borné parN. 2. (Zn∧T^?)0≤n≤N est une martingale.

3. T^? est un temps d'arrêt optimal et sup

T∈TN

E[Y_T] =E[Y_T^?] =E[Z_T^?] =E[Z₀].

4. T^? est le plus petit temps d'arrêt optimal.

Chapter 2. Arrêt optimal en horizon fini

Avant de démontrer ce théorème, remarquons que pour calculer le gain optimal il sut de calculer E[Z₀].

Proof.

1. Le processus (Z_n −Y_n)0≤n≤N est adapté, et {0} est un borélien de R. Ainsi, d'après l'exemple 2.2, T^? = min{0≤k≤N : Zk−Yk= 0}est un temps d'arrêt.

2. D'après le théorème d'arrêt, nous savons que(Zn∧T^?)0≤n≤N est une sur-martingale. Il nous reste donc à considérer E[Z_(n+1)∧T^?|Fn]. Procédons comme dans la preuve du théorème d'arrêt; écrivons

Z(n+1)∧T^? =

n

X

i=1

ZiI{T^?=i}+Zn+1I{T^?≥n+1} =ZT^?I{T^?≤n}+Zn+1I{T^?≥n+1}.

Comme le premier terme du membre de droite estFn-mesurable etI{T^?≥n+1}l'est également, on déduit que

E[Z_(n+1)∧T^?|Fn] =ZT^?I{T^?≤n}+I{T^?≥n+1}E[Zn+1|Fn].

Mais si T^? ≥ n+ 1, on a Y_n 6= Z_n ce qui, par dénition de Z_n implique que, Z_n = E[Zn+1|Fn]. Donc nalement,

E[Z_(n+1)∧T^?|Fn] =Z_T^?I{T^?≤n}+Z_nI{T^?≥n+1} =Zn∧T^?. 3. Comme le temps d'arrêtT^? est borné, d'après le point 2., on a

E[ZT^?] =E[ZN∧T^?] =E[Z0∧T^?] =E[Z0].

De plus E[Z_T^?] =E[Y_T^?]par dénition de T^?. Il nous reste à montrer l'optimalité, c'est-à-dire, que pour tout temps d'arrêtS ∈TN,E[YS]≤E[YT^?]. Par dénition de (Zn), on a ZS ≥YS p.s. De plus, vu que (Zn) est une sur-martingale et que le temps d'arrêt S est borné, on a par le théorème d'arrêt

E[ZS]≤E[Z0].

En se souvenant queE[Z₀] =E[Y_T^?], on conclut

E[YS]≤E[ZS]≤E[YT^?].

4. Soit S ∈ TN un temps d'arrêt optimal. Nous devons montrer que S ≥ T^?. En utilisant l'optimalité et le théorème d'arrêt comme au point précédent, nous obtenons :

E[Y_S]^opt.= E[Y_T^?] =E[Z₀]^{th. ar.}≥ E[Z_S] ⇒E[Y_S−Z_S]≥0.

De plus, par dénition de (Zn), on a Z_S ≥ Y_S p.s. ainsi E[Z_S−Y_S] ≥ 0 et par suite E[Z_S−Y_S] = 0. Utilisant à nouveau que Z_S−Y_S ≥0 p.s. on conclut que Z_S =Y_S p.s.

En revenant à la dénition de T^?, ceci implique que S≥T^? p.s.

Chapter 2. Arrêt optimal en horizon fini

2.3 Arrêt optimal : problèmes avec structure markovienne

On se place dans le même cadre que celui de la section précédente, mais on suppose de plus que le processus(Yn)0≤n≤N peut se construire à l'aide d'une chaîne de Markov.

2.3.1 Rappel sur les chaînes de Markov SoitE un espace dénombrable muni de la tribuP(E).

Dénition 2.8. Une matrice stochastique est une famille(Q(x, y))x,y∈E de nombres dans[0,1]

telle que

∀x∈E, X

y∈E

Q(x, y) = 1.

Dénition 2.9.

◦ Soit (X_n)n≥0 un processus à valeurs dans E et soit, pour tout n ≥ 0, une matrice stochastique Qn. On dit que (Xn)n≥0 est une chaîne de Markov si, pour tout n ≥ 0, pour tout (x₀, . . . , xn−1, x, y)∈Eⁿ⁺² tel que P(X₀=x₀, . . . , X_n=x)>0, on a :

P(Xn+1 =y|X₀=x0, . . . , Xn−1=xn−1, Xn=x) =P(Xn+1=y|X_n=x) =Qn(x, y).

Autrement dit, la loi du futur connaissant le passé et le présent ne dépend que du présent.

◦ Les matrices(Q_n)n≥0 sont appelées les matrices de transition de la chaîne.

◦ Si pour tout n≥ 0, Qn ≡Q, la chaîne de Markov est dite homogène; c'est-à-dire que le mécanisme de transition entre l'instantnet l'instantn+ 1ne dépend pas den. Sinon elle est dite inhomogène.

Notation. Soit f :E →Rune fonction mesurable telle quef(Xn+1) est dans L¹. On note Qnf(x) :=E[f(Xn+1)|X_n=x] =X

y∈E

Qn(x, y)f(y).

Exemple 2.4. Dans les exemples suivants, on considère (x₀, . . . , xn−1, x, y) ∈ Eⁿ⁺² et on suppose que les événements par rapport auxquels on conditionne ont probabilité strictement positive.

1. Si(Xn)n≥0 est une suite de v.a. indépendantes à valeurs dansE, alors c'est une chaîne de Markov. En eet,

P(Xn+1 =y|X₀=x0, . . . , Xn−1=xn−1, Xn=x) = P(X₀ =x₀, . . . , X_n=x, X_n+1 =y) P(X0 =x0, . . . , Xn=x)

=P(X_n+1=y) =P(X_n+1 =y|X_n=x).

Le noyau de transition est Qn(x, y) = P(Xn+1 = y). Si les v.a. sont identiquement distribuées alors la chaîne de Markov est homogène.

Chapter 2. Arrêt optimal en horizon fini

3. On reprend le processus de Galton-Watson introduit dans la feuille d'exercice 1. On a (Xp,q)p,q∈N^∗ des v.a. i.i.d. à valeurs dansN. On pose Z0= 1, puis pour toutn≥1,

2.3.2 Arrêt optimal avec structure markovienne

En plus des hypothèses(H₁), dans la suite de cette section, on suppose que :

(H2) matrices de transition de la chaîne de Markov.

◦ (Fn)n≥0 est la ltration canonique.

◦ Pour tout 0≤n≤N,Y_n=ϕ_n(X_n), oùϕ_n:E→R est une fonction mesurable.

On obtient alors le théorème suivant.

Théorème 2.4. Soit(Zn)0≤n≤N l'enveloppe de Snell du processus(Yn)0≤n≤N. Sous les hypothèses précédentes, il existe des fonctions mesurables V_n:E→R, 0≤n≤N, telles que

Chapter 2. Arrêt optimal en horizon fini

1. Zn=Vn(Xn), autrement dit Zn estσ(Xn)-mesurable.

2. Le plus petit temps d'arrêt optimal T^? est égal à

T^?= min{0≤k≤N : X_k∈D_k}=

(inf{0≤k≤N −1 : ϕ_k(X_k)≥Q_kV_k+1(X_k)} si non vide

N sinon.

où Dk ={x∈E : ϕk(x) =Vk(x)}. Proof.

1. Il sut de construire les(Vn)0≤n≤N par récurrence descendante et d'appliquer les résultats vus dans le cadre général. On a

Z_N =Y_N =ϕ_N(X_N),

donc VN =ϕN convient. Supposons le résultat démontré pour n+ 1. Alors, Zn= max(Yn,E[Zn+1|Fn])

= max(ϕ_n(X_n),E[V_n+1(X_n+1)|Fn]), d'après l'hypothèse de récurrence

= max(ϕ_n(X_n),E[V_n+1(X_n+1)|X_n]), d'après la propriété de Markov

= max(ϕn(Xn), QnVn+1(Xn)).

AinsiVn(Xn) = max(ϕn(Xn), QnVn+1(Xn))convient et est bienσ(Xn)-mesurable.

2. En appliquant ceci aux résultats généraux, on obtient

T^?= min{0≤k≤N : Y_k=Z_k}=

(inf{0≤k≤N −1 : Yk≥E[Zk+1|Fk]} si non vide

N sinon

= min{0≤k≤N : ϕ_k(X_k) =V_k(X_k)}=

(inf{0≤k≤N−1 : ϕk(Xk)≥QkVk+1(Xk)} si non vide

N sinon.

Ce théorème donne une description plus explicite du temps d'arrêt optimal T^? : il s'agit du temps d'entrée de la chaîne de Markov(Xn)0≤n≤N dans un borélien deE(où le borélien dépend de n).

Corollaire 2.5. Dans le contexte du théorème précédent, si les(Xn)n≥0sont de plus indépendantes (pas forcément identiquement distribuées), alors :

T^? =

(inf{0≤k≤N −1 : ϕk(Xk)≥E[Vk+1(Xk+1)]} si non vide

N sinon.

Chapter 2. Arrêt optimal en horizon fini

2.4 Arrêt optimal : problèmes monotones

On se place dans le cadre général de l'arrêt optimal, c'est-à-dire sous les hypothèses(H1). Dénition 2.10. On dit que le problème d'arrêt est monotone si, pour tout0≤n≤N−1, les événements

An={Y_n≥E[Yn+1|Fn]}

sont emboîtés : A₁⊂A₂ ⊂ · · · ⊂AN−1. Cela signie que si le gain à un tempsn est supérieur à l'espérance du gain obtenu en s'arrêtant au temps suivantn+ 1, ce sera le cas pour tous les temps suivants.

Dénition 2.11. On appelle règle d'anticipation à une étape (1-step lookahead rule) le temps d'arrêt

T_1-sla =

(inf{0≤k≤N −1 : Y_k≥E[Y_k+1|Fk]} si non vide

N sinon.

Autrement dit, cette règle consiste à s'arrêter au premier instant où le gain est supérieur au gain moyen obtenu en s'arrêtant à l'étape suivante; il n'est pas nécessaire de regarder plus loin.

Le théorème suivant montre que cette règle est optimale. L'avantage du temps d'arrêtT_1-sla est que l'on n'a pas besoin de la fonction valeur(Z_n)0≤n≤N; l'inconvénient est qu'il faut montrer la monotonie du problème.

Théorème 2.6. Si le problème d'arrêt est monotone, le temps d'arrêt T_1-sla est optimal.

Proof.

• Étape 1 : même sans l'hypothèse de monotonie, on a T_1-sla ≤T^?. Pour tout 0 ≤n≤N −1, Yn+1 ≤Zn+1 p.s. donc E[Yn+1|Fn]≤E[Zn+1|Fn], d'où

{0≤n≤N −1 : Yn≥E[Zn+1|Fn]} ⊂ {0≤n≤N−1 : Yn≥E[Yn+1|Fn]}, donc si ces ensembles sont non-vides,

inf{0≤n≤N −1 : Yn≥E[Zn+1|Fn]} ≥inf{0≤n≤N−1 : Yn≥E[Yn+1|Fn]}, Dans le cas où le premier sous-ensemble est vide, T^? =N ≥ T_1-sla, et dans le cas où le second est vide, alors T^?=N =T_1-sla.

• Étape 2 : T_1-sla ≥T^?. Si T_1-sla =N, il n'y a rien à prouver. Supposons donc T_1-sla< N. On a, pour tout 0≤n≤N−1,

{T_1-sla =n}^déf.⊂ {Y_n≥E[Yn+1|Fn]}^monotonie⊂ \

n≤k≤N−1

{Y_k≥E[Y_k+1|Fk]}.

Montrons que ∩_{n≤k≤N−1}{Y_k ≥ E[Y_k+1|Fk]} ⊂ ∩_n≤k≤N{Z_k = Y_k}. Supposons que, pour tout n≤k≤N −1, l'événement{Y_k ≥E[Y_k+1|Fk]} est réalisé. Par dénition, Z_N =Y_N, ainsi on a

ZN−1 = max(Y_N−1,E[Z_N|FN−1]) = max(YN−1,E[Y_N|FN−1]) =Y_N−1.

Chapter 2. Arrêt optimal en horizon fini

De manière analogue,

ZN−2= max(YN−2,E[ZN−1|FN−2]) = max(YN−2,E[YN−1|FN−2]) =YN−2,

et donc par récurrence descendante, on montre que pour toutn≤k≤N, l'événement{Z_k=Y_k} est réalisé, ce qui prouve l'inclusion cherchée.

On remarque de plus que, par dénition du temps d'arrêt optimal T^?,

\

n≤k≤N

{Z_k=Y_k} ⊂ {T^?≤n}.

Nous avons donc montré que, pour tout 0≤n≤N,{T_1-sla =n} ⊂ {T^?≤n}, d'où l'on conclut queT_1-sla ≥T^?.

Chapter 2. Arrêt optimal en horizon fini

Chapter 3

Compléments sur les martingales : uniforme intégrabilité et applications

3.1 Uniforme intégrabilité

Dans toute la suite, on se donne un espace probabilisé (Ω,F,P).

Dénition 3.1. Une famille(X_i)i∈I de v.a. dansL¹(F)est dite uniformément intégrable, abrégé u.i., si

a→∞lim

sup

i∈IE[|X_i|I{|X_i|>a}]

= 0.

On a la dénition équivalente suivante.

Dénition 3.2. Une famille (Xi)i∈I de v.a. dans L¹(F) est u.i. ssi 1. La famille (X_i)i∈I est bornée dans L¹.

2. ∀ε >0, ∃δ >0, t.q. ∀A∈F, t.q. P(A)< δ,

∀i∈I, E[|X_i|IA]< ε.

Preuve de l'équivalence des dénitions.

• Déf. 3.1⇒ Déf. 3.2. Soit ε >0 et soit asusamment grand pour que

∀i∈I, E[|X_i|I{|Xi|>a}]< ε 2. Posons, M =a+ ^ε₂ alors, pour touti∈I,

E[|X_i|] =E[|X_i|I{|Xi|>a}] +E[|X_i|I{|Xi|≤a}]≤ ε

2+a=M, et le point 1. est vérié.

Posonsδ = _2a^ε et soit A t.q. P(A)< δ. Alors, pour touti∈I,

E[|X_i|IA] =E[|X_i|IAI{|X_i|>a}] +E[|X_i|IAI{|X_i|≤a}]

≤E[|X_i|I{|Xi|>a}] +aP(A)< ε 2+ ε

2 =ε,

Chapter 3. Compléments sur les martingales : uniforme intégrabilité et applications ce qui montre le deuxième point.

• Déf. 3.2⇒ Déf. 3.1. On veut montrer que, pour tout ε >0,∃a0 t.q. ∀a > a0, L¹(F), donc d'après le théorème de convergence dominée,

a→∞lim E

Avec la première inégalité on déduit alors

a→∞lim

Chapter 3. Compléments sur les martingales : uniforme intégrabilité et applications

2. Soit (X_n)n≥1 tel que, pour tout n≥1, |X_n| ≤Z, oùZ ≥0 etE[Z]<∞; alors (X_n)n≥1

est u.i. En eet, pour tout a >0, pour tout n≥1,

E[|X_n|I{|X_n|>a}]≤E[ZI{Z>a}], et on conclut de manière analogue à l'exemple 1.

3. Soit p > 1, alors une famille (Xi)i∈I de v.a. bornées dans L^p est u.i. En eet, posons

Notons que d'après la remarque 3.1, on ne peut pas espérer descendre jusquep= 1. 4. Soit X ∈L¹(F). Alors (E[X|G])_Gss-tribu deF est u.i. On va montrer que la dénition 3.1

est satisfaite. Tout d'abord, vu que X est dans L¹, d'après l'exemple 1., le singleton(X) est u.i. donc, d'après la dénition 3.2, pour tout ε >0, il existe δ t.q. pour toutA ∈ F t.q. P(A)< δ,

E[|X|IA]< ε.

De plus, pour toutGsous-tribu deF,E[X|G]∈L¹(G), donc d'après l'inégalité de Markov, pour tout a >0,

Par ailleurs, pour tout Gsous-tribu de F, E

On conclut que la dénition 3.1 est satisfaite en prenant le sup sur toutes les sous-tribus Gde F.

Le théorème suivant motive l'introduction des familles de v.a. u.i. En eet, il donne un critère nécessaire et susant pour avoir équivalence entre convergence en probabilité et convergence dansL¹. Le théorème de convergence dominée, quant à lui, ne donne qu'un critère susant : si (Xn)n≥1 converge vers X p.s. (donc aussi en probabilité) et si, pour tout n ≥1 |X_n| ≤Z, où Z ≥0 etE[Z]<∞, alors(X_n)n≥1 converge versX dansL¹. Notons que comme attendu, cette hypothèse de domination est plus forte que l'u.i., voir point 2. de l'exemple 3.1.

Chapter 3. Compléments sur les martingales : uniforme intégrabilité et applications

Théorème 3.1. Soit (X_n)n≥0 une suite de v.a. dans L¹(F). Alors, il y a équivalence entre : 1. (X_n)n≥0 converge dans L¹ vers X∞∈L¹.

2. (X_n)n≥0 converge en probabilité vers X∞ et la famille (X_n)n≥0 est u.i.

Proof.

•1. ⇒ 2.La convergence dansL¹ implique la convergence en probabilité (inégalité de Markov).

Pour montrer que(X_n)n≥0 est u.i. utilisons la dénition 3.2. On a que(X_n)n≥0 est bornée dans L¹. En eet, comme X_n→^L1 X∞, il existe C tel que, pour toutn≥0,E[|X_n−X∞|]≤C; ainsi

E[|X_n|]≤E[|X_n−X∞|] +E[|X_∞|]≤C+E[|X_∞|].

Vérions maintenant la deuxième condition. Soitε >0. CommeX_n^L→¹ X∞, il existeN ≥0 tel que, pour toutn≥N,E[|X_n−X∞|]< ^ε₄; ainsi, pour toutn≥N,

E[|X_n−X_N|]≤E[|X_n−X∞|] +E[|X_N −X∞|]< ε 2.

D'autre part d'après le point 1. de l'exemple 3.1, la famille nie (Xn)0≤n≤N de v.a. est u.i.

Donc d'après le point 2. de la dénition 3.2, il existe δ > 0 tel que pour tout A ∈ F tel que P(A)< δ,

∀0≤n≤N, E[|X_n|IA]< ε 2. De plus, pour tout n≥N,

E[|X_n|IA]≤E[|X_n−X_N|] +E[|X_N|IA]≤ε, démontrant ainsi le point 2. de la dénition 3.2.

•2. ⇒ 1.D'après le théorème de Riesz-Fisher l'espaceL¹(F) est complet. Ainsi, pour montrer que(Xn)n≥0 converge dans L¹, il sut de montrer que cette suite est de Cauchy dansL¹. En utilisant la dénition 3.2, on remarque que (X_n)n≥0 u.i. implique que (X_n−X_m)_(n,m)∈N2

est aussi u.i. Ainsi, pour tout ε >0, il existea(susamment grand) tel que

∀(n, m)∈N², E[|X_n−Xm|I|X_n−X_m|>a]< ε. (3.2) Par ailleurs, puisqueX_n→^P X∞, il existeN tel que pour tout n, m≥N,

P(|X_n−X_m|> ε)≤P

n|X_n−X∞|> ε 2

o∪n

|X_m−X∞|> ε 2

o

< ε

a. (3.3) Ainsi, pour toutn, m≥N,

kX_n−Xmk₁ =E[|X_n−Xm|]

=E[|X_n−Xm|I{|X_n−X_m|>a}] +E[|X_n−Xm|I{a≥|X_n−X_m|>ε}] +E[|X_n−Xm|I{|X_n−X_m|≤ε}]

≤ε+aP(|X_n−X_m|> ε) +ε, d'après (3.2)

≤ε+aε

a+ε= 3ε, d'après (3.3).

On a bien montré que la suite (X_n)n≥0 est de Cauchy dans L¹ ce qui clôt cette partie de preuve.

Chapter 3. Compléments sur les martingales : uniforme intégrabilité et applications

3.2 Martingales, convergence L¹, théorème d'arrêt 3.2.1 Rappels

Vous avez vu les deux théorèmes suivants sur la convergence des martingales.

Théorème 3.2 (Convergence presque sûre). Soit(Xn)n≥0 une martingale bornée dansL¹, i.e.

sup

n≥0 E[|X_n|]<∞, alors il existe une v.a. X∞∈L¹ telle que X_n−→^p.s. X∞.

Théorème 3.3 (Convergence dans L^p, p >1). Soit (Xn)n≥0 une martingale bornée dans L^p pour p >1, i.e., sup_n≥0 E[|X_n|^p]<∞. Alors, il existe une v.a. X∞∈L^p telle que

Xn L^p

−→p.s. X∞, et E[|X_∞|^p] = sup

n≥0 E[|X_n|^p].

Remarque 3.2. Ce théorème est faux sip= 1. Voici un contre-exemple. Soit (Y_k)k≥0 une suite de v.a. i.i.d. telle queP(Y0 = 2) =P(Y0 = 0) = ¹₂. Posons, pour toutn≥0,

X_n=

n

Y

k=0

Y_k.

On considère la ltration naturelle (Fn = σ(Y0, . . . , Yn))n≥0. Alors, pour tout n ≥ 0, Xn est Fn-mesurable. La famille(X_n)n≥0 est bornée dans L¹ car pour tout n≥0,

E[|X_n|] =E[Xn] = (E[Y0])ⁿ⁺¹= 1.

C'est bien une martingale car

E[Xn+1|Fn] =E[Yn+1Xn|Fn] =Xn.

En eet, d'après les propriétés de l'espérance conditionnelle, comme X_n est Fn-mesurable et Yn+1 indépendante deFn,E[Yn+1Xn|Fn] =XnE[Yn+1] =Xn.

Montrons que X_n−→^p.s. 0.Soit ε >0 petit, alors [

n≥N

{|X_n|> ε} ⊂ {Y₀ = 2, . . . , Y_N = 2}, ainsi,

P(lim sup

n≥0

{|X_n|> ε}) =P(∩_N≥0∪_n≥N{|X_n|> ε})≤P(∩_N≥0{Y₀ = 2, . . . , Y_N = 2}) = lim

N→∞

1 2

N+1

= 0, où dans la dernière inégalité on a utilisé qu'il s'agit d'une intersection d'événements décroissants.

PourtantXn L¹

90, carlimn→∞E[|X_n|] = 1.

Chapter 3. Compléments sur les martingales : uniforme intégrabilité et applications

3.2.2 Convergence dans L¹ des martingales

La question qui se pose est donc Quand a-t-on convergence dansL¹ d'une martingale ? La réponse est donnée par le théorème suivant qui donne des critères nécessaires et susants et utilise l'uniforme intégrabilité.

Théorème 3.4 (ConvergenceL¹). Soit(Xn)n≥0une martingale. Alors les 3 conditions suivantes sont équivalentes:

1. La suite(X_n)n≥0 converge p.s. et dans L¹ vers une v.a. X∞∈L¹, 2. La suite(X_n)n≥0 est u.i.

3. La martingale (Xn)n≥0 est fermée, c'est-à-dire qu'il existe une v.a. Z ∈L¹ telle que, pour tout n≥0, X_n=E[Z|Fn].

Si la condition 1. est satisfaite, on peut prendre Z =X∞ dans 3.

Proof.

•1. ⇒ 2. D'après le théorème 3.1, on a que si(X_n)n≥0 converge dansL¹ alors(X_n)n≥0 est u.i.

•2. ⇒ 1. Si(X_n)n≥0 est u.i. alors, d'après la dénition 3.2, la famille(X_n)n≥0 est bornée dans L¹ ce qui, d'après le théorème 3.2, implique qu'elle converge p.s. donc en probabilité. Avec l'u.i.

et le théorème 3.1 ceci implique la convergence en L¹.

•1. ⇒3. Supposons queXn L¹

−→p.s. X∞.Pour montrer que, pour toutn≥0,Xn=E[X∞|Fn]p.s.

nous allons prouver que E[|X_n−E[X∞|Fn]|] = 0. Comme (Xn)n≥0 est une martingale, nous savons que pour toutk≥0,

E[X_n+k|Fn] =X_n. De plus, nous avons aussi que, pour toutn≥0,X_n+k ^p.s.,L

1

k→∞−→ X∞.Ainsi, 0≤E[|X_n−E[X∞|Fn]|] =E[|E[X_n+k|Fn]−E[X∞|Fn]|]

=E[|E[Xn+k−X∞|Fn]|]

≤E[E[|X_n+k−X∞| |Fn]], propriété de l'espérance conditionnelle

=E[|X_n+k−X∞|]^k→∞−→ 0.

• 3. ⇒2. D'après le point 4. de l'exemple 3.1, si Z ∈L¹, alors la famille (E[Z|Fn])n≥0 est u.i., ce qui est exactement le point 2.

3.2.3 Théorème d'arrêt

Dénition 3.3. Soit(Xn)n≥0 un processus adapté qui converge p.s. versX∞. Pour tout temps d'arrêtT, ni ou non, on dénit :

XT =

∞

X

n=0

XnI{T=n}+X∞I{T=∞}. On peut montrer que XT estFT-mesurable.

Chapter 3. Compléments sur les martingales : uniforme intégrabilité et applications

Théorème 3.5. Soit(X_n)n≥0 une martingale u.i. (elle converge donc p.s. et dans L¹ vers une v.a. X∞∈L¹). Alors pour tout temps d'arrêt T (ni ou non), on a

• Par rapport au théorème d'arrêt, on demande en plus la convergence p.s. et dans L¹ de la martingale. On gagne le fait que le processus arrêté soit fermé, et on peut enlever l'hypothèse de temps d'arrêt borné p.s.

D'après la remarque après la dénition deX_T, nous savons queX_T estFT-mesurable.

Pour montrer que X_T =E[X∞|FT], il nous reste à montrer que pour tout B ∈FT,

Chapter 3. Compléments sur les martingales : uniforme intégrabilité et

3.3 Application de la convergence des martingales : la LFGN Cette section n'utilise pas l'uniforme intégrabilité. On se donne une ltration(Fn)n≥0. Le but est de démontrer la loi forte des grands nombres en utilisant le théorème de convergence dans L² des martingales. Nous démontrons d'abord la proposition suivante.

Proposition 3.1. Soit (X_n)n≥0 une martingale telle que X₀ = 0 et

• Montrons que(Mn)n≥0 est une martingale.

◦ Pour tout n ≥0, Mn est Fn-mesurable et dans L¹ comme somme nie de v.a. dans L¹, en utilisant le fait que(Xn)n≥0 est une martingale.

◦ Calculons, pour toutn≥0,

Chapter 3. Compléments sur les martingales : uniforme intégrabilité et

Le membre de droite étant indépendant den, ceci conclut cette partie de la preuve.

En conséquence du théorème 3.3 (cas p= 2), on sait que la martingale (M_n)n≥0 converge p.s.

M_k, (changement d'indice), et ainsi, pour toutn≥1,

Théorème 3.6 (Loi forte des grands nombres). Soit (Yn)n≥1 une suite de v.a. i.i.d. telle que E[|Y₁|]<∞. Alors,

Chapter 3. Compléments sur les martingales : uniforme intégrabilité et applications

◦ Calculons, pour toutn≥0,

E[Xn+1−Xn|Fn] =E[Yn+1I{|Yn+1|≤n+1}−E[Yn+1I{|Yn+1|≤n+1}]|Fn]

=E[Y_n+1I{|Yn+1|≤n+1}]−E[Y_n+1I{|Yn+1|≤n+1}] = 0,

où dans la deuxième égalité on utilise le fait que les (Yn)n≥1 sont indépendantes et que l'espérance est constante.

• Montrons que (Xn)n≥0 satisfait à l'hypothèse de la proposition précédente, c'est-à-dire que P Ainsi, pour toutm susamment grand,

X

En prenant la limite quandm→ ∞dans le membre de gauche, on déduit queP

k≥1 1

En conséquence d'après le théorème de Cesarò, ¹_nPn

k=1E[Y_kI{|Yk|≤k}]^n→∞−→ 0, et donc

• Application de Borel-Cantelli. On considère la suite d'événements({|Y_k|> k})_k≥1, alors

∞

Chapter 3. Compléments sur les martingales : uniforme intégrabilité et applications

Ainsi d'après le lemme de Borel-Cantelli, P(lim sup

• Conclusion. On écrit, pourn susamment grand, 1

Vu que Y1 < ∞ p.s., le premier terme tend vers 0 p.s. lorsque n tend vers l'inni. Pour le deuxième, on a p.s.

YkI{|Y_k|≤k}, d'après notre utilisation du lemme de Borel-Cantelli

= 1

le premier tend vers 0 p.s. d'après l'identité (3.4), le deuxième tend vers 0 p.s. carY₁<∞p.s.

En conclusion, on a montré la loi des grands nombres : 1

Chapter 3. Compléments sur les martingales : uniforme intégrabilité et applications

Chapter 4

Contrôle des chaînes de Markov

La théorie des systèmes dynamiques contrôlés existe à la fois en temps discret et en temps continu, dans un cadre déterministe ou stochastique (aléatoire). Ce cours est consacré au cas

La théorie des systèmes dynamiques contrôlés existe à la fois en temps discret et en temps continu, dans un cadre déterministe ou stochastique (aléatoire). Ce cours est consacré au cas

Dans le document Contrôle des chaînes de Markov (Page 16-0)