telles que, pour tout k≥1, P(Xk=−1) =P(Xk= 1

Université Paris-Dauphine Master 1, Mathématiques et applications

Contrôle des chaînes de Markov Année : 2019-2020

Partiel - 30 octobre 2019 durée : 2 heures

Les documents, téléphones et ordinateurs portables sont interdits.

Dans toute la feuille(Ω,F,P) désigne un espace probabilisé.

Exercice 1. [Cours - projection orthogonale]

SoitX une variable aléatoire dansL²(F). SoitGune sous-tribu deF, etY ∈L²(G)une variable aléatoire qui satisfait

E[(X−Y)²] = inf

Z∈L²(G)E[(X−Z)²].

Montrer qu’alors, pour tout Z∈L²(G),E[(X−Y)Z] = 0.

Exercice 2. Soit(X_k)k≥1 une suite de variables aléatoires i.i.d. telles que, pour tout k≥1, P(X_k=−1) =P(X_k= 1) = 1

2. On pose S0 = 0, et pour tout n ≥ 1, Sn = Pn

k=1Xk. On considère la filtration (Fn)n≥0, où F0={∅,Ω} et, pour toutn≥1,Fn=σ(X1, . . . , Xn).

Soit a ∈N^∗, et λ∈ R⁺ tel que 0 < λ < _2a^π. On définit T_a comme étant le temps de sortie de [−a, a], c’est-à-dire

Ta= inf{n≥0 : |S_n|=a}, avec la convention queTa=∞ si l’ensemble est vide.

1. Montrer queT_a est un temps d’arrêt pour la filtration(Fn)n≥0. 2. Pour tout n≥0, on définit la variable aléatoire

M_n= (cosλ)⁻ⁿcos(λS_n).

Montrer que(Mn)n≥0 est une martingale pour la filtration(Fn)n≥0. 3. Montrer que, pour tout n≥0,

(cosλ)^−n∧Tacos(λa)≤Mn∧Ta. En déduire que cos(λa)E

(cosλ)^−n∧Ta

≤1.

4. En déduire que E

(cosλ)^−Ta

≤(cos(λa))⁻¹, puis que Ta est fini p.s.

Solution de l’exercice 2.

1. Remarquons que pour tout n≥0,Sn est Fn-mesurable. On a de plus {T_a=n}={|S₀|< a, . . . ,|S_n−1|< a,|S_n|=a}, qui est bien dansFn, donc T_a est un temps d’arrêt.

2. Pour tout n≥0,

◦M_n est σ(S_n)-mesurable doncFn-mesurable.

◦ Comme0< λ < _2a^π eta∈N^∗,λ∈(0,^π₂), donccos(λ)>0. Ainsi,|M_n| ≤cos(λ)⁻ⁿ est dansL¹.

◦Calculons,

E[M_n+1|Fn] =E[(cosλ)⁻⁽ⁿ⁺¹⁾cos(λS_n+1)|Fn]

= (cosλ)⁻⁽ⁿ⁺¹⁾E[cos(λ(Sn+Xn+1))|Fn]

= (cosλ)⁻⁽ⁿ⁺¹⁾X

y∈Z

E[cos(λ(y+X_n+1))]I{Sn=y}, (X_n+1 ind. deFn,S_n estFn-mes.)

= (cosλ)⁻⁽ⁿ⁺¹⁾X

y∈Z

1

2(cos(λ(y+ 1)) + cos(λ(y−1)))I{S_n=y}

= (cosλ)⁻⁽ⁿ⁺¹⁾X

y∈Z

cos(λy) cos(λ)I{Sn=y}, id. cos(a+b) + cos(a−b) = 2 cosacosb

= cos(λ)⁻ⁿcos(λSn) =Mn.

Ainsi, nous avons établi que(M_n)n≥0 est une martingale.

3. On a Mn∧Ta = (cosλ)^−n∧Tacos(λSn∧Ta). La fonction cosétant paire, on a cos(λSn∧T_a) = cos(λ|S_n∧Ta|).

De plus, commeλ >0, on a p.s.

0≤λ|S_n∧Ta|=λ(|S_Ta|I{T_a≤n}+|S_n|I{T_a≥n})

≤λa, par définition deT_a, et car|S_n| ≤asi T_a> n

< π

2, par définition deλet cara∈N^∗. La fonctioncos étant décroissante sur(0,^π₂), on déduit que

cos(λ|S_n∧Ta|)≥cos(λa), et par suite que, Mn∧T_a ≥(cosλ)^−n∧Tacos(λa).

En prenant l’espérance, et en utilisant le théorème d’arrêt qui nous dit que (Mn∧Ta)n≥0

est une martingale, on déduit que

cos(λa)E[(cosλ)^−n∧Ta]≤E[Mn∧Ta] =E[M0∧Ta] =E[M₀] = 1, qui est équivalent à l’identité demandée.

4. On alimn→∞n∧Ta=Tap.s., donc d’après le lemme de Fatou et la question précédente (en utilisant quecos(λa)>0),

E[(cosλ)^−Ta]≤lim inf

n→∞ E[(cosλ)^−n∧Ta]≤(cos(λa))⁻¹.

Ainsi,E[(cosλ)^−Ta]<∞p.s. Ainsi0≤(cosλ)^−Ta <∞p.s. et par suite−T_alog(cos(λ))<

∞ p.s. Commecos(λ)∈(0,1)on en déduite que T_a<∞p.s.

Exercice 3. [Variations autour du problème de Cayley-Moser]

Chaque minute, une machine tire au hasard un nombre réel positif. On note X_n le réel obtenu à la minute n et on suppose que les (X_n)n≥1 sont des variables aléatoires indépendantes mais pas forcément identiquement distribuées, positives et d’espérance finie. Vous pouvez observer la machine pendantN minutes. Chaque minute, vous avez le choix entre dire “stop” ou “je continue”, mais vous ne pouvez dire “stop” qu’une seule fois. Si vous décidez de vous arrêter à la minuten, on vous remet (en euros) la somme Xn et le processus s’arrête là. Sinon le processus continue jusqu’à ce vous disiez “stop”. L’horizon est fini : si vous ne vous êtes pas arrêtés strictement avant la minute N, vous devez dire “stop” à la minuteN. L’objectif est de trouver une stratégie optimale maximisant la somme reçue.

1. Rappeler la définition de la fonction valeur (Z_n)1≤n≤N, solution de ce problème d’arrêt optimal et montrer que, pour tout1≤n≤N,Z_nest σ(X_n)- mesurable.

2. Pour tout 1≤n≤N, on poseV_n:=E[Z_n]. Montrer que,

∀1≤n≤N −1, Vn=ϕn(Vn+1), où, pour tout x∈R,ϕ_n(x) =E[max(X_n, x)].

3. Donner la définition du cours de T^?, le plus petit temps d’arrêt optimal borné parN. 4. Montrer que(Zn∧T^∗)1≤n≤N est une martingale.

5. Montrer que le temps d’arrêt optimal T^? peut se réécrire de la manière suivante : T^? =

(inf{1≤k≤N −1 :X_k ≥V_k+1} si non vide

N sinon.

6. Application 1. On suppose que, pour tout 1 ≤ n ≤ N, Xn suit une loi uniforme sur l’intervalle[0, N + 1−n].

(a) Trouver la relation de récurrence rétrograde pour les (Vn)1≤n≤N.

(b) Application numérique. Expliciter dans le cas où N = 4. Conclure sur la stratégie à adopter et donner le gain moyen optimal.

7. Application 2. On suppose que les (Xn)n≥1 sont identiquement distribuées, de loi ex- ponentielle de paramètre 1.

(a) Trouver la relation de récurrence rétrograde pour les (Vn)1≤n≤N.

(b) Le but de cette question est de montrer queV₁−log(N)^N−→^→∞0. Pour tout1≤n≤N, posonsU_n=V_N−n+1; il est alors équivalent de montrer que

U_N −log(N)^N−→^→∞0.

i. Montrer queU1 = 1 et que, pour tout2≤n≤N, U_n=Un−1+e^−Un−1.

ii. Pour tout 1 ≤ n ≤ N, posons Bn = e^Un −(n+ 1). Montrer que, pour tout 2≤n≤N,

B_n−Bn−1= (n+Bn−1)

exp 1 n+Bn−1

−1

−1.

iii. Montrer que, pour tout 1≤n≤N,Bn≥0; en déduire queUn≥log(n+ 1).

iv. Montrer queB_N ≤log(N) +c, pour une constantec, lorsqueN est suffisamment grand.

v. Conclure.

Solution de l’exercice 3.

1. On considère la filtration canonique (Fn)n≥1 = (σ(X₁, . . . , X_n))n≥1. Pour tout n ≥ 1, le processus de gain est Yn = Xn où les (Xn)n≥0 sont indépendantes et intégrables.

On est donc dans le cadre Markovien. Ainsi d’après le cours, la fonction valeur Z_n est σ(X_n)-mesurable. On demande cependant de le redémontrer.

Par définition,

◦ Z_N =X_N,

◦ ∀1≤n≤N,Z_n= max(X_n,E[Z_n+1|Fn]).

Par récurrence rétrograde, Z_N = X_N est σ(X_N)-mesurable. Soit 1 ≤ n+ 1 ≤ N et supposons que Z_n+1 estσ(X_n+1)-mesurable. Alors,

E[Z_n+1|Fn] =E[Z_n+1].

En effet, les v.a. (Xn)n≥1 étant indépendantes, on a que Zn+1 est indépendante deFn. Ainsi au rang n,

Zn= max(Xn,E[Zn+1|Fn]) = max(Xn,E[Zn+1]) estσ(X_n)-mesurable.

2. D’après la question précédente, pour tout1≤n≤N −1,

Z_n= max(X_n,E[Z_n+1]) = max(X_n, V_n+1).

En prenant l’espérance des deux côtés, on déduit que :

V_n=E[Z_n] =E[max(X_n, V_n+1)] =ϕ_n(V_n+1).

3. D’après le cours, T^?=

(inf{1≤k≤N−1 : Xk ≥E[Zk+1|Fk]} si non vide

N sinon .

4. Voir cours.

5. On utilise la question 3. et le fait que,Y_k=X_k,E[Z_k+1|Fk] =E[Z_k+1] =V_k+1. 6. Application 1.

(a) On a X_N ∼U([0,1]), donc

VN =E[XN] = 1 2,

Pour tout 1≤n≤N, posonsM =N + 1−n, et pour tout x∈[0, M], calculons, ϕ_n(v) =E[max(X_n, v)] = 1

M Z v

0

vdx+ Z M

v

xdx

= v²+M²

2M = v²+ (N + 1−n)² 2(N + 1−n) .

D’après la question 2., pour tout 1≤n≤N−1,

V_n=ϕ_n(V_n+1) = V_n+1² + (N+ 1−n)² 2(N + 1−n) . (b) Cas N = 4.

n= 4, V₄ = 1 2 n= 3, N + 1−n= 2, V₃ =

1 2² + 2²

2·2 = 17

16 '1.06 n= 2, N + 1−n= 3, V₂ =

17² 16² + 3²

2·3 = 2593

1536 '1.69 n= 1, N + 1−n= 4, V₁ =

2536² 1536² + 4²

2·4 '2.36

Stratégie : choisir le premier objet si X1 ≥ 1.69 sinon on continue, on choisit le deuxième objet si X₂ ≥1.06 sinon on continue, on choisit le troisième objet si X₃ ≥ 0.5, sinon on choisit le quatrième objet.

Le gain moyen optimal est V1 = 2.36.

7. Application 2.

(a) On a X_N ∼E([0,1]), donc

V_N =E[X_N] = 1, Calculons, pour tout v >0,

ϕ(v) =E[max(X1, v)] = Z v

0

ve^−xdx+ Z ∞

v

xe^−xdx

=v(1−e^−v) +ve^−v+e^−v

=v+e^−v.

D’après la question 2., pour tout 1≤n≤N−1,

Vn=ϕn(Vn+1) =ϕ(Vn+1) =Vn+1+e^−Vn+1. (b) i. On aU₁=V_N = 1 d’après le point (a). Pour tout2≤n≤N,

U_n=VN−n+1=VN−n+2+e^−VN−n+2, d’après (a)

=V_{N−(n−1)+1}+e^{−VN−(n−1)+1}

=Un−1+e^−Un−1, par définition deUn−1.

ii. Notons que d’après la question i., on ae^Un =e^Un−1exp(e^−Un−1). D’après la défi- nition de Bn, on a e^Un = n+ 1 +Bn. Remplaçant ceci dans la première identité on obtient,

n+1+B_n= (n+Bn−1) exp 1 n+Bn−1

⇒ B_n= (n+Bn−1) exp 1 n+Bn−1

−n−1.

ConsidéronsBn−Bn−1 en remplaçantBn par l’identité ci-dessus : B_n−Bn−1 = (n+Bn−1) exp 1

n+Bn−1

−Bn−1−n−1

= (n+Bn−1)

exp 1

n+Bn−1

−1

−1, qui est l’identité recherchée.

iii. En utilisant le développement en série entière de l’exponentielle, on obtient, (n+Bn−1)

exp

1 n+Bn−1

−1

−1 = 1

2!(n+Bn−1) + 1

3!(n+Bn−1)² +. . . De plus,B1 =e^U1 −2 =e¹−2>0. Donc de l’identité ci-dessus et de la question ii. on déduit par récurrence que(B_n) est croissante comme fonction de net donc positive.

De la définition deBn, on a

U_n= log(B_n+ (n+ 1))≤log(n+ 1),

où dans la deuxième inégalité on a utilisé le fait que log est croissante et que B_n≥0.

iv. De la question précédente, on déduit que B_n−Bn−1 ≤ 1

2!n+ 1

3!n² +· · · ≤ 1 n pournassez grand. Ainsi, pour N suffisamment grand,

B_N =

N

X

n=2

(B_n−Bn−1) +B₁ ≤C+ log(N).

v. En utilisant les questions précédentes, on a

0≤UN −log(N+ 1) = log(BN + (N + 1))−log(N+ 1),d’après iii. et déf. BN

= log B_N

N+ 1+ 1 ,

et le membre de droite tend vers 0 car, pourN assez grand, 0 ≤ _N^B₊₁^N ≤ ^log_N+1^N +

C

N+1 →0.

Ainsi, par encadrement, on déduit que limN→∞UN −log(N + 1) = 0. Comme log(N)^∞∼log(N+ 1), on a le résulat voulu.

Ceci signifie que dans ce modèle, quand le nombre d’objets est grand, le gain moyen optimal est de l’ordre delog(N).