Le but de cette section est de montrer, dans un cas simple, comment l’on peut utiliser le résultat de convergence des martingales cité plus haut pour construire des procédures d’ap-proximation stochastique.
Cadre d’utilisation Nous allons supposer que l’on cherche à trouver un zéro d’une fonction f(x)de Rndans R. On supposera de plus que la fonctionfest difficile à calculer, mais qu’elle se représente sous la forme :
f(x) =E(F(x, U)),
F étant une fonction aisément calculable et U une variable aléatoire de loi donnée, facile à simuler.
Un exemple typique où ce genre d’hypothèse est pertinente est lorsque l’on cherche à éva-luer un quantile d’une loi connue. Plus précisément, on notef(x)la fonction de répartition d’une loiUdonnée par :
f(x) =P(U≤x),
et, pour une probabilitéαproche de1, on cherche à identifierxtel que : P(U≤x) =α.
On dit, dans ce cas, quexest le quantile d’ordreαdeU. On voit que dans ce cas, on cherche à trouver un zéro def(x) =P((U≤x) −α.
Pour fixer les idées supposons queUsuive une loi gaussienne. La fonction de répartition de Un’est pas connue explicitement, mais on sait simuler facilement une variable aléatoire selon la loi deU. De plus
P(U≤x) =E
³
1{U≤x}
´ , et l’on peut donc choisirF(x, u) =1{u≤x}.
L’algorithme de Robbins et Monro Lorsque la fonction fest croissante, nous allons voir que l’on peut construire un algorithme n’utilisant que la fonction F convergent vers l’unique zéros de f. Cet algorithme porte le nom d’algorithme de Robbins et Monro et se présente de la façon suivante. On choisit une valeur initialeX0 quelconque, puis l’on définit itérativementXn en posant
Xn+1 =Xn−γnF(Xn, Un+1).
Nous allons prouver que sous certaines hypothèses surFetγcet algorithme est convergent.
Les hypothèses que nous ferons sur les fonctionsFetfseront les suivantes :
– Fest uniformément bornée enx, u.
– il existex∗ ∈Rdtel quef(x).(x−x∗)≥|x−x∗|2.
Remarque 4.6.1 Notez que la première hypothèse implique quefest uniformément bornée en x. Lorsquefest supposée de plus continue, la deuxième hypothèse implique quex∗est l’unique zéro de f. Pour se convaincre de cette deuxième propriété, considérons un vecteur arbitraire de Rnet²un réel positif. On a alors :
f(x∗+²v).²v≥²2|v|2.
On en déduit que f(x∗ +²v).v ≥ ²|v|2 et en passant à la limite lorsque ² tend vers 0 que f(x∗).v≥0. Cette relation étant vérifiée pour tout vecteurv, on en déduit en changeant le signe devquef(x∗).v=0. Cette dernière égalité étant vérifiée pour toutv, implique quef(x∗) = 0.
L’unicité du zéro defest claire puisque, six 6=x∗on a f(x).(x−x∗)≥c|x−x∗|2 > 0.
Ce qui interdit àf(x)d’être nul.
Notez que en dimension 1, la deuxième condition signifie que f(x) ≥ c(x −x∗) lorsque x > x∗et quef(x)≤c(x−x∗)lorsquex < x∗.
Nous allons maintenant énoncer un résultat de convergence pour l’algorithme suggéré au début de ce paragraphe.
Théorème 4.6.1 Soitfune fonction de Rndans R qui peut se mettre sous la forme f(x) =E(F(x, U)),
Uétant une variable aléatoire de loi connue prenant ses valeurs dans RpetFune fonction de Rn×Rpdans Rn.
On suppose que :
– Fest une fonction bornée (|F(x, u)|≤Kpour toutxetu),
– f(x).(x−x∗)≥c|x−x∗|2,cétant une constante strictement positive, – (γn, n ≥ 0)est une suite de réels positif qui vérifient P
n≥0γn = +∞etP
n≥0γ2n <
+∞.
On définit une suite de variables aléatoires(Xn, n≥0)en posant pourn≥0: Xn+1 =Xn−γnF(Xn, Un+1), X0 =x,
x étant une valeur déterministe arbitraire et (Un, n ≥ 1) une suite de variables aléatoires indépendantes tirées selon la loi deU.
Alors, limn!+1Xn =x∗presque sûrement et dansL2.
Avant d’aborder la démonstration de ce théorème nous rappelons un résultat classique sur les suites de nombres réels connue sous le nom de lemme de Kronecker.
Lemme 4.6.2 Soit(An,≥1)une suite de nombres réels qui croissent vers+∞.
SoitSn = Pn
k=1²k la somme partielle d’une série que l’on suppose (simplement) conver-gente.
Alors
n!+1lim 1 An
Xn
k=1
Ak²k =0.
Ch.4 Martingales à temps discrets 71
Démonstration : Par convention on poseA0 =S0 =0. La sérieSnétant convergente, on peut poserSn=S1+ηnavec limn!+1ηn=0. Avec ces notations, on a
Le premier terme tend clairement vers0. Pour le deuxième, on se donne un² > 0, et l’on choisit Ntel que pourk≥N,|ηk|≤². On a alors :
Ce qui permet de conclure en remarquant que limn!+1An= +∞.
Démonstration : On peut se ramener sans perte de généralité au casx∗ =0par un translation.
Nous ne traiterons donc que ce cas. D’autre part, vu les hypothèses sur γn, il est clair queγn tend vers0, lorsquentend vers+∞. Nous supposerons donc, dans la suite, toujours sans perte de généralité que, pour toutn ≥ 0,γn ≤ 1/(2c)(il suffit d’étudier l’algorithme à partir d’un rang pour lequel l’inégalité est vérifiée).
Nous allons commencer par montrer que Xn tends vers 0 dans L2, c’est à dire que limn!+1E(|Xn|2) =0. Pour cela notons ˜F(x, u) =F(x, u) −f(x). On a alors E¡
Kétant un majorant deF. On prend alors l’espérance des2membres de la précédente inégalité pour obtenir :
En notantan=E(|Xn|2), on vient d’obtenir
an+1 ≤an(1−2cγn) +K2γ2n. En posant,A1 =1et :
An = Yn-1
i=0
1 1−2cγi, on obtient :
An+1an+1 ≤Anan+K2γ2nAn+1. On en déduit en sommant entre0etn−1que :
an ≤ E(|X0|2) An + 1
An Xn
k=1
K2γ2k-1Ak.
Pour montrer que an tends vers 0, on applique alors le lemme de Kronecker. D’une part Pn
k=1γ2k-1 < +∞. D’autre part, on note que γn ≤ 1/(2c) (à partir d’un certain rang) ce qui implique queAnest croissante et l’on a log(1+x)≤xpour toutxréel, d’où :
An =e-Pni=1log(1-2ci)≥e2cPni=1i. Comme, P
n≥1γn = +∞, on obtient limn!+1An = +∞, et l’on est en mesure d’appliquer le lemme de Kronecker pour prouver que limn!+1E(|Xn|2) = 0.
Pour montrer la convergence presque sûre, nous allons utiliser le théorème4.5.1 qui per-met d’affirmer qu’une martingale bornée dansL2 est convergente. Pour cela on commence par réécrire l’inéquation (4.3) sous la forme :
|Xn+1|2 ≤|Xn|2+γ2nK2 −2cγn|Xn|2+Mn+1−Mn, (4.5) où l’on a définit la suite(Mn, n≥0)parM0 =0et
Mn+1−Mn= −2γnXn.F(X˜ n, Un+1).
Il est facile de vérifier que(Mn, n≥0)est une martingale puisque E(Mn+1−Mn|Fn) = −2γnE¡
Xn.F(X˜ n, Un+1)¢
=0,
vue l’égalité (4.4). D’autre part, en sommant l’inégalité (4.5) entre0etn−1, on obtient :
|Xn|2 ≤ |X0|2 An + 1
An Xn
k=1
Ak(K2γ2k-1+Mk−Mk-1).
Si l’on est en mesure de prouver que(Mn, n ≥ 0)est une suite convergente, la série de terme généralK2γ2k-1+Mk−Mk-1 sera elle aussi convergente et le lemme de Kronecker permettra de conclure. Pour terminer la démonstration, il nous reste donc à démontrer queMnconverge lorsquen tends vers l’infini. Pour montrer ceci, nous utilisons le théorème4.5.1. On sait déjà que(Mn, n≥0)est une martingale, il suffit donc de vérifier que
sup
n≥0E¡ M2n¢
<+∞.
Ch.4 Martingales à temps discrets 73
En utilisant l’équation (4.2), on obtient : E¡ En sommant cette inégalité entre0etn−1, on obtient :
E¡ permet alors de conclure à la convergence presque sûre deMnet le lemme de Kronecker conduit à la convergence presque sûre deXnvers0.
Remarque 4.6.3 L’efficacité de l’algorithme est liée au choix de la suite (γn, n ≥ 0). Ce choix est souvent délicat. On s’en convaincra en utilisant pour des diverses valeurs debetc, le programme suivant.
Un programme Scilab pour le calcul d’un fractile
// fractile a calculer alpha=0.2;// 20 %
// tirages aleatoires communs aux trois algorithmes n=1000;
u=rand(1,n);
// algorithme de Robbins et Monro // choix de gamma_n
// moyenne des tirages Robbins Monro z=cumsum(x_rm)./[1:n];
// methode empirique classique w=zeros(1,n);
ww=[];
for i=1:n
ww=[ww,u(i)];
xx=sort(ww);
h=xx(ceil(i*(1-alpha)));
w(i)=h;
end;
xbasc();
// algorithme de Robbins et Monro
plot2d([1:n],x_rm,1,’011’,’ ’,[0,-.2,n,1],[0,4,0,6]);
// moyenne des tirages Robbins Monro
plot2d([1:n],z,2,’010’,’ ’,[0,-.2,n,1],[0,4,0,3]);
// methode empirique
plot2d([1:n],w,6,’010’,’ ’,[0,-.2,n,1],[0,4,0,3]);
// resultat exact
plot2d([1:n],alpha*ones(1:n),3,’010’,’ ’,[0,-.2,n,1],[0,4,0,3]);
Ch.4 Martingales à temps discrets 75