Algorithme Stochastique avec Innovations Moyennisantes

(1)

Algorithme Stochastique avec Innovations Moyennisantes

Sophie Laruelle

LPMA - UPMC

9` eme Colloque des Jeunes Probabilistes et Statisticiens

3-6 Mai 2010

(2)

Plan

1

Approximation r´ ecursive stochastique

2

Description du cadre et Motivations

3

Th´ eor` eme de convergence

4

Applications Innovations i.i.d.

Fonctionnelle d’un processus α-m´ elangeant Chaˆıne de Markov homog` ene

Suites ` a discr´ epance faible

5

Exemples

Recherche de corr´ elation implicite

(3)

Plan

1

Approximation r´ ecursive stochastique

2

Description du cadre et Motivations

3

Th´ eor` eme de convergence

4

Applications Innovations i.i.d.

Fonctionnelle d’un processus α-m´ elangeant Chaˆıne de Markov homog` ene

Suites ` a discr´ epance faible

5

Exemples

Recherche de corr´ elation implicite

(4)

D´ efinition d’un algorithme stochastique

Il s’agit d’une proc´ edure r´ ecursive de recherche de z´ ero d’une fonction dite moyenne car s’´ ecrivant comme l’esp´ erance d’une fonction d´ ependant du mˆ eme param` etre et d’une v.a. appel´ ee innovation, i .e.

on cherche θ

^∗

tel que h(θ

^∗

) = 0 o` u h(θ) = E [H(θ, Y )].

Applications

Recherche d’un param` etre pour un certain niveau de la fonction moyenne,

Optimisation : annulation du gradient (gradient stochastique).

(5)

Exemple du dosage : Proc´ edure de Robbins-Monro

Une dose θ d’un produit chimique cr´ ee un effet al´ eatoire mesur´ e par F (θ, Y ), Y ´ etant une v.a. et F : R

²

7→ R une fonction inconnue. On suppose l’effet moyen f (θ) = E [F (θ, Y )] croissant. On cherche ` a d´ eterminer la dose θ

^∗

qui cr´ ee un effet moyen de niveau donn´ e α, i.e.

r´ esoudre f (θ

^∗

) = α.

La proc´ edure de Robbins-Monro est la suivante

choisir θ

0

arbitrairement et l’administrer ` a un sujet qui r´ eagit avec l’effet F (θ

₀

, Y

₁

).

r´ ecurrence : ` a l’instant n, choisir une dose θ

n

administr´ ee ` a un sujet ind´ ependant des pr´ ec´ edents, l’effet est F (θ

_n

, Y

_n+1

).

(Y

n

) est une suite de v.a. i.i.d. donc

f (θ

n

) = E [F (θ

n

, Y

n+1

) | F (θ

0

, Y

1

), . . . , F (θ

n−1

, Y

n

)] .

L’algorithme de Robbins-Monro de choix de θ

_n

est alors de la forme

θ

_n+1

= θ

_n

− γ

_n

(F (θ

_n

, Y

_n+1

) − α), (γ

_n

) positive tendant vers 0.

(6)

Plan

1

Approximation r´ ecursive stochastique

2

Description du cadre et Motivations

3

Th´ eor` eme de convergence

4

Applications Innovations i.i.d.

Fonctionnelle d’un processus α-m´ elangeant Chaˆıne de Markov homog` ene

Suites ` a discr´ epance faible

5

Exemples

Recherche de corr´ elation implicite

(7)

Description du cadre

On s’int´ eresse ` a une proc´ edure de la forme suivante

θ

_n+1

= θ

_n

− γ

_n+1

(H(θ

_n

, Y

_n

) + ∆M

_n+1

), n ≥ 0, θ

₀

∈ R

^d

o` u

H : R

^d

× R

^q

→ R

^d

,

(Y

n

)

n≥0

est une suite ` a valeurs dans R

^q

, F

_n

-adapt´ ee d’ “innovations”

des propri´ et´ es ν-moyennisante

∀f ∈ V , 1 n

n

X

k=1

f (Y

k

) −→

^(?)

n→∞

Z

R^q

fd ν,

pour une certaine classe de fonctions V, mais (Y

_n

)

n≥0

pas n´ ecessairement Markov !

∆M

n

est un F

_n

-accroissement de martingale.

(8)

Motivations

R´ esoudre des probl` emes de Probabilit´ es Num´ eriques, i .e . avec des innovations simul´ ees

I

(Y

n

)

n≥0

i.i.d. de loi ν (Algorithme Stochastique (Regulier), Robbins-Monro [5], Duflo [5], etc),

I

Y

_n

= ξ

_n

, n ≥ 0, suite ` a discr´ epance faible avec ν = λ

_[0,1]q

et

F

n

= {∅, Ω} (Algorithme Quasi-Stochastique, Lapeyre-Pag` es-Sab [2]).

Les innovations sont exog` enes (donn´ ees de march´ e, output d’un syst` eme e.g . un sch´ ema d’Euler) : (Y

_n

)

n≥0

est une F

_n

-chaˆıne de Markov “ν-ergodique” (ou stationnaire)

∀f ∈ L

^p

(ν), 1 n

n

X

k=1

f (Y

_k

) −→

n→∞

Z

R^q

fd ν P

ν

-p.s. et L

^p

( P ) (1)

(ou bien mˆ eme P

µ

-p.s. avec µ = P

Y0

6= ν).

(9)

Id´ ees

Hypoth` ese sur la vitesse dans (1) “ P -p.s . & L

^p

( P )”, Hypoth` ese (forte. . .) de Lyapunov sur H,

Contrˆ ole de E

(∆M

n+1

)

²

| F

_n

.

Condition sur la suite de pas (γ

_n

)

n≥1

[ni trop rapide, ni trop lente]

Alors, si h(θ) = Z

R^q

H(θ, y)ν (dy ) est la fonction moyenne θ

_n

−→

n→∞

θ

^∗

= {h = 0}.

(10)

Plan

1

Approximation r´ ecursive stochastique

2

Description du cadre et Motivations

3

Th´ eor` eme de convergence

4

Applications Innovations i.i.d.

Fonctionnelle d’un processus α-m´ elangeant Chaˆıne de Markov homog` ene

Suites ` a discr´ epance faible

5

Exemples

Recherche de corr´ elation implicite

(11)

Hypoth` eses

Hypoth` ese de vitesse de ν-ergodicit´ e. Soit p ∈ [1, ∞) et ε

_n

→ 0.

On d´ efinit la classe de fonctions suivante V

_(ε_n_),p

:=

(

f : R

^q

→ R

^q

t.q. 1 n

n

X

k=1

f (Y

_k

) − Z

R^q

fd ν

^p.s.&L

p

= O (ε

_n

) )

On suppose que H(θ

^∗

, ·) ∈ V

_(ε_n_),p

.

Hypoth` ese de Lyapunov sur H. Soit L : R

^d

→ R

+

C

¹

satisfaisant (i) ∇L est Lipschitz continue et |∇L|

²

≤ C (1 + L),

(ii) H satisfait l’hypoth` ese de retour ` a la moyenne

∃ U ⊂ R

^q

un ouvert avec ν (U ) > 0 t.q. ∀θ ∈ R

^d

, θ 6= θ

^∗

, inf

_y∈U

h∇L(θ) | H(θ, y ) − H(θ

^∗

, y )i > 0 et s.c.i.

(2)

(12)

Hypoth` eses

Contrˆ ole de H en l’infini (sous-lin´ earit´ e).

∀θ ∈ R

^d

, ∀y ∈ R

^q

, |H(θ, y )| ≤ C

_H

ϕ(y ) p

1 + L(θ)

Contrˆ ole de l’accroissement de martingale. ∀n ≥ 0, E

h

|∆M

_n+1

|

^2∨^p−1^p

| F

_n

i

≤ C

_M

ϕ(Y

n

)

^2∨

p

p−1

(1 + L(θ

n

))

^1∨

p

2(p−1)

si p > 1 supess E [|∆M

_n+1

| | F

_n

] ≤ C

_M

ϕ(Y

_n

) p

1 + L(θ

_n

) si p = 1 avec sup

_n≥1

kϕ(Y

_n

)k

p

(p−1)

< +∞.

(13)

R´ esultat principal

Conditions sur la suite de pas.

X

n≥1

γ

_n

= +∞, nε

_n

γ

_n

−→ 0 et X

k≥1

kε

_n

max γ

_k²

, |∆γ

_k+1

|

< +∞.

Alors,

θ

_n

−→

^p.s.

n→∞

θ

^∗

.

(14)

Plan

1

Approximation r´ ecursive stochastique

2

Description du cadre et Motivations

3

Th´ eor` eme de convergence

4

Applications Innovations i.i.d.

Fonctionnelle d’un processus α-m´ elangeant Chaˆıne de Markov homog` ene

Suites ` a discr´ epance faible

5

Exemples

Recherche de corr´ elation implicite

(15)

Cadre i.i.d.

On pose ∀n ≥ 0, Y

_n

= X

_n+1

o` u la suite (X

_n

)

n≥1

est i.i.d. de loi ν . Alors h(θ) = E [H(θ, X

1

)] et on pose ∆M

n+1

= H(θ

n

, X

n+1

) − h(θ

n

), n ≥ 0 On a ϕ ≡ 1 donc l’hypoth` ese de contrˆ ole de H devient

∀θ ∈ R

^d

, ∀y ∈ R

^q

, |H(θ, y)| ≤ C

_H

p

1 + L(θ).

Alors

E |∆M

_n+1

|

²

≤ (1 + L(θ

n

)) et p = 2.

Par la loi du logartihme it´ er´ e, la vitesse de convergence est alors ε

_n

=

r log log n

n .

(16)

Fonctionnelle d’un processus α-m´ elangeant

On d´ efinit ici Y

n

= f (· · · , X

n−1

, X

n

) avec (X

n

)

n∈Z

α-m´ elangeant, i.e.

(X

n

)

n∈Z

est stationnaire (de loi ν) et α

n

−→

n→∞

0 o` u (α

n

)

n

est la suite des coefficients d’α-m´ elange d´ efinis par

α

_n

= sup n

| P (U ∪ V ) − P (U ∩ V )| , U ∈ F

_0,k^X

, V ∈ F

_k+n,∞^X

, k ≥ 1 o (3)

avec F

_0,k^X

= σ (X

₀

, . . . , X

_k

) et F

_k+n,∞^X

= σ (X

_k+n

, . . .).

On suppose aussi que H(θ

^∗

, ·) ∈ L

^2+δ

(ν ), δ > 0 et une condtion de sommabilit´ e des coefficients d’α-m´ elange

∞

X

k=1

√ 1 k α

δ 2(2+δ)

k

< ∞. (4)

(17)

Vitesse de ν -ergodicit´ e

Proposition

Si (X

n

)

n≥1

est stationnaire, α-m´ elangeant et satisfait (4), alors

∀δ > 0, L

^2+δ

(ν) ⊂ V

_ε_n_,2

, ε

n

= n

^β

, pour tout β ∈

0, 1 2

. (5)

La preuve de cette proposition est bas´ ee sur

l’in´ egalit´ e de covariance pour les processus α-m´ elangeant

le Th´ eor` eme de G` al-Koksma.

(18)

Chaˆıne de Markov homog` ene

Supposons que (Y

_n

)

n≥0

est une chaˆıne de Markov homog` ene ` a valeurs dans R

^q

de transition (P (y, dx ))

_y_∈_Rd

. La proc´ edure r´ ecursive associ´ ee est alors

θ

_n+1

= θ

_n

− γ

_n+1

K (θ

_n

, Y

_n+1

), n ≥ 0, o` u

K (θ, y) := E (K (θ, Y

₁

) | Y

₀

= y)

∆M

_n+1

:= K (θ

_n

, Y

_n+1

) − E (K (θ

_n

, Y

_n+1

) | F

_n

) = K (θ

_n

, Y

_n+1

) − H(θ

_n

, Y

_n

).

L’hypoth` ese de contrˆ ole sur H devient

∀θ ∈ R

^d

, ∀y ∈ R

^q

, |K (θ, y)| ≤ C

_K

φ(y) e p

1 + L(θ) avec sup

_n

φ(Y e

_n

)

p

p−1

< +∞ et l’hypoth` ese de Lyapunov (2) sur H.

(19)

Suites ` a discr´ epance faible

Dans ce cadre, on a F

_n

= {∅, Ω}, Y

_n

= ξ

_n+1

o` u (ξ

_n

)

n≥1

est une suite uniform´ ement distribu´ ee sur [0, 1]

^q

, i .e .

1 n

n

X

k=1

δ

_ξ_k ⁽^R

q)

= ⇒ λ |

_[0,1]q

quand n → ∞.

On d´ efinit la discr´ epance ` a l’origine comme suit D

_n^∗

(ξ) := sup

y∈[0,1]^q

1 n

n

X

k=1

1

_J0,yK

−

n

Y

k=1

y

^k

.

Th´ eor` eme

Il existe des suites (ξ

_n

)

n≥1

(Halton, Kakutani, Sobol, ...) telles que

1≤k

max

≤n

kD

_k^∗

≤ (log n)

^q

.

(20)

Exemple : Suite de Halton

Soient p

₁

, . . . , p

_q

les q premiers nombres premiers. La suite de Halton q -dimensionelle est d´ efinie, pour tout n ≥ 1, par

ξ

_n

= Φ

_p₁

(n), . . . , Φ

_p_q

(n) o` u

Φ

_p

(n) =

r

X

k=0

a

_k

p

^k+1

avec

n = a

₀

+ a

₁

p + · · · + a

_r

p

^r

, 0 ≤ a

_i

≤ p − 1, a

_r

6= 0, d´ esigne la d´ ecomposition p-adique de n. Alors, pour tout n ≥ 1,

D

_n^∗

(ξ) ≤ O

(log n)

^q

n

.

(21)

Vitesse de convergence

Cas ` a variation finie Si f est ` a variation finie dans le sens de Hardy et Krause, alors par Koksma-Hlawka

1 n

n

X

k=1

f (ξ

_k

) − Z

[0,1]^q

f λ

_q

≤ V

_HK

(f ) D

_n^∗

(ξ) n . Donc V

_HK

= {f : [0, 1]

^q

→ R t.q. V

_HK

(f ) < +∞} ⊂ V

_n

avec

ε

_n

= (log n)

^q

n .

Cas Lipschitz Si f est Lipschitz continue, alors par Proinov

1 n

n

X

k=1

f (ξ

_k

) − Z

[0,1]^q

f (u )λ

q

(du)

≤ C

_d

[f ]Lip D

_n^∗

(ξ)

¹^q

.

(22)

Plan

1

Approximation r´ ecursive stochastique

2

Description du cadre et Motivations

3

Th´ eor` eme de convergence

4

Applications Innovations i.i.d.

Fonctionnelle d’un processus α-m´ elangeant Chaˆıne de Markov homog` ene

Suites ` a discr´ epance faible

5

Exemples

Recherche de corr´ elation implicite

(23)

Description du mod` ele

On consid` ere un mod` ele de Black-Scholes 2-dimensionnel i.e. X

_t⁰

= e

^rt

(actif sans risque) et

X

_tⁱ

= x

₀ⁱ

e

^(r−

σ2 i

2)t+σiW_tⁱ

, x

₀ⁱ

> 0, i = 1, 2, pour les deux actifs risqu´ es o` u

W

¹

, W

²

t

= ρt, ρ ∈ [−1, 1] repr´ esente la corr´ elation entre W

₁

et W

₂

(qui est la corr´ elation entre les rendements des actifs risqu´ es X

1

et X

2

).

Dans ce march´ e, on consid` ere une option best-of call caract´ eris´ ee par le payoff

f (X

_T¹

, X

_T²

) = max X

_T¹

, X

_T²

− K

+

.

(24)

On utilisera une proc´ edure stochastique r´ ecursive pour r´ esoudre le probl` eme inverse en ρ

P

_BoC

(x

₀¹

, x

₀²

, K , σ

₁

, σ

₂

, r, ρ, T ) = P

₀^market

o` u

P

_BoC

(x

₀¹

, x

₀²

, K , σ

₁

, σ

₂

, r, ρ, T ) := e

^−rT

E

f (X

_T¹

, X

_T²

)

= e

^−rT

E

max

x

₀¹

e

^µ¹^T+σ¹

√

Tζ1

, x

₀²

e

^µ²^T^+σ²

√ T

ρζ1+

√

1−ρ²ζ2

− K

+

o` u µ

i

= r −

^σ₂²ⁱ

, i = 1, 2, et ζ = (ζ

1

, ζ

2

) =

^d

N (0, I

2

).

On suppose dor´ enavant que l’´ equation

P

_BoC

(x

₀¹

, x

₀²

, K , σ

₁

, σ

₂

, r , ρ, T ) − P

₀^market

= 0 (en ρ)

a au moins une solution, not´ ee ρ

^∗

.

(25)

D´ efinition de la fonction moyenne

Le moyen le plus commode pour ´ eviter les effets de bords dˆ us au fait que ρ ∈ [−1, 1] est d’utiliser une param´ etrisation trigonom´ etrique de la corr´ elation en posant

ρ = cos θ, θ ∈ R . Il est naturel de poser

∀θ ∈ R , ∀ζ = (ζ

¹

, ζ

²

) ∈ R

²

, H(θ, ζ) = P (θ) − P

₀^market

o` u P (θ) = P

BoC

(x

₀¹

, x

₀²

, K , σ

1

, σ

2

, r, cos θ, T ) et de d´ efinir la proc´ edure r´ ecursive

θ

n+1

= θ

n

− γ

n+1

H(θ

n

, ζ

n+1

) o` u (ζ

n

)

n≥1

∼ N (0, I

2

) On a

pour tout ζ ∈ R

²

, θ 7−→ H(θ, ζ) est continue et 2π-p´ eriodique,

la fonction moyenne h est continue et 2π-p´ eriodique.

(26)

Fonction de Lyapunov

On d´ efinit la fonction de Lyapunov associ´ ee ` a ce probl` eme par L(θ) =

Z

θ

0

gh(u)du + C

o` u C > 0 telle que L soit positive et g (θ) :=

1

{h>0}

(θ) + β

₊

1

{h<0}

(θ) si θ ≥ θ

₀

1

{h>0}

(θ) + β

−

1

{h<0}

(θ) si θ < θ

0

avec θ

0

solution de h(θ) = 0 et β

±

tel que 0 < β

₊

<

R

2π

0

h

₊

(θ)d θ R

2π

0

h

−

(θ)d θ < β

−

Alors

sa d´ eriv´ ee est donn´ ee par L

⁰

= gh donc L

⁰

h = gh

²

≥ 0, {L

⁰

h = 0} = {h = 0},

L

⁰

est Lipschitz continue.

(27)

Exemple num´ erique

La suite de nombre quasi-al´ eatoire gaussien utilis´ ee dans cet exemple est la suivante

(ζ

_n¹

, ζ

_n²

) = q

−2 log (ξ

_n¹

) sin 2πξ

_n²

,

q

−2 log (ξ

_n¹

) cos 2πξ

_n²

,

o` u ξ

n

= (ξ

_n¹

, ξ

_n²

), n ≥ 1, est une suite de Halton bidimensionnelle.

Les valeurs des param` etres du mod` ele sont

x

₀¹

= x

₀²

= 100, r = 0.10, σ

1

= σ

2

= 0.30, ρ = −0.50 et les param` etres du payoff T = 1, K = 100.

Les param` etres de l’algorithme stochastique sont θ

₀

= 0, n = 10

⁴

. Enfin on pose

γ

n

= 8

n .

(28)

R´ esultats graphiques

0 20 40 60 80 100

−10

−5 0 5

Nb of Simulations ×10² θ values

MC QMC

0 20 40 60 80 100

−1

−0.9

−0.8

−0.7

−0.6

−0.5

−0.4

−0.3

−0.2

−0.1 0

Nb of Simulations ×10² Correlation ρ=cos(θ)

0.5 MC QMC

Figure : B-S Best-of-Call option.

T = 1, r = 0.10, σ

1

= σ

2

= 0.30, x

₀¹

= x

₀²

= 100, K = 100, n = 10

⁴

. Gauche : convergence de θ

n

vers un θ

^∗

.

Droite : convergence de ρ

n

:= cos θ

n

vers -0.5.

(29)

Bibliographie

M. Ben Alaya, G. Pag` es , Rate of Convergence for Computing Expectation of Stopping Functionals of an α-mixing Process, Adv.

Appl. Prob. 30, 425-448 (1998).

A. Benv´ eniste, M. M´ etivier, P. Priouret , Algorithmes Adaptatifs et Approximations Stochatiques, Masson, Paris, 1987.

J. Dedecker, P. Doukhan, G. Lang, J. R. Le´ on R., S Louhichi, C. Prieur , Weak Dependence : with Examples and Applications, Lecture Notes in Statistics, Springer Science, 2007.

P. Doukhan , Mixing, Lecture Notes in Statistics, Springer, 1995.

M. Duflo , Algorihtmes Stochastiques, Math. and Applications,

Springer, 1996.

(30)

Bibliographie

Kushner , Yin , Stochastic approximation and recursive algorithms and applications, Springer, 2003.

B. Lapeyre, G. Pag` es, K. Sab , Sequences with Low Discrepancy, Generalisation and Application to Robbins-Monro Algotihm, statistics 21 (1990) 2, 251-272.

S. Laruelle, C.-A. Lehalle, G. Pag` es , Optimal split of orders across liquidity pools : a stochastic algorithm approach, Pre-pub, 2009.

G. Pag` es , Van der Corput sequences, Kakutani transforms and one-dimensional numerical integration, J. of Comp. and Appl. Math.

44 (1992) 21-39.

H. Robbins, S. Monro , A stochastic approximation method, Ann.

Math. Stat.