Simulation stochastique et méthode de Monte Carlo

(1)

Simulation stochastique et m ´ethode de Monte Carlo

Afif Masmoudi

Laboratoire de probabilit ´es et statistique Universit ´e de Sfax

Journ ´ees de Statistique Math ´ematique et Data Science (JSMDS 2019)

(2)

Plan

1 M ´ethode de Monte Carlo

2 Simulation stochastique M ´ethode d’inversion M ´ethode de rejet

R éduction de la variance 3 MC avec variable de contr ôle 4 Echantillonnage pr éf érentiel´ 5 Algorithme de Metropolis-Hastings

(3)

Plan

(4)

Plan

(5)

Plan

(6)

Plan

(7)

Plan

(8)

M ´ethode de Monte Carlo

SoitX une v.a. et soitg :R→Rune fonction bor ´elienne telle queg(X)∈L¹.

Probl `eme:Calculer num ´eriquement θ=E(g(X)) =

Z

g(x)f(x)dx avecf est la densit ´e de probabilit ´es deX.

(9)

M ´ethode de Monte Carlo

Exemples

En finance: Prix d’une option d’achat.

•Mod `ele de Black-Scholes:

c=e^−rTE

S₀e^(r^−σ²^/2)T^+σW^T −K+ avec W_T ∼ N(0,1).

En assurance:

•Prime pure:E(X);

•Prime exponentielle: ¹_clog E(e^cX)

;

Calcul de la Value At Risk en finance: P(X < seuil).

(10)

M ´ethode de Monte Carlo

M ´ethode

Pour calculerθ=E(g(X)),

Simuler N v.a. (Xn)_16n6N i.i.d. de m ˆeme loi queX, L’estimateur deθ:

θb= 1 N

N

X

i=1

g(X_i) = g(X₁) +...+g(X_N)

N .

θb −→^p−s

N→+∞I:loi des grands nombre θb'I, pourNassez grand.

(11)

PROBL `EME: quelle est l’erreur d’estimation?

T.C.L√

N(θb−θ) −→^d

N→+∞N(0, σ²); σ²=Var(g(X)).

(12)

M ´ethode de Monte Carlo

M ´ethode

Simuler N v.a. (Xn)_16n6N i.i.d. de m ˆeme loi queX,

θb= 1 N

N

X

i=1

g(X_i) = g(X₁) +...+g(X_N)

N ,

bσ_N = v u u t

1 N−1

N

X

i=1

(g(X_i)−bθ)². Intervalle de confiance :

θ∈

θb±1,96σb_N

√N

.

(13)

Exemples.

Exemple 1 : Calculerθ1=Rπ

0 e^xsin(x)dx

1 la valeur th ´eorique : θ₁= ¹₂e^π+1=12.0703.

2 Valeur estim ´ee :θˆ₁=12.1045 Exemple 2 :θ₂=R R

x²+y²≤1 dx dy

1 la valeur th ´eorique : θ₂=π=3.1415.

2 Valeur estim ´ee :θˆ2=3.144.

(14)

Simulation stochastique

Th ´eor `eme

(X₁, ...,X_d) =

en loiΦ (U₁, ...,U_d) avec

U1, ...,U_d sont ind ´ependantes et identiquement distribu ´ees selon la loi uniforme sur[0,1],

la fonctionΦest bor ´elienne et a ses points de discontinuit ´e dans un ensemble de mesure de Lebesgue nulle.

(15)

Simulation stochastique

Loi Gaussienne

SiY ∼ N(µ, σ²),alorsX = (Y −µ)/σ∼ N(0,1).

Pour simulerX etY

1 Simuler deux v.aU etV ind ´ependantes et uniformes sur [0,1];

2 Poser X =p

−2ln(U)cos(2πV), Y =p

−2ln(U)sin(2πV).

X etY sont deux v.a. ind épendantes et de m ême loi normale centr ées r éduites.

(16)

Plan

(17)

Simulation stochastique

Simuler la loi uniforme consistera à produire par un algorithme des suites finies de nombres que nous pouvons consid érer comme autant de r éalisations ind épendantes de variables al éatoires uniformes sur[0,1].

(18)

M ´ethode d’inversion

D ´efinition

La fonction de r épartition deX, not éeF_X, est d éfinie surRpar:

∀x ∈R, F_X(x) =P(X 6x).

Proposition

SoitF_X la fonction de r ´epartition d’une v.a.r. X. Alors:

F_X ∈[0,1].

F_X est croissante.

x→−∞lim F_X(x) =0 et lim

x→+∞F_X(x) =1.

F_X est continue `a droite et a une limite `a gauche en tout point.

(19)

Plan

(20)

M ´ethode d’inversion

CommeF_X est croissante, on peut d ´efinir la fonction pseudo-inverseq_X deF_X :

∀u∈(0,1), q_X(u) = inf{x ∈R,F_X(x)≥u}.

Th ´eor `eme

SiUsuit une loi uniforme sur[0,1], alorsq_X(U)suit la m ˆeme loi queX.

M ´ethode d’inversion u ∼ U[0,1];

x =q_X(u). : r ´ealisation deX

(21)

M ´ethode d’inversion

SiUsuit la loi uniforme sur[0,1], alors Loi uniforme sur [a,b]

X =a+ (b−a)U=q_X(u) suit la loi uniforme sur[a,b].

Loi exponentielle

X =−¹_λln(1−U) =q_X(u) suit la loi exponentielle de param `etreλ.

Loi de Cauchy

X =ctan(π(U−1/2)) =q_X(u) suit la loi de Cauchy de param `etrec.

Loi de Bernoulli

siU<1−p,X =0,sinonX =1 suit la loi de Bernoulli de param `etrep ∈[0,1].

(22)

M ´ethode d’inversion

SoitX = (X₁,X₂)un couple al ´eatoire absolument continu de densit ´ef(x,y).

Fonction de r ´epartition deX₁:

F_X₁(x₁) = Z x₁

−∞

Z

R

f(x,y)dy dx.

Fonction de r ´epartition deF_X^X¹^=x¹

2 de la loi conditionnelle deX₂ sachantX₁=x₁:

F_X^X¹^=x¹

2 (x2) = Z x2

−∞

f(x₁,y)dy Z +∞

−∞

f(x1,y)dy .

(23)

M ´ethode d’inversion

SiU₁etU₂sont deux v.a. uniformes sur[0,1]et ind ´ependantes, alors

X₁=q₁(U₁), X₂=q₂(q₁(U₁),U₂).

(24)

Plan

(25)

M ´ethode de rejet

Soitf une densit é de probabilit é. On suppose qu’ il existe une densit égsimulable facilement et une constantek ≥1 telles que

∀x ∈R,f(x)≤k g(x).

Soitα(x) = _{k g(x)}^f^(x) . Proposition

Soit(X_i)_i≥1une suite de v.a. i.i.d de m ême densit ég, et soit (U_i)i≥1une suite de v.a. i.i.d de m ême loi uniforme sur[0,1], ind épendante de la suite(X_i)i≥1.Si

T =inf {i≥1,U_i ≤α(X_i)}, (1) alors la variable al ´eatoireX_T a pour densit ´ef.

(26)

M ´ethode de rejet

M ´ethode

Soit(X₁,U₁)un couple de v.a. ind ´ependantes telles queX₁a pour densit ´eg etU₁suit la loi uniforme sur[0,1]. Si

U₁≤α(X₁),on choisitX =X₁.

Sinon on rejetteX₁et on recommence en g én érant une suite (X_n,U_n)n≥2de v.a. ind épendantes de m ême loi que(X₁,U₁) jusqu’ à l’instantpo ùUp≤α(Xp).On choisit alorsX =Xp. Remarques

1 On n’a pas besoin de connaitreF_X, niF_X⁻¹;

2 Elle s’ étend àR^d, à des lois discr ètes, etc.

(27)

M ´ethode de rejet : Vitesse.

Calcul de la probabilit ´e d’acceptation : p=P(U ≤α(X)) = 1

k.

DoncT suit la loi g éom étrique de param ètrep.En moyenne, on doit rejeterk =1/pfois avant d’accepter la valeur. Ainsi il faut choisirgtelle que

k =max f

g

.

(28)

Exemple

Exemple plus concret. Calculerθ=E((5e^(Z^−1/2)−3)⁺)avec Z ∼ N(0,1)

1 Valeur exacte : 2.71.

2 Nombre de tirages : N=1000.

3 Valeur estim ´ee :θ=2.83.

4 Intervalle de confiance : θ∈[2.42;3.24].

(29)

Plan

(30)

R ´eduction de la variance.

BUT :Calculerθ=E(Y) =E(g(X)).

Deux v.aY₁etY₂de m ˆeme loi queY.

1 E(Y) = ¹₂(E(Y₁) +E(Y₂)) =E Y1+Y2

2

;

2 Var

Y₁+Y₂ 2

= ^Vâr(Y¹^)+Vâr(Y₄²⁾⁺²^Côv(Y¹^,Y²⁾;

3 SiY₁etY₂d é-corr él ées ( ou ind épendantes ), alors Var

Y1+Y2

2

= ^V^ar(Y)₂ ;

4 SiCov(Y₁,Y₂)<0,alorsVar

Y₁+Y₂ 2

< ^V^ar(Y₂ ⁾.

(31)

R ´eduction de la variance.

θ= Z 1

0

g(x)dx =E(g(X)), avecX ∼ U[0,1]

X₁,X₂, ...,X_n: iid de m ˆeme loiU[0,1].

θˆ= 1 n

n

X

i=1

g(X_i)

(32)

R ´eduction de la variance.

θ= Z 1

0

g(1−x)dx =E(g(X))

= Z 1

0

g(x) +g(1−x)

2 dx

θ˜= 1 2n

n

X

i=1

(g(X_i) +g(1−X_i)) Var(˜θ)≤Var(ˆθ)

(33)

Variables anth ´etiques uniformes.

Approcherθ=E(g(U)) =R1

0 g(x)dx o `uU est uniforme sur [0,1].

Agorithme classique de Monte Carloavec ´echantillon de taille 2n.

M éthode De i =1 à2n G én érer U_i D éfinir Y_i =g(U_i) Fin

D ´efinir θˆ= ¯Y_2n= _2n¹ P2n

i=1Y_i etσˆ²= _2n−1¹ P2n

i=1(Y_i−θ)ˆ² D ´efinir I.C = [ˆθ−1.96^√^ˆ^σ

2n,θˆ+1.96^√^ˆ^σ

2n]

(34)

Variable anth ´etique uniforme.

Hypoth èses:Y =g(U)avecU uniforme sur[0,1]. Diff érents r ésultats:

θˆ= ¯Y = 1 2n

2n

X

i=1

Y_i,

θ˜= ¯Zn= 1 n

n

X

i=1

Z_i,avecZ_i =Y_i+ ˜Y_i,Y˜_i =g(1−U_i).

(35)

R ´eduction de la variance.

Cas g ´en ´eral :

θ= Z

∆

g(x)f(x)dx, o `uf est la densit ´e deX.

x →t(x) =y : changement de variable ( bijective ) pr ´eservant la loi deX;

Y =t(X)a la m ˆeme loi queX. θ=

Z

∆

g(t⁻¹(y))f(y)dy.

(36)

R ´eduction de la variance.

θ= 1 2

n

E(g(X)) +E(g(t⁻¹(X))) o

,

o `uf est la densit ´e deX. θ˜= 1

2n

n

X

i=1

g(X_i) +g(t⁻¹(X_i)) ,

Var(˜θ)≤Var(ˆθ)

(37)

EXEMPLE : OPTION KNOCK-IN

CONTRAT FINANCIER de PAYOFF g(S_T) =max(0,S_T −K)1_S_T_>B. MOD ´ELE BLACK-SCHOLES S_T =S0exp((r −σ²/2)T +σ√

T X),X ∼ N(0,1).

PRIX DU CONTRAT

C= e^−rT E(g(S_T)) = e^−rTE(max(0,S_T −K)1_S_T_>B).

JEU DE PARAM ´ETERS

S₀=2,K =1,B =2,5,r =0,1, σ=0.3,T =10,N=5000.

R ´ESULTATS OBTENUS

sans r ´eduction de variance: C=1.5720 (variance 5.4236), avec r ´eduction de variance: C=1.5543 (variance 1.5827).

(38)

Variable de contr ˆole

BUT:calculer θ=E(Y) =E(g(X)).

AJOUTd’une variableZ facilement simulable,

E(Z)connue ou facilement calculable (variance ”petite”).

Deux calculs possible deθ:

par la m ´ethode de Monte Carlo standard,

en posantW_c =Y +c(Z −E(Z))et en calculantE(W_c) parMonte Carlo.

Question: Var(W_c)<Var(Y)?

(39)

Variable de contr ˆole

Var(Wc) =Var(Y) +c²Var(Z) +2cCov(Y,Z) Choix optimal dec:Var(W_c)<Var(Y)

On posec^∗=−2Cov(Y,Z) Var(Z) c ∈(0,c^∗),ˆc= ^c₂^∗

Var(W_ˆ_c) =Var(Y)−3Cov(Y,Z)² Var(Z) Z :variable de contr ˆole de Y.

Algorithme:

θˆ_N,ˆ_c = 1 N

N

X

i=1

(Y_i+ ˆc(Z_i −E(Z)))≈θ.

Probl `eme:Calcul deE(Z)?DeCov(Y,Z)?

(40)

Plan

(41)

MC avec variable de contr ˆole.

M ´ethode

ETAPE 1:´ p petit−→d ´eterminer une valeur approch ´ee deˆc.

Simuler p v.a.(Y_n)1≤n≤petpv.a.(Z_n)1≤n≤p. Poser :

Eˆ(Z) = 1 p

p

X

i=1

Z_i,Eˆ(Y) = 1 p

p

X

i=1

Y_i

Vˆar(Z) = 1 p−1

p

X

j=1

(Z_j−Eˆ(Z))²,

Cˆov(Z,Y) = 1 p−1

p

X

i,j=1

(Z_i−E(Zˆ ))(Y_j−E(Yˆ )).

(42)

MC avec variable de contr ˆole.

M ´ethode

Calculerˆc=−Cov(Y,Z) Vˆar(Z) . ETAPE 2:´ N grand .

SimulerN v.a.(Y_n)1≤n≤N etN v.a.(Z_n)1≤n≤N. Poser :

θˆ= 1 N

N

X

i=1

(Y_i+ ˆc(Z_i−Eˆ(Z)))≈θ.

(43)

Exemple

Enonc ´e´

Calculerθ=E(e^(U+V)²)avecU etV sont de loi uniforme sur [0,1].

Y = e^(U+V)².

Variables de contr ˆole :Z₁=U+V,Z₂= (U+V)²ou encoreZ₃=exp(U+V).

(44)

Exemple

X suit une loi normale de param `etres 0 et 1, θ=P(X >4) =E(1_X>4).

Monte-Carlo classique:

Nombre de tirageN variant de 1000 `a 10000000.

Valeur estim ´ee : 0.

Conclusion erron ´ee: θ=0.

Valeur exacte:θ=7.6199×10⁻²⁴.

Nombre de tirages n ´ecessaires de l’ordre de 10²⁵: impossible!

(45)

Plan

(46)

Echantillonnage pr ´ef ´erentiel ´

Soitf la densit ´e deX et soitψune autre densit ´e telle que Supp f ⊂Supp ψ.Alors

θ =E(g(X)) = Z

g(x)f(x)dx

= Z

g(x)f(x)

ψ(x)ψ(x)dx,

=E(h(Y)), avech(y) = g(y)f(y)

ψ(y) etY ∼ψ.

θˆ= _N¹ PN

i=1h(Y_i)est l’estimateur deθ.

D ´efinition:hest une fonction d’importance.

Question: comment choisirψ?

(47)

Choix de la fonction d’importance.

Calcul de la variance:

Var(g(X)) = Z

g²(x)f(x)dx −θ²,

Var(h(Y)) =

Z g²(y)f²(y)

ψ(y) dy−θ². Donc

Var(g(X))−Var(h(Y)) = Z

g²(x)

1− f(x) ψ(x)

f(x)dx.

(48)

Choix de la fonction d’importance.

PISTE:Siψ(x) = ^g(x^)f_θ^(x),alors Var(h(Y)) =R

θ^g_g(y)f²^(y)f²_(y)^(y) dy −θ²=0!.Prendreψproche de g.f...

TH ´EOR `EME (RUBINSTEIN)

La densit ´eψqui minimise la variance est ψ(x) = |g(x)|f(x)

R|g(x)|f(x)dx.

(49)

Plan

(50)

Algorithme de Metropolis-Hastings

Principe

Points Communs avec la m ´ethode d’acceptation-rejet

I f unedensit ´e cible, suivant laquelle on cherche `a simuler.

I q une densit ´e de proposition, selon laquelle on va

échantillonner, en acceptant la proposition avec une probabilit é donn ée.

Diff ´erence

I q d épend de la valeur pr éc édente de l’ échantillon:

q() =q(.|x).

I Si la proposition à partir dex_nest refus ée, on pose x_n+1=xn: l’ échantillon contiendra des valeurs r ép ét ées.

I L’ ´echantillon correspond `a une trajectoire d’une chaˆıne de Markov.

(51)

Algorithme de Metropolis-Hastings

Algorithme de Metropolis-Hastings

Etant donn ´ex_n,

1. G ´en ´erery_n∼q(y |x_n).

2. Choisir

x_n+1=

yn avec probabilit ´eρ(xn,yn), x_n avec probabilit ´e 1−ρ(x_n,y_n).

o `u

ρ(x,y) = min f(y)

f(x)

q(x |y) q(y |x),1

(52)

Algorithme de Metropolis-Hastings

Algorithme de Metropolis-Hastings

Th ´eor `eme

Les(xn)forment une chaˆıne de Markov. Siqest tel que cette chaˆıne est irr ´eductible, sa distribution limite estf.

I Toute loi de propositionqrendant la chaˆıne irr ´eductible convient.

I Contrairement `a l’algorithme d’acceptation-rejet, on a plus besoin d’ ´evaluermax_g^f.

Le choix deqn’influe pas sur le fait qu’il y a convergence, mais il influe sur la vitesse de celle-ci. Certains choix sont privil ´egi ´es.

(53)

Algorithme de Metropolis-Hastings

Algorithme de Metropolis-Hastings ind ´ependant

I La proposition ne d ´epend pas de la valeur courante.

Etant donn ´exn,

1. G ´en ´ereryn∼q(.|xn).

2. Choisir

x_n+1=

y_n avec probabilit ´eρ(x_n,y_n), xn avec probabilit ´e 1−ρ(xn,yn).

o `u

ρ(x,y) = min f(y)

f(x)

q(x |y) q(y |x),1

(54)

Algorithme de Metropolis-Hastings

Algorithme de Metropolis-Hastings ind ´ependant

I tr `es ressemblant `a l’acceptation-rejet.

I pas de besoin d’ évaluermax_g^f, mais on perd l’ind épendance entre les valeurs de l’ échantillon.

I La convergence sera d’autant plus rapide que la distributiongest proche def.

(55)

Algorithme de Metropolis-Hastings

Algorithme de Metropolis-Hastings par marche al ´eatoire

I La proposition suit une marche al ´eatoire sym ´etrique.

1. G én érery_n∼g(.|x_n),g sym étrique.

2. Choisir

x_n+1=

y_n avec probabilit ´eρ(x_n,y_n), xn avec probabilit ´e 1−ρ(xn,yn).

o `u

ρ(x,y) = min f(y)

f(x),1

(56)

Algorithme de Metropolis-Hastings

Algorithme de Metropolis-Hastings par marche al ´eatoire

I la probabilit ´e d’acceptation ne d ´epend plus deg.

I approche tr ès simple qui peut être utilis ée quandf est tr ès mal connue, contrairement à l’algorithme ind épendant:

espaces de grande dimension et /ou espaces d’objets discrets.