MéthodesdeMonteCarlo Projet R – Python

(1)

Université Paris Dauphine Département MIDO

Master 1 – Méthodes de Monte Carlo

2017–2018

Projet R – Python

Méthodes de Monte Carlo

stoehr@ceremade.dauphine.fr

Préliminaires.

— Vérifiez que vous et votre binôme êtes inscrit-e-s sur la plateforme MyCourse (accessible via l’ENT) au coursM1 Maths_2017-2018_Méthodes de Monte Carlo_Julien Stoehr.Au- cune remise de projet ne sera acceptée par e-mail ! La procédure de dépôt se fera obliga- toirement sur la plateforme MyCourse.

— Renseignez,avant le 4 décembre, votre nom et celui de votre binôme à l’adresse :https:

//goo.gl/forms/c38mPnXCRzBQowJ83.

À rendre avant le 08 janvier 2018 Consignes

— Sont à rendre : un rapport au format .pdf et un script contenant l’ensemble des codes utilisés. Les différents documents peuvent être archivés au format.zip.

— Chaque jour de retard sera pénalisé d’un point.

Le rapport :

— il contiendra les réponses aux différentes questions ainsi que des commentaires sur les expériences menées. Une rédaction soignée et concise sera appréciée.

— Les graphiques doivent être soigneusement annotés et présentés (titre, couleur, légendes, ...).

— Vous pourrez ajouter du pseudo-code pour expliquer les différents algorithmes. Néan- moins,il est strictement interdit de copier-coller les vrais codes dans le rapport.

Le code :

— les languages autorisés sontRetPython.

— Les codes doivent être bien commentés. Il est possible qu’une explication orale de votre travail vous soit demandée.

— Les codes doivent être optimisés (vectorisés) un minimum pour utiliser les spécificités du language.

— Les codes fournis doivent s’exécuter sans erreurs et permettre de reproduire l’intégralité des résultats présentés dans le rapport.

1

(2)

Projet Méthodes de Monte Carlo

Exercice.

Objectifs. On considèreX=(X1,X2) une variable aléatoire deR²admettant une densitéf1pro- portionnelle à

f˜1(x1,x2)=exp Ã

−1 2

(x₁² 4 +x²₂

)!

1{|x2|≤1},

etY=(Y1,Y2) une variable aléatoire deR²admettant une densitéf2proportionnelle à f˜2(y1,y2)=©

cos²(y1)+0.5 sin²(3y2) cos⁴(y1)ª exp

Ã

−1 2

(y²₁ 4 +y₂²

)!

. Les objectifs de ce projet sont :

1. simuler des réalisations suivant les lois de densitésf₁etf₂,

2. estimer par des méthodes de Monte Carlo et des méthodes de Monte Carlo par Chaîne de Markov des quantités de la formeE[h(X)] etE[h(Y)] pour des fonctionshparticulières.

Partie I–Algorithme du rejet

On souhaite simuler suivant une loi de densitéf définie surR². On peut écrire f, pour toutx∈R², sous la forme,f(x)=cf˜(x), aveccune constante positive. On suppose qu’il existe existe une densitéget une constanteM≥0 telle que pour toutx∈R²,

f˜(x)≤M g(x).

1. Justifiez que pour obtenir une réalisation suivant la loi de densitéf, on peut appliquer l’algorithme du rejet à ˜f.

2. Trouvez des constantesM1,M2, et une densitégtelles que, pour toutx=(x1,x2)∈R² f˜1(x)≤M1g(x) et f˜2(x)≤M2g(x).

3. En déduire une méthode de simulation suivant les densitésf1etf2.

4. Comparer les densités marginales empiriques d’un échantillon suivant la loi de densité f1avec les densités marignales théoriques def1.

Indication. On pourra calculer la constante de normalisation de f1 en fonction de la fonction de répartitionΦde la loi normaleN(0 , 1).

Partie II–Retour sur les méthodes de réduction de variance

Pour chacune des méthodes ci-dessous, vous proposerez une expérience de Monte-Carlo permettant d’étudier la convergence en fonction du nombre de réalisations de la loi de densitéf1ouf2.

2

(3)

Premier cas. On souhaite calculer pourX=(X1,X2) de densitéf1, p=P£

e^X¹+e^X²≥5¤

1. Proposer une estimation deppar : (a) la méthode de Monte Carlo classique, (b) la méthode des variables antithétiques, (c) la méthode de la variable de contrôle,

Indication. On pourra considérerPν

hp

e^X¹⁺^X²≥Ki .

(d) la méthode de stratification avec allocation proportionnelle.

Indication. On pourra partionner suivantx₁en utilisant le principe utilisé dans le TP n°3.

2. Commenter les différents résultats obtenus.

Second cas. On souhaite calculer I=

Z

R²cos(y1y2) sin(y1) exp©

sin(y1+y2)ª

f2(y1,y2)dy1dy2. 3. Proposer une estimation deI par :

(a) la méthode de Monte Carlo classique, (b) la méthode des variables antithétiques.

Partie III–Recyclage dans l’algorithme du rejet

L’algorithme d’acceptation-rejet génèreN réalisations suivant la densité instrumentaleg, pour en ac- cepterT,¡

X⁽¹⁾, . . . ,X^(T)¢

, distribuées suivante la loi d’intérêtf, et en rejeterN−T,¡

Z⁽¹⁾, . . . ,Z^(N⁻^T⁾¢ . Dans la suite, on considère que le nombre de réalisationsN suivantg est fixé alors queT est une quantité aléatoire. On suppose de plus queg etM sont telles que©

x∈supp(f) :f(x)=M g(x)ª

est de mesure nulle.

1. Donner la densité desZ⁽ⁱ⁾,i=1, . . . ,N−T, conditionnellement àT.

Dans la suite, on raisonne conditionnellement àT =t(t6=0 ett6=N). On considère les suites¡

X⁽¹⁾, . . . ,X^(t)¢ et¡

Z⁽¹⁾, . . . ,Z^(N−t)¢

et on définit, lorsque cela a un sens, δ1=1

t

X

i=1

h³ X⁽ⁱ⁾´

, et δ2= 1 N−t

N−tX

i=1

h³

Z⁽ⁱ⁾´ (M−1)f¡ Z⁽ⁱ⁾¢ M g¡

Z⁽ⁱ⁾¢

−f¡ Z⁽ⁱ⁾¢. 2. Montrer queδ1etδ2sont des estimateurs sans biais deEf[h(X)].

3. Montrer que les variables aléatoiresδ1etδ2sont indépendantes et déterminer la variance deδ(α)= αδ1+(1−α)δ2.

3

(4)

4. En déduire un choix optimal deα,α^?, et expliquer comment s’opère l’approximation deα^?en pra- tique.

5. Proposer une expérience de Monte-Carlo comparant, en fonction deN, la convergence deδ1,δ2et α^?δ1+(1−α^?)δ2(attentionau choix deMetg) versp=P£

e^X¹+e^X²≥5¤ : (a) pourX=(X1,X2) de densitéf1;

(b) pourX=(X1,X2) de densité proportionnelle à ˜f3(x1,x2)=expn

−¹₂³_x2 1

4 +x²₂´o

(1{|x2|≤1}+0.5).

(c) Commenter les différents résultats obtenus. Commenter notamment les performances de ces estimateurs à nombre de simulations fixé avec les estimateurs à taille d’échantillon fixé.

Partie IV–Algorithme de Metropolis–Hastings

L’indépendance n’est pas une propriété nécessaire pour l’approximation de fonctionnelles de la forme E[h(X)] avecXune variable aléatoire de loi de densité f. Le théorème ergodique nous permet, en effet, d’élargir la loi des grands nombres au cas des chaînes de Markov,¡

x^(t)¢

t≥1irréductibles, apériodiques et de loi stationnaire de densitéf, au sens où

1 T

T

X

t=1

h¡

x^(t)¢ ^p.s.

T→+∞−→ E[h(X)]. (1)

Les méthodes de Monte Carlo par chaîne de Markov sont particulièrement utiles lorsque la loi stationnaire n’est connue qu’à une constante de normalisation près.

Un exemple de construction générique de chaîne de Markov vérifiant ces propriétés est l’algorithme de Metropolis–Hastings indépendant. Il est fondé sur le choix d’une loi instrumentale de densitég,partout positive, et sur le noyau de transition suivant

x^(t+1)=

(ξ∼g avec probabilité α¡ x^(t),ξ¢ x^(t⁾ avec probabilité 1−α¡

x^(t),ξ¢ avec

α¡ x^(t),ξ¢

=min (

1, f(ξ) f¡

x^(t)¢ g¡

x^(t)¢ g(ξ)

) .

On admettra que la loi de densitéf est une loi stationnaire pour cette transition.

1. À l’aide de l’algorithme de Metropolis–Hastings et en utilisant la fonctiong obtenue à la question 2, produire une chaîne de Markov (xt)_t∈N=¡

x^(t)₁ ,x^(t₂⁾¢

de loi stationnaire f1et une chaîne de Markov

¡yt

¢

t∈N=¡

y₁^(t),y₂^(t)¢

de loi stationnairef₂.

2. Étudier, par une expérience de Monte-Carlo, la convergence de l’approximation (1) vers les quantités petI.

4