Sur l’évaluation de densités prédictives pour des modèles de loi Gamma

Texte intégral

(1)Sur l’´ evaluation de densit´ es pr´ edictives pour des mod` eles de loi Gamma. par. Carl Lapointe. mémoire présenté au Département de mathématiques en vue de l’obtention du grade de maˆıtre ès sciences (M.Sc.). ´ DES SCIENCES FACULTE ´ DE SHERBROOKE UNIVERSITE. Sherbrooke, Québec, Canada, octobre 2018.

(2) Le 29 octobre 2018, le jury suivant a accepté ce mémoire dans sa version finale.. Directeur :. ´ Marchand M. Eric Département de mathématiques. Président-rapporteur :. M. Taoufik Bouezmarni Département de mathématiques. ´ Evaluateur externe :. M. Patrick Richard Département d’économique. ii.

(3) SOMMAIRE L’inférence statistique est un domaine qui évolue constamment, et on cherche continuellement de nouvelles méthodes d’inférence, notamment celles liées a` la prévision. Le présent mémoire traitera de l’estimation d’une densité prédictive par une loi Gamma. Après un bref survol des notions de base et de résultats connus, nous travaillerons à déterminer l’efficacité de la loi Gamma généralisée comme densité prédictive en comparaison tout d’abord avec la loi Gamma standard, puis nous ferons la même comparaison entre la loi Gamma standard et la loi Gamma avec expansion de la variance. Pour ce faire, nous utiliserons deux fonctions de perte qui nous permettrons d’évaluer l’efficacité d’une densité prédictive par rapport à une autre. On définira tout d’abord, au chapitre 1, le contexte du problème ainsi les notions de bases nécessaires a` ce travail tels les fonctions de perte pertinentes, la densité Gamma, les estimateurs par substitution et l’approche Bayésienne. Nous verrons par la suite, au chapitre 2, certains résultats connus qui s’apparentent a` ceux qui nous intéressent, nous donnant par le fait même des pistes de solution. Finalement, au chapitre 3, nous ferons l’étude de l’efficacité des densités prédictives Gamma avec expansion de la variance ainsi que Gamma généralisée, respectivement sous les pertes L1 et Kullback-Leibler, en se basant sur des résultats obtenus dans le papier de L’Moudden et coll. (2017).. iii.

(4) REMERCIEMENTS ´ Je tiens tout d’abord a` remercier mon directeur de maˆıtrise, M. Eric Marchand, dans un premier temps d’avoir su voir en moi un candidat potentiel a` la maˆıtrise malgré un relevé de notes peu reluisant a` l’époque du baccalauréat, mais également pour ses apprentissages, son soutien moral et pour la disponibilité qu’il m’a consacrée malgré la distance qui nous séparait. Merci aussi a` M. Aziz L’Moudden pour l’aide qu’il m’a apportée a` certains moments dans le parcours ainsi qu’à tous les autres consoeurs et confrères mathématiciens qui ont été présents tout au long de mon parcours. Sur une note plus légère, merci au Boquébière pour les soirées quiz, au Club de judo To-HakuKan et a` Yannick Degasne de m’avoir accepté dans leur grande famille pendant mon passage. Finalement merci à ma conjointe Marie, que j’ai suivie a` Sherbrooke et sans qui je n’aurais pu vivre cette grande aventure qu’était la maˆıtrise en mathématiques.. Carl Lapointe Chicoutimi, juin 2018. iv.

(5) ` TABLE DES MATIERES. SOMMAIRE. iii. REMERCIEMENTS. iv. ` TABLE DES MATIERES. v. LISTE DES TABLEAUX. ix. LISTE DES FIGURES. x. INTRODUCTION. 1. CHAPITRE 1 — G´ en´ eralit´ es et r´ esultats pr´ ec´ edents. 7. 1.1. Nature du problème et définitions générales . . . . . . . . . . . . . . . .. 7. 1.2. Fonctions de perte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 8. Perte L1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 9. 1.2.1. 1.2.1.1. Lien avec le coefficient de recouvrement . . . . . . . . . v. 11.

(6) 1.3. 1.4. 1.5. 1.2.2. Perte Kullback-Leibler . . . . . . . . . . . . . . . . . . . . . . . .. 15. 1.2.3. Autres fonctions de perte . . . . . . . . . . . . . . . . . . . . . . .. 18. 1.2.3.1. Perte Hellinger . . . . . . . . . . . . . . . . . . . . . . .. 18. 1.2.3.2. Perte α − divergence . . . . . . . . . . . . . . . . . . . .. 19. Loi Gamma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 20. 1.3.1. Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 20. 1.3.2. Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 21. 1.3.2.1. Processus de Poisson et théorie des files d’attentes . . .. 21. 1.3.2.2. Inférence pour la variance . . . . . . . . . . . . . . . . .. 22. 1.3.2.3. Régression linéaire multiple . . . . . . . . . . . . . . . .. 23. Estimateurs par substitution (Plug-in) . . . . . . . . . . . . . . . . . . .. 24. 1.4.1. Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 24. 1.4.2. Dualité des fonctions de pertes entre les densités et leurs paramètres 25 1.4.2.1. Cas Gamma avec perte Kullback-Leibler . . . . . . . . .. 25. 1.4.2.2. Cas de la loi Normale avec perte Kullback-Leibler . . . .. 27. 1.4.2.3. Cas normale avec perte L1 . . . . . . . . . . . . . . . . .. 27. 1.4.2.4. Cas normale avec perte Hellinger . . . . . . . . . . . . .. 28. Approche Bayésienne . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 30. 1.5.1. Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 30. 1.5.2. Cas Gamma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 31. vi.

(7) 1.5.3. Cas de la loi normale . . . . . . . . . . . . . . . . . . . . . . . . .. 34. 1.5.4. Cas général pour les familles d’échelle . . . . . . . . . . . . . . . .. 36. CHAPITRE 2 — Am´ elioration par l’expansion d’´ echelle. 38. 2.1. Nature des résultats. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 38. 2.2. Cas de la loi normale et perte Kullback-Leibler . . . . . . . . . . . . . . .. 39. 2.3. Perte L1 : Cas de la loi normale et autres densités symétriques et logconcaves. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. CHAPITRE 3 — Densit´ es pr´ edictives pour un mod` ele Gamma. 43. 54. 3.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 54. 3.2. Résultats de dominance Kullback-Leibler par expansion de la variance . .. 55. 3.3. ´ Etude des densités Gamma généralisée avec perte Kullback-Leibler . . . .. 62. 3.3.1. Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 62. 3.3.2. Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 62. 3.3.3. Perte Kullback-Leibler et loi Gamma généralisé . . . . . . . . . .. 63. ´ Etude de performance pour la perte L1 . . . . . . . . . . . . . . . . . . .. 73. 3.4.1. Notions préalables pour perte L1 . . . . . . . . . . . . . . . . . .. 73. 3.4.2. Perte L1 et densité Gamma expansion de la variance . . . . . . .. 77. 3.4.3. Analyse de résultats . . . . . . . . . . . . . . . . . . . . . . . . .. 78. ´ Etude des densités Gamma généralisée avec perte L1 . . . . . . . . . . . .. 81. 3.4. 3.5. vii.

(8) 3.5.1. Gain obtenu par la valeur c qui minimise le risque avec densité prédictive Gamma Généralisée . . . . . . . . . . . . . . . . . . . .. 81. CONCLUSION. 84. BIBLIOGRAPHIE. 86. viii.

(9) LISTE DES TABLEAUX 2.1. 2 Gain sur le risque et valeur de c0 selon le rapport σY2 /σX .. . . . . . . . .. 53. 3.1. Valeur du multiple a∗ , de c∗ (a∗ ) et du risque minimal pour a∗ selon α. . .. 81. ix.

(10) LISTE DES FIGURES 1.1. La perte L1 entre deux densités q1 et q2 . . . . . . . . . . . . . . . . . . .. 1.2. Coefficient de recouvrement entre deux lois normales de même moyenne selon le rapport R =. σ1 . σ2. . . . . . . . . . . . . . . . . . . . . . . . . . . .. Valeur de Δ pour μ ∈ (−1, 1) avec c =. 9. 15. c0 (m(μ)) . . . . . . . . . .. 42. 2.2. Valeur du rapport Rc (μ)/R1 (μ) selon μ pour c = c0 (μ) . . . . . . . . . .. 43. 2.3. Risque L1 pour densité Laplace lorsque β = 1. . . . . . . . . . . . . . . .. 51. 2.4. Risque L1 pour le cas normale lorsque σX = σY = 1. . . . . . . . . . . . .. 52. 3.1. ˆ Risque entropie pour β(X) = aX pour différentes valeurs de a avec α1 = 3,. 2.1. inf μ∈(−1,1). α2 = 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2. ˆ Risque de l’estimateur de densité prédictive β(X) =. X α1 −1. 57. pour α1 = 3,. α2 = 5. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 60. 3.3. Risques des estimateurs de densité prédictive, β ≥ 2, α1 = 4, α2 = 6.. . .. 61. 3.4. Risque Kullback-Leibler de qβâ(c) ,c , α1 = 3, α2 = 5. . . . . . . . . . . . . .. 67. 3.5. Risque Kullback-Leibler de qˆβâ ,c , a = 4, α1 = 1.9, α2 = 20. . . . . . . . .. 72. x.

(11) 3.6. Exemple de deux densités Gamma ayant deux points d’intersection . . .. 73. 3.7. Exemple de deux densités Gamma n’ayant qu’un seul point d’intersection. 74. 3.8. Coefficient de recouvrement entre deux lois exponentielles selon le rapport R=. 3.9. θ1 θ2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 77. Risque L1 avec Gamma expansion de la variance selon le paramètre c avec ˆ α1 = 3, α2 = 5 et β(X) =. X . α1. . . . . . . . . . . . . . . . . . . . . . . . .. 78. selon α1 pour différentes valeurs α2 fixées. . . .. 79. 3.11 Comparaison du risque pour différents estimateurs qˆ selon α1 . . . . . . .. 80. 3.12 Valeur de a qui minimise le risque pour le cas α1 = α2 = α. . . . . . . . .. 80. 3.10 Rapport des risque. R(1) R(c∗ ). 3.13 Rapport R(1)/R(c∗ ) du risque Kullback-Leibler avec Gg(α2 , αx1 , c) pour différentes valeurs de α1 , α2 . . . . . . . . . . . . . . . . . . . . . . . . . .. 82. R(1) du risque Gg(α2 , αx1 , c) pour différentes valeurs de α1 , α2 . R(c∗ ). 83. 3.14 Rapport. xi.

(12) INTRODUCTION L’inférence statistique constitue l’une des applications les plus courantes des mathématiques. On la voit principalement au quotidien lorsqu’on lit les résultats d’un sondage, mais aussi dans un geste aussi banal que de choisir une grappe de raisin a` l’épicerie en goutant à un seul raisin du lot. On cherche donc a` prédire des résultats sur une population a` l’aide de quelques données amassées sur le terrain. Ces prédictions de valeurs futures ou manquantes sont au cœur de l’étude des statistiques. L’étude de ces résultats sur un échantillon nous a mené a` mieux comprendre certains phénomènes. Par exemple, le regroupement de données dans un histogramme nous a mené à y voir une forme constante pour phénomènes distincts et a ainsi mené à l’élaboration de la fonction de densité de la loi normale. En développant ainsi différentes fonctions de densités, nous nous sommes placés en meilleure position afin de mieux comprendre divers comportements, ou encore mieux prédire certains événements aléatoires. L’une d’entre elles est la loi Gamma, ayant pour densité :. x. xα−1 e− β p(x) = 1[0,∞) (x), avec α, β > 0, Γ(α)β α. (1). o` u 1X (x) correspond a` la fonction indicatrice sur X. Cette loi statistique s’avère bien utile pour décrire des phénomènes ayant des valeurs 1.

(13) positives, ou encore une décroissance rapide de la durée de vie, alors qu’on désire calculer la probabilité qu’un individu survive a` la prochaine période de temps en tenant compte de son aˆge présent, notion qui peut être utilisée dans divers domaines tels l’ingénierie pour la durée de vie des structures, en biologie pour la survie d’organismes ainsi qu’en assurancevie afin d’établir une prime a` un client. Dans le dernier cas, on comprend mieux pourquoi la prime est plus élevée si un individu achète une assurance-vie tardivement, puisque sa probabilité de survie instantanée (et que l’assureur paie) est de plus en plus faible. Toujours en assurance, par la technique des processus de Poisson (que nous aborderons en 1.3.2.1), on l’utilise dans l’étude du temps écoulé entre deux sinistres non-liés entre eux.. L’inférence statistique nous amène a` déterminer différentes méthodes d’approximation d’un phénomène. Une de ces méthodes est l’approche bayésienne, qui consiste, à partir des données amassées sur le terrain et d’une loi a priori sur les paramètres, de déterminer la loi a posteriori qui approximerait le mieux le phénomène en question a` partir des données récoltées lors de l’échantillonnage. Une autre méthode plus simple est d’utiliser, a` partir des données récoltées, des densités par substition (ou densités plug-in), qui est semblable a` celle de l’estimateur maximum de vraisemblance.. Mais pourquoi s’intéresser seulement aux paramètres quand on peut s’intéresser a` la fonction de densité ? C’est ce qui nous mène a` l’utilisation d’un estimateur de loi de probabilité, qu’on appellera ici densité prédictive. Ces concepts nécessitent la notion de fonction de perte, mesurant la divergence entre une loi de probabilité et une densité prédictive. Plusieurs fonctions de pertes existent allant de la plus simple visuellement, la perte L1 qui est une mesure net de similitude de forme et d’échelle entre deux densités, jusqu’à des fonctions de pertes plus complexes. Ces fonctions de pertes ont été étudiées a` plusieurs reprises depuis le début des années 1900, comme en fait foi Hellinger (1909) 2.

(14) portant sur la perte Hellinger. Pour une densité prédictive qˆ de la densité q de paramètre θ et une mesure de divergence g, on définit la fonction de perte comme :. Lg (θ, qˆ) = g(qθ , qˆ). Pour un observé X ∼ pθ et la densité prédictive qˆ(·, X), on définit la fonction de risque comme : Rg (q, qˆ) = E X [Lg (θ, qˆ)].. Nous travaillerons principalement avec deux fonctions de pertes, soient la perte L1 qui, comme nous le verrons plus tard, est liée au coefficient de recouvrement. Cette mesure a été notamment utilisée lors d’études sociologiques entre deux populations hétérogènes, et elle représente la distance nette entre q et qˆ en plus d’être facilement illustrable, comme nous le verrons au chapitre 1. Nous aborderons aussi la perte Kullback-Leibler, une perte entropie qui s’arime bien avec la loi Gamma, puisque grâce aux propriétés des logarithmes nous pouvons ramener les fonctions de perte et de risque sous forme d’une somme de plus petites fonctions, ce qui facilite les calculs. Nous verrons qu’il existe d’autres fonctions de perte, telles les pertes quadratiques, Hellinger ainsi que la famille des pertes α-divergences. Plusieurs études du risque entre une loi de probabilité et sa densité prédictive ont été rédigées au fil des années, mais au cours des dernières années des études plus poussées sur le sujet ont mené à de nouveaux estimateurs qui diminuent le risque. Il y aura donc, dans plusieurs cas, dominance d’une densité prédictive par rapport a` une autre, c’esta`-dire que le risque encouru par l’utilisation d’une densité prédictive sera inférieur au risque encouru par une autre densité prédictive. On dénote notamment des améliorations 3.

(15) des densités par substitution sur le risque en utilisant l’expansion de la variance, c’est-àdire de partir d’une densité prédictive avec paramètre d’échelle plus grand que la densité cible. On trouve des exemples de cette amélioration du risque par expansion de la variance dans Fourdrinier et coll. (2011) pour la loi normale avec perte Kullback-Leibler, dans la publication de Kubokawa et coll. (2017) pour la perte L1 , dans L’Moudden et Marchand (2018) pour les pertes α-divergence ainsi qu’un premier résultat sur la loi Gamma avec perte Kullback-Leibler dans L’Moudden et coll. (2017). Nous observerons dans ce mémoire ce qu’engendrera la perte L1 sur la loi Gamma, entre autres. Pour le cas Gamma, on peut également obtenir des variations dans les paramètres en utilisant comme densité prédictive la loi Gamma généralisée Y ∼ Gg(α, β, c), obtenue par la transformation : Y = βT c , o` u T ∼ Ga(α, 1), avec α, β, c > 0.. C’est une loi que nous étudierons dans ce mémoire, puisque nous cherchons à proposer de nouvelles méthodes plus efficaces pour estimer une loi de probabilité d’une loi Gamma. Nous étudierons ceci pour la perte L1 ainsi que la perte Kullback-Leibler. Nous montrerons, entre autres pour la perte Kullback-Leibler, qu’il y a bien dominance de la densité prédictive Gamma généralisée avec c > 1 comparativement à la loi Gamma standard dans plusieurs cas. Ce mémoire est constitué de trois chapitres. Au chapitre 1, nous aborderons les notions préalables nécessaires à la compréhension de la suite du mémoire. On y introduira les notions de perte et de risque dans un cadre bayésien, différentes fonctions de perte dont les pertes L1 et Kullback-Leibler qui nous intéressent principalement ainsi que certaines applications de ces dernières. On y introduira également le modèle Gamma, modèle sur 4.

(16) lequel nous travaillerons principalement. On y verra également le principe de densités par substitution ainsi que l’approche bayésienne comme méthode afin d’obtenir une loi prédictive. Certains exemples seront présentés et des propriétés intéressantes pour la suite du mémoire y apparaˆıtrons également.. Au chapitre 2, nous introduirons le concept de densité prédictive tel qu’il sera utilisé lors des différentes évaluations effectuées dans ce mémoire. Nous y verrons alors certains résultats connus pour des cas de perte L1 et Kullback-leibler sur la loi normale en y introduisant l’expansion de la variance, avec généralisation pour des lois symétriques. On y découvrira la technique que nous utiliserons pour démontrer la dominance d’un estimateur par rapport a` un autre et nous verrons qu’il existe un intervalle de valeurs c > 1 o` u il y a dominance du risque par rapport au cas initial, et qu’une de ces valeurs minimise le risque. Le tout sera accompagné d’exemples servant à illustrer ces résultats.. Au chapitre 3, qui est au cœur du mémoire, nous analyserons l’impact des risques L1 et Kullback-Leibler sur les densités Gamma avec expansion de la variance ainsi que Gamma généralisée, en partant d’un premier résultat paru dans L’Moudden et coll. (2017) pour le cas Gamma expansion de la variance avec risque Kullback-Leibler. Cela nous permettra de nous familiariser avec la fonction digamma (notée ψ(z)), qui reviendra souvent au cours des différentes analyses, ainsi que ses propriétés qui seront fort utiles lors des démonstrations. On portera alors un intérêt particulier a` l’analyse du risque Kullback-Leibler en utilisant la densité Gamma généralisée, nouvelle approche testée dans ce mémoire et sur laquelle nous pouvons trouver une forme close qui sera plus propice aux démonstrations ainsi qu’aux évaluations numériques. Nous verrons alors que le c optimal n’est pas toujours supérieur à 1, mais qu’il semble exister pour les estimateurs ˆ par substitution du type β(X) = aX du paramètre β. Il en sera de même pour les cas du risque L1 sur les densités Gamma expansion de la variance et Gamma généralisée, sur 5.

(17) lesquelles des évaluations numériques seront faites.. 6.

(18) CHAPITRE 1 G´ en´ eralit´ es et r´ esultats pr´ ec´ edents. 1.1. Nature du probl` eme et d´ efinitions g´ en´ erales. On définit le modèle suivant : X ∼ p(·|θ) et Y ∼ q(·|θ), soient deux v.a., o` u v.a. exprime une variable ou un vecteur aléatoire, dont les lois dépendent d’un paramètre θ des deux v.a.. X et Y sont définies comme des variables indépendantes conditionnellement a` θ ∈ Θ, o` u Θ représentant l’espace paramétrique. Les densités p(·|θ) et q(·|θ) sont, quant a` elles, définies comme absolument continues par rapport a` la mesure de Lebesgue sur Rd . On cherchera à estimer q(y|θ), y ∈ Rd , par une densité prédictive qˆ(y; X), y ∈ Rd , pour une fonction de perte donnée. En particulier, on vise à déterminer des améliorations d’un ˆ pour différent modèles, o` ˆ estimateur plug-in q(·|θ) u θ(X) est un estimateur du paramètre θ, qui sera fonction de la variable X. ˆ Les estimateurs étudiés dans ce mémoire seront soumis à une fonction de perte L(θ, θ(X)), ˆ qui mesurera l’erreur provoquée par l’utilisation de l’estimateur θ(X). Il nous faut donc un outil capable de mesurer la performance d’un estimateur afin de le comparer a` un 7.

(19) autre. D´ efinition 1.1.1. Pour un problème d’estimation ponctuelle du paramètre θ à l’aide ˆ ˆ le risque fréquentiste d’un estimateur θ(X) par rapport a` une fonction de perte L(θ, θ), ˆ = E X [L(θ, θ)] ˆ = d L(θ, θ)p(x|θ)dx. ˆ associé à cette perte est défini par R(θ, θ) R. D´ efinition 1.1.2. L’estimateur θˆ1 (X) domine un autre estimateur θˆ2 (X) si R(θ, θˆ1 ) ≤ R(θ, θˆ2 ) pour toute valeur de θ avec inégalité stricte pour au moins une valeur de θ.. Nous verrons dans ce chapitre les notions préalables aux analyses que nous voulons effectuer. Nous définirons tout d’abord les différentes fonctions de perte étudiées dans ce mémoire ainsi que certaines de leurs applications, en plus de se familiariser avec la famille des pertes α-divergence. Nous nous familiariserons ensuite avec la loi Gamma, d’o` u proviennent les densités prédictives qui seront étudiées et au coeur des analyses que nous ferons dans ce mémoire, en observant quelques propriétés de cette loi ainsi que certaines applications de celle-ci. Nous introduirons ensuite la notions d’estimateur par substitution, lesquels seront utilisés pour définir les paramètres de nos densités prédictives, et finalement une exploration de l’approche Bayésienne qui est a` la base de l’étude des densités prédictives, en plus d’introduire la notion d’estimation de densité prédictive qui nous aidera a` mieux comprendre les différents résultats qui ont inspiré ce mémoire.. 1.2. Fonctions de perte. Il existe plusieurs fonctions de perte à notre disposition pour mesurer la distance entre deux densités. Dans ce mémoire, nous travaillerons principalement avec deux d’entre elles, soient les pertes L1 et Kullback-Leibler. 8.

(20) 1.2.1. Perte L1. La perte L1 correspond a` la distance en valeur absolue entre deux fonctions de densités. Elle se mesure par l’aire entre les courbes des densités q1 et q2 , d’o` u L1 (q1 , q2 ) ∈ [0, 2], ce qui peut être visualisée facilement. Elle est décrite en profondeur dans l’ouvrage de Devroye et Györfi (1985). D´ efinition 1.2.1. Pour un problème d’estimation de densité prédictive o` u l’on désire mesurer l’erreur d’une densité prédictive qˆ(y; X), y ∈ Rd , par rapport à la densité q(y|θ), on définit la perte L1 par : L1 (q, qˆ) =. Rd. q(y|θ) − qˆ(y; X)dy.. Par le fait même, pour X ∼ p(x|θ), x ∈ Rd , on peut définir le risque L1 par : X. R1 (θ, qˆ) = E [L1 (q, qˆ)] = R2d. 9. q(y|θ) − qˆ(y; x)p(x|θ)dydx..

(21) Figure 1.1 – La perte L1 entre deux densités q1 et q2. Voici une expression équivalente pour la perte L1 . Celle-ci est également démontrée dans Devroye et Györfi (1985) :. Lemme 1.2.1. Soient g1 et g2 des densités sur Rd et Pg1 , Pg2 leur fonction de répartition respective. Soit A = {y ∈ Rd : g1 (y) ≥ g2 (y)}. Alors la perte L1 entre g1 et g2 s’exprime comme étant : ρL1 (g1 , g2 ) = 2[Pg1 (Y ∈ A) − Pg2 (Y ∈ A)].. (1.1). Démonstration. On a :. ρL1 (g1 , g2 ) =. Rd. . | g1 (y) − g2 (y) | dy =. (g1 (y) − g2 (y))dy + A. (g2 (y) − g1 (y))dy Ac. = Pg1 (Y ∈ A) − Pg2 (Y ∈ A) + Pg2 (Y ∈ Ac ) − Pg1 (Y ∈ Ac ) = Pg1 (Y ∈ A) − Pg2 (Y ∈ A) + (1 − Pg2 (Y ∈ A)) − (1 − Pg1 (Y ∈ A)) = 2[Pg1 (Y ∈ A) − Pg2 (Y ∈ A)]. Exemple 1.2.1. Soient Yi ∼ N (μi , σ 2 ), i = {1, 2} des variables aléatoires suivant des lois normales de même variance. Alors, en posant A = {y ∈ Rd : qY (y−μ1 ) ≥ qY (y−μ2 )}, et en sachant que les courbes des densités se croisent au point que : 10. μ1 +μ2 , 2. on trouve par (1.1).

(22) ρL1 (μ1 , μ2 ) = 2[Pμ1 (Y ∈ A) − Pμ2 (Y ∈ A)] μ1 + μ 2 μ1 + μ 2 ) − Pμ2 (Y ≤ )] = 2[Pμ1 (Y ≤ 2 2 μ 1 + μ2 μ 1 + μ2 =2 Φ − μ1 − Φ − μ2 2 2 μ 1 − μ2 μ 2 − μ1 −Φ =2 Φ 2 2 μ 2 − μ1 μ 2 − μ1 − 1−Φ =2 Φ 2 2 μ 2 − μ1 − 2, = 4Φ 2. o` u Φ(t) correspond a` la fonction de répartition de la loi normale centrée réduite. Remarque 1.2.1. On démontre dans Kubokawa et coll. (2017) qu’on peut généraliser. 1 || le résultat ρL1 = 4F ||μ2 −μ a − 2 pour tout couple de densités qY (||y − μ||2 ), y ∈ Rd , ` 2 symétrie sphérique et unimodale, o` u on définie une densité symétrique sphérique comme dépendante uniquement de la distance ||Y − θ||. 1.2.1.1. Lien avec le coefficient de recouvrement. Le coefficient de recouvrement (overlap coefficient) est un concept mathématique qui ` l’époque, on s’intéressait voit ses premières racines apparaˆıtre dans Weitzman (1970). A a` la différence entre les revenus moyens, à la profession et à la formation des populations ´ blanches et noires aux Etats-Unis. La différence implique une nette dissociation des deux populations, or on y découvre que les courbes de densité des deux populations se chevauchent jusqu’à un certain point. On y change alors l’idée d’une différence entre les deux populations pour celle de recouvrement. On trouve une première forme du coefficient dans le cas discret comme étant un indice du pourcentage des populations dans une classe de 11.

(23) salaires moyens i partagé par les populations blanches et noires, à partir de l’expression suivante :. IiBN =. min (PiB ; PiN ) ,. (1.2). 1 iBN |PiB − PiN |, 2 i. (1.3). i. ou encore :. 1 − DiBN = 1 −. o` u DiBN exprime la différence entre les diagrammes de fréquences pour la classe de salaires moyens i, et PiX le pourcentage de la population X dans la classe de salaires moyens i, X ∈ {Blanc, N oir}. Quelques années plus tard, dans l’ébauche de Bradley et coll. (1983), on y élabore une version pour le cas continu, qui deviendra la forme usuelle du coefficient de recouvrement et qui se lit comme suit : D´ efinition 1.2.2. Le coefficient de recouvrement correspond à la proportion d’aire située sous les deux courbes de densités. On l’obtient par l’équation suivante : OV L(g1 , g2 ) =. Rd. min(g1 (y), g2 (y))dy.. (1.4). On voit que l’expression s’apparente à la forme (1.2) du coefficient défini originalement par Weitzman (1970). Nous en verrons une illustration à la figure 1.2. Il est facile de vérifier que min(g1 (y), g2 (y)) = l’appliquant à (1.4), on obtient : 12. 1 [g (y) 2 1. + g2 (y) − |g1 (y) − g2 (y)|]. En.

(24) OV L(g1 , g2 ) =. Rd. 1 1 [g1 (y) + g2 (y) − |g1 (y) − g2 (y)|]dy = 1 − ρL1 (g1 , g2 ) 2 2. du fait que g1 et g2 sont des fonctions de densités. On remarque finalement que cette version de l’équation du coefficient de recouvrement s’apparente fortement a` la forme (1.3) de Weitzman (1970). Remarque 1.2.2. Même si nous nous intéresserons davantage au coefficient de recouvrement selon la définition de Weitzman (1970), il en existe d’autres que celui-ci. Tout d’abord celui de Matusita (1955), connu également comme la distance Hellinger (qu’on décrira a` la section 1.2.3.1) : ρ=.

(25). f1 (x)f2 (x)dx. celui de Morisita (1959) :. λ= . 2. . f1 (x)f2 (x)dx 2 2 f2 (x) dx f1 (x) dx +. et celui de Pianka (1973) : . ∗. α = . f1 (x)f2 (x)dx 2 2 . f1 (x) dx f2 (x) dx. Pour le cas des densités de lois normales fi (y) = R=. σ1 σ2. 1 φ( y−μ ), σi σi. i ∈ {1, 2}, avec le rapport. des paramètres d’échelle, le coefficient de recouvrement de Weitzman possède les. propriétés suivantes telles que présentées dans Mulekar et Mishra (1994) 13.

(26) i) 0 ≤ OV L ≤ 1 ; ii) OV L → 0 si et seulement si R → 0 ou R → ∞ ; iii) OV L = 1 si et seulement si R = 1 ; iv) OV L(R) = OV L(1/R) ∀R > 0 ; v) L’OV L ne dépend pas de μ ; vi) L’OV L de Weitzman est une fonction monotone par morceaux en R, croissante pour 0 ≤ R ≤ 1 et décroissantes pour R > 1 ; vii) L’OV L ne varie pas pour les densités. 1 φ( y−aμ−b ), i |a|σi |a|σi. ∈ {1, 2}, obtenues par trans-. formation linéaire Y → aX + b, a = 0, b ∈ R. Ces propriétés se démontrent assez aisément de par la définition 1.2.2 ainsi que par les résultats du rapport R. Exemple 1.2.2. Soient deux densités normales de mêmes moyennes fi ∼ N (μ, σi2 ), i ∈ {1, 2}. Posons A = {x ∈ R : f1 (x) ≥ f2 (x)}. On trouve alors que : ρL1 (f1 , f2 ) = 2[Pf1 (X ∈ A) − Pf2 (X ∈ A)] . = 2| F1 (x2 ) − F1 (x1 ) − F (x2 ) − F (x1 ) |, avec Fi (x) la fonction de répartition d’une loi normale de paramètres (μ, σi ) et x1 = ln(R2 ) μ − σ1 b, x2 = μ + σ1 b les points d’intersection des deux courbes, o` u b = −1−R u 2 , o` R =. σ1 . σ2. En appliquant le changement de variable z =. x−μ σi. aux densités fi , on trouve. alors :. ρL1 (f1 , f2 ) = 2| Φ(b) − Φ(−b) − Φ(Rb) − Φ(−Rb) |. . . = 2| Φ(b) − 1 − Φ(b) − Φ(Rb) − 1 − Φ(Rb) | = 2|2Φ(b) − 2Φ(Rb)| 2 (2Φ(b) − 2Φ(Rb)) , = 2 (2Φ(Rb) − 2Φ(b)) , 14. R ≤ 1, . R>1.

(27) On a donc : OV L(f1 , f2 ) = 1 − 12 ρL1 (f1 , f2 ) =. 1 − (2Φ(b) − 2Φ(Rb)) , 1 − (2Φ(Rb) − 2Φ(b)) ,. R ≤ 1, , R>1. qui ne dépend pas de μ. En observant la Figure 1.2, on visualise clairement toutes les autres propriétés de l’OVL.. 0.6 0.2. 0.4. OVL. 0.8. 1.0. OVL de deux densités N(u, σi). 0. 2. 4. 6. 8. 10. R. Figure 1.2 – Coefficient de recouvrement entre deux lois normales de même moyenne selon le rapport R = σσ12 .. 1.2.2. Perte Kullback-Leibler. La perte Kullback-Leibler (Kullback et Leibler (1951)) est une mesure de divergence entre deux densités p1 et p2 . En particulier, lorsqu’on travaille avec des densités Gamma que nous définirons ultérieurement, elle prend la forme de la fonction de perte entropie. On définit ici la perte et le risque Kullback-Leibler : D´ efinition 1.2.3. Pour X ∼ p(x|θ) et Y ∼ q(y|θ) deux v.a. indépendantes, x, y ∈ Rd , et pour un estimateur qˆ(·; X) de la densité q(·|θ), la perte et le risque Kullback-Leibler 15.

(28) sont définis par :. LKL (q, qˆ) =. et RKL (q, qˆ) =. . Rd. log. log. R2d. q(y|θ) qˆ(y;X). q(y|θ) qˆ(y;X). q(y|θ)dy = E. Y. . |θ) ) log( qˆq(Y (Y ;X). .. |θ) ) q(y|θ)p(x|θ)dydx = E Y,X log( qˆq(Y (Y ;X). La prochaine proposition provient de Aitchison (1975). Proposition 1.2.1. La perte Kullback-Leibler est non-négative. Elle est nulle si et seulement si q(y|θ) = qˆ(y; X) presque partout en y. Démonstration. Par l’inégalité de Jensen, sachant que g(y) = − log y est une fonction convexe, on a :. . qˆ(y; X) qˆ(y; X) Y LKL (q, qˆ) = E − log( ) ≥ − log E ( ) q(y|θ) q(y|θ) qˆ(y; X) q(y|θ)dy = − log 1 = 0. = − log q(y|θ) R Y. Le prochain théorème provient également de Aitchison (1975) et est important pour les sections suivantes, puisqu’il explique le lien entre la perte Kullback-Leibler et les estimateurs de densité prédictive bayésiens. Nous devons tout d’abord définir ce qu’est un estimateur bayésien. ˆ D´ efinition 1.2.4. Un estimateur θ(X) du paramètre θ est dit bayésien s’il minimise . R θ, θˆ pour une fonction de risque donnée. De plus, une densité prédictive qˆ(y; X) de la densité q(y|θ) est dite bayésienne si elle minimise R (q, qˆ) pour une fonction de risque donnée. 16.

(29) Theor` eme 1.2.1. Sous la perte Kullback-Leibler, la densité prédictive bayésienne associée au modèle X ∼ p(·|θ), Y ∼ q(·|θ) et à π(θ), une mesure a priori absolument continue par rapport a` la mesure de Lebesgue, est donnée par : qˆπ (y; x) = q(y|θ)π(θ|x)dθ, Θ. o` u π(θ|x) correspond a` la loi a posteriori du paramètre θ. Démonstration. Soient X ∼ p(x|θ), Y ∼ q(y|θ) des v.a. dépendantes du paramètre θ, q1 (y; x) et q2 (y; x) des densités prédictives de q(y|θ). La différence des pertes KullbackLeibler associées à l’utilisation de qi (y; x), i ∈ {1, 2} comme estimateur de la densité q(y|θ) est donnée par : Δ(q, q1 , q2 ) = LKL (q, q1 ) − LKL (q, q1 ) =. Y. q(y|θ) log. q1 (y;x) q2 (y;x). dy.. Par conséquent, On trouve la différence des risque de Bayes entre q1 et q2 : ΔRKL (q, q1 , q2 ) =. X. Y. q(y|θ) log. q1 (y;x) q2 (y;x). dy p(x|θ)dx.. En utilisant l’a priori π(θ), on trouvera alors la différence de risque marginale suivante :. q(y|θ) log Θ. X. Y. q1 (y; x) . dy p(x|θ)dx π(θ)dθ. q2 (y; x). (1.5). Par la formule de Bayes, on sait que π(θ)p(x|θ) = p(x)π(θ|x), on trouve en changeant l’ordre d’intégration :. . q(y|θ)π(θ|x)dθ log. X. Y. Θ. . q1 (y; x) q2 (y; x). . . . dy p(x)dx =. qˆ(y; X) log X. 17. Y. q1 (y; x) q2 (y; x). . dy p(x)dx.

(30) o` u qˆ(y; X) =. Θ. q(y|θ)π(θ|x)dθ.. En posant q1 (y; x) = qˆ(y; X), on obtient que la différence des risques de Bayes entre q2 (y; x) et qˆ(y; X) est toujours positive exceptée lorsque q2 (y; x) ≡ qˆ(y; X) o` u le risque de Bayes est nul. (voir proposition 1.2.1) Le résultat s’ensuit. Remarque 1.2.3. Ce résultat est général et la démonstration présentée n’est valable que dans le cas o` u le risque de Bayes défini en (1.5) existe.. 1.2.3. Autres fonctions de perte. Les problèmes d’estimateurs de densités prédictives ont également été étudiés avec d’autres fonctions de pertes. Certains résultats intéressants, dont des résultats de dominance équivalent à ceux que nous verrons plus tard, existent avec ces fonctions de perte. Nous les définissons dans cette section : 1.2.3.1. Perte Hellinger. La perte Hellinger a été élaborée par Ernst Hellinger (1909) . Elle est énoncée dans les ouvrages de différentes manières. Par exemple :. 1 LH (q, qˆ) = 2. .

(31) Rd. q(y|θ) −. 2

(32) qˆ(y; X) dy.. Cette perte constitue un excellent outil du fait que la distance Hellinger est symétrique et bornée a` 1. Remarque 1.2.4. Le risque Hellinger est défini par :

(33). 2

(34) 1 RH (q, qˆ) = q(y|θ) − qˆ(y; X) dy p(x|θ)dx. 2 Rd Rd 18.

(35) 1.2.3.2. Perte α − divergence. La classe de fonctions de perte de type α − divergence est introduite dans Csiszár (1967). Elle est définie de la manière suivante : qˆ(y; X) qˆ(Y ; X) Lα (θ, qˆ) = ) q(y|θ) dy = E Y [fα ( )], fα ( q(y|θ) q(Y |θ) Y o` u. ⎧ ⎨ fα (z) =. 4 (1 1−α2. − log z ⎩ z log z. −z. 1+α 2. (1.6). ) si |α| < 1, si α = −1, si α = 1. 4 2 (1 α→±1 1−α. Les cas α = ±1 peuvent être obtenus en calculant lim. −z. 1+α 2. ), sur laquelle on. peut appliquer la règle de l’Hospital puisqu’on veut z → 1. On trouve entre autres, dans cette classe de fonction de perte, la perte Kullback-Leibler pour α = −1, la perte Hellinger pour α = 0 ainsi que la perte Kullback-Leibler inverse pour α = 1. En effet, pour la perte Hellinger, on a :

(36)

(37). 2 1 LH (q, qˆ) = q(y|θ) − qˆ(y; X) dy 2 Y

(38)

(39). 1 q(y|θ) − 2 q(y|θ) qˆ(y; X) + qˆ(y; X) dy = 2 Y

(40)

(41) = 1 − ( q(y|θ) qˆ(y; X))dy Y . qˆ(y; X) 1− q(y|θ)dy = q(y|θ) Y qˆ(y; X) 1 = f0 ( ) q(y|θ)dy. 4 Y q(y|θ) On obtient donc L0 (θ, qˆ) telle que vue en (1.6). Le risque fréquentiste associé à la perte α − divergence s’exprime comme : Rα (θ, qˆ) =. X. Y. (y;X) (Y ;X) fα ( qˆq(y|θ) ) q(y|θ) dy p(x|θ)dx = E X,Y fα ( qˆq(Y ) . |θ). 19.

(42) 1.3. Loi Gamma. 1.3.1. D´ efinition. D´ efinition 1.3.1. La loi Gamma, notée X ∼ Gamma(α, β), o` u α, β > 0, est une loi de probabilité valable pour des variables continues et non négatives. Elle se caractérise par la fonction de densité vue en (1), o` u E[X] = αβ et V ar[X] = αβ 2 .. Remarque 1.3.1. La fonction Gamma s’écrit Γ(t) et répond a` l’identité Γ(t)β t = ∞ t−1 − x x e β dx. On a pour t > 1 Γ(t) = (t − 1)Γ(t − 1) et Γ(1) = 1, et alors Γ(t) = (t − 1)! 0 lorsque t est un entier positif.. Remarque 1.3.2. Dans le cas o` u le paramètre α est une valeur entière, la loi gamma de paramètres (α, λ) correspond a` la somme de α lois exponentielles indépendantes de paramètre λ. Une justification usuelle est qu’on trouve par les fonctions génératrices de moments, notées MX (t) = E X [etX ], une caractérisation des différentes fonctions de probabilités. Pour X ∼ exp(λ), on trouve MX (t) = Y ∼ Gamma(α, λ) que MY (t) =. 1 , (1− λt )α. 1 , t (1− λt ) n . < λ, et on trouve pour. Xi , o` u Xi i.i.d. ∼ exp(λ).. t < λ. Posons Z =. i=1. Alors : . t. n. Xi. . MZ (t) = E[etZ ] = E e i=1 n n tXi =E e E[etXi ] (par indépendance des Xi ) = i=1. =. n i=1. =. i=1. 1 (1 − λt ). 1 , qui est bien la fonction génératrice de moments d’une loi Gamma(n, λ). (1 − λt )n 20.

(43) 1.3.2. Motivation. La motivation de l’utilisation de la loi Gamma provient de différentes applications que l’on connaˆıt de celle-ci. En voici quelques unes. 1.3.2.1. Processus de Poisson et th´ eorie des files d’attentes. On définit N (t) ∼ P P (λ) comme étant un processus de Poisson référant au nombre de fois qu’un événement se produit dans l’intervalle de temps [0,t), avec une moyenne de λ apparitions de l’événement pour chaque unité de temps. Soit T une variable aléatoire définissant le temps d’attente avant que l’événement se soit produit k fois. T est une variable continue. On cherche a` définir la fonction de densité de T . Commen¸cons par déterminer sa fonction de répartition : F (t) = P (T < t) = 1 − P (T > t) = 1 − P (N (t) < k) = 1 − P (N (t) ≤ k − 1) = 1 − e. −λt. k−1. (λt)x x=0. x!. ,. puisque les événements (T < t) et (N (t) ≥ k) sont équivalents. On trouve la fonction de densité comme suit : . f (t) = F (t) = λe. −λt. k−1. (λt)x. x!. x=0. = λe−λt = λe. −λt. k−1 (λt)x x=0 k−1 x=0. x!. −. −e. −λt. k−1. x(λt)x−1 λ x=0. x!. k−1. (λt)x−1. (x − 1)! x=1. (λt)x (λt)y λk tk−1 e−λt − = , x! y! Γ(k) y=0 k−2. ce qui nous dit que T ∼ Gamma(k, λ1 ). 21.

(44) Exemple 1.3.1. Soit un magasin o` u en moyenne 10 clients à l’heure effectuent une transaction sous l’hypothèse d’un Processus de Poisson. On s’intéresse au temps nécessaire pour que 5 clients effectuent une transaction. 1 a) Le temps T d’attente jusqu’à la transaction du 5ième client suit une Gamma(5, 10 ),. dont la densité est tracée ci-dessous. 1 ) 10. 1.0 0.0. 0.5. f(t). 1.5. 2.0. Fonction de densité d'une Γ(5,. 0.0. 0.2. 0.4. 0.6. 0.8. 1.0. t. b) La probabilité que le temps d’attente avant la transaction du 5ième client soit d’au moins trente minutes est donnée par P (T > 12 ) ≈ 0.4405. 1.3.2.2. Inf´ erence pour la variance. Voici quelques propriétés connues pour le modèle Gamma : i) Si Y ∼ Gamma(α, β), alors cY ∼ Gamma(α, cβ) ; ii) Si les Yi ∼ Gamma(αi , β) sont des v.a. indépendantes, alors iii) Si Z ∼ N (0, 1), alors Z 2 ∼ Gamma( 12 , 2) ; iv) Pour X1 , . . . , Xn i.i.d. de loi N (μ, σ 2 ), on a que :. n i=1. n i=1. (Xi −μ)2 σ2. Yi ∼ Gamma. n . αi , β ;. i=1. ∼ Gamma( n2 , 2).. Remarque 1.3.3. i) se démontrent aisément par les fonctions génératrices de moments par indépendance des variables, ii) se démontre comme à la remarque 1.3.2 et représente √ √ une généralisation. Pour iii), on a que pour Y = X 2 , FY (y) = 2FZ ( y) = 2Φ( y), et en 22.

(45) √ √1 φ( y) y. dérivant on trouve la fonction de densité iv) est une conséquence de ii) et iii) car. Xi −μ σ. 1. y. =. e− 2 √ √ y 2π. =. ∼ N (0, 1).. On note également, au passage, que les statistique usuelles. n . y. y 2 −1 e− 2 1. Γ( 12 )2 2. ∼ Gamma( 12 , 2).. (Xi − μ)2 et. i=1. n . ¯ 2 (Xi − X). i=1. sont utilisées pour l’inférence du paramètre σ 2 sont de loi Gamma. nous aurons besoin du Lemme suivant pour le démontrer. Lemme 1.3.1. Si Y1 , Y2 sont des v.a. indépendantes, si Y1 ∼ Gamma(a1 , b) et Y1 + Y2 ∼ Gamma(a, b), avec a > a1 , alors Y2 ∼ Gamma(a − a1 , b).. Ce Lemme se démontre aisément par les fonctions génératrices de moments et sera utile n ¯ 2. pour trouver la loi de (Xi − X) i=1. On a donc pour X1 , . . . , Xn ∼ N (μ, σ 2 ) en appliquant i) au résultat en iv), on voit n n (Xi −μ)2 n que si ∼ Gamma( , 2), alors (Xi − μ)2 sera de loi Gamma( n2 , 2σ 2 ). Pour 2 σ 2 n . i=1. i=1. n ¯ , on utilisera le fait que ¯ 2 + n(X ¯ − μ)2 ainsi (Xi − X) (Xi − μ)2 = (Xi − X) i=1 i=1 i=1 √ (X−μ) ¯ ¯ − μ)2 ∼ Gamma( 1 , 2σ 2 ) que le Lemme 1.3.1. Puisque n σ ∼ N (0, 1), alors n(X 2 n ¯ 2 ∼ par les propriétés i) et iii). On applique ensuite ii) et on trouve que (Xi − X) 2. n . i=1. Gamma( n−1 , 2σ 2 ) 2. Remarque 1.3.4. On étudie souvent le problème d’inférence de la variance en utilisant la densité khi-deux, qui est un cas particulier de loi Gamma, c’est-` a-dire χ2 (n) est équivalent à Gamma( n2 , 2). 1.3.2.3. R´ egression lin´ eaire multiple. La régression linéaire multiple est une généralisation de la régression linéaire simple. Dans le modèle standard, les observations y1 , . . . , yn sont modélisées par :. 23.

(46) ⎛ ⎞ ⎛ ⎞ y1 1 z1,1 · · · z1,p ⎜ .. ⎟ ⎜ .. .. ⎟ .. .. ⎝ . ⎠ = ⎝. . . ⎠ . 1 zn,1 · · · zn,p yn. ⎛ ⎞ ⎛ ⎞ b0

(47) 1 ⎜ b1 ⎟ ⎜ ⎟ ⎜ .. ⎟ ⎜ .. ⎟ + ⎝ . ⎠ ⎝.⎠

(48) n bp. ⎛ ⎞

(49) 1 ⎜ .. ⎟ sous conditions n > p + 1 et ε = ⎝ . ⎠ ∼ Nn (0, σ 2 In ).

(50) n. ˆ de Rp+1 , passe le plus près On cherche alors a` obtenir βˆ telle que la droite Yˆ = Z β, de tous les points (Zi,1 , . . . , Zi,p , Yi ), i ∈ {1, . . . , n} du nuage de points, et on trouve βˆ = (Z T Z)−1 Z T Y lorsque Z est de plein rang. On a aussi que la somme des carrés des résidus : ˆ = (Y − Yˆ )T (Y − Yˆ ) = ||Y − Yˆ ||2 . ˆ T (Y − Z β) W = (Y − Z β) , 2σ 2 ). est de loi Gamma( n−p−1 2. 1.4 1.4.1. Estimateurs par substitution (Plug-in) D´ efinition. Un estimateur de densités prédictives par substitution (ou estimateur plug-in) de qθ est ˆ donné par qθˆ, o` u θ(X) est un estimateur de θ. 24.

(51) 1.4.2. Dualit´ e des fonctions de pertes entre les densit´ es et leurs param` etres. Lorsqu’on étudie la perte entre une loi de densité et son estimateur de densité prédictive, il peut arriver qu’après simplification on y découvre certaines similitudes avec une autre fonction de perte entre un paramètre et l’estimateur par substitution de ce paramètre utilisé pour définir l’estimateur de densité prédictive. Nous présenterons donc, dans cette sous-section, quelques exemples de cette dualité. 1.4.2.1. Cas Gamma avec perte Kullback-Leibler. On désire estimer la densité q(·|β) de Y ∼ Gamma(α2 , β) sous la perte K-L à partir de X ∼ Gamma(α1 , β) distribuées indépendemment, avec α1 , α2 connus et β inconnu. Pour des densités plug-in qβˆ, on a :. RKL (β, qˆ) = E X,Y. log '. q(Y |β) qˆ(Y ; X). . ⎡. ⎛. ⎢ ⎜ = E X,Y ⎣log ⎝. −Y. Y α2 −1 e β Γ(α2 )β α2 −. Y ˆ β(X). Y α2 −1 e α2 ˆ Γ(α2 )β(X). ⎞⎤ ⎟⎥ ⎠⎦. ( ˆ β(X) 1 = E X,Y y − + α2 log ˆ β β β(X) ' ( β β = α2 E X − log −1 , ˆ ˆ β(X) β(X) 1. (1.7). puisque E X,Y (Y ) = α2 β et X, Y sont des variables aléatoires indépendantes. On constate alors que la forme obtenue pour le risque Kullback-Leibler de la densité prédictive qˆ(Y ; X) par rapport à la densité q(Y |θ) est directement liée à la fonction de ˆ perte entropie sur l’utilisation de l’estimateur β(X) du paramètre β. Il en résulte donc 25.

(52) une manière moins lourde d’évaluer la performance de l’estimateur de densité q(·|β). Il est aussi d’intérêt de considérer les densités plug-in qβˆ en travaillant avec la sous classe ˆ d’estimateurs β(X) = aX comme estimateur plug-in du paramètre β. Le prochain lemme est un cas classique souvent fait en exercice, abordé entre autre dans Lehmann et Casella (2006). Lemme 1.4.1. Pour le problème de risque entropie avec X ∼ Gamma(α, β), le meilleur estimateur βâ (X) = aX du paramêtre β (pour α > 1) est. X . α−1. Il en découle que la. meilleure densité prédictive parmi les densités plug-in qβâ est donnée par le choix a =. 1 . α−1. Démonstration. Soit la perte entropie et la classe d’estimateurs βâ (X) = aX du para β ) * β mètre β. On a alors RKL (β, βâ ) = α2 Eβ aX − log aX − 1 = α2 a1 E1 ( X1 ) + log a + E1 (log X) − 1 = G(a), car. X β. ∼ Gamma(α, 1).. 1 Puisque G (a) = α2 [− a12 E1 ( X1 ) + a1 ] = α2 [− a2 (α−1) + a1 ], le résultat s’ensuit.. Remarque 1.4.1. Pour α1 > 1, l’estimateur. X α1 −1. est également Bayes par extension et. minimax pour la perte entropie (1.7). On sait également que. X α1. est un estimateur sans biais, mais aussi l’estimateur maximum. de vraisemblance du paramètre β pour β > 0. En effet, ∂ log fβ (x) ∂ x = ((α − 1) log x − − log Γ(α) − α log β) ∂β ∂β β x α = 2− , β β 3 ∂ 2 log fβ (x) x = − αx2 < 0, ce qui confirme qu’on est qui vaut 0 lorsque β = αx . De plus, ∂β 2 α en présence d’un maximum. 26.

(53) 1.4.2.2. Cas de la loi Normale avec perte Kullback-Leibler. ˆ o` u X et Y On désire estimer qY (·|θ) sous la perte K-L par une densité plug-in qY (·, θ), sont des v.a. indépendants, X ∼ Np (θ, vx ), Y ∼ Np (θ, vy ), avec vx , vy connus et θ inconnu. On a : . . ⎡. ⎛. ⎢ ⎜ ˆ = E X,Y log q(Y |θ) = E X,Y ⎢log ⎜ RKL (θ, θ) ⎣ ⎝ ˆ qˆ(Y |θ) . 1 p (2πvy ) 2 1 p (2πvy ) 2. e. e. −. ||Y −θ||2 2vy. 2 ˆ ||Y −θ(X)|| − 2vy. ⎞⎤ ⎟⎥ ⎟⎥ ⎠⎦. 2 ˆ ||Y − θ(X)|| ||Y − θ||2 1 X,Y ˆT Tˆ T T ˆ − E θ (X)θ(X) − 2Y θ(X) + 2Y θ − θ θ = =E 2vy 2vy 2vy 1 X ˆT 1 X ˆ ˆ ˆ = + 2θT θ − θT θ = E θ (X)θ(X) − 2θT θ(X) E ||θ(X) − θ||2 , 2vy 2vy X,Y. puisque E X,Y [Y ] = θ et que X, Y sont indépendants. ˆ = X est un estimateur sans biais de θ, en plus d’être l’estimaRemarque 1.4.2. θ(X) teur maximum de vraisemblance.. 1.4.2.3. Cas normale avec perte L1. Dans Kubokawa et coll. (2017), on a étudié l’estimateur de q(·|θ) sous la perte L1 par une densité qˆ(·|x), o` u X et Y sont des v.a. indépendants, X ∼ Nd (θ, σ12 Id ), Y ∼ Nd (θ, σ22 Id ), avec σ1 , σ2 connus et θ inconnu. En utilisant le risque L1 définit comme étant ) * ˆ θ(X)| E x R |q(y|θ) − q(y; x)|dy , on établit un lien entre le risque L1 et le risque E X 2Φ( |θ−2σ ) − 1 2 ˆ de θ(X) comme estimateur de θ. Lemme 1.4.2. Pour l’estimation de q(·|θ) ∼ N (θ, σ 2 ) sous le risque L1 par la densité ˆ ˆ qˆ(·|x) ∼ N (θ(X), σ 2 ), on trouve RL1 (θ, qˆ) = 2E X 2Φ( θ−θ(X) ) − 1 . 2 27.

(54) Démonstration. On a RL1 (θ, qˆ) = E X. 2 1 − (y−θ) 2 2σ2 √ e − R 2πσ2. √ 1 e 2πσ2. −. 2 ˆ (y−θ(X)) 2 2σ2. ˆ dy = E X [ρL1 (θ, θ)], . ˆ correspond a` ce qu’on a fait à l’exemple 1.2.1. Dès lors, nous avons : o` u ρL1 (θ, θ) ˆ ˆ = 2E X 2Φ( θ−θ(X) ) − 1 E X [ρL1 (θ, θ)] 2. 1.4.2.4. Cas normale avec perte Hellinger. u X et Y sont On désire estimer qY (·|θ) sous la perte Hellinger par une densité qˆ(·|x), o` des v.a. indépendants, X ∼ N (θ, σx2 ), Y ∼ N (θ, σy2 ), avec σx , σy connus et θ inconnu. Pour y arriver, nous aurons besoin des lemmes suivants énoncés dans Kubokawa et coll. (2015) qui se démontrent aisément. Pour le troisième lemme, il s’agit d’un cas univarié du lemme énoncé dans Ghosh et coll. (2008). 1. 1. Lemme 1.4.3. On a pour tout Z ∈ R : φ 2 (Z) = (2π) 4 φ( √Z2 ). Lemme 1.4.4. Pour θ1 , θ2 ∈ Rd , v1 , v2 des matrices de covariance définies positives, on a. . d d − 12 − 12 − d2 − 12 2 2 φ (y − θ )(v ) )(v ) v (v +v ) φ (θ − θ )(v + v ) φ (y − θ dy = v . 1 1 1 2 1 2 1 2 1 2 1 2 Rd Lemme 1.4.5. Pour tout θ1 , θ2 ∈ R, σ1 , σ2 ∈ R+ , on a : R. 1 φ σ1. . y − θ1 σ1. . 1 φ σ2. . 1 (θ1 −θ2 )2 2σ1 σ2 2 − 4(σ y − θ2 2 2 1 +σ2 ) , dy = e 2 2 σ2 σ1 + σ2. 28.

(55) Démonstration. On a par les lemmes 1.4.3 et 1.4.4 : 1 1 1 2π 2 y − θ2 y − θ1 y − θ2 y − θ1 dy = φ √ dy φ φ φ √ σ1 σ1 σ2 σ2 σ1 σ2 2σ1 2σ2 R R ( 1 1 ' 1 (θ1 −θ2 )2 2π 2 2σ1 σ2 2 − 4(σ 2σ12 σ22 2 θ1 − θ2 2 2 1 +σ2 ) . = = φ

(56) 2 e 2 2 2 2 σ1 σ2 σ1 + σ2 σ1 + σ2 2(σ1 + σ22 ) Remarque 1.4.3. Le cas multivarié, qui parait dans Ghosh et coll. (2008), établit que pour des densités Nd (x|μi , Σi ), i ∈ {1, 2}, on a : Rd. [Nd (x|μ1 , Σ1 )]α1 [Nd (x|μ2 , Σ2 )]α2 dx 1. d. 1. 1. = (2π) 2 (1−α1 −α2 ) |Σ1 | 2 (1−α1 ) |Σ2 | 2 (1−α2 ) |α1 Σ2 + α2 Σ1 |− 2 α1 α2 (μ1 − μ2 )T (α1 Σ2 + α2 Σ1 )−1 (μ1 − μ2 )], × exp[− 2 Le Lemme 1.4.5 en découle donc en posant α1 = α2 =. 1 2. et d = 1.. Pour la dualité de la loi normale avec la perte de Hellinger, on établit un lien entre le risque Hellinger et le risque E. X. 1−e. −. 2 ˆ (θ−θ(X)) 2 8σy. ˆ qui correspond au risque de l’estimateur θ(X). comme estimateur de θ sous la perte normale réfléchie tel que vu dans Spiring (1993). En effet :.

(57)

(58). 2. 1 RH (θ; qˆ) = q(y|θ) − qˆ(y; X) dy p(x|θ)dx 2 R R

(59).

(60) = 1 − ( q(y|θ) qˆ(y; X))dy p(x|θ)dx R R 2. ˆ (θ−θ(X)) − 2 8σy = 1−e p(y|θ)dx R 2 =E. X. 1−e. −. ˆ (θ−θ(X)) 2 8σy. 29. ,.

(61) ˆ en appliquant le lemme 1.4.5 avec σ1 = σ2 = σy , θ1 = θ et θ2 = θ(X). On a donc 2 RH (θ; qˆ) = E. 1.5. X. 1 − σy e. −. ˆ (θ−θ(X)) 2 8σy. , d’o` u le résultat.. Approche Bay´ esienne. Tel que vu au Théorème 1.2.1, il existe une autre manière d’obtenir une loi prédictive, soit par une approche bayésienne. Contrairement au cas des estimateurs par substitution, l’approche bayésienne s’appuie plutôt sur une loi a priori π a` laquelle le paramètre θ pourrait obéir. Il en résulte alors une loi a posteriori, ainsi que la densité prédictive usuelle qˆπ du théorème 1.2.1.. 1.5.1. D´ efinition. On cherchera à estimer une densité q(y|θ), y ∈ Rd , par une densité prédictive qˆ(y; X) en utilisant une ou plusieurs observations de X telles que X ∼ p(x|θ). On ne sait que peu de choses du paramètre θ, si ce n’est qu’elle pourrait suivre une loi dite a priori définie comme étant θ ∼ π(θ). L’inférence bayésienne découle de la loi a posteriori, qui sera notée π(θ|x) et qui sera obtenue, par une application de la formule de Bayes, de la manière suivante : π(θ|x) = . p(x|θ)π(θ) p(x|θ)π(θ) , = mπ (x) p(x|θ)π(θ)dθ Θ. (1.8). o` u mπ (x) est la loi marginale de X associée à l’a priori π(θ). Remarque 1.5.1. On utilise souvent la notion de proportionalité dans les calculs afin d’éviter l’intégrale au dénominateur, de sorte que π(θ|X) ∝ p(x|θ)π(θ). On est ensuite souvent en mesure de déduire la loi a posteriori de θ|X. 30.

(62) On est ensuite en mesure de déterminer une loi prédictive qˆ(·; X) par la loi marginale de Y , ce qui donne : Θ. q(y|x) =. q(y|θ)p(x|θ)π(θ)dθ = p(x|θ)π(θ)dθ Θ. Θ. q(y|θ)p(x|θ)π(θ)dθ = mπ (x). q(y|θ)π(θ|x)dθ, Θ. lorsque X et Y sont conditionnellement indépendants par rapport a` θ. On trouve plusieurs résultats par rapport a` l’approche bayésienne sur les densités prédictives qui seront démontrés dans les sous-sections suivantes.. 1.5.2. Cas Gamma. Le résultat suivant provient de L’Moudden et coll. (2017). On supposera ici queX ∼ Gamma(α1 , β) et que Y ∼ Gamma(α2 , β). On cherche ici une représentation de la densité prédictive qˆπ (y; X), o` u π est la loi a priori du paramètre β.. Theor` eme 1.5.1. En considérant les lois sur X, Y énoncées ci-dessus et en supposant une loi a priori π(β) pour laquelle la loi a posteriori π(β|x) existe, on obtient la densité prédictive :. qˆπ (y; x) =. Γ(α1 + α2 ) 1 y α2 −1 x + y −(α1 +α2 −1) mπ (y + x|α1 + α2 ) 1(0,∞) (y), x > 0, Γ(α1 )Γ(α2 ) x x x mπ (x|α1 ). o` u mπ (z|α) =. . −z. R+. z α−1 e β Γ(α)β α. π(β)dβ est la densité marginale de Z (c’est-` a-dire Z ∼ Gamma(α, β)). sous la loi a priori π(β). 31.

(63) Démonstration. On a pout tout x > 0, y > 0 : ∞ yα2 −1 e− βy xα1 −1 e− βx ∞ e− y+x ∞ β α −1 α −1 1 2 π(β)dβ π(β)dβ q(y|β)p(x|β)π(β)dβ y x Γ(α2 )β α2 Γ(α1 )β α1 0 0 β α1 +α2 0 = = qˆπ (y; x) = x ∞ − ∞ xα1 −1 e β Γ(α1 )Γ(α2 ) mπ (x|α1 ) p(x|β)π(β)dβ 0 π(β)dβ Γ(α1 )β α1. 0. ∞. α1 −1 α2 −1. −. y+x. (y+x)α1 +α2 −1 e β Γ(α1 +α2 )β α1 +α2. π(β)dβ x y Γ(α1 + α2 ) 0 x α α +α −1 x 2 (y + x) 1 2 Γ(α1 )Γ(α2 ) mπ (x|α1 ). Γ(α1 + α2 ) 1 y α2 −1 x + y −(α1 +α2 −1) mπ (y + x|α1 + α2 ) = . Γ(α1 )Γ(α2 ) x x x mπ (x|α1 ) α2. =. Exemple 1.5.1. En utilisant l’a priori tronqué π(β) = β1 1[a,b] (β) sur [a, b] basée sur l’a priori non-informative π(β) = β1 , on obtient : x x xα1 −1 e− β 1 xα1 −1 b e− β dβ = mπ (x|α1 ) = dβ α1 β Γ(α1 ) a β α1 +1 a Γ(α1 )β x xα1 −1 a uα1 +1−2 e−u x = du En posant u = Γ(α1 ) xb x α1 β x . x. x 1 xα1 −1 a uα1 −1 e−u du = F α1 − F α1 , = α1 x x Γ(α1 ) x a b b. . b. o` u Fα correspond à la fonction de répartition d’une Gamma(α, 1). Par un calcul similaire, on montre que mπ (y+x|α1 +α2 ) =. 1 y+x. Fα1 +α2 ( y+x ) − Fα1 +α2 ( y+x ) . a b. On trouve donc la densité prédictive :. ) − Fα1 +α2 ( y+x ) Γ(α1 + α2 ) 1 y α2 −1 x + y −(α1 +α2 ) Fα1 +α2 ( y+x a b . x x Γ(α1 )Γ(α2 ) x x x F α1 ( a ) − F α1 ( b ). Pour le prochain exemple, nous avons besoin de définir deux lois de densité, soient les lois inverse Gamma et Beta de type 2. 32.

(64) D´ efinition 1.5.1. Une variable X suit une loi Inverse Gamma (notée IG(γ1 , γ2 )), lorsqu’elle admet la fonction de densité : γ2. γ γ1 x−(γ1 +1) e− x p(x) = 2 1(0,∞) (x), Γ(γ1 ) avec γ1 , γ2 > 0.. D´ efinition 1.5.2. Une variable X suit une loi Beta de type 2 (notée Beta2(c, d, σ)), avec c, d, σ > 0, lorsqu’on lui trouve la fonction de densité suivante :. p(x) =. Γ(c + d) 1 ( σx )c−1 1(0,∞) (x). Γ(c)Γ(d) σ (1 + σx )c+d. Remarque 1.5.2. Il en découle de l’exemple 1.5.1 pour le cas π(β) =. 1 1 (β), β (0,∞). la. densité prédictive :. qˆπ0 (y; x) =. Γ(α1 +α2 ) 1 Γ(α1 )Γ(α2 ) x. α2 −1 y x. x+y x. −(α1 +α2 ). ,. pour a > 0 et b = ∞. On voit donc que qˆπ0 (y; x) ∼ Beta2(α2 , α1 , x).. Exemple 1.5.2. Soit Y ∼ Gamma(α2 , β), X ∼ Gamma(α1 , β). Pour un a priori π(β) ∼ IG(γ1 , γ2 ) tel que mentionné à la définition 1.5.1 sous conditions α1 > 1, γ1 > α1 − 1 et γ2 > 0, on obtient que qˆπ (y; x) ∼ Beta2(α2 , α1 + γ1 , x + γ2 ) selon la définition 1.5.2. En effet, pour x > 0 : 33.

(65) ∞ yα2 −1 e− βy xα1 −1 e− βx γ2γ1 β −(γ1 +1) e− γβ2 ∞ dβ q(y|β)p(x|β)π(β)dβ Γ(α2 )β α2 Γ(α1 )β α1 Γ(γ1 ) 0 = qˆπ (y; x) = 0 ∞ γ ∞ xα1 −1 e− βx γ2γ1 β −(γ1 +1) e− β2 p(x|β)π(β)dβ 0 dβ Γ(α1 )β α1 Γ(γ1 ) 0 ∞ (x+y+γ2 )α1 +α2 +γ1 −(α +α +γ +1) − x+y+γ2 Γ(α1 +α2 +γ1 ) y α2 −1 β β 1 2 1 e dβ Γ(α2 ) (x+y+γ2 )α1 +α2 +γ1 0 Γ(α1 +α2 +γ1 ) = x+γ Γ(α1 +γ1 ) ∞ (x+γ2 )α1 +γ1 −(α1 +γ1 +1) − β 2 β e dβ Γ(α1 +γ1 ) (x+γ2 )α1 +γ1 0 =. y α2 −1 Γ(α2 ). (x + γ2 )α1 +γ1 (x + y + γ2 )α1 +α2 +γ1 Γ(α1 + γ1 ). Γ(α1 + α2 + γ1 ) )α1 +α2 +γ1. (x+γ2 (x+γ2 )α1 +α2 +γ1. y ( x+γ )α2 −1 1 Γ(α1 + α2 + γ1 ) 2 = ∼ Beta2(α2 , α1 + γ1 , x + γ2 ). y Γ(α2 )Γ(α1 + γ1 ) (x + γ2 ) (1 + x+γ )α1 +α2 +γ1 2. Remarque 1.5.3. On arrive également au résultat en appliquant le théorème 1.5.1 puisque mπ (x+y|α1 +α2 ) =. 1.5.3. γ. Γ(α1 +α2 +γ1 ) (x+y)α1 +α2 −1 γ2 1 Γ(α1 +α2 )Γ(γ1 ) (x+y+γ2 )α1 +α2 +γ1. et mπ (x|α1 ) =. γ. Γ(α1 +γ1 ) xα1 −1 γ2 1 . Γ(α1 )Γ(γ1 ) (x+γ2 )γ1 +α1. Cas de la loi normale. Les prochains résultats proviennent de l’article Kubokawa et coll. (2015) , o` u l’on utilise le fait que l’estimateur de densité prédictive qˆπ (y; X) de l’équation (1.8) est également Bayes pour la perte L2 . On y trouve également d’intéressants résultats pour l’approche bayésienne sur X, Y de lois normales, ainsi que pour d’autres densités à symétrie sphérique. Pour mieux comprendre ces résultats, nous aurons besoin des notions suivantes. D´ efinition 1.5.3. Le produit de convolution entre deux fonctions f et g, noté (f ∗ g) est défini par : (f ∗ g)(x) =. Rd. f (x − t)g(t)dt =. Rd. f (t)g(x − t)dt.. Ce produit représente, lorsque f et g sont des densités de Lebesgue sur Rd , la densité de la somme X + Y o` u X ∼ f et Y ∼ g et les variables X et Y sont indépendantes. 34.

(66) 2 Exemple 1.5.3. Pour f ∼ Nd (0, σX Id ) et g ∼ Nd (0, σY2 Id ), on trouve 2 (f ∗ g) ∼ Nd (0, (σX + σY2 )Id ).. Démonstration. Pour x ∈ Rd , on obtient : − 12 ||x−t||2 − 12 ||t||2 1 1 2σ 2σ X Y f (x − t)g(t)dt = e e dt (f ∗ g)(x) = 2 d2 2 d2 d d (2πσY ) R R (2πσX ) (σ 2 +σ 2 ) 2xtσ 2 ||x||2 σ 2 − X2 2Y ||t||2 + 2 Y2 − 2 2Y 1 2σ σ 2σ σ 2σ σ X Y X Y X Y dt e = 2 2 d2 2 ((2π) σX σY ) Rd ) 2 4 4 * (σ 2 +σ 2 ) 2xtσ 2 ||x||2 σY ||x||2 σY ||x||2 σY − X2 2Y ||t||2 − 2 Y2 + 2 + 2 − 2 1 2 2 2 2 (σ +σ ) (σ +σ ) (σ +σ ) (σ +σ )2 Y Y Y Y X X X X e 2σX σY = dt d 2 2 2 ((2π)2 σX σ Y ) Rd ) ||x||2 σ2 2 4 * (σ 2 +σ 2 ) Y − ||x|| σY ) * − X2 2Y 2 (σ 2 +σ 2 ) 2xtσ 2 ||x||2 σ 4 2σ σ (σ 2 +σ 2 ) (σ 2 +σ 2 )2 X Y X Y X Y (σX + σY2 ) d2 − 2σX2 σ2Y ||t||2 − (σ2 +σY2 ) + (σ2 +σ2Y)2 e Y Y X Y X X e dt = d 2 2 2 2πσX σY (2π(σX + σY2 )) 2 Rd ) 2 (σ 2 +σ 2 ) 2 4 * (σ 2 +σ 2 ) ||x||2 σY X Y − ||x|| σY − X2 2Y 2 2 (σ 2 +σ 2 ) xσY 2σ σ (σ 2 +σ 2 )2 (σ 2 +σ 2 )2 2 Y Y X Y X X (σX + σY2 ) d2 − 2σX2 σ2Y ||t− σ2 +σ e 2 || X Y X Y e dt = d 2 2 2 2πσX σY (2π(σX + σY2 )) 2 Rd ) * (σ 2 +σ 2 ) ||x||2 σ 2 σ 2 =. e. −. X Y 2σ 2 σ 2 X Y. Y X (σ 2 +σ 2 )2 Y X d. 2 (2π(σX + σY2 )) 2. =. 1 d. 2 (2π(σX + σY2 )) 2. e. −. ||x||2 (σ 2 +σ 2 ) X Y. 2 ∼ Nd (0, (σX + σY2 )Id ).. Lemme 1.5.1. En supposant que la densité a posteriori en (1.8) existe sur Rd et peut ˆ être exprimée sous la forme π(θ|x) = g(θ − θ(x)), alors la densité prédictive qˆπ (y; x) de ˆ q(y − θ) équivaut à (q ∗ g)(y − θ(x)), o` u q ∗ g est le produit de convolution entre q et g. ˆ Démonstration. Par (1.8) et en posant π(θ|x) = g(θ − θ(x)), alors on obtient pour tout y ∈ Rd : qˆπ (y; x) =. . Rd. ˆ q(y − θ)g(θ − θ(x))dθ =. Rd. ˆ − θ )g(θ )dθ = (q ∗ g)(y − θ(x)), ˆ q(y − θ(x). ˆ − θ . en posant le changement de variable θ = θ(x) Exemple 1.5.4. Pour X ∼ Nd (θ, σx2 Id ), Y ∼ Nd (θ, σy2 Id ) avec loi a priori π(θ) ∼ ˆ ˆ Nd (μ, τ 2 Id ), on obtient que la loi a posteriori π(θ|x) ∼ Nd (θ(x), (τ )2 Id ) telle que θ(x) =. 35.