Sur les intervalles de confiance bayésiens pour des espaces de paramètres contraints et le taux de fausses découvertes

Sur les intervalles de conance bayésiens pour des espaces de

paramètres contraints et le taux de fausses découvertes

par

Asma Bahamyirou

mémoire présenté au Département de mathématiques

en vue de l'obtention du grade de maître ès sciences (M.Sc.)

FACULTÉ DES SCIENCES

UNIVERSITÉ DE SHERBROOKE

Le 15 juillet 2015

Le jury a accepté le mémoire de Monsieur Asma Bahamyirou dans sa version nale

Membres du jury

Professeur Éric Marchand Directeur de recherche Département de mathématiques

Professeur Taouk Bouezmarni Évaluateur interne

Département de mathématiques

Professeur Sévérien Nkurunziza Président rapporteur Département de mathématiques

SOMMAIRE

Ce mémoire traite deux problèmes : en premier lieu, l'estimation paramétrique par in-tervalle dans un contexte où il y a des contraintes sur le paramètre et, en deuxième lieu la probabilité de fausses découvertes lorsqu'on réalise simultanément plusieurs tests d'hypothèses. Dans le premier chapitre, nous faisons un rappel sur les notions de base de l'inférence statistique àsavoir l'estimation ponctuelle et par intervalle. Dans le deuxième chapitre, nous abordons la théorie de l'estimation par intervalle de conance bayésien décrit dans [10]. Des résultats nouveaux sont présentés dans ce chapitre. Des travaux partiels (voir [7]), montrent que la probabilité de recouvrement fréquentiste est faible aux frontières de l'intervalle. Comparé àces derniers, nous avons montré sous certaines conditions que cette probabilité n'ira jamais au delàd'une borne supérieure qui semble éloignée de la crédibilité. Finalement, au Chapitre 4, nous traitons des estimateurs de la probabilité de fausses découvertes. Des améliorations signicatives ont été faites dans ce cadre.

REMERCIEMENTS

Je tiens d'abord à remercier mon directeur de maîtrise, M. Éric Marchand pour sa dis-ponibilité, sa compréhension, son soutien nancier et pour tout ce que j'ai pu apprendre durant les deux dernières années. Je voudrais aussi remercier tous les étudiants en par-ticulier Aziz Lmoudden, pour son aide, les discussions mathématiques, et tout le groupe de séminaire de Statistique. Merci au Département de mathématiques de l'Université de Sherbrooke de m'avoir accueilli durant ces deux dernières années et pour l'appui nancier qu'il m'a accordé. Mes vifs remerciements vont aussi à l'endroit de tous les membres du laboratoire Statomics et en particulier David R. Bickel pour son accueil, sa disponibi-lité, et le soutien nancier qu'il m'a accordé durant mon séjour à l'Université d'Ottawa. Finalement, un grand merci à tous ceux qui de loin ou de près ont contribué à ce mémoire.

Asma Bahamyirou Sherbrooke, Juin 2015

TABLE DES MATIÈRES

SOMMAIRE iii

REMERCIEMENTS iv

TABLE DES MATIÈRES v

LISTE DES TABLEAUX viii

LISTE DES FIGURES ix

INTRODUCTION 1

CHAPITRE 1  Préliminaires 5

1.1 Principes de base et dénitions . . . 5

1.2 Inférence bayésienne . . . 6

1.3 Théorie de l'estimation par région de conance . . . 8

1.3.2 Critères d'évaluation des intervalles . . . 18

CHAPITRE 2  Intervalle de conance bayésien pour des paramètres bornés dans un intervalle [a, b] 20 2.1 L'intervalle de conance HPD et ses propriétés . . . 21

2.2 Illustration . . . 26

2.3 Une borne supérieure pour la probabilité de recouvrement fréquentiste minimale . . . 29

2.4 Exemples . . . 35

2.4.1 Méthode uniée . . . 35

2.4.2 Intervalle de Pratt tronqué . . . 36

2.4.3 Estimation d'un paramètre d'échelle . . . 37

CHAPITRE 3 On the discrepancy between Bayes credibility and fre-quentist probability of coverage 45 3.1 Introduction . . . 46

3.2 Main Results and Illustrations . . . 48

3.2.1 On Bayesian condence intervals . . . 48

3.2.2 On interval estimators with exact frequentist coverage . . . 53

CHAPITRE 4  Estimation du taux de fausses découvertes 59 4.1 Les erreurs de type I et de type II . . . 59

4.2.1 Procédure de contrôle du taux de fausses découvertes (Benjamini et Hochberg) . . . 6 1 4.2.2 Exemple . . . 6 2 4.3 Le taux local de fausses découvertes . . . 6 4 4.3.1 Approche bayésienne pour controler le taux de fausses découvertes 65 4.3.2 Estimation du taux non local de fausses découvertes . . . 6 7 4.3.3 Estimation du taux local de fausses découvertes . . . 6 9 4.3.4 Estimateur du taux local de fausses découvertes corrigé . . . 71 4.3.5 Simulations . . . 72

CONCLUSION 78

LISTE DES TABLEAUX

1.1 Quelques pivots pour des familles à paramètre de position θ et d'échelle σ. 15

2.1 Borne inférieure de la probabilité que I(X) = [−m, m] quand θ = 0. . . . 34

3.1 Lower bound for the probability that I(X) = [−m, m] when θ = 0. . . . . 54

LISTE DES FIGURES

1.1 Région d'acceptation de niveau 1 − α = 0.95 pour X ∼ N(θ, 1) avec θ ≥ 0. 11 1.2 Bornes inférieures l(·) et supérieures u(·) de niveau 0.95 obtenu par la

méthode uniée pour le modèle N(θ, 1) avec θ ≥ 0. . . . 11 1.3 Graphes de Rθ(x) pour θ = 1, 1.25, 2.5, r = 5 et s = 24. . . . 13

1.4 Région d'acceptation associée à Rθ(x) pour 1 − α = 0.95, r = 5 et s = 24. 13

1.5 Intervalle unié pour X ∼ F isher(r = 5, s = 24), θ ≥ 1 et 1 − α = 0.95. 14

2.1 Intervalle de crédibilité pour X qui suit N(θ, 1) avec θ ∈ [−m, m], m = 4, 1 − α = 0.95 et une loi uniforme sur θ. . . . 26 2.2 Probabilité de recouvrement fréquentiste de Iπupour diérentes valeurs de

m et pour 1 − α = 0.95. . . . 28 2.3 Fonctions de distribution απ(x) pour diérentes valeurs de m et (1 − α). 30

2.4 Probabilité de recouvrement fréquentiste C(θ) pour l'intervalle HPD asso-cié à la loi a priori uniforme pour diérentes valeurs de m et (1 − α). . . 32 2.5 Probabilité de recouvrement fréquentiste C(θ) pour l'intervalle HPD

2.6 Crédibilité pour l'intervalle uniée de niveau 90% et 95% associé à la loi a priori uniforme et pour m = 1.0. . . . 36 2.7 Intervalle de Pratt tronqué pour m = 1 et 1 − α = 0.95 . . . . 37 2.8 Intervalle de conance bayésien pour β avec 1 − α = 0.95, m = 3 et donc

c= e3. . . 39 2.9 Borne supérieure de infθ∈[−m,m]Cπ(θ)) pour diérentes valeurs de m et

1 − α = 0.95. . . . 40 2.10 Graphe de Rθ(x) pour c = 3 et r = 8. . . . 42

2.11 Région d'acceptation associée à Rθ(x) pour c = 3 et r = 8. . . . 43

2.12 Intervalle obtenu par la méthode uniée, modèle F isher(r, r, θ), 1 − α = 0.95, c = 3 et r = 8. . . . 44

3.1 Coverage probability C(θ) of the uniform prior HPD credible set as a function of θ for varying m and credibility. . . . 51 3.2 Coverage probability C(θ) of the uniform prior HPD credible set as a

function of θ for varying m and credibility. . . . 52 3.3 Bayesian credibility of the 90% and 95% condence interval ILRT(X) with

respect to the uniform prior for m = 1.0. . . . 55

4.1 Erreur quadratique moyene pour N = 5, n1 = n2 = 50 et θa= 0.5. . . . 74

4.2 Erreur quadratique moyene pour N = 20, n1 = n2 = 50 et θa= 0.5. . . . 75

4.3 Probabilité de recouvrement fréquentiste pour N = 5, n1 = n2 = 50 et

4.4 Probabilité de recouvrement fréquentiste pour N = 20, n1 = n2 = 50 et

INTRODUCTION

Ce présent travail se compose de deux parties : l'estimation paramétrique par intervalle dans un contexte où il y a des contraintes sur le paramètre et le contrôle du taux de fausses découvertes. Dans le cadre de l'estimation par intervalle, notons qu'il existe déja plusieurs méthodes dans la littérature pour ce type d'inférence. Plusieurs contributions récentes ont vues le jour ces dernières années. Par exemple,dans [5] Mandelkern expose certains problèmes rencontrés en physique où il compare plusieurs intervalles de conance, dont ceux obtenus par une approche bayésienne et par la méthode uniée de Feldman et Cousins [4]. Le premier est l'estimation de la masse μ d'un neutrino sous le modèle normal : X ∼ N(μ, 1) où μ ≥ 0. Le deuxième est l'estimation d'un paramètre non négatif λ d'un modèle de Poisson P (λ + b) où b est un paramètre de nuisance connu positif. Zhang et Woodroofe présentent dans [12] un problème similaire où l'on désire estimer un rapport de variance δ dans un modèle de variances à eets aléatoires avec la contrainte δ≥ 1.

Pour la question de l'estimation de la masse d'un neutrino, Zhang et Woodroofe tout comme Roe et Woodroofe dans [9], ont obtenu un intervalle de crédibilité 1 − α en utili-sant une loi a priori tronquée sur l'espace des paramètres et ont aussi établi une borne inférieure 1−α

1+α pour la probabilité de recouvrement fréquentiste. En 2006, Marchand et Strawderman établissent la même borne pour une plus grande variété de densités symé-triques et unimodales et obtiennent aussi des propriétés pour des cas non symésymé-triques.

Dans le même ordre d'idée qu'en 2006, Marchand, Strawderman, Bosa et Lmoudden (2008) établissent sous une condition supplémentaire de log-concavité, la meilleure borne (1 − 3α/2)(pour α ≤ 1/3) pour la probabilité de recouvrement fréquentiste minimale. De plus Lmoudden dans [7] remarque que la probabilité de recouvrement n'est pas bonne aux frontières de l'intervalle.

Dans ce mémoire, nous traiterons en première partie de l'inférence bayésienne en utilisant principalement les résultats de Marchand, Strawderman mentionnés précédemment où la loi a priori utilisé est uniforme sur l'intervalle. Les principaux résultats sont basés sur la probabilité de recouvrement.

La première partie de ce mémoire, est divisé en deux chapitres. Tout d'abord, au pre-mier chapitre, nous introduisons les notions de base qui nous seront utiles. Plusieurs exemples sont dévoloppés dans ce chapitre. Dans le second chapitre, nous commençons par développer le cadre décrit en [7], sur laquelle les observations ont été faites dans la première section. Une illustration du cas normal est présentée. Enn, nous présen-tons des résultats originaux (Section 2.3) sur la borne supérieure de la probabilité de recouvrement fréquentiste inmum et entre autre sur la crédibilité de certaines méthodes fréquentistes de construction de l'intervalle. Plusieurs exemples y sont développés. Essen-tiellement, nous avons montré que la probabilité de recouvrement fréquentiste inmum ne pouvait aller au delà de Φ(m), valeur souvent insatisfaisante selon la valeur de m. Une conséquence directe de ce résultat est le fait d'obtenir tout l'espace paramétrique en cas d'estimation par intervalle via des méthodes fréquentistes, résultat important à savoir. L'article avec Éric Marchand et publié dans la revue Statistics and Probability Letters 97(2015) 63 − 68 se trouve dans le Chapitre 3.

En test d'hypothèses, la probabilité de commettre une erreur de type I est idéalement bornée par α, un risque acceptable de l'erreur de type I. Des dicultés surviennent

souvent quand les chercheurs désirent réaliser simultanément plusieurs tests au lieu d'un. Ces dicultés se rencontrent dans beaucoup de domaines à savoir : en génomique fonc-tionnelle (étude de la fonction des gènes à partir de leur expression et/ou de leurs produits d'expression (ARNm et les protéines)), quand un chercheur teste simultanément plusieurs marqueurs génomiques, essaye d'identier les gènes dont les modications sont liés à un facteur biologique. Ce problème survient aussi quand plusieurs modèles ou tests sont jugés sur un même ensemble de données etc... Les tests d'hypothèses multiples peuvent conduire à une augmentation de l'erreur de type I quand les tests sont utilisés à plu-sieurs reprises. Supposons que nous ayons un ensemble de tests d'hypothèses que nous désirons tester simultanément. La première idée qui nous vient à l'esprit est de tester chaque hypothèse séparément avec un seuil α. Dans un premier exemple, considérons le cas où nous disposons de 20 hypothèses nulles à tester, avec un niveau α = 0.05. Quelle est la probabilité d'observer au moins un résultat signicatif (rejeter H0) lorsque toutes les hypothèses nulles sont vraies ?

P(au moins un resultat signif|H₀ vraie) = 1 − P (aucun resultat signif|H₀ vraie) = 1 − (1 − 0.05)20

≈ 0.64.

Remarquons donc que pour 20 tests considérés, nous avons 64% de chance d'observer au moins un résultat signicatif, même si toutes les hypothèses nulles sont vraies. En génomique ou d'autres domaines reliés à la biologie, il est vraiment usuel d'avoir un grand nombre d'hypothèses, et donc la probabilité d'avoir un résultat signicatif ne fait qu'augmenter. Dans un second exemple, supposons que nous eectuons 10000 tests si-multanément. Supposons qu'on décide d'un test signicatif si la p.valeur ≤ 0.05, alors le nombre de faux positifs espéré est : 10000 ∗ 0.05 = 500. Ce nombre augmente avec le nombre de test eectué simultanément. La question que l'on se pose est de savoir comment contrôler ce taux d'erreur an d'éviter beaucoup de faux positifs ? Le principal objectif des tests d'hypothèses multiples est de contrôler la proportion d'er-reurs de type I quand plusieurs hypothèses sont testées simultanément. Dans la

lit-térature, il existe plusieurs moyens de contrôler l'erreur de type I tels que ceux qui contrôlent le Familywise error (FWER), le risque d'avoir une erreur de type I quand plusieurs tests sont eectués simultanément, ceux qui contrôlent le  False Discovery Rate (FDR), le taux de fausses découvertes, et nalement ceux qui estiment le  False Discovery Proportion (FDP). Au Chapitre 3, nous nous concentrons seulement sur les méthodes qui controlent le FDR. Tel que rapporté dans la littérature, quand les mé-thodes de tests d'hypothèses multiples sont appliquées à des bases de données de petite tailles, le biais des estimateurs controlant le taux de fausses découvertes est important (voir [14] et [15]).

Au Chapitre 4, nous dénissons en première partie la théorie du taux de fausses décou-vertes (False Discovery Rate (FDR)) et nous proposons (en collaboration avec David Bickel et Fahimeh Moradi, Université d'Ottawa) des procédures de corrections de ces biais basées sur les méthodes de Bootstrap. Enn, à la dernière section, nous discutons les résultats obtenus après des simulations.

CHAPITRE 1

Préliminaires

Dans ce chapitre, nous donnons quelques dénitions et notions essentielles pour la com-préhension des résultats.

1.1 Principes de base et dénitions

Dénition 1.1. On appelle modèle statistique tout triplet (χ, , (Pθ)θ∈Θ) où χ est l'espace

échantillon, Θ l'espace des paramètres et (Pθ)θ∈Θune famille de lois de probabilité dénies

sur une tribu  xée de parties de χ.

Dénition 1.2. Une fonction f dénie sur R est dite symétrique par rapport à c ∈ R si,

f(c + x) = f(c − x), ∀x ∈ R

Dénition 1.3. Une densité f sur R est dite unimodale s'il existe un intervalle [a, b], éventuellement réduit à un point, tel que f soit croissante sur ] − ∞, a[, constante sur ]a, b[, décroissante sur ]b, ∞[.

Dénition 1.4. Une densité f sur [a, b] est dite log-concave si logf est concave sur [a, b]. Exemple 1. La densité f(x) = _√1

2πσ2e− (x−μ)2

2σ2 de la loi normale N(μ, σ2) est symétrique

et unimodale autour de la moyenne μ et log-concave sur R.

Nous donnerons par la suite quelques propriétés des densités log-concaves (voir Bagnoli et Bergstrom [1]).

Lemme 1. Soit f une densité log-concave, alors la fonction de répartition F telle que F(x) = f(x) est log-concave.

Lemme 2. Si F (·) est une fonction de répartition log-concave et si θ ≥ 0, alors F(x) F(x + θ) est une fonction croissante en x.

Démonstration. Le résultat découle du fait que F

F est une fonction décroissante par log-concavité, et donc d dx  F(x) F(x + θ)  = F(x) F(x + θ)  F(x) F(x) − F(x + θ) F(x + θ)  ≥ 0.

1.2 Inférence bayésienne

En statistique fréquentiste, l'espace des paramètres n'est pas considéré comme un en-semble probabilisable, ce qui n'est pas le cas dans la théorie bayésienne. Pour l'approche bayésienne, on utilise l'information existante sur le paramètre θ pour lui attribuer une densité π(θ) appelé loi a priori. La détermination de la loi a priori est une partie impor-tante de l'inférence bayésienne (Voir Robert [2]). Cette loi est subjective dans la mesure où elle peut représenter la croyance de l'expérimentateur avant que l'expérience ne soit conduite (d'où le nom de a priori).

Dénition 1.5. Soient X1, ..., Xn un échantillon i.i.d dont la loi de probabilité dépend

et d'une information a priori sur θ. L'approche bayésienne repose sur la spécication des quantités suivantes :

• la densité a priori du paramètre θ notée p(θ).

• la densité des Xi conditionnelle au paramètre θ notée p(xi|θ).

On déduit à l'aide du théorème de Bayes la densité a posteriori du paramètre θ :

π(θ|x) = p(x|θ)π(θ) m(x) , avec p(x|θ) =n i=1p(xi|θ) et m(x) =  p(x|θ)π(θ)dθ, la densité marginale de X.

Lemme 3. Soit X une variable aléatoire de densité logconcave sur R et donnée par

e−h(x−θ) où h(·) est une fonction convexe. Alors pour toute loi a priori π(θ), la famille

des lois a posteriori {π(θ|x) : x ∈ R} est à rapport de vraisemblances monotone (RVM) croissant en θ.

Démonstration.

En vertu de la log-concavité sur R, on peut écrire q(x|θ) = e−h(x−θ) _{où h(·) est une}

fonc-tion convexe. Soient x1 et x2 tels que x2 ≥ x1. On a :

π(θ|x₂) π(θ|x₁) ∝

π(θ)e−h(x2−θ)

π(θ)e−h(x1−θ),

= eh(x1−θ)−h(x2−θ)_.

La dernière fonction est croissante en θ si et seulement si q(θ) = h(x1− θ) − h(x2− θ) est croissante en θ.

Le corollaire suivant énonce une propriété de croissance des quantiles a posteriori en présence d'un rapport de vraisemblances monotone.

Corollaire 1. Soient fθ une famille de densités continues dont le domaine de dénition

est indépendant de θ et QΔ,θ les quantiles tels que _−∞QΔ,θfθ(x)dx = Δ, Δ ∈ (0, 1). Si la

Démonstration. Soient (θ1, θ2) tels que θ2 ≥ θ1 et h(x) = 1[Q_Δ,θ2,∞)(x). La fonction

indicatrice h est croissante en x et on a donc Eθ2(h(x)) ≥ Eθ1(h(x)) ( voir Robert

[2] ). Ainsi 1 − Δ = _−∞∞ 1[Q_Δ,θ2,∞)(x)fθ2(x)dx ≥

_∞

−∞1[QΔ,θ1,∞)(x)fθ1(x)dx ⇒ QΔ,θ2 ≥

Q_Δ,θ1.

1.3 Théorie de l'estimation par région de conance

Dans cette section, nous passons en revue quelques méthodes permettant d'estimer un pa-ramètre par intervalle qui seront utiles par la suite. Nous commencons par des intervalles avec une probabilité de recouvrement fréquentiste souhaitée.

1.3.1 Quelques méthodes

Inversion du test de rapport de vraisemblance et méthode uniée

Il y a une correspondance entre les tests d'hypothèses via la région d'acceptation et les intervalles de conance. On dit souvent qu'à chaque intervalle de conance correspond un test d'hypothèses et vice-versa. Le théorème suivant décrit cette correspondance.

Théorème 1. (Casella et Berger [3])

Pour tout θ0 ∈ Θ, supposons A(θ0) la région d'acceptation d'un test H0 : θ = θ0 de niveau α. Pour tout x ∈ X, soit l'ensemble C(x) = {θ0 : x ∈ A(θ0)}, alors C(X) est un intervalle de conance de niveau 1 − α.

Inversement, supposons que C(X) un intervalle de conance de niveau 1 − α. Pour tout θ₀ ∈ Θ, on dénit A(θ₀) = {x : θ₀ ∈ C(X)}, alors A(θ₀) est une région d'acceptation du test H0 : θ = θ0 de niveau α.

Démonstration. Premièrement, comme A(θ0) est la région d'acceptation du test de niveau α, alors Pθ0(X /∈ A(θ0)) ≤ α si et seulement si Pθ0(X ∈ A(θ0)) ≥ 1 − α. θ0

étant arbitraire on utilisera θ par la suite et comme C(X) = {θ0 : x ∈ A(θ0)} , on aura

P_θ(θ ∈ C(X)) = P_θ(X ∈ A(θ)) ≥ 1 − α, ce qui démontre que C(X) est un intervalle de conance de niveau (1 − α).

Pour la réciproque, comme C(X) est un intervalle de conance de niveau 1−α et A(θ0) =

{x : θ0 ∈ C(X)}, on a Pθ0(X /∈ A(θ0)) = Pθ0(θ0 ∈ C(X)) ≤ α. Ainsi A(θ/ 0) est une région

d'acceptation d'un test de niveau α.

Exemple 2. Soit X1, ..., Xn un échantillon issu d'une loi N(μ, σ2) avec σ connu et

consi-dérons le test d'hypothèses H0 : μ = μ0 contre Ha : μ = μ0 de niveau α avec région

d'acceptation : ¯x − μ0

σ/√n ≤ z1−α/2. Alors les valeurs de μ0 telles que H0 est accepté sont dans l'intervalle :

[¯x − z1−α/2σ/√n,¯x + z1−α/2σ/√n]. (1.1) Cet intervalle est un intervalle de conance de niveau (1 − α) pour μ.

Le lien ci-dessus est utilisé par Feldman et Cousins [4] pour la méthode uniée mais par contre ils ont utilisé un test spécique, soit le test du rapport de vraisemblance monotone (Likelihood Ratio Test LRT).

Dénition 1.6. Soit X1, ..., Xn un échantillon tels que Xi ∼ f(xi|θ) avec θ ∈ Θ, la

fonction de vraisemblance est dénie par L(θ|x1, ..., xn) = L(θ|x) =

_n

i=1f(xi|θ). La

statistique du test du rapport de vraisemblance H0 : θ = θ0 contre Ha: θ = θ0 est donnée

par :

λ(x) = supθ∈HaL(θ|x)

sup_θ∈H0L(θ|x), (1.2)

avec une région d'acceptation de la forme A(θ) = {x : λ(x) ≤ cθ} où Pθ0(λ(x) ≥ cθ0) = α.

en inversant cette région d'acceptation. Même si cet intervalle possède une probabilité de recouvrement fréquentiste de 1 − α, il a fait objet de critiques (voir Mandelkern [5]).

Exemple 3. (Feldman et Cousins[4])

Soit X ∼ N(θ, 1) avec θ ≥ 0. On désire trouver un intervalle de conance de niveau 1−α par la méthode uniée pour le paramètre θ. Posons H0 : θ = θ0 vs Ha: θ = θ0 avec θ ≥ 0.

On considère la région d'acceptation Aθ0 de niveau 1 − α donnée par {x : λ(x) < cθ0}

où λ(x) = supθ∈HaL(θ|x)

sup_θ∈H0L(θ|x) =

L(θ_emv|x)

L(θ₀|x) . L'estimateur du maximum de vraisemblance est θemv = max(0, x). On a : λ(x) = L(θemv|x) L(θ₀|x) =  ₁ 2θ20− θ0x si x ≤ 0 1 2(x − θ0)2 si x > 0 Notons que d dxlog(λ(x)) =  −θ0 si x ≤ 0 x− θ₀ si x > 0 On a :

 Si θ0 = 0, λ(x) = 1 pour x ≤ 0 et croissant pour x > 0.

 Si θ0 >0, λ(x) est décroissant pour x < θ0 et croissant pour x > θ0.

0 5 10 15 20 − 20 − 10 0 10 20 Region d'acceptation theta x Borne inférieure Borne supérieure

Figure 1.1: Région d'acceptation de niveau 1 − α = 0.95 pour X ∼ N(θ, 1) avec θ ≥ 0.

L'inversion de cette région d'acceptation nous permet d'obtenir l'intervalle de conance I(x) = {θ₀ ≥ 0|x ∈ A_θ0} −15 −10 −5 0 5 10 15 02468 10 12 x IC l(.)_u(.)

Figure 1.2: Bornes inférieures l(·) et supérieures u(·) de niveau 0.95 obtenu par la mé-thode uniée pour le modèle N(θ, 1) avec θ ≥ 0.

conance obtenu par la méthode uniée tient compte de la contrainte sur le paramètre θ tandis que l'intervalle usuel ignore cette information. Ajoutons aussi que la méthode uniée ne donne jamais l'ensemble vide contrairement à l'intervalle usuel tronqué ¯x ± z_1−α/2σ/√n∩ [0, ∞) qui est vide pour ¯x < −z_1−α/2σ/√n.

Exemple 4. (Loi Fisher(r,s), voir [12])

Ce problème survient dans des modèles d'analyse de variance à eets aléatoires (voir [12]). Soient fθ et Fθ la densité et fonction de répartition d'une variable X|θ de loi

Fisher avec paramètres de forme r > 0, s > 0 connus et un paramètre d'échelle θ ≥ 1. On a, pour cette famille,

f_θ(x) = 1 θf1( x θ), F_θ(x) = F₁(x θ). La fonction vraisemblance est donnée par :

L(x, θ) = f_θ(x) = Γ(r + s)r

r_ss

Γ(r)Γ(s)

θs_xr−1

(sθ + rx)r+s, (1.3)

pour θ ≥ 1. En prenant la diérentielle du logarithme de L(x, θ), nous pouvons montrer que l'estimateur de maximum de vraisemblance est donnée par θemv(x) = max(1, x).

Considérons les régions d'acceptation Aθ0 de niveau 1 − α de la forme {x : Rθ(x) ≥ cθ}

où Rθ est dénie comme suit :

R_θ(x) = L(x, θ) L(x, θ_emv) =  θs_xr_{(r + s)}r+s_{/(sθ + rx)}r+s _{si x ≥ 1} θs_{(s + rx)}r+s_{/(sθ + rx)}r+s _{si x ≤ 1} . Observons que d dxlog(Rθ(x)) =  r(r + s)[(s + rx)−1− (sθ + rx)−1] si x < 1 r[x−1− (r + s)(sθ + rx)−1] si x > 1 On a :

 Si θ > 1, alors Rθ(x) est croissant pour 0 ≤ x < θ et décroissant pour x > θ.

La gure suivante décrit le graphe de Rθ(x) pour r = 5 et s = 24. 0 1 2 3 4 5 0.0 0.2 0.4 0.6 0.8 1.0 x R ( x ) θ = 1 θ = 1.25 θ = 2.5

Figure 1.3: Graphes de Rθ(x) pour θ = 1, 1.25, 2.5, r = 5 et s = 24.

Puisque Rθ(x) est unimodale, {x : Rθ(x) ≥ cθ} est alors un intervalle. En appliquant

l'algorithme décrit à la Section 2.4.3 et pour θ ≥ 1, nous obtenons la gure suivante qui donne la région d'acceptation associée à Rθ(x).

5 10 15 20 0 5 10 15 20 25 θ Région d'acceptation

Par exemple si θ = 2.4, alors A2.4(x) = [0.566, 6.534) est la région d'acceptation du test de RVM de niveau 1 − α = 0.95. Les bornes de la région étant croissantes selon θ, nous pouvons donc les inverser an d'obtenir l'intervalle unié qui est représenté dans la gure qui suit : 0 1 2 3 4 5 0 5 10 15 20 x IC

Figure 1.5: Intervalle unié pour X ∼ F isher(r = 5, s = 24), θ ≥ 1 et 1 − α = 0.95.

Par exemple si x = 2.4 et (1 − α) = 0.95 on a x ∈ Aθ0 pour θ0 ∈ [1.72, 16.67).

Méthode du pivot

Cette méthode est essentiellement basée sur une variable aléatoire T dite pivot.

Dénition 1.7. On dit qu'une variable aléatoire T (X, θ) variant avec t et θ est un pivot si sa loi de probabilité ne dépend pas de θ.

Exemple 5. Voici, pour X1, ..., Xn un échantillon aléatoire de moyenne ¯X des exemples

densité Type pivot f(x − θ) position X¯ − θ 1 σf _x σ échelle X¯ σ 1 σf  x− θ σ  position-échelle X¯ − θ σ

Tableau 1.1: Quelques pivots pour des familles à paramètre de position θ et d'échelle σ.

Exemple 6. (Casella et Berger [3]) Comme illustration de la situation (2) du ta-bleau précédent, soit X1, ..., Xn un échantillon i.i.d qui suit une loi exponentielle de

pa-ramètre λ, alors on montre que T = n

i=1Xi est une statistique exhaustive pour λ et

T ∼ Gamma(n, λ). Si l'on pose Q(T, λ) = 2T/λ, on a Q(T, λ) ∼ Gamma(n, 2) une loi qui ne dépend pas de λ. La quantité Q(T, λ) est donc un pivot.

Avec un pivot donné,il est aisé de trouver un intervalle de conance.

Dénition 1.8. Soit T (X, θ) un pivot. Pour α quelconque, on détermine a et b tels que P_θ(a ≤ T (X, θ) ≤ b) ≥ (1 − α). Alors pour chaque θ₀ ∈ Θ on a A(θ₀) = {x : a ≤ T(x, θ₀) ≤ b} est une région d'acceptation de niveau α pour le test H₀ : θ = θ₀ contre H_a: θ = θ₀ . Par la méthode d'inversion du test, on obtient C(X) = {θ₀ : a ≤ T (x, θ₀) ≤ b}, un intervalle de conance de niveau (1 − α) pour θ.

Remarque 2. Pour tout x, si T (x, θ) est une fonction monotone de θ alors C(x) est un intervalle. Si T (x, θ) est croissante alors C(x) aura la forme L(x, a) ≤ θ ≤ U(x, b). Si T(x, θ) est décroissante alors C(x) aura la forme L(x, b) ≤ θ ≤ U(x, a).

Exemple 7. (suite de l'Exemple 6) À l'exemple précédent, nous avons Q(T, λ) = 2T/λ ∼ χ2

2n. Soient a et b tels que P (a ≤ χ22n ≤ b) = 1 − α alors :

P_λ  a ≤ 2T λ ≤ b  = Pλ(a ≤ Q(T, λ) ≤ b) = 1 − α.

Ainsi, en inversant l'ensemble A(λ) = t : a ≤ 2T λ ≤ b}, on obtient : C(t) = {λ : 2t b ≤ λ≤ 2t a

qui est un intervalle de conance de niveau (1 − α). Comme Q(t, λ) = 2t/λ est décroissante en λ, donc la borne inférieure dépend de b et la borne supérieure de a.

Intervalle de Pratt([6])

Soit X une loi normale de moyenne θ inconnue et de variance connue σ2_{. Il est a noté} que plusieurs développements dans ce cadre sont plus généraux. Soit R(X) une région de conance pour θ de niveau 1−α. Supposons m(R) la longueur de R si R est un intervalle. Pour toute région R, on dénit :

m(R) = 

R

dθ, (1.4)

Pratt dans [6] démontre que la longueur espérée de la région R(X) est donnée par : E_θ(m(R(X)) =



θ=θ

P_θ(θ ∈ R(X))dθ. (1.5)

Nous aimerions donc minimiser l'équation précédente pour une valeur donnée de θ_{. Soit}

A(θ) une région d'acceptation d'une famille de test correspondant à R(X), on sait que : X ∈ A(θ) si et seulement si θ ∈ R(X). (1.6) L'équation (1.5)devient donc

E_θ(m(R(X)) =



θ=θ

P_θ(X ∈ A(θ))dθ. (1.7)

On sait que pour tout θ = θ_{, 1−P}

θ(X ∈ A(θ)) est la puissance du test d'hypothèse nulle

θ contre l'alternative θ. Typiquement la puissance d'un test devrait augmenter quand la valeur à tester s'éloigne de la vraie valeur du paramètre. Ainsi la longeur espérée est minimale quand θ _{est la vraie valeur du paramètre. Ceci donne l'intervalle de conance :}

Exemple 8. Soient X ∼ N(θ, 1) et θ ∈ R. L'intervalle usuel de niveau 1 − α = 0.95 est I(X) = [X − 1.96, X + 1.96]. L'intervalle de Pratt est donnée par : I_p(X) = [min(0, X − c), max(0, X + c)] avec c = Φ(1 − α). Il a une longeur espérée petite que l'intervalle usuel et une probabilité de recouvrement fréquentiste de (1 − α), pour tout θ = 0, et de 1 pour θ = 0.

Intervalle de conance bayésien

Une autre alternative pour construire un intervalle de conance est de passer par la méthode bayésienne. Soient X1, ..., Xn ∼ fθ(·) et θ ∼ π(·), alors la loi a posteriori est

donnée par :

π(θ|x) =  π(θ)f(x|θ)

Θ

π(θ)f(x|θ)dθ.

Cette loi est utilisée pour déterminer l'intervalle de conance bayésien comme décrit dans la dénition suivante.

Dénition 1.9. On dit que la région C ou Cπ_{(x) est une région de conance pour θ}

associée àla loi a priori π de crédibilité (1 − α) si :

(1 − α) ≤ P (θ ∈ C(x)|x) = 

C

π(θ|x)dθ

Dénition 1.10. On dit que la région C est une région de conance de crédibilité (1−α) de plus haute densité a posteriori (ou Highest Posterior Density HPD) si C = {θ ∈ Θ, π(θ|x) ≥ kα} où kα est le plus grand nombre tel que P (C|x) ≥ 1 − α.

Exemple 9. Soit X ∼ N(θ, σ2_{) avec θ inconnu et σ}2 _{connu. On recherche un intervalle} de conance bayésien de niveau (1 − α) pour θ associé àla loi a priori π(θ) = 1. On

montre que : π(θ|x) =  π(θ)f(x|θ) Θ π(θ)f(x|θ)dθ = √ 1 2πσ2e −(θ − x) 2 2σ2 _.

Alors θ|x ∼ N(x, σ2_{) et l'intervalle de conance bayésien pour θ, qui se trouve être le} HPD dans ce cas précis pour θ, est [X − Z1−α/2σ, X+ Z1−α/2σ].

1.3.2 Critères d'évaluation des intervalles

Nous avons présenté plus haut plusieurs méthodes permettant d'obtenir un intervalle de conance. En estimation par intervalle, deux critères sont fréquemment utilisés : la taille de l'intervalle et sa probabilité de recouvrement fréquentiste. On désire généralement avoir un intervalle de taille petite et ayant une forte probabilité de recouvrement. Le théorème suivant donne l'intervalle le plus court pour le cas des densités unimodales. Théorème 2. [3]

Soit f une fonction de densité unimodale. Si l'intervalle [a, b] satisfait les conditions : 1. b

a f(x)dx = 1 − α,

2. f(a) = f(b) > 0,

3. a ≤ m ≤ b où m est le mode de f,

alors [a, b] est l'intervalle de conance le plus court parmi tous les intervalles qui vérient la condition 1.

Démonstration. Voir[3].

Corollaire 2. Soit f une densité symétrique et unimodale. Pour α xé positif, considérons les intervalles [a, b] tels que b

a f(x)dx = 1 − α. L'intervalle le plus court est obtenu en

choisissant a et b de sorte que a

−∞f(x)dx = α/2 et

_∞

Remarque 3. Dans le cas où la densité a posteriori est unimodale, l'intervalle le plus court dans le cadre bayésien est le HPD.

Dénition 1.11. Soient X ∼ fθ(.) et I(X) un intervalle de conance pour θ. La

probabi-lité de recouvrement de θ nommée C(θ) associée à I(X) = [L(X), U(X)], est la probabiprobabi-lité que l'intervalle I(X) contienne le paramètre θ, c'est à dire C(θ) = Pθ(I(X)  θ).

Nous donnerons dans la suite un lemme qui permettra de calculer la probabilité de recouvrement dans le cas où les bornes de l'intervalle sont croissantes. On pose f−1_{(y) =}

inf{x : f(x) ≥ y}.

Lemme 4. Soit [l(X), U(X)] un intervalle de conance pour θ. Si l(.) et U(.) sont strictement croissantes, alors :

C(θ) = P_X([l(X), U(X)]  θ) = P_θ(X ∈ [U−1(θ), l−1(θ)]),

Démonstration. Il sut d'observer que L(.) et U(.) sont strictement croissantes, alors θ ∈ [l(X), U(X)] ⇔ x ∈ [U−1(θ), l−1(θ)].

Exemple 10. À l'exemple 8, nous pouvons montrer que la probabilité de recouvrement fréquentiste de l'intervalle de Pratt est :

C(θ) = 

1 − α si θ = 0

1 si θ = 0.

En eet, pour θ = 0 on a 0 ∈ Ip(x) ∀x ainsi P (0 ∈ Ip(x)|θ = 0) = 1. Pour θ > 0 on

obtient θ ≤ max(0, x + c) si et seulement si x − θ ≥ −c donc C(θ) = P (x − θ ≥ −c) = Φ(c) = 1 − α. De même on montre que P (θ ∈ Ip(X)) = 1 − α pour θ < 0.

CHAPITRE 2

Intervalle de conance bayésien pour

des paramètres bornés dans un

intervalle [a, b]

Dans ce chapitre, nous traitons de l'estimation par intervalle dans le cas où X ∼ N(θ, σ2_), avec θ ∈ [a, b] et σ2 _{= 1 sans perte de généralité. La question qui motive ce chapitre} vient éssentiellement des analyses partielles et numériques réalisées par Lmoudden(voir [7]). Réalisant que la probabilité de recouvrement fréquentiste inmum reste très faible aux frontières de l'intervalle, nous essayons dans ses travaux de trouver un intervalle de conance bayésien capable d'augmenter cette probabilité inmum en changeant la loi a priori sur θ ou en se basant une nouvelle procédure d'obtention du HPD (Marchand et Strawderman, [8]). Une fois amorcée, nous nous rendrons compte qu'il est illusoire d'es-sayer de trouver une solution à ces interrogations sous certaines conditions. Ces remarques entrainent des résultats nouveaux tant sur la probabilité de recouvrement fréquentiste et la crédibilité de l'intervalle.

2.1 L'intervalle de conance HPD et ses propriétés

Pour X ∼ f0(x − θ), nous présentons dans cette partie les propriétés de l'intervalle HPD associé à la loi a priori uniforme sur [−m, m] de densité π(θ) = _2m1 1[−m,m](θ) et qui fait intervenir les dénitions ci-dessous. Ces résultats paraissent dans Lmoudden[7].

Dénition 2.1. Soit F une fonction de répartition de densité F _{unimodale et symétrique}

par rapport à 0, α ∈]0, 1[. On dénit pour tout y ∈ R :

d_1,F,α,m(y) = F−1(1 − αF (y + m) − (1 − α)F (y − m)), d_2,F,α,m(y) = F−1(1

2 + 1 − α

2 (F (y + m) − F (y − m))),

d_F,α,m(y) = max{d_1,F,α,m(y), d_2,F,α,m(y)},

et dm solution unique de l'équation hm(y) = 1 en y avec :

h_m(y) = (1 + α)F (y + m) + (1 − α)F (y − m).

Remarque 4. dm existe bel et bien car hm(y) est croissante en y et continue de 0 à 2

pour y ∈ R.

Lemme 5. Pour tout y ∈ R, m ≥ 0, α ∈]0, 1[ on a : (a) d2,F,α,m(y) = d2,F,α,m(−y);

(b) d1,F,α,m(−y) = −d1,F,1−α,m(y); (c) d_F,α,m(y) =  d_1,F,α,m(y) si y < d_m d_2,F,α,m(y) si y ≥ d_m , avec dF,α,m(y) ≥ dF,α,m(dm) = dm+ m; (d) −m ≤ dm ≤ 0. Démonstration.

(a) Puisque F _{est symétrique autour de zéro et que F (z) = 1−F (−z), alors pour tout} z ∈ R on a : d_2,F,α,m(−y) = F−1(1 2+ 1 − α 2 (F (−y + m) − F (−y − m))) = F−1₍1 2+ 1 − α 2 (F (y + m) − F (y − m))) = d2,F,α,m(y).

(b) Comme F−1_{(Δ) = −F}−1_{(1 − Δ), on a pour tout α ∈ (0, 1) :}

d_1,F,α,m(−y) = F−1(1 − αF (−y + m) − (1 − α)F (−y − m))

= F−1_{(1 − α(1 − F (y − m)) − (1 − α)(1 − F (y + m))}

= F−1_{(αF (y − m) + (1 − α)F (y + m))}

= −F−1_{(1 − αF (y − m) − (1 − α)F (y + m))}

= −d1,F,1−α,m(y).

(c) D'une part, on vérie que dm est un point xe pour d2,F,α,m et d1,F,α,m. D'autre part, il est aisé de voir que : d1,F,α,m(y) ≥ d2,F,α,m(y) ⇔ y ≤ dm.

(d) On a hm(0) = (1 + α)Φ(m) + (1 − α)Φ(−m) = 1 − α + 2αΦ(m) ≥ (1 − α) + 2α1₂ ≥ 1 = hm(dm) et hm(−m) = (1 + α)Φ(0) + (1 − α)Φ(−2m) ≤ (1 + α) 1 2+ (1 − α) 1 2 = 1 = hm(dm). Le résultat suit puisque hm(0) ≥ 1, hm(−m) ≤ 1 et que hm est

croissante.

Théorème 3. Soient X|θ ∼ f0(x − θ) où θ ∈ [−m, m] avec une loi a priori uniforme sur [−m, m], G la fonction de répartition de (X − θ) et G _{= f}

0 unimodale et symétrique par rapport à 0. Alors, on a

(a) L'intervalle HPD Iπ(x) = [lπ(x), uπ(x)] avec

l_π(x) = max{−m, x − d_G,α,m(−x)} u_π(x) = min{m, x + d_G,α,m(x)}. (b) La probabilité de recouvrement est symétrique par rapport à 0,

(c) Cm(θ) = Pθ(Iπ(X)  θ) ≥ 2G(dm+ m) − 1 ∀θ ∈ [−m, m] ;

(d) Cm(m) = Cm(−m) = G(dm) ≥ 1₂;

(e) La probabilité de recouvrement moyenne par rapport à π est (1−α), c.-à.-d. Θ

C_m(θ)π(θ)dθ = 1 − α.

Démonstration. Nous commençons par déterminer la densité a posteriori. Nous avons :

π(θ|x) = _mf0(x − θ)

−mf0(x − θ)dθ

= f0(x − θ)

G(x − m) − G(x + m), pour θ ∈ [−m, m].

(a) Puisque la densité a posteriori est unimodale, l'intervalle HPD prend trois formes possibles :

(i) Soit l(x) = −m et G(x − u(x)) − G(x + m)

G(x − m) − G(x + m) = 1 − α, ce qui donne u(x) = x + G−1(1 − αG(x + m) − (1 − α)G(x − m))

= x + d1,G,α,m(x)

(ii) soit u(x) = m et G(x − θ) − G(x − l(x))

G(x − m) − G(x + m) = 1 − α, ce qui donne l(x) = x + G−1(1 − αG(x − m) − (1 − α)G(x + m))

= x + d1,G,1−α,m(x) = x − d1,G,α,m(−x)

(iii) Soit l(x) = x − b(x), u(x) = x + b(x) et u(x)

l(x) π(θ|x)dθ = 1 − α avec b(x) tel que x − b(x) ≥ −m et x + b(x) ≤ m. O n a : P(x − b(x) ≤ θ ≤ x + b(x)|x) = 1 − α, ⇔ 1 G(x − m) − G(x + m)(G(−b(x)) − G(b(x))) = 1 − α ⇔ b(x) = G−1₍1 2− 1 − α 2 (G(x − m) − G(x + m))).

x+ b(x) ≤ m. On a : x− b(x) ≥ −m ⇔ x ≥ G−1(1 2 − 1 − α 2 (G(x − m) − G(x + m))) − m ⇔ G(x + m) ≥ 1₂− 1 − α₂ (G(x − m) − G(x + m))) ⇔ (1 + α)G(x + m) + (1 − α)G(x − m) ≥ 1 ⇔ hm(x) ≥ 1 ⇔ x ≥ dm. Pareillement, on obtient x + b(x) ≤ m ⇔ x ≤ dm.

(b) On exploite la symétrie du problème par rapport aux transformations X → −X et θ → −θ sur l'espace des paramètres. On vérie que

u(−x) = −l(x), ∀x ∈ R (2.1)

ce qui nous permet d'écrire :

C_m(θ) = P_θ(I(X)  θ) = Pθ(l(X) ≤ θ ≤ u(X)) = Pθ(−u(−X) ≤ θ ≤ −l(−X)) = P−θ(−u(X) ≤ θ ≤ −l(X)) = P−θ(l(X) ≤ −θ ≤ u(X)) = Cm(−θ).

(c) Notons que l'intervalle Iπ(x) est un sous ensemble de x ± dG,α,m(x) et ont la même

probabilité de recouvrement puisque la diérence entre ces deux ensembles n'ap-partient pas à [−m, m]. On a donc :

P_θ(I(X)  θ) = P_θ(X − d_G,α,m(X) ≤ θ ≤ X + d_G,α,m(X))

= Pθ(−dG,α,m(X) ≤ X − θ ≤ dG,α,m(X))

≥ Pθ(−dm− m ≤ X − θ ≤ dm+ m)

= 2G(dm+ m) − 1,

puisque G est symétrique.

(d) On a Cm(θ) = Cm(−θ) et P−m(I(X)  −m) = P−m(X ≤ dm) = P−m(X + m ≤

d_m+ m) = G(d_m+ m) ≥ G(0) = 1

(e) On a Cm(θ) = Pθ(I(X)  θ) = Eθ(1Iπ(X)(θ)), donc E_θ(C_m(θ)) = _−mm  R 1Iπ(x)(θ)f0(x − θ)π(θ)dxdθ =  R _m −m1Iπ(x)(θ)g(θ|x)dθm(x)dx =  R(1 − α)m(x)dx = 1 − α,

puisque m(·) est la densité marginale de X.

Remarque 5. Même si la probabilité de recouvrement fréquentiste est en moyenne égale à (1 − α), il existe des points où cette probabilité est beaucoup plus petite à cette valeur tout en respectant la borne inférieure du théorème précédent.

Corollaire 3. Pour la probabilité de recouvrement à la frontière, on a Cm(m) = Cm(−m) :

(a) limm→0Cm(−m) = 1₂;

(b) Cm(−m) ↑ en m, avec Cm(−m) → _{1 + α}1 lorsque m → ∞.

Démonstration.

(a) Cm(−m) = P−m(X ≤ dm) = G(dm+ m) → 1/2, lorsque m → 0.

(b) Il est facile de voir que dm+ m → G−1(_{1 + α}1 ) lorsque m → ∞ via la fonction hm

et donc Cm(−m) →

1

1 + α. Il reste à montrer que dm+ m est croissant en m, ce

qui implique Cm(−m) = G(dm+ m) croissant en m. Supposons par l'absurde qu'il

existait m1 > m2 tel que dm2+m2 > dm1+m1. Alors on aurait hm2(dm2) > hm1(dm1),

ce qui contredit le fait que hm1(dm1) = hm2(dm2) = 1.

Remarque 6. Il est important de remarquer que la probabilité de recouvrement fréquen-tiste de l'intervalle HPD donne 1

2 pour de petites valeurs de m, ce qui est une valeur faible indépendamment de (1−α) et lorsque (1−α) est grand. Nous devons donc envisager une autre méthode de construction de l'intervalle bayésien ou une autre loi a priori si l'ob-jectif est d'obtenir une probabilité de recouvrement fréquentiste non loin de la crédibilité (1 − α).

2.2 Illustration

Exemple 11. Loi Normale

Soit X ∼ N(θ, 1) avec θ ∈ [−m, m] et π(θ) = 1

2m1[−m,m](θ). D'après le Théorème 3, l'intervalle de conance HPD est de la forme Iπ(x) = [lπ(x), uπ(x)] où :

l_π(x) = ⎧ ⎪ ⎨ ⎪ ⎩ −m si x < dm x− Φ−1(1 2 − 1 − α 2 (Φ(x − m) − Φ(x + m))) si dm ≤ x ≤ −dm x+ Φ−1(1 − αΦ(x − m) − (1 − α)Φ(x + m)) si x ≥ −d_m et u_π(x) = ⎧ ⎪ ⎨ ⎪ ⎩ x+ Φ−1(1 − αΦ(x + m) − (1 − α)Φ(x − m)) si x < d_m x+ Φ−1(1 2 − 1 − α 2 (Φ(x − m) − Φ(x + m))) si dm≤ x ≤ −dm m si x ≥ −d_m

avec Φ la fonction de répartition de la loi normale réduite.

La Figure ci-dessous représente ces bornes pour le cas m = 4, 1 − α = 0.95.

−10 −5 0 5 10 − 4 − 2 024 x IC l_uπ(_π(x_x)₎

Figure 2.1: Intervalle de crédibilité pour X qui suit N(θ, 1) avec θ ∈ [−m, m], m = 4, 1 − α = 0.95 et une loi uniforme sur θ.

La gure 2.1 illustre bien le comportement général de l'intervalle avec les formes [−m, u(x)], [x±δ(x)] et [l(x), m] et comment cet intervalle tient compte de la contrainte du paramètre θ ∈ [−m, m].

Lemme 6. Les bornes lπ(x) et uπ(x) de l'intervalle Iπ(x) sont continues et croissantes

en x.

Démonstration.

En vertu de la relation uπ(x) = −lπ(−x) donnée en (2.7), il sut de travailler avec lπ(·).

On a montré que x + b(x) ≤ m ssi x ≤ −dm, alors on en déduit que dm = b(x) − m

et donc lπ(dm) = dm− b(dm) = b(dm) − m − b(dm) = −m. Pour la croissance de lπ(·),

on a pour dm ≤ x ≤ −dm : lπ(x) = x − Φ−1(1₂ + 1 − α₂ (Φ(x + m) − Φ(x − m))). Ainsi

l_π(x) = x − b(x). On a d

dx(lπ(x)) = 1 − b(x). Il sut de montrer que b(x) est négative.

Selon le Lemme 3, la famille de densités {π(.|x), x ≥ dm} est à RVM croissant en θ. On

sait que pour x ≥ −dm

_m l3(x)π(θ|x)dx = 1 − α ⇒ _l3(x) −m π(θ|x)dx = α et donc selon le Corollaire 1 , l π(x) est croissante.

Pour la probabilité de recouvrement, nous procédons numériquement en s'appuyant sur les propriétés de croissance et de continuité de l(·) et u(·). Les gures suivantes repré-sentent pour diérentes valeurs de m des graphes de C(θ) pour 1 − α = 0.95.

−0.4 −0.2 0.0 0.2 0.4 0.70 0.85 1.00 m=0.5 θ −1.0 −0.5 0.0 0.5 1.0 0.85 0.95 m=1 θ −3 −2 −1 0 1 2 3 0.91 0.94 0.97 m=3 θ −4 −2 0 2 4 0.93 0.95 0.97 m=4 θ −6 −4 −2 0 2 4 6 0.93 0.95 0.97 m=6 θ −10 −5 0 5 10 0.93 0.95 0.97 m=10 θ

Figure 2.2: Probabilité de recouvrement fréquentiste de Iπu pour diérentes valeurs de m

et pour 1 − α = 0.95.

D'après la Figure 2.2, on constate que la probabilité de recouvrement fréquentiste est faible aux frontières de l'intervalle pour m petit. Par exemple, pour m = 0.5, on a

inf_{θ∈[−0.5,0.5]}C_0.5(θ)  0.6736. Par ailleurs en revenant aux résultats théoriques (Théorème

3(c)) montrés ci-dessus sur la borne inférieure de la probabilité de recouvrement, nous remarquons que cette borne n'est pas satisfaisante pour de petites valeurs de m (ex : m = 0.5, 2Φ(d_0.5 + 0.5) − 1  0.3636) et elle est assez satisfaisante pour de grandes valeurs de m ( ex : m = 6, infθ∈[−6,6]C6(θ)  0.9275 or 2Φ(d6+ 6) − 1  0.9047).

Face à ces constats, nous allons introduire par la suite la méthode utilisant la fonction de distribution spending function et permettant d'obtenir d'autres intervalles bayésiens que l'intervalle HPD.

2.3 Une borne supérieure pour la probabilité de

recou-vrement fréquentiste minimale

Il existe plusieurs approches (voir [3] et le Chapitre 1) pour construire un intervalle de crédibilité (1 − α) pour un paramètre τ(θ) ∈ [−m, m] avec P (l(x) ≤ τ(θ) ≤ u(x)|x) = 1 − α. Tel que présenté par Marchand et Strawderman (2013) et ensuite utilisé par Ghashim, Marchand et Strawderman (2015) et par Ghashim [17], une autre manière de voir les bornes l(x) et u(x), pour un x donné, est de se concentrer plutôt sur l'ensemble complémentaire [−m, l(x)) ∪ (u(x), m] et allouer une probabilité α − απ(x) et απ(x)

respectivement aux deux ensembles disjoints avec απ(x) ∈ [0, α]. Ces derniers ont obtenu

pour de nombreux modèles, une classe d'estimateurs bayésiens de crédibilité (1 − α) et de probabilité de recouvrement fréquentiste bornée inférieurement par 1−α

1−α ou 1−3α2 sous l'hypothèse de log-concavité.

Dénition 2.2. Pour une loi a priori π donnée pour θ et une crédibilité (1 − α), la fonction de distribution απ(·) : R → [0, α] est une fonction dénie telle que, ∀x ,

P_π(τ(θ) ≥ u(x)|x) = α_π(x), P_π(τ(θ) ≤ l(x)|x) = α − α_π(x), et [l(x), u(x)] est un in-tervalle de crédibilité pour τ(θ).

Lemme 7. Se basant sur l'intervalle Iπ de l'Exemple 11, la fonction de distribution απ(x)

est donnée par :

α_π(x) = ⎧ ⎪ ⎪ ⎪ ⎨ ⎪ ⎪ ⎪ ⎩ α si x < d_m α₀(x) si d_m ≤ x ≤ −d_m 0 si x ≥ −dm avec α0(x) = α₂ +_{2(Φ(m − x) − Φ(−m − x))}Φ(m − x) − Φ(m + x)

Démonstration. Pour x ≤ dm, l(x) = −m, donc απ(x) = α. Pour x ≥ −dm, on a

que u(x) = m, donc α − απ(x) = α, ainsi α(x) = 0. Pour dm ≤ x ≤ −dm, απ(x) =

P_π(τ(θ) ≥ u(x)|x) = 1 − P_π(τ(θ) ≤ u(x)|x) = 1 − Φ(u(x) − x) − Φ(−m − x) Φ(m − x) − Φ(−m − x) =

α 2 + Φ(m − x) − Φ(m + x)

2(Φ(m − x) − Φ(−m − x)) en utilisant la densité a posteriori dénie dans la démonstra-tion du Théorème 3.

Remarque 7. D'après le lemme précédent, quand απ(x) = 0, nous aurons un intervalle

HPD de la forme I(x) = [l(x), m] et pour απ(x) = α, I(x) = [−m, u(x)] avec l(x) et u(x)

comme dans la Dénition 2.2.

Les graphiques suivants représentent la fonction de distribution απ(·) de l'intervalle HPD

de l'Exemple 11 pour diérentes valeurs de m et (1 − α).

−4 −2 0 2 4 0.00 0.02 0.04 m=4,alpha=.05 x −4 −2 0 2 4 0.000 0.004 0.008 m=4,alpha=.01 x −1.0 −0.5 0.0 0.5 1.0 0.00 0.02 0.04 m=1,alpha=.05 x −1.0 −0.5 0.0 0.5 1.0 0.000 0.004 0.008 m=1,alpha=.01 x −0.4 −0.2 0.0 0.2 0.4 0.00 0.02 0.04 m=.5,alpha=.05 x −0.4 −0.2 0.0 0.2 0.4 0.000 0.004 0.008 m=.5,alpha=.01 x

Figure 2.3: Fonctions de distribution απ(x) pour diérentes valeurs de m et (1 − α).

D'après ces graphiques, force nous est de remarquer que la fonction de distribution se présente de manière particulière. Elle est toujours plus petite que α

positives de x, ce qui entraine forcément que l'intervalle Iπ(x) contient la valeur −m

seulement pour de valeurs négatives de x, ou encore Iπ(x) /∈ −m pour x > 0, c'est-à-dire

quand απ(x) = α. Il est facile de montrer dans ce cas précis que απ(x) ≤ α₂ pour tout

x≥ 0. Cette remarque nous conduit au résultat suivant qui constitue avec le Théorème 5, les résultats les plus importants de cette partie de ce mémoire.

Théorème 4. Soit X|θ ∼ N(θ, 1) avec |θ| ≤ m et π une loi a priori continue sur [−m, m]. Soit Iπ(X) = [lπ(X), uπ(X] un intervalle bayésien de niveau (1 − α) associé à

π tel que l_π et u_π croissants et satisfaisant la propriété l_π(−x) = −u_π(x) pour tout x. Alors on a :

inf

θ∈[−m,m]Cπ(θ) ≤ Φ(m) , (2.2)

où Cπ est la probabilité de recouvrement fréquentiste de Iπ.

Démonstration. On sait que Iπ(x) ⊂ [−m, m] pour tout x. On a lπ(x) > −m pour

tout x > 0. Sinon, on aurait uπ(−x) = −lπ(x) = m et Iπ(−x) = [−m, m], un intervalle

de crédibilité 1, ce qui n'est pas permis. Comme lπ(x) > −m pour tout x > 0 alors

C(−m) ≤ P_−m(X ≤ 0) = Φ(m).

Remarque 8. Il est facile de voir que le théorème précédent peut être généralisé pour un modèle quelconque X ∼ f0(x − θ), x ∈ R,où θ ∈ [−m, m] avec f0 absolument continue, paire et en remplaçant Φ par F0,soit la fonction de répartition associée à f0.

Remarque 9. En eet,en prenant f0 absolument continue et paire, π une loi a priori paire, Iαπ(X) = [l(X), u(X] tel que P (θ ≥ u(x)|x) = απ(x) avec απ(x) = α − απ(−x)

pout tout x,on peut montrer que l(−x) = −u(x) pour tout x.

Remarque 10. Le Théorème 4 montre un décalage signicatif entre la crédibilité (1−α) et la probabilité de recouvrement fréquentiste pour m petit et (1 − α) pas trop petit. Par exemple,si la crédibilité est 1 − α = 0.95 et (i) m = 1, (ii) m = 0.5,nous avons

des probabilités de recouvrement inmum majorées par Φ(1) ≈ 0.84 et Φ(0.5) ≈ 0.69 respectivement.

Remarque 11. Il est important de noter qu'au Théorème 4, la borne supérieure de la probabilité de recouvrement inmum est indépendante de (1 − α) et de la loi a priori π.

Exemple 12. Cet exemple se base sur le modèle posé en illustration à la Section 2.2. L a Figure ci-dessous représente la probabilité de recouvrement fréquentiste pour 1 − α = 0.90 et 1−α = 0.95 et pour m = 0.5, 1, 1.5. Par exemple pour une crédibilité de 0.95 et m = 1, remarquons que la probabilité de recouvrement est plus grande que 0.95 pour une grande partie de l'espace paramétrique (|θ| ≤ 0.69), et nous avons une valeur minimale de 0.816 en comparaison avec la borne du Théorème 4 qui est Φ(1) = 0.84. Notons que le décalage est assez prononcé dans ce cas vu que, d'après la partie (e) du Théorème 3, la probabilité de recouvrement fréquentiste moyenne est de 1 − α = 0.95

−1.0 −0.5 0.0 0.5 1.0 0.65 0.70 0.75 0.80 0.85 0.90 0.95 1.00 m=0.5 θ C ( θ ) Crédibilité 0.95 0.9 −1.0 −0.5 0.0 0.5 1.0 0.80 0.85 0.90 0.95 1.00 m=1 θ C ( θ ) Crédibilité 0.95 0.9

Figure 2.4: Probabilité de recouvrement fréquentiste C(θ) pour l'intervalle HPD associé à la loi a priori uniforme pour diérentes valeurs de m et (1 − α).

−1.5 −1.0 −0.5 0.0 0.5 1.0 1.5 0.85 0.90 0.95 1.00 m=1.5 θ C ( θ ) Crédibilité 0.95 0.9

Figure 2.5: Probabilité de recouvrement fréquentiste C(θ) pour l'intervalle HPD associé à la loi a priori uniforme pour diérentes valeurs de (1 − α) et m = 1, 5.

Une conséquence directe du Théorème 4 et qui s'applique sur une classe de lois a priori est qu'il est illusoire de chercher à améliorer la probabilité de recouvrement aux frontières de notre intervalle tant et si longtemps que m et α restent petits. Dans le même ordre d'idée, les procédures fréquentistes d'obtention d'intervalle de conance avec un niveau souhaité (1 − α) ne peuvent donner une crédibilité (1 − α) quand cette dernière est plus grande que Φ(m). Nous obtenons un résultat surprenant selon laquelle certaines procédures fréquentistes donnent tout l'espace paramétrique comme estimation. Ceci est établie par le théorème qui suit.

Théorème 5. Soient X|θ ∼ N(θ, 1) avec |θ| ≤ m et I(X) = [l(X), u(X)] un intervalle de conance de niveau ≥ (1−α) pour θ ∈ [−m, m] tel que l et u croissants et I(X) vériant la propriété l(x) = −u(−x) ∀x ∈ R. Alors, pour m ≤ Φ−1_{(1 − α), on a P}

θ(I(X) =

[−m, m]) ≥ 0 pour tout x tel que |x| ≤ Φ−1_{(1 − α) − m.}

Démonstration. Soit x0 tel que l(x) = −m pour tout x ≤ x0. On a C(−m) =

Φ(x0 + m) ≥ 1 − α ⇒ x0 ≥ Φ−1(1 − α) − m > 0. Or u(x) = −l(−x) = m pour tout

x≥ −x₀ et I(x) = [−m, m] quand −x₀ ≤ x ≤ x₀.

Remarque 12. Nous pouvons illustrer immédiatement ce théorème par le cas de l'inter-valle standard X ± Φ−1_{(1 −} α

2) tronqué sur l'intervalle [−m, m], qui a une probabilité de recouvrement de (1 − α) pour tout θ ∈ [−m, m] et qui donne l'intervalle [−m, m] en eet pour |x| ≤ Φ−1_{(1 −}α

2) − m.

Remarque 13. Le Théorème 5 met en exergue une possibilité d'obtention de tout l'espace paramétrique pour l'intervalle de conance quand m < Φ−1_{(1 − α). La probabilité}

d'occu-rence d'un tel évènement est égale à Φ(x0− θ) − Φ(−x0− θ) et est maximale pour θ = 0. On a donc dans ce cas P0(I(X) = [−m, m]) = 2Φ(x0) − 1 ≥ 2Φ(Φ−1(1 − α) − m) − 1. Le tableau ci dessous donne certaines valeurs de la borne inférieure de cette probabilité qui n'est pas petite pour m < Φ−1_{(1 − α).}

m/1 − α 0.90 0.95 0.99 0.5 0.56 0.75 0.93 1.0 0.22 0.48 0.82

1.5 - 0.12 0.59

2.0 - - 0.26

2.4 Exemples

Dans cette section, nous présentons quelques exemples dans le but d'illustrer les résultats des Théorèmes 4 et 5.

2.4.1 Méthode uniée

Soit X ∼ N(θ, 1) avec θ ∈ [−m, m]. On désire trouver un intervalle de conance de niveau (1 − α) par la méthode uniée pour le paramètre θ. Posons H0 : θ = θ0 contre

H_a: θ = θ₀ avec θ ∈ [−m, m]. Posons : λ(x) = L(θemv|x)

L(θ₀|x) . On a dans ce cas : θ_emv = ⎧ ⎨ ⎩ −m si x < −m x si − m ≤ x ≤ m m si x > −m ainsi, log(λ(x)) = ⎧ ⎨ ⎩ −x(m + θ0) + 1₂(θ20− m2) si x < −m 1 2(x − θ)2 si − m ≤ x ≤ m x(m − θ₀) + 1₂(θ2₀ − m2) si x > −m

La région d'acceptation est de la forme Aθ0 = {x : λ(x) < cθ0} ce qui donne un intervalle

de conance I(x) = {θ0 ∈ [−m, m] : x ∈ Aθ0}. Le Théorème 5 appliqué dans ce contexte

nous donnera un intervalle ILRT(x) = [−m, m] pour |x| ≤ Φ−1(1 − α) − m et m <

Φ−1_{(1 − α). La gure ci dessous montre la crédibilité respectivement à la loi a priori}

−4 −2 0 2 4 0.75 0.80 0.85 0.90 0.95 1.00 m=1 x crédibilité confidence level 0.90 0.95

Figure 2.6: Crédibilité pour l'intervalle uniée de niveau 90% et 95% associé à la loi a priori uniforme et pour m = 1.0.

Remarque 14. Remarquons d'après ce graphique, que, pour 1 − α = 0.95, ILRT(x) =

[−1, 1] pour |x| ≤ 0.64 vu que nous obtenons une crédibilité égale à 1 sur cet intervalle. Ceci illustre bien le Théorème 5.

2.4.2 Intervalle de Pratt tronqué

Soit X ∼ N(θ, 1) avec θ ∈ [−m, m]. L'intervalle usuel I(X) = X ± Φ−1 _{1 −} α

2

de niveau (1 − α) ne tient pas en compte la contrainte θ ∈ [−m, m]. L'intervalle tronqué I_T(X) = [X − Φ−1(1 − α

2), X + Φ−1(1 − α

2)] ∩ [−m, m] est un choix plausible mais qui peut être vide pour |x| ≥ m − Φ−1 _{1 −} α

2

. Evans, Hansen et Stark ([11]) ont proposé un intervalle optimal nommé Truncated Pratt interval IT P(X) = Ip(x) ∩ [−m, m]

basé sur l'intervalle de Pratt déni à la Section 1.3.1 et qui est optimal selon le critère minimax ; c'est-à-dire minimiser les plus grands parmi les intervalles de probabilité de recouvrement fréquentiste supérieure ou égale à 1 − α pour tout θ ∈ [−m, m].

−4 −2 0 2 4 − 6 − 4 − 20 2 4 6 Intervalle de Pratt x IC −4 −2 0 2 4 − 1.0 − 0.5 0.0 0.5 1.0

Intervalle de Pratt tronqué

x

IC

Figure 2.7: Intervalle de Pratt tronqué pour m = 1 et 1 − α = 0.95

Remarque 15. Nous pouvons remarquer d'après ce graphique, que, pour de petites va-leurs de m, IT P(x) = [−1, 1] pour Φ(m) ≤ 1 − α et |x| ≤ Φ−1(1 − α) − m ce qui illustre

bien le Théorème 5.

2.4.3 Estimation d'un paramètre d'échelle

Corollaire 4. Les Théorèmes 4 et 5 s'appliquent également dans le cadre de l'estimation d'un paramètre d'échelle β à partir de l'observation X ∼ 1

βf1(βx)1[0,∞)(x) lorsque X et X1

ont la même distribution avec β ∈ [c1, c2], ou encore sans perte de généralité β ∈ [1_c, c],

c >1 (voir Remarque 17).

Démonstration. Pour ce faire, on travaille avec la variable Y = log(X). On montre que Y ∼ f0(y − θ) = ey−θf1(ey−θ) avec θ = log(β), ainsi θ ∈ [−log(c), log(c)]. En posant

soit paire, ce qui est le cas lorsque X et 1

X ont la même distribution.

Remarque 16. f0 est paire c'est-à-dire e2tf1(et) = f1(e−t) pour tout t ⇔ u2f1(u) = f1(_u1) pour tout u. Nous pouvons citer comme exemple de loi vériant cette propriété : loi Fisher X ∼ F isher(r, r), loi Demi-cauchy X ∼ Cauchy(0, β), loi Pareto X ∼ f(x) =

1

β(x_β+1)1 21[0,∞)(x).

Exemple 13. X ∼ F isher(r, r) alors X ₌d X1/r

X2/r avec X1, X2 ∼ χ2r indépendantes.

Remarque 17. Il est important de noter que le paramètre d'échelle β peut appartenir à un compact quelconque [c1, c2]. Posons β = αβ ∈ [αc1, αc2], il sut de prendre α = 

1

c1c2.

Exemple 14. Loi Demi-cauchy

Nous étudions ici le cas de la loi Demi-cauchy qui a pour densité dénie comme suit :

f(x) = 2 πβ  1 1 + (x β)2  1[0,∞)(x). (2.3)

Nous illustrons dans le corollaire suivant, d'une part, les intervalles de conance bayésiens I_π, et d'autres part, puisque la densité du log(X) est paire nous illustrons pour diérentes valeurs de m la borne supérieure de la probabilité de recouvrement inmum.

Corollaire 5. Pour la loi Demi-cauchy dont la densité est donnée en (2.9) avec β ∈ [1

c, c]

c > 1, en faisant un changement de variable Y = log(X) avec Y ∼ ey−θ_f

1(ey−θ) =

f₀(y − θ) et θ = log(β) et pour la loi a priori π(θ) = 1

2m1[−m,m](θ), l'intervalle de conance bayésien de θ est donné par I∗

π(y) = [lπ(y), uπ(y)] où :

l_π(y) = ⎧ ⎪ ⎪ ⎪ ⎨ ⎪ ⎪ ⎪ ⎩ −m, y < dm y− ln(tan(π

4 +α−12 (arctan(ey−m) − arctan(ey+m)))), dm ≤ y ≤ −dm

y− ln(tan(arctan(ey−m_{) − (arctan(e}y−m_{) − arctan(e}y+m_{))(1 − α))), y ≥ −d} m

et u_π(y) = ⎧ ⎪ ⎪ ⎪ ⎨ ⎪ ⎪ ⎪ ⎩

y− ln(tan(arctan(ey+m_{) − (arctan(e}y−m_{) − arctan(e}y+m_{))(1 − α))), y < d} m

y+ ln(tan(π₄ + α−1₂ (arctan(ey−m_{) − arctan(e}y+m_{)))), d}

m ≤ y ≤ −dm

m, y ≥ −d_m

avec dm = m − ln(tan(π₄ +α−1₂ (arctan(ey−m) − arctan(ey+m)))).

−15 −10 −5 0 5 10 15 0 5 10 15 20 25 x IC

Figure 2.8: Intervalle de conance bayésien pour β avec 1 − α = 0.95, m = 3 et donc c= e3.

La Figure 2.7 représente l'intervalle de conance bayésien du paramètre β en fonction de l'observation x pour c = e3_{, α = 0.05. Notons que cet intervalle a été construit à l'aide} de l'intervalle bayésien HPD I∗

π(y) du ln(β) par Iπ(x) = [elπ(x), euπ(y)].

Démonstration. Le Théorème 3 s'applique à la variable Y = ln(X) ∼ ey−θ_f

f₀(y − θ) avec f₀(t) = 2 π et 1 + e2t, θ = ln(β) et π(θ|y) =  π(y|θ)π(θ) Θ π(y|θ)π(θ)dθ = 1

2cosh(y − θ)(arctan(ey−m) − arctan(ey+m)).

Nous sommes donc en mesure d'inverser les bornes an de trouver la probabilité de re-couvrement fréquentiste. La gure suivante montre la borne supérieure de la probabilité de recouvrement inmum. ● ● ● ● 0.5 1.0 1.5 2.0 0.65 0.70 0.75 0.80 0.85 0.90 0.95 1.00 m Bor ne sup 1− α

Figure 2.9: Borne supérieure de infθ∈[−m,m]Cπ(θ)) pour diérentes valeurs de m et 1−α =

0.95.

Remarque 18. D'après la Figure 2.8 ci-dessus, force nous est de remarquer que la borne supérieure de la probabilité de recouvrement inmum est très faible pour de petites valeurs de m. Par exemple pour m = 0.5 donc c = 1.65, la probabilité de recouvrement minimale est bornée par F0(m) = 0.65, valeur éloignée 1 − α = 0.95. Ceci conrme encore le décalage décrit plus haut.