Modèles statistiques à vraisemblance pivotale

Modèles statistiques à vraisemblance pivotale

Francis Maisonneuve

MINES ParisTech

Résumé

Quitte à se limiter à quelques modèles statistiques usuels (mais importants) qui vérifient une condition forte de “vraisemblance pivotale”, on peut étendre la méthode des pivots utilisée pour les intervalles de confiance à l’estimation de paramètre (réel ou vectoriel) parrégions les plus vraisemblables. La procédure proposée ne fait intervenir aucun élément ou choix arbitraire (estimationintrinsèque) ; elle est de plus invariante par reparamétrage, à l’instar des estimations ponctuelles au maximum de vraisemblance attachées à ces estimations ensemblistes.

Bien que la démarche soit de facture purement classique (fréquentiste), on vérifiera en dernière partie de l’étude qu’il est possible deprobabiliser a posterioril’espace des paramètres de tels modèles à vraisemblance pivotale, au moins de manière partielle en vue deformulerles résultats d’estimation, et même complètement pour les exemples considérés, qualifiés deparfaits. Allant au-delà de la notion contestée deprobabilité fiduciaireintroduite par R.A.

Fisher, on pourra établir pour eux un lien direct avec l’approche bayésienne en dégageant une notion de loi a priori non informative ; on rejoindra à cette occasion l’approche de l’école bayésienne appeléeexact matching prior.

Abstract

Statistical Models with Pivotal Likelihood

We consider a few common (however important) statistical models satisfying a strong condition of “pivotal likelihood”. For these, we can extend the pivotal method designed for the confidence intervals to the (real or vectorial) parameter estimation based onhighest likelihood regions. The proposed procedure involve no arbitrary element or choice (intrinsicestimation); furthermore it is equivariant under reparameterization, as do maximum likelihood point estimations linked with these set estimations.

Although this work relies only on classical (frequentist) statistics, we verify in the final section of the paper that it is possible to post-probabilize the parameter space of such models having pivotal likelihood, at least partially in order toexpressthe estimation results, and even completely for the previous examples that we callperfect models.

Going further than the highly contestedfiducial probabilityintroduced by R.A. Fisher, we will establish for them a direct link with Bayesian modelling by identifying a notion of uninformative prior distribution ; we will meet on this occasion the Bayesian approach calledexact matching prior.

Table des matières

1 Introduction : généralités sur la vraisemblance 3

1.A Cadre de l’étude 3

1.B Paramètres utiles et nuisibles 3

2 Vraisemblance pivotale et régions de confiance 4

2.A L’hypothèse de vraisemblance pivotale 4

2.B Réflexions sur le choix de l’hypothèse 6

2.C Statistiques exhaustives et factorisation vraie deφ 7

2.D Cas des modèles exponentiels réels 8

3 Exemples 9

3.A Une situation asymptotique assez générale 9

3.B Modèles à paramètre de translation pourT 10

3.C Modèles réels à paramètre de position pourT 12

3.D Modèles réels à paramètre d’échelle pourT 13

3.E Modèles des lois gaussiennes à un paramètre nuisible 16

4 Probabilisation possible deΘ 17

4.A La famille des pré-probabilités surΘsachantx 18

4.B Factorisation deφet probabilité surΘ 19

4.C Lien avec la statistique bayésienne 20

4.D Exemples de modèles parfaits 22

5 Annexes 24

5.A Statut de la fonction de répartition deT dans le cas réel 24

5.B Le modèle de seuillage d’une variable aléatoire 25

5.C Information a priori en vision fréquentiste ? 27

6 Conclusion 27

Références 28

1. Introduction : généralités sur la vraisemblance

1.A. Cadre de l’étude

On considère un modèle statistique paramétrique dominé par une mesureσ-finieµ: Θouvert connexe de R^d (d≥1), Ω,A,(P_θ)_θ∈Θ

etX variable aléatoire de loif_θµpourP_θ. Pour ne pas multiplier les notations, unX-échantillon(X1, . . . , Xn)de taille nsera encore noté X; et sa densité par rapport à la mesureµ^n⊗ sera encore notée f_θ :

x= (x1, . . . , xn)7−→^fθ

n

Y

i=1

fθ(xi)(et ennotation croisée fx est la fonction de vraisemblance θ7→fθ(x)).

∆ désigne un borélien porteur de µ (µ(∆^c) = 0), en général inclus dans le support de µ. On ne considérera couramment que desx= (x1, . . . , xn)∈∆ⁿ.

Rappelons que la (fonction de) vraisemblance sachant x est en fait une notion définie à un facteur multiplicatif (strictement positif) près pour chaque valeur fixée de x, ce qu’on écrit · ∝ fx; de sorte qu’elle n’est pas affectée par le remplacement de la mesure dominante µ par une mesure équivalente.

Elle exprime essentiellement une relation d’ordre surΘ(variable avecx), sur laquelle est fondée l’estima- tion du paramètreθ au maximum de vraisemblance. Elle détermine aussi la famille des régions les plus vraisemblablespourθ sachantx∈∆ⁿ

h≥0,{fx> h} ⊆Θ,

qui peuvent constituer d’intéressantes estimations régionales deθ, dans la mesure où on peut leur attribuer des niveaux de confiance justifiés et précis.

Soulignons le caractère essentiellement fréquentiste de cette analyse. Il existe des estimations apparen- tées en inférence bayésienne, fondées sur les grandes valeurs de ladensité a posteriori du paramètre, avec comme on le sait l’obligation pour rester cohérent de modifier convenablement la mesure de référence en cas de reparamétrage.

1.B. Paramètres utiles et nuisibles

Dans le cas d’un modèle à paramètreθvectoriel (d≥2), il est fréquent de s’intéresser plus spécialement à l’estimation de certaines composantes deθ, les autres ayant des valeurs connues ou non. Précisons les relations entre estimation complète et de telles estimations partielles de θ par régions les plus vraisem- blables : pour tout sous-ensemble strict J de {1, . . . , d} de cardinal d_J et pour toutθ ∈ Θ, soitθ_J et θ_Jc le d_J et led_Jc-uplet “projections” de θselon J etJ^c respectivement, constitués de ses composantes d’indices dansJ et dans J^c={1, . . . , d} \J; de sorte qu’on peut identifierθau couple (θ_J, θ_Jc).

– Siθ_Jc est connu, la famille des régions les plus vraisemblables pourθ_J sachantx∈∆ⁿ est h≥0,{fx(·, θJ^c)> h};

{fx(·, θJ^c)> h} est la section àθJ^c de la région la plus vraisemblable pourθ sachantx, {fx> h}.

Ceci revient, dans le cadre du modèle de référence, à prendre comme fonction de vraisemblance de θJ lavraisemblance conditionnelle à θJ^c

θJ 7−→fx(θJ, θJ^c).

Une justification consiste à se placer dans le cadre du modèle de référence “conditionné àθJ^c” : Ω,A,(P_{(θJ,θJ c)})_θ

J

où ∀θJ,f_{(θJ,θJ c)}µ est la loi deX pour P_{(θJ,θJ c)}, dont le paramètreθJ admet la fonction précédente comme vraisemblance sachantx.

– Si θJ^c est inconnu (θJ^c paramètre nuisible), la famille des régions les plus vraisemblables pour θJ

sachantx∈∆ⁿ est

h≥0, [

θ_{J c}

fx(·, θJ^c)> h ; [

θ_{J c}

fx(·, θJ^c)> h est la projection selonJ de la région la plus vraisemblable pourθ sachant x, {fx> h}: on adopte ceci comme région la plus vraisemblable, car à hauteurhfixée, on veut y trouver tous lesθ_J tels quef_x(θ_J, θ_Jc)> hpour au moins une valeur deθ_Jc. Ceci revient, dans le cadre du modèle de référence, à prendre comme fonction de vraisemblance deθ_J sachant xlavraisemblance marginale, qu’on suppose à valeurs finies,

θJ7−→ sup

{θ_{J c}: (θJ, θ_{J c})∈Θ}

fx(θJ, θJ^c).

2. Vraisemblance pivotale et régions de confiance

2.A. L’hypothèse de vraisemblance pivotale

On considère dans la suite un modèle statistique àdparamètres réels tel que

∀x= (x1, . . . , xn)∈∆ⁿ,M(x)^d´=^efkfxk_∞= sup

θ∈Θ

fx(θ)vérifie 0<kfxk_∞<+∞; ce qui permet de définir lavraisemblance normaliséeφ=φ⁽ⁿ⁾: ∆ⁿ×Θ→[0,1]par

∀(x, θ)∈∆ⁿ×Θ, φx(θ) = 1

kf_xk_∞fx(θ) (en abrégéφ= f M)

(ou en cas de paramètre nuisibleθJ^c, de définir lavraisemblance marginale normalisée φ=φ⁽ⁿ⁾_J par φx(θJ) = 1

kf_xk_∞ sup

{θJ c: (θ_J, θ_{J c})∈Θ}

fx(θJ, θJ^c)).

Définition2.1 On dira que le modèle vérifie l’hypothèse de vraisemblance pivotalesiφest une fonction pivotale, autrement dit siφ vérifie la propriété pivotale qui s’écrit en notation croisée (φθ(x) =φx(θ)) :

∀θ∈Θ, la variable aléatoire composéeφθ(X1, . . . , Xn)(qui dépend deθ) est telle que sa loiη =η⁽ⁿ⁾ n’en dépend pas :

∀θ∈Θet∀B ∈ B(R),Pθ φθ(X1, . . . , Xn)∈B

=η(B); ce qu’on note en abrégé ∀θ∈Θ, φ_θ(X)

(P_θ) =η.

η est ainsi la probabilité image dePθparφθ(X1, . . . , Xn), ou encore celle de la loifθµ^n⊗=M φθµ^n⊗

de(X1, . . . , Xn)parφθ; elle est portée parφθ(∆ⁿ)pour toutθ∈Θ, a fortiori parφ(∆ⁿ×Θ)⊆[0,1].

L’hypothèse très forte de vraisemblance pivotale ci-dessus, qui exprime que la fonction de vraisemblance normalisée est une fonction pivotale, est semble-t-il originale ; les exemples détaillés dans les sections suivantes, où on pourra identifier la loiη, attesteront que cette hypothèse n’est pas totalement saugrenue !

On a d’après la propriété pivotale ∀θ∈Θet ∀B ∈ B(R), Pθ φ⁻¹_X (B)3θ

=Pθ φX(θ)∈B

=η(B): φ⁻¹_X (B)est unerégion aléatoire de confiance pourθau niveauγ^d´=^efη(B). Conformément au point de vue fréquentiste habituel, si on renouvelait un grand nombre de fois l’expérience aléatoire pour obtenir une suite d’échantillons x^j ∈ ∆ⁿ, on auraitφ⁻¹_xj(B) 3θ avec une fréquence expérimentale voisine de γ; ce qui conduit pour un échantillon donnéx∈∆ⁿ à prendre comme estimation ensembliste de θ au niveau

(exact) de confianceγ

Θ^B_x ^d´=^efφ⁻¹_x (B) ={φx∈B}=

θ∈Θ :φθ(x1, . . . , xn)∈B ,

appelérégion de confiance pourθ sachant l’échantillonxau niveauγ=η(B), indépendant dex.

On peut noter que le principe de vraisemblance n’est pas à proprement parler respecté dans cette définition, du fait qu’on doit se référer à la mesureηpour la détermination des niveaux de confiance (voir toutefois le paragraphe 4.C à ce sujet).

En fait, pour éviter tout paradoxe apparent dans l’estimation par régions de confiance, on peut com- pléter l’hypothèse de vraisemblance pivotale par deux conditions sur la mesureη :

– ∀x∈∆ⁿ,η est portée parφ_x(Θ), autrement dit η φ_x(Θ)^c

= 0.

En effet sinon il pourrait exister B ∈ B(R)tel que η(B)>0 vérifiantB ⊆φ_x(Θ)^c pour certains échantillons x∈∆ⁿ; de sorte qu’on aurait pour ceux-ci Θ^B_x =∅ : curieuse estimation ensembliste ! (cf. à ce sujet le paragraphe 3.C). Plus profondément, la valeur du niveau de confianceη(B)deΘ^B_x dépend ainsi de B seulement via Θ^B_x : en effet Θ^B_x = Θ^B_x⁰ =⇒ φ_x Θ^B_x

= φ_x Θ^B_x⁰

, c’est-à-dire B∩φx(Θ) =B⁰∩φx(Θ); de sorte que

Θ^B_x = Θ^B_x⁰ =⇒η(B) =η B∩φ_x(Θ)

=η B⁰∩φ_x(Θ)

=η(B⁰).

– η diffuse, ou au moins η({0}) = 0.

La relationη({0}) = 0assure que pour toutx∈∆ⁿ, la région de vraisemblance nulle{φx= 0} a un niveau de confiance nul : ce qui paraît être une exigence minimum de cohérence entre ces deux notions !

Ces deux conditions se résument en :∀x∈∆ⁿ,φx(Θ)∩]0,1] = φx({φx >0}) est porteur deη. Nous dirons alors queφest une fonction pivotaleétalée.

Remarque 1 Il est clair que la vraisemblance normaliséeφ, et de là la mesureη, ne dépendent ni du choix de la mesure dominante µ du modèle, ni d’un reparamétrage θ ∈ Θ7−→^δ θe∈ Θ, oùe δ est une bijection bi-mesurable deΘsur un autre ouvertΘe deR^d(au sens oùφe

eθ=φθeteη=η). Et les régions aléatoires de confiance pourθ au niveauγ déterminées par φne dépendent pas non plus du choix de la normalisation deφà 1 plutôt qu’à une autre constantek >0, ou même du remplacement deφparφ⁰=`◦φoù`:R→R est un homéomorphisme croissant quelconque (au sens où {φ⁰_x∈B⁰}={φx∈`<sup>−1</sup>(B<sup>0</sup>)}, avec η<sup>0</sup> =`(η)).

Remarque 2 La fonctionφest étalée siη({0}) = 0et si on est dans l’un ou l’autre des deux cas suivants : – φ_x(Θ)ne dépend pas dex∈∆ⁿ (car il coïncide alors avecφ(∆ⁿ×Θ)qui porte η) ;

– ∀x∈∆ⁿ,φx(Θ)⊇]0,1], ouη({1}) = 0et ∀x∈∆ⁿ,φx(Θ)⊇]0,1[(car ]0,1]porteη).

On dispose ainsi pour toutx∈∆ⁿ de la famille desrégions de confiance les plus vraisemblables pourθ y∈]0,1[,{φx> y} ⊆Θ, au niveauγ(y)^d´=^efη( ]y,1])indépendant dex.

La fonctionγ (prolongée par les valeurs 1 sur]− ∞,0]et 0 sur[1,+∞[) est la fonction de répartition complémentaire de la probabilité η surR, continue en 0 puisque η({0})) = 0; si elle est continue sur R (cas oùηest diffuse), elle prend en décroissant toutes les valeurs de]0,1[et on a pour tout x∈∆ⁿ

∀γ0∈]0,1[,{γ◦φx< γ0}={φx> y0} où y0= max{y∈R:γ(y) =γ0}:

la (plus petite) région la plus vraisemblable pour θ sachant x au niveau de confianceγ₀ s’obtient ainsi directement par seuillage du graphe de la fonctionγ◦φ_xdansΘ×Rsous la hauteurγ₀.

En résumé, sous l’hypothèse très forte devraisemblance pivotale (étalée), la famille {φx> y}

y∈]0,1[

des régions les plus vraisemblables pourθ sachantxestintrinsèque au modèle statistique, au sens où la définition de ces régions et de leur niveau de confiance ne comportent aucune part d’arbitraire ; contraire-

ment par exemple aux intervalles de confiance d’un paramètre réel qui dépendent du choix de la fonction pivotale, ainsi que du type d’intervalle retenu.

L’estimation par régions les plus vraisemblables pour θ nous semble “optimale” au sens évident où elle maximise la vraisemblance du paramètre. Comme pour l’estimation ponctuelle au maximum de vraisemblanceθˆdeθque (l’adhérence de) ces régions contiennent lorsqu’elle existe¹, ce mode d’estimation n’est pas associé à un critère d’optimalité lié à un paramétrage particulier ; contrairement aux estimations classiques fondées sur la minimisation d’un risque ou d’une “taille” impliquant la mesure de Lebesgue sur Θ, ou tout autre étalon non invariant par reparamétrage. Selon qu’on se focalise sur des cas où un paramétrage particulier s’impose ou non, cette invariance apparaîtra comme un défaut ou au contraire comme une qualité structurelle supplémentaire.

2.B. Réflexions sur le choix de l’hypothèse On part de la relation

∀B∈ B(R),Pθ φ⁻¹_X (B)3θ∀θ

=η(B),

et pour tout échantillon x∈∆ⁿ on attribue à la région φ⁻¹_x (B) le niveau de confiance γ =η(B). Ceci suppose impérativement que B ne dépend pas de x; car si B =B_x on devrait se référer à la quantité Pθ φ⁻¹_X (BX)3θ

=Pθ φX(θ)∈BX

qui ne s’exprime plus au moyen de η (même siη(Bx)ne dépend pas dex) !

C’est la raison pour laquelle on s’est résolu à poser la très stricte hypothèse de vraisemblance pivotale plutôt que le jeu d’hypothèses :

– ∃Φ : ∆ⁿ×Θ→R^d0 (1≤d⁰≤d) telle que







∀θ,Φθ(X1, . . . , Xn)est de loi fixeν

∀x,Φx(Θ)est porteur deν

; – ∀x∈∆ⁿ,∃Gx: Φx(Θ)⊆R^d0 →[0,1]telle queφx=Gx◦Φx, oùφ= f

M,

cette dernière hypothèse assurant simplement qu’àxfixé la valeurΦx(θ)détermine la valeurφx(θ)pour toutθ∈Θ; de sorte que∀y∈]0,1[, la région la plus vraisemblable pourθ,{φx> y}, s’exprime au moyen de la fonction pivotaleΦpar

{φx> y}={Φx∈Bx} où Bx={Gx> y}.

On peut noter que, d’un point de vue strictement formel, ce jeu d’hypothèses peu exigeantes pourrait suffire pour une partie de l’étude. Mais les niveaux de confiance qu’on attribuerait alors aux régions les plus vraisemblables pour θ sachant x seraient à la fois injustifiés (cf. ci-dessus) et non intrinsèques, du fait de la multiplicité des fonctions pivotalesΦpossibles.

Par contre siGx ne dépend pas dex,φ=G◦Φest une fonction pivotale, qui est étalée si la loiν est portée par{G >0} (cf. le paragraphe 2.C).

Une idée plus subtile est la particularisation suivante du jeu d’hypothèses précédent : – ∃Φ : ∆ⁿ×Θ→R telle que







∀θ,Φθ(X1, . . . , Xn)est de loi fixeν

∀x,Φx(Θ) est porteur deν

; – ∀x∈∆ⁿ,∃Gx:R→Rhoméomorphisme croissant tel queφx=Gx◦Φx.

1. on se réfère pour définirθˆà la version semi-continue supérieurement defx,θ7→lim sup

θ⁰→θ

fx(θ⁰)

Il s’agit en effet d’hypothèses moins restrictives que l’hypothèse de vraisemblance pivotale (où Φ =φ etGx=idR) et telles cependant que lafamilledes régions les plus vraisemblables pourθsachantx∈∆ⁿ est encore de la forme (cf. les paragraphes 1.A et 2.A)

z∈R, {Φx> z}, de niveau de confiance z7−→ν( ]z,+∞[ ) indépendant dex.

Mais rien ne semble garantir que si (Φ⁰, G⁰) est un autre couple de fonctions vérifiant les hypothèses ci-dessus, donc tel que

Φ⁰_x=G⁰_x⁻¹◦φx=G⁰_x⁻¹◦Gx◦Φx, l’homéomorphisme croissant composé`x

d´ef

= G⁰_x⁻¹◦Gxne dépende pas dex; or c’est seulement sous cette condition de non dépendance enxqu’on est assuré que les niveaux de confiance attribués aux régions les plus vraisemblables ne dépendent pas du choix particulier du couple(Φ, G)et donc sont bien intrinsèques au modèle.

2.C. Statistiques exhaustives et factorisation vraie de φ

On sait qu’une variable T =τ(X1, . . . , Xn)à valeurs dansR^p (courammentp=d) est une statistique exhaustive pour le modèle si on a une factorisation de la densité de(X1, . . . , Xn)de la forme

∀(x₁, . . . , x_n, θ)∈∆ⁿ×Θ,f_θ(x₁, . . . , x_n) =B(x₁, . . . , x_n)f_θ^T(t₁, . . . , t_p)

où (t1, . . . , tp) ^d´=^ef t = τ(x1, . . . , xn) et où B > 0 sur ∆ⁿ. f_θ^T est pour tout θ ∈ Θla densité de T par rapport à la mesure dominanteµ⁰ =τ(B µ^n⊗)surR^p, image parτ =τ⁽ⁿ⁾de la mesure de densitéB par rapport àµ^n⊗. La factorisation s’écritfx=B(x)f_t^T avec la notation croiséef_t^T(θ)^d´=^eff_θ^T(t1, . . . , tp); elle exprime donc simplement quef_t^T ∝fx quandt=τ(x).

En supposant toujours que∀x∈∆ⁿ,M(x) =kfxk_∞∈]0,+∞[, on af_t^T ∝fx∝φx. Ainsi∀x, x⁰ ∈∆ⁿ tels quet=τ(x) =τ(x⁰), on aφx∝φx⁰ et doncφx=φx⁰ du fait de la normalisation. Ceci assure que la fonctionφne dépend dexque viaτ(x):

∀x∈∆ⁿ,φx d´ef

= φ^T_t oùt=τ(x),

avec pour tout t ∈ τ(∆ⁿ), φ^T_t ∝ f_t^T et kφ^T_tk_∞ = 1. Ainsi fx = M(x)φx = M(x)φ^T_t : cette dernière factorisation exprime que pour toutθ∈Θ, la fonction normaliséeφ^T_θ est exactement la densité deT dans le modèle statistique image parτdu modèle de référence lorsqu’on choisitMcomme fonctionB— de sorte queµ⁰=τ(M µ^n⊗). Enfin si on noteM^T(t)^d´=^efkf_t^Tk_∞pour toutt∈τ(∆ⁿ), on aM(x) =B(x)M^T(t).

L’hypothèse de vraisemblance pivotale étalée s’exprime donc au moyen deT par

∀θ∈Θ, (φ^T_θ(T))(Pθ) =η et ∀t∈τ(∆ⁿ),φ^T_t(Θ)∩]0,1]est porteur deη;

et on peut si besoin remplacer ci-dessusτ(∆ⁿ)par∆⁰, où∆⁰ ⊆τ(∆ⁿ)est n’importe quel sous-ensemble porteur de µ⁰. On dira encore que φ^T est une fonction pivotale étalée (du modèle image par τ). On retiendra que la relation φx = φ^T_τ(x) assure qu’une région la plus vraisemblable pour θ ne dépend de l’échantillonxque via la valeur t=τ(x)de n’importe quelle statistique exhaustiveT =τ(X1, . . . , Xn):

y∈]0,1[,{φ^T_t > y} ⊆Θ, au niveau de confianceγ(y) =η( ]y,1])indépendant de t; de sorte que cette définition respecte leprincipe d’exhaustivité.

Supposons à présent qu’il existe deux fonctions boréliennes Φ^T : ∆⁰×Θ→R^d et g: Φ^T(∆⁰×Θ)→R+

bornée telles que

f^T =g◦Φ^T où







∀θ,Φ^T_θ(T)a sa loiν fixe et portée par{g >0}

∀t,Φ^T_t est une bijection de {f_t^T >0}sur{g >0}

.

Comme∀t∈∆⁰,f_t^T =g◦Φ^T_t, on akf_t^Tk_∞=kgk_∞∈]0,+∞[puisqueΦ^T_t est une bijection de{f_t^T >0}

sur{g >0}et gest bornée non nulle ; donc en posant G^d´=^ef 1

kgk_∞g: Φ(∆ⁿ×Θ)⊆R^d →[0,1], on a de manière plus intrinsèque

φ^T =G◦Φ^T où







∀θ,Φ^T_θ(T)a sa loiν fixe et portée par{G >0}

∀t,Φ^T_t est une bijection de {φ^T_t >0}sur{G >0}

.

Ceci assure queφ^T est une fonction pivotale étalée (ainsi quef^T =kgk_∞φ^T), puisque∀θ,φ^T_θ(T)a sa loi fixeη= G◦(Φ^T_θ(T))(Pθ)

=G(ν)portée pour toutt parG({G >0}) =φ^T_t({φ^T_t >0}) =φ^T_t(Θ)∩]0,1].

Si U et une variable aléatoire de loi ν, alors η est la loi de G(U). On désignera en abrégé ce type de factorisation deφ^T par(Φ^T, G).

On a d’après ci-dessus∀θ∈Θet ∀B∈ B(R^d),Pθ (Φ^T_T)⁻¹(B)3θ

=Pθ Φ^T_T(θ)∈B

=ν(B):

(Φ^T_T)⁻¹(B)est une région aléatoire de confiance pourθ au niveauγ=ν(B). Conformément au point de vue fréquentiste habituel, si on renouvelait un grand nombre de fois l’expérience aléatoire pour obtenir une suite d’échantillons x^j ∈ ∆ⁿ déterminant la suite t^j = τ(x^j), on aurait (Φ^T_tj)⁻¹(B) 3 θ avec une fréquence expérimentale voisine deγ; d’où pour un échantillon donnéx∈∆ⁿ l’estimation ensembliste deθau niveau de confianceγ, en posantt=τ(x):

(Φ^T_t)⁻¹(B) ={Φ^T_t ∈B}=

θ∈Θ : Φ^T_θ(t1, . . . , tp)∈B .

En particulier pour touty∈]0,1[, la région la plus vraisemblable pourθ sachantxest {φx> y}={φ^T_t > y}=

Φ^T_t ∈ {G > y} , au niveau de confianceγ(y) =η( ]y,1]) =ν(G > y) =P G(U)> y

.

On peut noter que dans le cas où la statistique exhaustive T = τ(X1, . . . , Xn) est minimale, la fac- torisation est “universelle” : en effet pour toute statistique exhaustiveS =σ(X1, . . . , Xn), il existe une application borélienneψ telle que T =ψ(S), de sorte que τ =ψ◦σ; alorsφ^T =G◦Φ^T implique que φ^S =G◦Φ^S en posantΦ^S_θ = Φ^T_θ ◦ψpour toutθ, carφ^S_θ =φ^T_θ ◦ψ.

2.D. Cas des modèles exponentiels réels

On rappelle qu’il s’agit de modèles réguliers (qu’on dit réels, card= 1) :

µportée par∆⊆R et ∀θ∈Θ, f_θ(x) = ¯b(x)e^{α(θ) ¯a(x)+β(θ)} oùΘest un intervalle ouvert deR, dans lesquels α et β sont de classe C² sur Θ, α⁰ 6= 0 partout, ¯a(X) non presque sûrement constant et

¯b >0 sur∆, avece^−β(θ)= Z

¯b(x)e^{α(θ) ¯a(x)}dµ(x).

L’estimateur efficaceT = 1 n

n

X

i=1

¯

a(Xi), qui en est une statistique exhaustive minimale, est intrinsèque au modèle exponentiel, car la fonction a¯ dans fθ(x) = ¯b(x)e^{α(θ) ¯a(x)+β(θ)} ne dépend pas de la mesure dominante µdu modèle est n’est évidemment pas affectée par un reparamétrage. On sait que sa densité f_θ^T(t)^d´=^efe^{n[α(θ)t+β(θ)]}>0 (en prenantB(x) = Q

1≤i≤n

¯b(x_i)) est telle que pour tout t∈R,f_t^T est stricte- ment monotone ou unimodale² surΘ, comme on le voit par le changement de variable canoniqueδ^d´=^efα

2. au sens de strictement croissant, puis strictement décroissant

à partir de la concavité stricte de l’application θe7−→ 1

n ln(f_t^T ◦α⁻¹)(eθ) = θ te +β(eeθ) sur l’intervalle ouvert imageΘ =e α(Θ): on a en effet le résultat classique, en notanth(θ)^d´=^ef−β⁰(θ)

α⁰(θ) =Eθ(T): βe=β◦α⁻¹=⇒βe⁰(eθ) = β⁰(θ)

α⁰(θ) =−h(θ) =⇒ −eβ⁰⁰(eθ) = h⁰(θ)

α⁰(θ) =nvarθT >0.

En conséquence les régions les plus vraisemblables sont toutes des intervalles ouverts.

D’un autre côté la fonctionh, dont la dérivée est de signe constant, est un difféomorphisme deΘsur l’intervalle ouvert imageh(Θ); et∀t∈h(Θ), la dérivée def_t^T s’annule enθtel queα⁰(θ)t+β⁰(θ) = 0⇐⇒

θ=h⁻¹(t). On en déduit par élimination (cf. ci-dessus) que∀t∈h(Θ),f_t^T est unimodale, de sorte que h⁻¹(t)est l’estimationθˆdeθau maximum de vraisemblance.

Supposons que∆^{0 d´}=^efh(Θ)porteµ⁰=τ(B µ^n⊗); alorsφ^T est bien définie sur∆⁰×Θpuisquekf_t^Tk_∞= e^{n[α(h−1(t))t+β(h−1(t))]} ∈]0,+∞[; et∀t ∈∆⁰, φ^T_t > 0 est unimodale et atteint son maximum 1 en θˆ= h⁻¹(t). D’où ∀(t, θ)∈h(Θ)×Θ,−1

n lnφ^T_θ(t) =

α h⁻¹(t)

−α(θ) t+

β h⁻¹(t)

−β(θ) .

Ainsi lorsqueh(Θ)porteµ⁰,h⁻¹(T)est l’estimateur deθau maximum de vraisemblance et l’hypothèse de vraisemblance pivotale est vérifiée si et seulement si la loi de

α h⁻¹(T)

−α(θ) T+

β h⁻¹(T)

−β(θ) ne dépend pas deθ. Alors la loiη deφ^T_θ(T) =φ_θ(X₁, . . . , X_n)vérifieη({0}) = 0puisqueφ^T_θ(T)>0.

Enfin par exemple la condition

∀t∈h(Θ),inff_t^T(Θ) = 0

suffit à assurer que∀t∈h(Θ),φ^T_t(Θ) = ]0,1], de sorte queφ^T est étalée (cf. la remarque 2 et le paragraphe 2.C). Si h(Θ) ne portait pas µ⁰, la fonction f_t^T serait strictement monotone en tout point t d’un sous- ensemble nonµ⁰-négligeableA; etφ^T_t ne serait définie ent∈A que sikf_t^Tk_∞<+∞.

3. Exemples

3.A. Une situation asymptotique assez générale

On suppose ici que la fonction f, telle que ∀x ∈ ∆ⁿ, M(x) = kf_xk_∞∈]0,+∞[, est suffisamment régulière pour que s’applique lethéorème du rapport des vraisemblances maximales, qui énonce

∀θ∈Θ,−2 ln fθ

M(X₁, . . . , X_n)^CVL−→χ²

d lorsquentend vers l’infini ;

c’est-à-dire une convergence en loi vers une variable du chi-deux qui ne dépend pas des valeurs de θ ni même du modèle, mais seulement du nombredde paramètres réels (indépendants) constituantθ qui est égal au nombre de degrés de liberté du chi-deux. φ= f

M vérifie donc la propriété pivotale de manière asymptotique, puisque la loi η_θ de φ_θ(X₁, . . . , X_n) est assimilable pour nassez grand à la loi fixe η de e⁻

χ²

d

2 . Sous réserve par exemple que la régularité def assure que φ_x(Θ)⊇]0,1[pour toutx∈∆ⁿ(cf. la remarque 2,η étant diffuse), on a donc que pour toutγ∈]0,1[fixé,

φx> y^d´=^efe^−z2 =

fx> h^d´=^efe^−z2kfxk_∞

est la région la plus vraisemblable pourθ sachantxau niveau de confiance asymptotiqueγ, pourz >0 défini par

P(χ²

d < z) =γ.

3.B. Modèles à paramètre de translation pourT

Soit un modèle tel que l’ouvertΘ⊆R^dest un groupe localement compact, de mesure de Haar à gauche notéeΛ, et soitT une statistique exhaustive (minimale) telle que∆⁰ = Θet

∀θ∈Θ, θ⁻¹T ≡^L U oùU a pour loiν=gΛ avec la densitég bornée.

Comme T ≡^L θ U = τ_θ(U) où τ_θ désigne l’opérateur de translation de θ à gauche, on a les égalités entre lois T(Pθ) = τ_θ(ν) = (g◦τ_θ−1)τ_θ(Λ) = (g◦τ_θ−1) Λ; de sorte qu’en choisissant Λ comme mesure dominanteµ⁰ (la relation précédente assure en pratique queΛest dans la bonne classe d’équivalence), on af_θ^T =g◦τ_θ−1, soitf_θ^T(t) =g(θ⁻¹t)pour tout(t, θ). On a donc

f^T =g◦Φ^T où







∀θ,Φ^T_θ(T)a sa loiν fixe et portée par{g >0}

∀t,Φ^T_t est une bijection de{f_t^T >0}sur{g >0}

pourΦ^T(t, θ)^d´=^efθ⁻¹t; de sorte qu’en posantG^d´=^ef 1

kgk_∞g,(Φ^T, G)est unefactorisationdeφ^T (cf. le paragraphe 2.C).

Ainsi pour toutt∈∆⁰ et pour touty∈]0,1[, en notantil’involution θ7→θ⁻¹ surΘ, {φ^T_t > y}={θ∈R:G(θ⁻¹t)> y}= (τ_t◦i) ({G > y})

est la région la plus vraisemblable pourθ au niveau de confianceγ(y) =P G(U)> y .

Remarque 3 Tout reparamétrage θ ∈ Θ 7−→^δ θe∈ Θ, oùe δ est un homéomorphisme de Θ sur un autre ouvertΘe de R^d, permet de transporter la structure de groupe de Θsur Θe; de sorte que Θe est encore un groupe localement compact de mesure de Haar à gaucheΛ =e δ(Λ)car τ_˜

θ ◦δ=δ◦τ_θ. De plusTe^d´=^efδ(T) est comme T une statistique exhaustive (minimale) telle que∆e⁰ =Θe et on a

∀eθ∈Θ,e θe⁻¹

Te=δ(θ⁻¹T)≡^L δ(U)oùδ(U)est de loi fixeδ(ν) =geΛe avec eg=g◦δ⁻¹ bornée.

L’hypothèse considérée n’est donc pas liée à un paramétrage particulier.

Exemple du modèle à deux paramètres réels des lois gaussiennes On considère le modèle (exponentiel) usuel des lois gaussiennes

∆ =R, µ=λ , f_(σ,m)(x) = 1 σ√

2πe^{−(x−m)22σ2} >0 ; (1)

soit f_(σ,m)(x₁, . . . , x_n) = 1 σ√

2π ⁿ

e^−21σ2Pn

i=1(x_i−m)² = (2π)⁻ⁿ² e^{−n2 lnσ2+( ¯x−m)2 +s}

2 σ2

, en ayant noté X¯ = 1

n

n

X

i=1

X_i et S²= 1 n

n

X

i=1

(X_i−X¯)². On veut estimer ensemblemetσ(θ= (σ, m)dansΘ =R^∗₊×R).

On voit (et on sait !) que le coupleT = (S,X¯)est une statistique exhaustive (minimale) du modèle (1) telle que∆⁰= Θ. On va considérer cet ensemble comme un sous-groupe dugroupe affine a x+b, qui est l’ensembleR^∗×Rmuni de la loi de composition interne (non commutative)

(a, b) (a⁰, b⁰)^d´= (a a^{ef 0}, a b⁰+b), dont(1,0)est l’élément neutre et1 a,−b

a

est l’élément inverse de(a, b).

On a ∀θ= (σ, m)∈Θ,θ⁻¹T =1 σ,−m

σ

(S,X) =¯ S σ,

X¯ −m σ

_L

≡ qχ²

√n−1

n , Z

√n _d´ef

= U oùZ est une gaussienne centrée réduite indépendante de la variable du chi-deux χ²

n−1, d’après ce qu’on sait sur les lois des variables indépendantesX¯ etS. La variableU admet donc pour densité par rapport à

la mesure de Lebesgue sur∆⁰ la fonctionu= (u1, u2)7−→k uⁿ⁻²₁ e^−n2u21e^−n2u22 oùk= nⁿ² 2ⁿ²⁻¹√

πΓ(ⁿ⁻¹₂ ), et comme “la” mesure de Haar à gaucheΛ sur∆⁰ est 1

u²₁du1du2, on ag(u1, u2) =k uⁿ₁e^{−n2(u21+u22)}; d’où G(u1, u2) = 1

kgk_∞g(u1, u2) =uⁿ₁e^{−n2(u21−1+u22)}=e^{−n2K(u1,u2)}, en posant K(u₁, u₂)^d´=^efu²₂+ ¯K(u²₁) où ∀u >0,K(u)¯ ^d´= ln^ef 1

u+u−1.

0 u

K(u)¯

+

0,5

+

1

+

1,5

+

2

+

2,5

+

3 0,25+

0,5+

0,75+

1+

z z

u1

u1 uu22

Figure1. Graphe de la fonctionK¯

La fonction K¯ est positive et strictement convexe surR^∗₊, de minimum 0 enu= 1 et de limite +∞

quandu→0et quandu→+∞.

Ainsi pour tout (s,x)¯ ∈R^∗₊×Ret pour toutγ∈]0,1[fixé, φ^T_(s,¯x)> e^−n2z =n

(σ, m)∈Θ :Ks

σ,x¯−m σ

≡(¯x−m)²+s²

σ² + lnσ²−lns²−1< zo est la région la plus vraisemblable pour(σ, m)au niveau de confianceγ, pour z >0 tel que

γ=P G(U)> e^−n2z

=P K(U)< z

=ν

(u1, u2)∈R×R^∗₊:u²₂+ ¯K(u²₁)< z .

-1 -0.5 0 0.5 1

0.5 1 1.5 2 2.5

(a)

φ^T_(1,0)> e^−n2z ànfixé pour divers ni- veauxγ=P(K(U)< z)

-1 -0.5 0 0.5 1

0.5 1 1.5 2 2.5

(b)

φ^T_(1,0) > e^−n2z et

φ^T_(1,0)> e^−12zas àn= 10pour le niveauγ= 0.95

Figure2. Régions vraisemblables pour(σ, m)sachant(s,x) = (1,¯ 0)

Application numériquepour(s,x) = (1,¯ 0)etγ= 0.95, dans le casn= 10: on trouvez≈0.661.

Si on reprend cette étude en considérant (hardiment) qu’on est déjà en situation asymptotique (cf. le paragraphe 3.A), la région la plus vraisemblable

φ^T_(1,0)> e^−12zas a le niveau de confiance asymptotique γ pourP(χ²

d< z_as) =γ; ce qui donne numériquement ici (oùd= 2)z_as≈5.99.

La figure 2 (b) montre ces deux régions les plus vraisemblables, la plus grande étant au niveau de confiance γ exact et la plus petite au même niveau γ asymptotique. L’écart est déjà assez faible pour n= 10.

3.C. Modèles réels à paramètre de position pourT

C’est un cas particulier de modèle à paramètre de translation pourT, où∆⁰= Θest le groupe(R,+): T−θ≡^L U oùU est de loi fixeν=g λavec la densitég bornée,

λdésignant la mesure de Haar – Lebesgue surR. Alors pour toutt∈Ret pour touty∈]0,1[, {φ^T_t > y}={θ∈R:G(t−θ)> y}=t− {G > y}

est la région la plus vraisemblable pourθ au niveau de confianceγ(y) =P G(U)> y . Exemple du modèle des exponentielles translatées

On considère le modèle (non régulier) de paramètre de positionθ pourX

∆ =R,µ=λ,f_θ(x) =e^−(x−θ)1_]0,+∞[(x−θ) oùΘ =R, tel que ∀x= (x1, . . . , xn), fθ(x1, . . . , xn) =e^{n θ−}

Pn i=1x_i

1_]−∞,min(x₁,...,x_n)[(θ).

Soit T = min(X1, . . . , Xn) l’estimateur de θ au maximum de vraisemblance, qui est une statistique exhaustive (minimale) puisque∀x∈∆ⁿ,fx∝ θ7→e^{n θ}1_]−∞,t[(θ)

.

Comme∀i∈ {1, . . . , n},Xi−θ≡^L S1, oùS1 est la variable exponentielle de paramètre 1, et comme les X_i−θsont indépendantes, on a

∀θ∈Θ,T−θ= min(X₁−θ, . . . , X_n−θ)≡^L U où U ^d´=^ef S₁

n a pour densité g(u) =n e^{−n u}1_]0,+∞[(u).

Ainsi G(u) = e^{−n u}1_]0,+∞[(u), doncG(U) = e^−S1 et η est la probabilité uniforme sur ]0,1[. On en déduit que∀y∈]0,1[, γ(y) =η( ]y,1]) = 1−y; de sorte que pour toutt∈Ret pour toutγ∈]0,1[fixé,

{φ^T_t >1−γ}=t− {G > y}=i t−1

nln 1 1−γ, th

est la région la plus vraisemblable pourθau niveau de confianceγ. On note que cet intervalle de confiance diffère de l’intervalle équilibré habituel

i t−1

nln 2

1−γ, t−1 nln 2

1 +γ h

,

qui est de plus grande taille et dont l’adhérence ne contient pas l’estimation au maximum de vraisemblance θˆ=t deθ.

Remarque 4 La densité ψx(θ) ^d´=^ef fθ(x1, . . . , xn) = Q

1≤i≤n

e^−(xi−θ)1_]0,+∞[(xi−θ)

est elle-même une fonction pivotale puisque pour toutθ∈Θ, du fait que∀i,X_i^ps> θ,

ψ_X(θ)^ps= Y

1≤i≤n

e^−(Xi−θ)≡^L Y

1≤i≤n

e^−S1(i) ≡^L e^−Sn,

où lesS₁⁽ⁱ⁾sont des variables exponentielles de paramètre 1 indépendantes et oùSnest la variable gamma

réduite de paramètre de formen. Le support de la loi (diffuse) dee^−Sn est[0,1], mais la fonction pivotale ψ n’est pas normalisée et a fortiori n’est pas étalée, puisque le point 1 est à une distance strictement positive de ψx(Θ) =

0, e^{nmin(x1,...,xn)−}

Pn i=1x_i

dès que lesxi ne sont pas tous égaux entre eux. Comme analysé au paragraphe 2.A, ceci suffit à rendre contestable l’emploi de cette fonction pivotale pour toute estimation par régions de confiance.

Passons outre pour s’en convaincre : un niveau de confiance γ∈]0,1[étant fixé, soit y∈]0,1[tel que P e^−Sn > y) =γ. Pour toutx= (x1, . . . , xn)∈Rⁿ, la région la plus vraisemblable pour θ sachant xau niveau de confiance γ ainsi déterminée parψserait

{ψx> y}=n

θ <min(x1, . . . , xn) :e^{n θ−}

Pn

i=1xi > yo

=i1 n

n

X

i=1

xi+ 1

nlny , th .

Cet intervalle dépend non seulement de la valeur t = min(x1, . . . , xn) de la statistique exhaustive T, mais aussi de _n¹

n

P

i=1

x_i via sa borne inférieure ; ce qui paraît saugrenu (cf. à ce sujet le paragraphe 2.C). Et il peut même être vide si d’aventure moyenne et borne inférieure de l’échantillon sont assez différentes !

Exemple du modèle des lois gaussiennes à écart-type connu

On considère le modèle (exponentiel) des lois gaussiennes à écart-type connuσ, de paramètre de position θ=mpour X

∆ =R,µ=λ,fm(x) = 1 σ√

2πe⁻

(x−m)2

2σ2 >0 oùΘ =R.

On sait que l’estimateur efficace T = ¯X ^d´=^ef 1 n

n

X

i=1

X_i est une statistique exhaustive minimale, et que X¯ −m≡^L U oùU = σ

√nZ,Z étant une gaussienne centrée réduite.

On a doncg(u) =

√n

σ√

2πe^{−n u}

2

2σ2, d’oùG(u) =e^{−n u}

2

2σ2 et G(U) =e^−Z22. On en déduit

∀z >0,

G > e^−z

2

2 ={u∈R:n u²< σ²z²}=i

−z σ

√n, z σ

√n h

et P G(U)> e^−z

2 2

=P(|Z|< z); de sorte que pour toutx¯∈Ret pour tout γ∈]0,1[fixé,

φ^X_x¯^¯ > e^−z

2

2 = ¯x−

G > e^−z

2

2 =i

¯ x−z σ

√n, x¯+z σ

√n h

pourz >0tel que P(|Z|< z) =γ (qui est la section àσd’une région la plus vraisemblable pour(σ, m), cf. le paragraphe 1.B), est la région la plus vraisemblable pour m au niveau de confiance γ. On retrouve l’intervalle de confiance équilibré habituel, du fait queZ est de loi paire.

3.D. Modèles réels à paramètre d’échelle pourT

C’est un cas particulier de modèle à paramètre de translation pourT, où∆⁰= Θest le groupe(R^∗₊,×): T

θ

≡L U oùU >0est de loi fixeν=gΛ avec la densitégbornée surR^∗₊, Λdésignant la mesure de Haar 1

udusurR^∗₊. Alors pour toutt∈R^∗₊et pour tout y∈]0,1[, {φ^T_t > y}=n

θ∈R^∗₊:Gt θ

> yo

=nt

u:u∈R^∗₊, G(u)> yo est la région la plus vraisemblable pourθ au niveau de confianceγ(y) =P G(U)> y

.

Exemple du modèle des lois uniformes

On considère le modèle (non régulier) de paramètre d’échelleθpour X

∆ =R^∗₊,µ=1_∆λ,f_θ(x) =1

θ1_]0,1[x θ

oùΘ =R^∗₊, tel que ∀x= (x1, . . . , xn),fθ(x1, . . . , xn) = 1

θⁿ 1_{] max(x1,...,xn),+∞[}(θ).

Soit T = max(X1, . . . , Xn) l’estimateur de θ au maximum de vraisemblance, qui est une statistique exhaustive (minimale) puisque∀x∈∆ⁿ,fx=

θ7→ 1

θⁿ1_]t,+∞[(θ) . Comme∀i∈ {1, . . . , n}, Xi

θ est une variable uniforme sur]0,1[et comme les Xi

θ sont indépendantes,

∀θ∈Θ, T

θ = maxX1

θ , . . . ,Xn

θ _L

≡U où U a pour densité g(u) =u n uⁿ⁻¹1_]0,1[(u)par rapport àΛ.

AinsiG(u) =uⁿ1]0,1[(u), donc la loi η deG(U) est la probabilité uniforme sur]0,1[. On en déduit que∀y∈]0,1[,γ(y) =P G(U)> y

= 1−y; de sorte que pour tout t∈R^∗₊ et pour toutγ∈]0,1[fixé, {φ^T_t >1−γ}=nt

u :u∈R^∗₊, G(u)> yo

=i t , t

(1−γ)ⁿ¹ h

est la région la plus vraisemblable pourθau niveau de confianceγ. On note que cet intervalle de confiance diffère de l’intervalle équilibré habituel

it 2 1 +γ

_n¹

, t 2 1−γ

¹_nh ,

qui est de plus grande taille et dont l’adhérence ne contient pas l’estimation au maximum de vraisemblance θˆ=t deθ.

Remarque 5 La fonction ψx(θ) ^d´=^ef x1· · ·xnfθ(x1, . . . , xn) = Y

1≤i≤n

hxi

θ 1_]0,1[xi

θ i

est elle-même une fonction pivotale puisque pour toutθ∈Θ, du fait que∀i,X_i^ps< θ,

ψ_X(θ)^ps= Y

1≤i≤n

X_i θ

≡L Y

1≤i≤n

U⁽ⁱ⁾≡^L Y

1≤i≤n

e^−S1(i) ≡^L e^−Sn

où les U⁽ⁱ⁾ sont des variables uniformes sur ]0,1[ indépendantes. Le support de la loi (diffuse) de e^−Sn est[0,1], mais comme dans l’exemple du modèle des exponentielles translatées (cf. le paragraphe 3.C), la fonction pivotaleψ n’est pas normalisée et a fortiori n’est pas étalée puisque le point 1 est à une distance strictement positive deψx(Θ) =

0, _max(x^x1x2···xn

1,...,xn)ⁿ

dès que les xi ne sont pas tous égaux entre eux. Ceci suffit à rendre contestable l’emploi de cette fonction pivotale pour toute estimation par région de confiance.

Exemple du modèle des lois gamma – Weibull

Soient deux réelsa, b >0 fixés ; on considère le modèle de paramètre d’échelleθ pourX

∆ =R^∗₊,µ=1∆λ,fθ(x) = b Γ(a)

1 θ

x θ

a b−1

e^−(xθ)b oùΘ =R^∗₊,

Γétant la fonction d’Euler. Il s’agit d’un modèle exponentiel standardfθ(x) = ¯b(x)e^{α(θ) ¯a(x)+β(θ)} avec

¯

a(x) =x^b,¯b(x) = b

Γ(a)x^{a b−1},α(θ) =−1

θ^b et β(θ) =−a blnθ.

Pour b= 1 il s’agit des lois gamma (non réduites) de paramètre de forme a; pour a= 1il s’agit des lois de Weibull de paramètre de forme b; et pour a= b = 1, on a affaire au modèle des durées de vie exponentielles.