Variance et erreur quadratique moyenne d’un estimateur 100

La varianceV_θ(T_n) de l’estimateur est un crit`ere important dans la mesure o`u elle caract´erise la dispersion des valeurs deT_ndans l’univers des ´echantillons possibles. Toutefois il s’agit de la dispersion autour deE_θ(T_n) et non pas autour de θ. Pour prendre en compte l’´ecart par rapport `a θ on introduit le crit`ere d’erreur quadratique moyenne.

D´efinition 6.4 On appelleerreur quadratique moyennedeT_n par rapport

`

aθ,la valeur, not´eeeqm_θ(T_n), d´efinie par :

eqm_θ(T_n) =E_θ[(T_n−θ)²], et l’on a :

eqm_θ(T_n) = [b_θ(T_n)]²+V_θ(T_n).

En effet :

E_θ[(T_n−θ)²] =E_θ[{T_n−E_θ(T_n) +E_θ(T_n)−θ}²]

=E_θ[{Tn−E_θ(T_n)}²] + [E_θ(T_n)−θ]²+ 2E_θ[T_n−E_θ(T_n)][E_θ(T_n)−θ]

=V_θ(T_n) + [b_θ(T_n)]² carE_θ[T_n−E_θ(T_n)] = 0.

Comme l’indique son nom ce crit`ere mesure ladistance au carr´e`a laquelle T_n se situe en moyenne par rapport `a θ. On peut faire l’analogie avec les impacts effectu´es par un tireur sur une cible (mˆeme si cela correspond plutˆot

`

a un param`etre de dimension 2). Le tireur cherche `a atteindre le centre de la cible mais ses impacts, au cours des r´ep´etitions («univers»de ses tirs), peuvent ˆ

etre syst´ematiquement d´ecal´es, c’est-`a-dire que le centre de ceux-ci n’est pas le centre de la cible. En revanche ses tirs peuvent ˆetre tr`es group´es (variance faible). Un autre tireur peut ˆetre bien centr´e (biais nul ou faible) mais avoir peu de r´egularit´e et donc une forte dispersion de ses tirs (variance ´elev´ee). Le choix du meilleur tireur d´epend de l’importance relative du d´ecalage syst´ematique et de la r´egularit´e.

Le crit`ere d’erreur quadratique moyenne (en bref e.q.m.) n’est pas la pa-nac´ee mais il est pr´ef´er´e parce qu’il s’exprime en fonction des notions simples de biais et de variance. D’autres crit`eres peuvent paraˆıtre tout aussi naturels, en particulier l’erreur absolue moyenneE_θ(|T_n−θ|), mais celle-ci est beaucoup plus difficile `a manipuler analytiquement.

En adoptant le crit`ere d’e.q.m. pour juger de la pr´ecision d’un estimateur le probl`eme est de rechercher le meilleur estimateur au sens de ce crit`ere, ce qui nous conduit aux d´efinitions suivantes.

D´efinition 6.5 On dit que l’estimateur T_n¹ domine l’estimateur T_n² si pour toutθ ∈Θ, eqm_θ(T_n¹) ≤eqmθ(T_n²), l’in´egalit´e ´etant stricte pour au moins une valeur deθ.

L’id´eal serait de disposer d’un estimateur qui domine tous les autres. Or il n’existe pas en g´en´eral, d’estimateur d’e.q.m. minimale uniform´ement enθ.

Pour s’en convaincre consid´erons comme estimateur la v.a. certaine θ₀ o`u θ₀ est l’une des valeurs possibles. Pour celui-ci l’e.q.m. enθ =θ₀ est nulle alors que pour tout autre estimateur l’e.q.m. est strictement positive (au moins par sa variance s’il est v´eritablement al´eatoire ou par son biais s’il est certain). Cet estimateur particulier ne peut donc ˆetre domin´e. N´eanmoins, si un estimateur est domin´e par un autre estimateur, il n’est pas utile de le retenir.

D´efinition 6.6 On dit qu’un estimateur est admissible s’il n’existe aucun estimateur le dominant.

Ainsi seule est `a prendre en compte la classe des estimateurs admissibles.

A partir de l`a, plusieurs orientations de choix sont possibles, l’une des plus r´epandues ´etant de choisir l’estimateur pour lequel le maximum que peut at-teindre l’e.q.m. sur Θ est le plus faible.

D´efinition 6.7 On dit queT_n^∗ estminimax si pour tout autre estimateurT_n on a :

sup

θ∈Θ eqm_θ(T_n^∗)≤sup

θ∈Θ eqm_θ(T_n).

Nous ne poursuivons pas ici la recherche d’estimateurs minimax et nous nous contenterons d’illustrer par deux exemples les propri´et´es de dominance et d’admissibilit´e.

qui est toujours positif. Par cons´equentS² n’est pas admissible.

En fait S'² introduit un biais, mais celui-ci (au carr´e) est compens´e par une variance plus faible. Notons que ceci n’est pas vrai pour toute loi m`ere (voir

exercices).

Exemple 6.7 Soit `a estimer le param`etre p d’une loi de Bernoulli (ou, en situation pratique, une proportion ppar sondage dans une population). Soit S_n =_n

i=1X_i le total empirique ou fr´equence de succ`es observ´ee. Montrons que sipest au voisinage de 1/2 la statistiqueT = (S<sub>n</sub>+1)/(n+2) est pr´ef´erable, au sens de l’e.q.m., `a la proportion empirique naturelle S_n/n pour estimer p.

CommeS_n suit une loiB(n, p), on aE(S_n) =npet V(S_n) =np(1−p). Pour la proportion empiriqueE(S_n/n) =p, le biais est donc nul et l’e.q.m. est ´egale

`

En faisant le rapport de cette e.q.m. `a celle deS_n/n on obtient : n

(n+ 2)²

n+(1−2p)² p(1−p)

.

Or pourp= ¹₂ ceci vaut _(n+2)ⁿ² ₂ <1 et le rapport ci-dessus ´etant une fonction continue de p dans ]0,1[, il reste strictement inf´erieur `a 1 dans un certain voisinage de 1/2. Un calcul plus approfondi montrerait que ce voisinage d´epend denet est l’intervalle

]1 2 −

) n+ 1 2n+ 1, 1

2+

) n+ 1 2n+ 1[ .

En conclusion, aucun des deux estimateurs ne domine l’autre.

Dans ces deux exemples on constate que si l’on accepte un certain biais, des estimateurs apparemment naturels peuvent ˆetre moins performants au sens de l’e.q.m.. Toutefois de nombreux statisticiens privil´egient les estimateurs sans biais signifiant ainsi qu’ils ne consid`erent pas l’e.q.m. comme la panac´ee. Si l’on se restreint `a la classe des estimateurs sans biais des r´esultats tangibles peuvent ˆetre obtenus dans la recherche de l’estimateur optimal et ceux-ci seront pr´esent´es en section 6.6.

6.5.3 Convergence d’un estimateur

Nous consid´erons ici la suite {T_n}de v.a. `a valeurs dansRlorsque la taille nde l’´echantillon s’accroˆıt `a l’infini, toujours avec Θ⊆R. Pour un estimateur digne de ce nom on s’attend `a ce qu’il se rapproche de plus en plus deθ quand n→ ∞. C’est ce qu’exprime la notion de convergence. Formellement on dira que l’estimateurT_n estconvergent selon un certain mode«m»si :

T_n −→^«m»

n→∞θ

o`u«m»est `a remplacer par p, p.s ou m.q. respectivement pour la convergence en probabilit´e, presque sˆure ou en moyenne quadratique. ´Etant donn´e qu’il y a convergence vers une constante, rappelons (voir section 5.8) que la convergence en loi est ´equivalente `a la convergence en probabilit´e. Pour Θ⊆R^k la conver-gence en probabilit´e, donc la convergence en loi, et la convergence presque sˆure s’entendent composante par composante. La convergence en moyenne quadra-tique se g´en´eralise avec la norme.euclidienne usuelle dansR^k.

Nous ´enon¸cons tout d’abord une propri´et´e de convergence des moments empiriques de port´ee g´en´erale, d´epassant le cadre param´etrique et que nous reprendrons donc dans le cadre non param´etrique du chapitre 8.

Proposition 6.1 Si, pour la loi m`ere,E(|X<sup>r</sup>|)existe, alors tous les moments empiriques jusqu’`a l’ordrer, simples ou centr´es, sont des estimateurs presque sˆurement convergents des moments correspondants de la loi.

Il est clair que si les conditions d’application de la loi forte des grands nombres selon le th´eor`eme 5.3 sont r´eunies pour la v.a. X<sup>r</sup>(r entier), alors le moment empirique M<sub>r</sub>, comme moyenne desX<sub>1</sub><sup>r</sup>, X<sub>2</sub><sup>r</sup>, ..., X<sub>n</sub><sup>r</sup>, converge presque sˆurement versμ<sub>r</sub>, moyenne de la loi deX<sup>r</sup>. Si nous nous en tenons `a l’´enonc´e de ce th´eor`eme, la condition est que la variance de la loi consid´er´ee existe, donc, pour la loi deX<sup>r</sup>,queE(X<sup>2r</sup>) existe. Dans la proposition ci-dessus nous avons indiqu´e une condition plus faible qui r´esulte d’une version de la loi forte des grands nombres due `a Kolmogorov.

Les moments d’ordres inf´erieurs existant a fortiori, ils convergent ´egalement.

Quant au moment centr´eM_k (k≤r),il converge en tant que fonction continue deM₁, M₂, ..., M_ket n´ecessairement versμ_kqui s’exprime par la mˆeme fonction vis-`a-vis de μ₁, μ₂, ..., μ_k (voir la proposition 5.15 sur la convergence d’une fonction de v.a.).

En particulier si E(X²) existe ou, de fa¸con ´equivalente, si la variance de la loi m`ere existe, la variance empirique S'<sub>n</sub><sup>2</sup> converge presque sˆurement vers la variance de cette loi (et a fortiori ¯X<sub>n</sub> converge vers sa moyenne). Au passage notons que ceci vaut aussi pour la variance d’´echantillonS<sub>n</sub><sup>2</sup> qui ne diff`ere de S'²_n que par le facteur _n−1ⁿ .

Proposition 6.2 Soit une famille param´etrique de param`etreθ de dimension ktelle queE_θ(|X^k|)existe pour toutθet qu’il existe un estimateur des moments pourθ. Si leskpremiers moments μ₁(θ), ..., μ_k(θ)sont des fonctions continues deθ,alors cet estimateur est convergent presque sˆurement.

En effet en raison de l’hypoth`ese de continuit´e, la r´esolution du syst`eme d’´equations de la d´efinition 6.2 conduit `a un estimateur des moments qui s’ex-prime comme une fonction continue, deR<sup>k</sup> dansR<sup>k</sup>,des moments empiriques μ<sub>1</sub>, μ<sub>2</sub>, ..., μ<sub>k</sub>. En vertu de la proposition 5.15 il converge donc vers la solution du syst`emeμ₁(θ) =μ₁(θ₀), μ₂(θ) =μ₂(θ₀), ..., μ_k(θ) =μ_k(θ₀) o`u nous distinguons ici θ<sub>0</sub>comme ´etant la vraie valeur de θpour la loi m`ere (ainsiM_r−−→^p.s. μ_r(θ₀) pour r= 1, ..., k). Du fait de l’unicit´e de solution enθpour ce syst`eme, propre

`

a l’existence de l’estimateur des moments, cette solution ne peut ˆetre queθ₀. La convergence est une condition sine qua non pour qualifier une statistique d’estimateur et elle sera normalement v´erifi´ee pour les estimateurs naturels.

Pour la loi de Cauchy g´en´eralis´ee de param`etreθ d´efinie par la densit´e : f(x;θ) = 1

π[1 + (x−θ)²], x∈R,

(pourθ= 0,c’est la loi de Student `a 1 degr´e de libert´e) on a vu dans l’exemple 2.1 que la moyenne n’existe pas. On peut se poser la question de savoir com-ment se comporte alors la moyenne empirique. On montre (via la fonction caract´eristique des moments, comme propos´e dans un exercice du chapitre 5)

que la moyenne ¯X suit en fait la mˆeme loi ! Elle ne converge donc pas versθ.

En fait pour estimer θ il faut prendre la m´ediane de l’´echantillon, laquelle est convergente.