Dans ce chapitre on consid`ere les diff´erentes m´ethodes d’estimation ainsi que leurs propri´et´es. On est souvent amen´es `a estimer une ou plusieurs carac-t´eristiques de la population `a partir des donn´ees (´echantillon). Il peut s’agir de param`etre(s) de la distribution sous-jacente ou de caract´eristique(s) de la popu-lation (esp´erance, variance, quantile, etc.), qui est (sont) bien entendu fonction des param`etres de la distribution. Par exemple, on peut vouloir estimer la m´ e-diane des revenus dans une r´egion donn´ee, la proportion de la population qui vit en dessous du seuil de pauvret´e, la proportion de votants qui donnera sa voix au candidat bleu, etc.
Les estimateurs peuvent ˆetre compar´es sur la base de diff´erents crit`eres : le biais, la variance, l’erreur carr´ee moyenne et la convergence. La biais mesure l’´ecart entre la vraie valeur (inconnue, dans la population) de la quantit´e `a es-timer et la valeur que l’estimateur prend en esp´erance (c’est-`a-dire en moyenne si l’on r´ep´etait l’exp´erience). La variance quantifie la variabilit´e autour de l’es-p´erance. Id´ealement, un bon estimateur poss`ede un biais petit voire nul, et une petite variance. Il n’est pas possible de r´eduire simultan´ement le biais et la va-riance d’un estimateur, ce qui am`ene `a la d´efinition de l’erreur carr´ee moyenne qui exprime la combinaison de ces deux quantit´es. La minimisation de l’erreur carr´ee moyenne g`ere le compromis entre biais et variance. Ce compromis est une notion importante et apparaˆıt dans beaucoup de situations en statistique. Finalement, un estimateur est dit convergent s’il converge en probabilit´e vers la vraie valeur lorsque la taille de l’´echantillon augmente. Il est `a noter que le biais, la variance et donc l’erreur carr´ee moyenne sont des mesures pour ´echantillons finis, alors que la convergence est une caract´eristique asymptotique.
La borne de Cram´er-Rao constitue un r´esultat important dans la compa-raison d’estimateurs. Elle d´efinit une borne inf´erieure `a la variance de tout estimateur, en fonction de la distribution sous-jacente des observations. Si un
134 Maˆıtriser l’al´eatoire
estimateur atteint la borne de Cram´er-Rao (c’est-`a-dire que sa variance est ´
egale `a la borne) on dit qu’il est efficace.
Les m´ethodes consid´er´ees ici sont la m´ethode des moments, la m´ethode du maximum de vraisemblance ainsi que la m´ethode des moindres carr´es, que l’on r´esume de fa¸con non formelle ci-dessous.
M´ethode du maximum de vraisemblance. Comme son nom l’indique,
cet-te m´ethode est bas´ee sur la fonction de vraisemblance, qui est maximis´ee afin d’obtenir les estimateurs souhait´es. Les estimations ainsi obtenues se-ront les valeurs les plus vraisemblable pour les param`etres ´etant donn´e les donn´ees que l’on a observ´ees. Sous des conditions de r´egularit´e, les estima-teurs du maximum de vraisemblance sont convergents et leur distribution est asymptotiquement normale. Ils sont asymptotiquement efficaces.
M´ethode des moments. Cette m´ethode ´egalise les moments th´eoriques d’une population (E(Xk), k = 1, 2, . . .), qui sont une fonction des param`etres, avec les moments empiriques de l’´echantillon (1/nn
i=1Xk
i, k = 1, 2, . . .) afin d’obtenir des estimations des param`etres d’int´erˆet. Les estimateurs des moments sont convergents. Contrairement aux estimateurs du maxi-mum de vraisemblance, les estimateurs des moments ne sont en g´en´eral pas efficaces. Sous certaines conditions de r´egularit´e, ces estimateurs sont asymptotiquement normales.
M´ethode des moindres carr´es. Cette approche est fortement li´ee `a l’ana-lyse de r´egression. Dans ce cadre, on minimise les erreurs au carr´e afin d’obtenir les estimateurs des param`etres. Le th´eor`eme de Gauss-Markov assure que si l’on suppose que les erreurs du mod`ele ont esp´erance 0 et sont ind´ependantes avec mˆeme variance finie, l’estimateur des moindres carr´es est le meilleur estimateur lin´eaire non biais´e. Plus g´en´eralement, le meilleur estimateur lin´eaire non biais´e de toute combinaison lin´eaire est son estimateur des moindres carr´es.
Si l’on fait de plus l’hypoth`ese de distribution normale des erreurs dans le mod`ele de r´egression, alors les estimateurs des moindres carr´es sont les estimateurs du maximum de vraisemblance et h´eritent donc de leur propri´et´es.
Notes historiques
La m´ethode du maximum de vraisemblance est due aux travaux de R. A. Fi-sher entre 1912 et 1922.
La m´ethode des moments a en premier lieu ´etait discut´ee par K. Pearson en 1894. Elle a ´et´e g´en´eralis´ee par L. Hansen (1982), m´ethode g´en´eralis´ee des moments ou GMM.
La m´ethode des moindres carr´es est n´ee des int´erˆets de C. F. Gauss (1777-1855) en astronomie en 1795. Puisqu’il n’a jamais publi´e ses r´esultats, c’est sou-vent `a A.-M. Legendre qu’est attribu´ee la paternit´e de la m´ethode des moindres carr´es. Il l’a en effet publi´ee en 1806 dans son ouvrage Nouvelles m´ethodes pour la d´etermination des orbites des com`etes.
7. Estimation ponctuelle 135
La borne de Cram´er-Rao port le nom du math´ematicien su´edois H. Cram´er (1893-1985), et du statisticien indien C. R. Rao (n´e en 1920). En fait, l’in´egalit´e a d’abord ´et´e ´enonc´ee par R. A. Fisher (qui ´etait entre autre le directeur de th`ese de Rao) en 1922. Ensuite, elle a ´et´e red´eriv´ee ind´ependamment par M. Fr´echet (1943), G. Darmois (1945), H. Cram´er (1946) et C. R. Rao (1945), raison pour laquelle on l’appelle aussi l’in´egalit´e de Fr´echet-Darmois-Cram´er-Rao.
R´ef´erences (th´eorie)
Casella et Berger, chapitre 7 [8]; Dodge, chapitre 10 [5]; Lejeune, cha-pitre 6 [3]; Morgenthaler, chacha-pitres 6 et 7 [4]; et Rice chacha-pitre 8 [9].
136 Maˆıtriser l’al´eatoire