L’estimation de la densit´ e

L’histogramme comme estimation de densit´e

L’histogramme dont l’origine est attribu´ee `a John Graunt au XVII<sup>e</sup> si`ecle r´epondait `a l’objectif d’une repr´esentation de la distribution de valeurs et, `a ce titre, peut ˆetre consid´er´e comme une estimation de densit´e avant l’heure. C’est sous cet angle que nous allons l’´etudier mˆeme si son int´erˆet r´eside souvent plutˆot dans l’estimation de pourcentages dans des intervalles (ou «classes») bien d´etermin´es (par exemple les classes d’ˆage des statistiques officielles).

Dans sa plus grande g´en´eralit´e un histogramme se d´efinit `a partir d’une suite double de valeurs croissantes{. . . , a_−i, . . . , a₋₁, a₀, a₁, . . . , a_i, . . .} consti-tuant un d´ecoupage en intervalles de la droite r´eelle. Soitn_k la fr´equence des observations situ´ees dans l’intervalle ]a_k, a_k+1] pour un ´echantillon de taillen, alors l’histogramme est la fonction constante par morceaux f_n telle que, pour tout k∈Z :

f_n(x) = n_k

n

(a_k+1−a_k) pourx∈]a_k, a_k+1],

conduisant `a la repr´esentation graphique classique en rectangles (obtenue en d´elimitant verticalement les intervalles). La fr´equence relative n<sub>k</sub>/n estimant la probabilit´e (ou la proportion, dans une population)p<sub>k</sub> associ´ee `a l’intervalle ]a_k, a_k+1] y est divis´ee par la largeura_k+1−a_k de cet intervalle ce qui a bien valeur de densit´e de probabilit´e au sens explicit´e en section 1.4.

Sauf exception on choisit une«grille» de d´ecoupage {a_k} r´eguli`ere et soit, alors,hla largeur de chaque intervalle. On a :

f_n(x) = n_k

nh pourx∈]a_k, a_k+1].

Pla¸cons-nous maintenant dans le cadre d’unn−´echantillon al´eatoire de loi m`ere de densit´ef continue sur toutRet ´etudions les propri´et´es d’´ echantillon-nage de la v.a. (not´ee simplement comme pr´ec´edemment) f<sub>n</sub>(x) =N<sub>k</sub>/nh o`u N_k est le nombre al´eatoire de valeurs tombant dans ]a_k, a_k+1], x´etant fix´e dans cet intervalle. On aN_k;B(n, p_k),d’o`u :

E(f_n(x)) = np_k nh = p_k

h V(f_n(x)) = np_k(1−p_k)

n²h² =p_k(1−p_k) nh² .

Commep_k =_ak+1

ak f(x)dx,^p_h^kest la valeur moyenne def sur [a_k, a_k+1] etf_n(x) n’est donc sans biais que pour la ou les valeurs dexdans ]a_k, a_k+1] o`uf prend cette valeur moyenne. Nous d´esignons parx^∗_k l’une de ces valeurs, i.e. telle que f(x^∗_k) = _h¹_ak+1

ak f(x)dx = ^p_h^k. Pour toute valeur x o`u f(x) diff`ere de f(x^∗_k), f_n(x) est un estimateur biais´e def(x) dont le biais est ´egal `af(x^∗_k)−f(x).

Consid´erons le comportement asymptotique de f_n(x). Quand n → ∞ le biais qui ne d´epend pas denne peut tendre vers z´ero. Sauf `a faire tendre simul-tan´ement la largeur d’intervallehvers z´ero, auquel casxtend n´ecessairement versx<sup>∗</sup><sub>k</sub> et, par continuit´e de f, f(x<sup>∗</sup><sub>k</sub>)−f(x) tend donc vers z´ero. Quant `a la variance, du fait quep_k(1−p_k)/h = (1−p_k)f(x^∗_k), elle ne peut tendre vers z´ero que si, simultan´ement, nh → ∞. En d’autres termes la largeur d’inter-valle doit tendre vers 0 mais de fa¸con infiniment moins«rapide»que 1/n, par exemple en choisissant h=c/√

n.Puisque E(N_k) =np_k =nhf(x^∗_k) la condi-tion nh → ∞assure que le nombre attendu de valeurs dans ]a_k, a_k+1] tende vers l’infini. Concr`etement cela se traduit de la fa¸con suivante : plusnest grand plus il y a avantage `a resserrer les intervalles mais pas trop, afin de garder de grandes valeurs de n_k.

Ces conditions qui assurent la convergence en moyenne quadratique - soit n → ∞, h → 0, nh → ∞ - restent n´ecessaires pour assurer d’autres modes de convergence, notamment en probabilit´e ou presque sˆurement. De plus elles se retrouvent pour tous les types d’estimateurs fonctionnels comme nous en verrons des exemples plus loin. La proposition suivante, que nous admettrons, vient pr´eciser la forme asymptotique de l’erreur quadratique moyenne def_n(x) pourxfix´e.

Proposition 8.4 (Friedman et Diaconis, 1981) En tout xo`uf est deux fois d´erivable on a :

eqm(f_n(x)) = h²

12[f(x)]² +f(x)

nh +o(h²) +o( 1 nh).

Ainsi avec les conditionsn → ∞, h →0, nh → ∞, l’e.q.m. est asymptoti-quement ´equivalente `a <sup>h</sup><sub>12</sub><sup>2</sup>[f(x)]<sup>2</sup> +<sup>f(x)</sup><sub>nh</sub> , le premier terme ´etant dˆu au biais (au carr´e) et le deuxi`eme `a la variance. L’int´erˆet de ce r´esultat est d’´etablir la vitesse de convergence de l’e.q.m. vers z´ero, dans le cas o`u hest choisi de fa¸con optimale, pour la comparer plus loin avec un estimateur plus ´elabor´e. En annulant sa d´eriv´ee par rapport `ahon trouve que cette derni`ere expression est minimale pour :

h={ 6f(x)

[f(x)]²}^1/3n^−1/3

et l’e.q.m. est asymptotiquement ´equivalente, avec cethoptimal, `ak(x)n<sup>−2/3</sup> o`u k(x) d´epend def(x) et def(x). On dira que la vitesse de convergence de l’e.q.m. est enn^−2/3.

Remarques

1. La construction de l’histogramme d´epend de deux param`etres : h, la largeur des intervalles, et a<sub>0</sub>, la position de l’origine de la grille. En fait le choix de a<sub>0</sub> n’est pas crucial (et ne subsiste pas dans l’approche plus ´elabor´ee qui va suivre) alors que celui deh est d´eterminant et in-contournable. Notons que le r´esultat pr´ec´edent concernant le hoptimal n’est d’aucun secours en pratique car cette valeur d´epend de f(x) et def(x) qui sont inconnus. Diff´erentes r`egles empiriques, ´etrang`eres aux consid´erations asymptotiques ci-dessus, ont ´et´e propos´ees en statistique descriptive, par exemple : choisir un nombre d’intervalles sur l’´etendue des observations ´egal `a√

n.

2. Sif est discontinue aux bornes de son support (voir la loi uniforme, la loi exponentielle ou la loi de Pareto) les r´esultats d´evelopp´es ne sont pas valables en ces bornes. De plus si celles-ci sont inconnues l’histogramme pose probl`eme.

3. L’histogramme, c’est-`a-dire la fonction f<sub>n</sub>, est discontinu alors mˆeme quef est continue. On peut donc songer `a le rendre continu pour, sans doute, am´eliorer son efficacit´e. C’est l’id´ee qui pr´evaut pour lepolygone des fr´equences(ligne bris´ee reliant les milieux des«plateaux» de l’histo-gramme) qui reste cependant peu usit´e. La m´ethode de la section suivante va proposer une solution plus performante.

Les estimateurs `a noyaux

D´efinition L’origine de la m´ethode des noyaux est due `a Rosenblatt (1956).

Celui-ci a propos´e une sorte d’histogramme mobile o`u lafenˆetre de comptage des observations se d´eplace avec la valeur de x. La densit´e en x est estim´ee par la fr´equence relative des observations dans l’intervalle [x−h, x+h],donc centr´e surx,divis´ee naturellement par la largeur de l’intervalle 2h.On appelle hlalargeur de fenˆetre(bien que cette largeur soit en fait ´egale `a 2h).Pour des raisons qui apparaˆıtront plus loin nous ´ecrivons l’estimation ainsi obtenue `a partir des observationsx₁, x₂,· · ·, x_nsous la forme suivante (conservant encore la mˆeme notationf_n) :

f_n(x) = 1 nh

n i=1

K

x−x_i h

o`u K(u) =1

2 siu∈[−1,+1] et 0 sinon.

En effet x_i ∈ [x−h, x+h] si et seulement si ^x−x_h ⁱ ∈[−1,+1] etx_i est alors comptabilis´e 1/2. Ainsi_n

i=1K_x−x

i

h

est ´egal au nombre d’observations tom-bant dans [x−h, x+h] divis´e par 2 pour obtenir la division de la fr´equence relative par 2h. Comme K est discontinue en ±1, f_n(x) pr´esente des petits sauts de discontinuit´e aux pointsx₁±h, x₂±h, . . . , x_n±h.Parzen (1962) a

propos´e une g´en´eralisation de l’id´ee de Rosenblatt permettant, entre autres, de lisser davantage l’estimation. A la fonction K ci-dessus on substitue une fonction que l’on pourra choisir continue ou d´erivable partout, propri´et´e qui se transf`ere `a la fonction f_n. En d’autres termes on fera entrer ou sortir les points x_i «en douceur» quand on d´eplace la fenˆetre. Toutefois la fonction K est soumise aux conditions suivantes :

– K est positive (ou nulle) – K est paire

–

RK(u)du= 1.

Une telle fonction est alors appel´ee noyau. La premi`ere condition garantit que le poids K_x−x

i

h

de chaque observation x_i reste positif ou nul, la deuxi`eme que ce poids soit identique de part et d’autre dex. La troisi`eme condition est une normalisation des poids de fa¸con que f_n soit bien une densit´e. En effet, avec le changement de variableu= ^x−x_hⁱ on obtient :

Notons qu’une fonction noyau est, en fait, une fonction de densit´e sym´etrique autour de z´ero, donc de moyenne nulle (si elle existe).

Comme :

on peut donner une interpr´etation concr`ete de f<sub>n</sub>. Supposons, pour fixer les id´ees, que K ait pour support [−1,+1]. Alors f<sub>n</sub> est obtenue en rempla¸cant chaque observationx<sub>i</sub>par une mˆeme petite«densit´e»(son aire ´etant r´eduite `a

1

n) de support [x_i−h, xi+h] , puis en sommant ces petites densit´es. Cette vision correspond `a un principe g´en´eral de lissage de donn´ees discr`etes qui consiste `a faire«bouger»chaque donn´ee pour lui substituer un ´el´ement continu.

En pratique on impose comme condition suppl´ementaire que K d´ecroisse de part et d’autre de z´ero, dans l’id´ee naturelle de donner un poids plus faible aux observations au fur et `a mesure qu’elles s’´eloignent du centre de la fenˆetre x.Ainsi les noyaux les plus usuels sont :

K(u) = 1