La m´ ethode du jackknife

Nous illustrons d’abord le principe du jackknife pour l’estimation de l’´ ecart-typeσde la loi. Soit l’estimateur de r´ef´erence :

S=√ S²=

12 23 1

n−1 n i=1

(X_i−X)²

qui est g´en´eralement biais´e (voir exercice 6.4 pour le cas de la loi de Gauss) et soit s l’estimation correspondante pour une r´ealisation x₁, x₂,· · ·, x_n de l’´echantillon. L’estimation du jackknife est obtenue de la fa¸con suivante.

On calcule la valeur, not´ee s₋₁,de l’´ecart-type du sous-´echantillon obtenu enomettant la valeurx₁:

s₋₁= 12 23 1

n−2 n i=2

(x_i−x)²,

puis la valeur s_∗1 = ns−(n−1)s₋₁. On r´ep`ete cette op´eration en omet-tant `a tour de rˆole chacune des observations pour obtenir n pseudo-valeurs

s_∗1, s_∗2,· · · , s_∗n avec, donc : s_−i =

12 23 1

n−2 n j=1,j =i

(x_j−x)² s_∗i =ns−(n−1)s_−i.

L’estimation du jackknife est alors la moyenne des pseudo-valeurs, not´ees_∗. Un intervalle de confiance approch´e peut ˆetre obtenu en appliquant `a la s´erie desnpseudo-valeurs le r´esultat de la section 6.4.1 concernant la moyenne d’un

´

echantillon al´eatoire gaussien. Ainsi on calcule la variance des pseudo-valeurs : s²_JK= 1

n−1 n i=1

(s_∗i−s_∗)², d’o`u :

IC_0,95(σ)[s_∗−t⁽ⁿ⁻¹⁾_0,975 s_JK

√n , s_∗+t⁽ⁿ⁻¹⁾_0,975 s_JK

√n].

De fa¸con g´en´erale soitω une caract´eristique de la loi etT_n un estimateur convergent deω,typiquement l’estimateur du maximum de vraisemblance. Soit T_n⁻ⁱ l’estimateur calcul´e en omettantX_i. On d´efinit les pseudo-valeurs :

T_n^∗i=nT_n−(n−1)T_n⁻ⁱ, i= 1, . . . , n.

L’estimateur du jackknife fond´e surT_n est alors T_n^∗= _n¹_n

i=1T_n^∗i.

Comme il a ´et´e dit en introduction cet estimateur a ´et´e propos´e `a l’origine pour r´eduire le biais ´eventuel de T_n, en vertu du r´esultat suivant.

Proposition 8.2 Si le biais deT_n est de la forme _n^c, o`u c est une constante, alorsT_n^∗,l’estimateur du jackknife fond´e surT_n,est sans biais.

En effet, comme E(T_n) = ω+ _n^c, on a, pour tout i, E(T_n⁻ⁱ) = ω +_n−1^c puisqueT_n⁻ⁱ est le mˆeme estimateur appliqu´e au (n−1)−´echantillon al´eatoire X₁, . . . , X_i−1, X_i+1, . . . , X_n.Ainsi :

E(T_n^∗i) =nE(T_n)−(n−1)E(T_n⁻ⁱ)

=nω+c−(n−1)[ω+ c n−1]

=ω , d’o`u E(T_n^∗) = ¹_nn

i=1E(T_n^∗i) =ω.

Si le biais est de la forme ^c_n¹+_n^c2₂+_n^c3₃ +· · · on montre ais´ement de la mˆeme fa¸con que le premier terme disparaˆıt dans le biais de T_n^∗. Par cons´equent, au

moins pour des situations de ce type, il y a r´eduction de biais. Si l’on applique, par exemple, la proc´edure du jackknife `a la variance empiriqueS'_n² dont le biais pour estimerσ²est−_n¹σ²(voir proposition 5.2), on trouve que l’estimateur du jackknife est la variance de l’´echantillonS_n² qui est sans biais (voir exercices).

Notons incidemment que pour l’estimateur X_n de la moyenne μ qui est sans biais, l’estimateur du jackknife estX_n lui-mˆeme.

En g´en´eral, la loi ´etant totalement inconnue, on ne connaˆıt pas la forme du biais (comme par exemple pour l’´ecart-typeS dans l’illustration ci-dessus), mais on s’attend `a ce qu’il soit de toute fa¸con r´eduit par la proc´edure d´ecrite.

Outre la r´eduction du biais, l’int´erˆet du jackknife, primordial ici, est de permettre l’estimation de l’´ecart-type deT_n et la possibilit´e de construire un intervalle de confiance approch´e. La proposition qui suit va nous y conduire.

Proposition 8.3 Soit T_n^∗ l’estimateur du jackknife de la caract´eristique ω, reposant sur un estimateur convergentT_n,et soitS_n,JK² la variance des pseudo-valeurs.Alors, sous certaines conditions concernant la forme de la statistique :

T_n^∗−ω S_n,JK/√ n

−→L

n→∞ N(0 ; 1).

Nous admettrons cette proposition. Elle r´esulte du fait que les pseudo-valeurs tendent `a ˆetre ind´ependantes et gaussiennes pour une grande vari´et´e de statistiques. En appliquant l’intervalle de confiance de la section 7.4.1 pour la moyenne de v.a. i.i.d. gaussiennes, on d´eduit l’intervalle de confiance approch´e pourω :

IC_0,975(ω)[t^∗_n−t⁽ⁿ⁻¹⁾_0,975 s_n,JK

√n , t^∗_n+t⁽ⁿ⁻¹⁾_0,975 s_n,JK

√n ], o`ut^∗_n ets_n,JK sont les r´ealisations respectives deT_n^∗ et deS_n,JK.

Ceci s’applique, en particulier, `a l’´ecart-type comme nous l’avons vu plus haut (voir une application dans les exercices) et ´egalement pour estimer la varianceσ<sup>2</sup>.Dans ce dernier cas, en prenant l’estimateur du jackknife reposant sur la variance empirique S'<sup>2</sup>, on ´etablit que la variance des pseudo-valeurs S<sub>n,JK</sub><sup>2</sup> est ´egale `a :

n³

(n−1)(n−2)²(M₄−S'⁴),

ce qui conduit `a une proc´edure d’intervalle de confiance tr`es proche (et asymp-totiquement ´equivalente) de l’approche asymptotique propos´ee en section 8.2.2.

En effet, dans cette approche, on trouvait simplementM₄−S⁴en lieu et place de l’expression ci-dessus.

Les conditions de validit´e de la proposition ne sont pas simples `a expliciter.

Si la statistique est de la forme_n¹_n

i=1g(X_i) o`ugest une fonction quelconque,

alors la proposition est v´erifi´ee. C’est le cas de tous les moments simples. Si la forme est proche cela reste vrai, comme par exemple pour les moments centr´es, en particulier pour la variance empirique, et aussi pour l’´ecart-type.

En revanche, la m´ediane qui, dans sa version th´eorique, s’exprime parF⁻¹(¹₂) a une forme tr`es ´eloign´ee. Le jackknife est alors inadapt´e carS_n,JK ne converge pas vers la valeur de l’´ecart-type de la m´ediane. Il en va de mˆeme pour d’autres statistiques fonctions des statistiques d’ordres : quantiles, ´etendueX_(n)−X₍₁₎, distance interquartiles.

Note 8.3 Pour pr´eciser quelque peu le domaine de validit´e du jackknife exprimons une caract´eristiqueω comme une expression fonctionnelleω(F). Une fonctionnelle est dite lin´eaire siω(a₁F₁+a₂F₂) =a₁ω(F₁) +a₂ω(F₂). Dans ce cas on montre queω(F)est de la forme :

ω(F) =

R

g(x)dF(x) =E_F(g(X)).

Pour la statistique correspondante ω(F_n) du maximum de vraisemblance cela se traduit par _n¹_n

i=1g(X_i).Ceci est ´evidemment le cas de la moyenne empirique et de tout autre moment empirique non centr´e.

Un moment centr´e n’est pas strictement de cette forme. Par exemple la variance E_F([X −E_F(X)]²) est l’esp´erance d’une fonction qui d´epend elle-mˆeme deF. La condition pour que le jackknife soit op´erant au niveau de la convergence de S_n,JK est que la caract´eristique, et donc la statistique du MV, soit une fonctionnelle lin´eaire ou pouvant ˆetre raisonnablement approch´ee par une fonctionnelle lin´eaire. Ceci est r´ealisable pour la variance empirique (qui est une fonctionnelle quadratique) mais pas dans le cas de la m´ediane qui est trop fortement non lin´eaire.

Le jackknife peut ˆetre utilis´e pour des couples (et desn-uplets) de v.a., par exemple pour la corr´elation entre deux variables, pour la moyenne du ratio de deux variables. Il s’´etend ´egalement `a des situations autres que des ´echantillons al´eatoires simples. Par ailleurs, diff´erentes variantes du jackknife initial ont ´et´e propos´ees. En particulier, pour de tr`es grands ´echantillons, il est pratiquement aussi efficace de l’appliquer en omettant non pas chaque observation mais des groupes de k observations, ceci afin d’acc´el´erer les calculs. Dans le cas de la m´ediane le fait de grouper les observations avec k de l’ordre de √

n permet mˆeme d’assurer la convergence selon la proposition 8.3 et donc d’appliquer l’intervalle de confiance qui en d´ecoule.

Rien ne s’oppose `a ce qu’on utilise cette m´ethode dans un cadre param´ e-trique pour des fonctions du param`etre complexes. Par exemple on pourra estimer e^−λ, la probabilit´e qu’il n’y ait aucune occurrence dans une unit´e de temps pour une loi de Poisson, en se fondant sur l’estimateur du maximum de vraisemblance e^−X (ceci est `a rapprocher de l’exemple 6.13).

En ce qui concerne l’approximation asymptotique de l’intervalle de confiance issu du jackknife il est difficile de savoir `a partir de quelle taille d’´echantillon

elle devient satisfaisante. Pour les petits ´echantillons le bootstrap offre une alternative plus sˆure.