n→∞ N(0,Σ).
Soitcn = 1,−Yn,−E(X), on sait par le théorème de Slutsky que
√ncn Zn−E(Z) loi
−−−−→
n→∞ N(0,cΣc>)
oùc= (1,−E(Y),−E(X)). Il reste à remarquer que siX etY sont indépendantes, alors ˆ
σ(X, Y) =cn Zn−E(Z)
et cΣc>= var(X) var(Y).
On déduit le résultat nal en utilisant une nouvelle fois le théorème de Slutsky.
4.2 Modélisation non-paramétrique
Pour aller plus loin dans l'analyse bivariée, on peut rechercher la meilleure approximation deY par une fonction deX, sans se limiter aux fonctions anes. Rappelons la dénition suivante.
Dénition 4.4. SoitY une variable aléatoire réelle intégrable, l'espérance conditionnelle de Y sachant X, notéeE(Y|X), est une variable aléatoire fonction deX qui vérie
∀g continue bornée,E Y g(X)
=E E(Y|X)g(X) .
On rappelle que que l'espérance conditionnelle existe et est unique presque sûrement. Toute fonctionφ∗ vériantE(Y|X)ps=φ∗(X), appelée fonction de regression, est par conséquent uniqueµX-presque partout.
Théorème 4.5. SiY est de carré intégrable, alorsφ∗ minimise φ7→E Y −φ(X)2 parmi les fonctions φmesurables.
Remarque 4.6. Dans le cas où E(Y2) < ∞, l'espérance conditionnelle E(Y|X) s'interprète comme la projection orthogonale de Y sur le sous-espace vectoriel des variables aléatoires de carré intégrable mesurables par rapport à la tribu engendrée parX.
L'espérance conditionnelle vérie les propriétés suivantes.
• E
E(Y|X)
=E(Y).
• Si X et Y sont indépendantes, alorsE(Y|X) =E(Y).
• Si Y est une fonction deX, alorsE(Y|X) =Y.
Théorème 4.7. Si X, Y et (X, Y) ont pour densités respectives fX, fY et fXY, alors pour tout x tel quefX(x)>0,
φ∗(x) = Z
R
y fXY(x, y) fX(x) dy.
Preuve dans le cas E(Y2) < ∞. Montrons que la fonctionφ∗ dénie dans le théorème minimise φ7→
La quantité entre paranthèses est minimale en φ(x) =R
Ry fXY(x, y)dy/fX(x), pour toutx∈R, ce qui termine la preuve.
Preuve dans le cas général. Montrons que la fonction φ∗ dénie dans le théorème vérie, pour toute fonctiongcontinue bornée,E Y g(X) par le théorème de Fubini.
Lorsque les variables sont à densités, l'espérance conditionnelle φ∗(x) = E(Y|X = x) est simplement l'espérance deY sous la densité conditionnelle deY sachantX =x, donnée par la formule de Bayes
fY|X(y, x) = fXY(x, y) fX(x) .
Il existe de nombreuses méthodes pour estimer la fonction de régressionφ∗dans le modèle d'échantillonage.
Une des plus couramment utilisée est la méthode de Nadaraya-Watson, qui est basée sur une estimation à noyaux. SoitK un noyau, on dénit l'estimateur
φ(x) =ˆ 1
oùh > 0est la fenêtre à calibrer. L'idée de l'estimateur de Nadaraya-Watson est d'estimer l'espérance deY sachant X =xpar une moyenne des Yi, pondérée en fonction de la proximité des Xi avecx. En
est un poids qui mesure la proximité entreXi etx, renormalisé pour avoir Pn
i=1Wi(x) = 1.
Comme pour l'estimation à noyaux d'une densité, on peut montrer sous des conditions de régularités de fXY qu'en prenanth = hn tel que limn→∞hn = 0 et limn→∞nhn = +∞, alors φ(x)ˆ converge en probabilité versφ∗(x). En eet, on sait dans un premier temps que sous ces conditions surhn, le théorème 3.14 entraîne
En utilisant la propriétéE Y g(X)
=E φ∗(X)g(X), on obtient également ce qui permet de montrer la convergence de l'estimateur de Nadaraya-Watson.
5 Intervalles de conance
Jusqu'à présent, nous avons vu des méthodes d'estimation qui ont pour objectif, étnat donné un paramètre inconnu, de proposer une valeur en fonction des observations. Plutôt que de se limiter à une valeur, un point de vue diérent consiste à proposer un ensemble de valeurs probables.
Dénition 5.1. On appelle intervalle de conance pour θ de niveau α∈ [0,1], un intervalle aléatoire I=I(X1, ..., Xn)construit à partir des observations, tel que
P(θ∈I) = 1−α.
La construction d'un intervalle de conance dépend du modèle et il est dicile de donner une recette générale. Dans ce chapitre, nous verrons les exemples les plus classiques.
5.1 IC pour la moyenne dans un modèle Gaussien
On suppose ici que les observations sont iid de loi normaleN(m, σ2). On s'intéresse à la construction d'un intervalle de conance pour la moyennemque l'on suppose inconnue. La construction se fait diéremment selon si la variance est connue ou inconnue.
1. Variance connue. On suppose que les observations X1, ..., Xn sont distribuées suivant une loi nor-male de variance σ2connue et de moyenne minconnue. Dans ce modèle on sait que
ˆ
La loi de l'estimateur est connue en fonction dem. En particulier, on peut se ramener à une variable aléatoire normale centrée réduite
S=√
n mˆ −m
σ ∼ N(0,1).
On insiste ici sur le fait que l'on n'observe pas une réalisation deSpuisqu'elle dépend du paramètre inconnum. Cependant, la moyennemest la seule inconnue dans l'expression deS, ce qui est crucial pour permettre la construction de l'intervalle de conance. La symétrie de la densité Gaussienne nous permet d'écrire
P(−q1−α
2 ≤S ≤q1−α
2) = 1−α, où q1−α
2 est le quantile d'ordre1−α2 de la loi normale centrée réduite. On cherche maintenant à isolermdans l'expression de S de manière à en obtenir un encadrement
P
On remarque que les bornes de l'intervalles sont fonctions des observations et donc connues. On obtient ainsi un intervalle de conance pour m avec une marge d'erreur de α qui correspond à la probabilité que la vraie valeur du paramètre ne soit pas dans l'intervalle. Par exemple, si l'on cherche un intervalle de conance à95%, on prend α= 0,05ce qui correspond àq1−α2 ≈1,96et
2. Variance inconnue. Ici, on ne peut pas utiliser la statistique précédente car elle dépend deσ2. On remplace donc la variance par un estimateur sans biaisσˆ2. Précisément, on dénit
ˆ m= 1
n
n
X
i=1
Xi, ˆσ2= 1 n−1
n
X
i=1
(Xi−m)ˆ 2 et S=√
n−1 mˆ −m ˆ
σ ∼ T(n−1).
Il est important de remarquer que la loi deS n'est plus une loi normale mais une loi de Student à n−1degrés de liberté (on admettra ce résultat qui est une conséquence du théorème de Cochran).
La valeurmétant la seule inconnue dans l'expression deS, il est maintenant possible de construire un intervalle de conance à partir des quantiles de la loi de Student.