1 Matrice de covariance

Université Paris 13, Institut Galilée Préparation à l’agrégation Année universitaire 2014-2015

Vecteurs gaussiens

Soitdun entier ≥1. On identifiera les éléments deR^d à des vecteurs colonnes.

1 Matrice de covariance

Soit X une variable aléatoire à valeurs dans R^d. On note X = ^t X1 · · · Xd

. Les variables aléatoires réelles X₁, . . . , X_d sont appelées lescomposantes de X et leurs lois sont les lois marginales de la loi de X.

On définit classiquement son espérance (sa moyenne)

m_X =E[X] =





 E[X1]

... E[Xd]







et aussi, si X1, . . . , X_d sont de carré intégrable, sa variance ΓX = Var(X) =E

(X−E[X])^t(X−E[X])

= (Cov(Xi, Xj))_1≤i,j≤d

=











Var(X1) Cov(X1, X2) · · · Cov(X1, Xd) Cov(X2, X1) Var(X2) · · · Cov(X2, X_d)

... ... . .. ...

Cov(X_d, X1) Cov(X_d, X2) · · · Var(X_d)









 ,

où on rappelle que, pour toutes variables aléatoires réellesU etV de carré intégrable, Cov(U, V) =E[(U− E[U])(V −E[V])] =E[U V]−E[U]E[V](covariance deU etV). La matriceΓ_X est lamatrice de covariance de X (ou, plutôt, de la loi de X).

En particulier, si X₁, . . . , X_d sont indépendantes deux à deux, alors Γ_X est une matrice diagonale ayant pour coefficients diagonauxVar(X₁), . . . ,Var(X_d).

Comme Cov(X, Y) = Cov(Y, X) (ou comme^t(A^tA) =A^tA), la matriceΓX est symétrique. Elle est de plus positive : pour tout vecteur u∈R^d,

tuΓ_Xu=X

i,j

u_iCov(X_i, X_j)u_j =X

i,j

Cov(u_iX_i, u_jX_j) = Var(u₁X₁+· · ·+u_dX_d)≥0.

(En revenant aux définitions de Cov etVar, la dernière égalité est simplement le développement du carré d’une somme)

Au passage, on voit que Var(^tuX) = ^tuΓXu. Plus généralement, pour toute matrix A de taille (p, d), où p ≥1, le vecteur AX est une variable aléatoire à valeurs dans R^p, sa moyenne est Am_X (par linéarité de l’espérance) et sa variance est

Γ_AX =E

(AX−Am)^t(AX−Am)

=E

A(X−m)^t(X−m)^tA

=AE

(X−m)^t(X−m)_t

A=AΓ_X^tA.

En particulier (avec p = d), si ΓX =I_d (par exemple si X1, . . . , X_d sont indépendants et de variance 1), alorsΓ_AX =A^tA. Or toute matrice symétrique positiveΓ peut s’écrireΓ =A^tA : par exemple, partant de la diagonalisation Γ = P D^tP en base orthonormale où D = diag(λ₁, . . . , λ_d) avec λ₁ ≥ 0,. . . ,λ_d ≥ 0, on peut prendre A = Pdiag(√

λ1, . . . ,√

λ_d). On a alors ΓAX = A^tA = Γ si ΓX = I_d (Remarque : une autre matrice A possible est obtenue par la méthode de Cholesky). Ceci montre que les matrices de covariance sont les matrices symétriques positives.

Le rang de la matrice de covariance a une interprétation importante :

Proposition 1. Γ_X est de rang≤r si, et seulement s’il existe un sous-espace affine V de dimension r tel queX ∈V p.s.

Démonstration. On a vu que, pour tout u ∈ R^d,Var(hu, Xi) = ^tuΓ_Xu. Et une variable aléatoire de carré intégrable est constante p.s. (égale à sa moyenne p.s.) si, et seulement si sa variance est nulle. En particulier,

tuΓXu= 0si, et seulement sihu, Xi=hu, mip.s., ce qui équivaut à dire queX−m⊥up.s.. En appliquant ceci à toute base orthogonale deR^d qui commence par une base de ker Γ_X, on obtient que

X∈m+ ker ΓX

⊥

p.s..

(ker Γ ={x∈R^d|Γx = 0}={x∈R^d|^txΓx = 0} si Γ est symétrique positive) et quem+ (ker ΓX)^⊥ est le plus petit sous-espace pour lequel c’est vérifié, d’où la proposition.

2 Vecteurs gaussiens

SoitZ =^t Z1· · ·Z_d

, oùZ1, . . . , Z_dsont des variables aléatoires indépendantes de loiN(0,1),mun vecteur deR^d, etΓune matrice symétrique positive de tailled. On choisit une matrice carréeAtelle queA^tA= Γ.

Par ce qui précède,X =m+AZ est un vecteur aléatoire tel que

m_X =m et Γ_X =AΓ_Z^tA=AI_d^tA= Γ.

Calculons la fonction caractéristique de X. Pour toutu∈R^d, on a

tuX =^tum+^tuAZ =^tum+^t(^tAu)Z

donc (en notant h·,·ile produit scalaire usuel de R^d pour simplifier les notations) Φ_X(u) =E[e^ituX] =e^ihu,miΦ_Z(^tAu).

Les composantes deZ sont indépendantes et de loiN(0,1)donc

Φ_Z(u) = Φ_X1(u₁)· · ·Φ_Xd(u_d) =e^−12u21· · ·e^−12u2d =e^−12kuk2 =e^−12tuu. On en déduit

Φ_X(u) =e^ihu,mie^−12tuAtAu=e^ihu,mie^−12tuΓu.

On remarque notamment que la dernière expression ne dépend pas du choix de A, donc la loi de X non plus. X =m+AZ est appelé un vecteur gaussien de moyenne m et de covariance Γ et sa loi est appelée loi gaussienne de moyenne m et de covariance Γ, abrégée en N(m,Γ). La loi de Z, à savoir N(0, I_d) est appeléeloi gaussienne standard de R^d.

La proposition suivante caractérise les vecteurs gaussiens, c’est-à-dire suivant une loiN(m,Γ)pour certain vecteurm et un certaine matrice symétrique positiveΓ :

Proposition 2. Soit X un vecteur aléatoire de R^d. X est un vecteur gaussien si, et seulement si toute combinaison linéaire de composantes deX suit une loi gaussienne (sur R).

Démonstration. Une combinaison linéaire des composantes deX s’écritha, Xi=^taX oùa∈R^d. Sim etΓ sont l’espérance et la variance deX(qui existent sous chacune des deux hypothèses), alorsE[ha, Xi] =ha, mi etVar(ha, Xi) =^taΓa(vu dans la partie 1).

Ainsi, ha, Xi suit une loi gaussienne pour tout a ∈ R^d si, et seulement si, pour tout a ∈ R^d sa fonction caractéristique est

Φ_ha,Xi(u) =e^iuha,mie^{−12(taΓa)u2} =e^ihua,mie^{−12t(ua)Γ(ua)} etX est un vecteur gaussien si, et seulement si sa fonction caractéristique est

Φ_X(a) =e^iha,mie^−12taΓa.

Comme, de façon générale, Φha,Xi(u) = ΦX(ua), l’équivalence entre les deux propriétés précédentes se déduit immédiatement, d’où la conclusion.

Cette proposition permet de définir des vecteurs gaussiens dans un espace de dimension infinie.

La définition implique que si X ∼ N(m,Γ) et si A est une matrice de taille (p, d) et b ∈ R^d, alors AX +b ∼ N(am+b, AΓ^tA). (La définition montre que c’est un vecteur gaussien et ses paramètres se calculent comme dans la première partie)

En particulier, siZ est un vecteur gaussien standard etP est une matrice orthogonale (P^tP =I_d), alorsP Z est encore un vecteur gaussien standard. Autrement dit, la loi gaussienne standard (et plus généralement N(0, σ²I_d)) est invariante par les rotations de centreO (et par les symétries orthogonales d’axe passant par l’origine). Cette propriété se voit aussi sur la densité de la loi : elle est radiale.

Si Z ∼ N(0, I_d), on sait que Z a pour densité z 7→ ^√1

2πe^−z21· · ·^√1

2πe^−zd2 = (2π)^−d/2e^−12kzk2 puisque les composantes sont indépendantes. Pour le vecteur gaussien X = m+AZ ∼ N(m,Γ) (où Γ = A^tA), la proposition 1 montre que si Γ n’est pas inversible, X ne peut pas avoir de densité. En revanche, si Γ est inversible, un changement de variable montre queX a pour densité

fX :x7→ 1

p(2π)^ddet Γe^{−12t(x−m)Γ−1(x−m)}.

SiΓ est diagonale, alors les composantes X1, . . . , Xd d’un vecteur X ∼ N(m,Γ)sont indépendantes. Cela se voit sur la densité ci-dessus. Ou simplement parce que dans ce cas on peut prendreA= diag(σ1, . . . , σ_d) d’où X_i =m_i+σ_iZ_i. La réciproque est toujours vraie. Ainsi, les composantes d’un vecteur gaussien sont indépendantes si, et seulement si sa matrice de covariance est diagonale. Le théorème de Cochran généralise cette remarque.

Théorème 1 –Théorème de Cochran. SoitX ∼ N(m, σ²I_d), etR^d=E₁ ⊕^⊥ . . .⊕^⊥ E_rune décomposition de R^d en sous-espaces (affines) orthogonaux. Pour k = 1, . . . , r, on note d_k la dimension de E_k, et P_k la projection orthogonale sur E_k. Alors les variables aléatoiresY1 =P1X1,. . . ,Yr=PrX sont indépendantes, et

Y_k∼ N(P_km, σ²P_k) et 1

σ²kY_k−P_kmk²∼χ²_d

k.

Dans l’énoncé, χ²_d est la loi du χ² (khi-deux) à ddegrés de liberté, c’est-à-dire par définition la loi de la variable aléatoireZ₁²+· · ·+Z_r² où Z1, . . . , Zr sont i.i.d. de loiN(0,1).

Démonstration. Il suffit de montrer l’indépendance. La suite en résulte (avec ce qui précède, et le fait que P^tP =P²=P pour toute projection orthogonale P).

Pour k = 1, . . . , r, on choisit une base orthonormale (e_k,1, . . . , e_k,dk) de E_k, de sorte que (e1, . . . , e_d) = (e_1,1, . . . , e_1,d1, . . . , e_r,1, . . . , e_r,dr) est une base orthonormale de R^d. Les variables aléatoires hX, e_ii, i = 1, . . . , d, sont les composantes de X dans cette base. Or la loi de X est invariante par les applications orthogonales (vu plus haut) donc en particulier par les changements de base entre bases orthonormales. Par suite, les variables aléatoireshX, e_ii,i= 1, . . . , d, sont i.i.d. de loiN(hm, e_ii, σ²).

Comme Yk = PkX = Ak+hX, e_k,1ie_k,1 +· · ·+hX, e_k,dkie_k,dk, où Ak = Pkm, l’indépendance annoncée résulte de la propriété d’« indépendance par paquets » :Y1,. . . ,Yr dépendent respectivement de paquets de variables disjoints parmi une famille de variables indépendantes, donc sont indépendantes entre elles.

Remarque. On n’a donné qu’un cas particulier du théorème de Cochran, qui est le cas usuel. L’énoncé général (dont la preuve est essentiellement identique) supposeX ∼ N(m,Γ)oùΓest inversible etR^d=E1

⊕ · · ·⊥ ⊕^⊥ Erau sens du produit scalaire(u, v)7→ hu, viΓ=^tuΓv, et conclut que les projections orthogonales (au sens de ce même produit scalaire) deX surE1,. . . ,Ersont indépendantes. Les variableskYk−Pkmk²ne suivent cependant pas des lois duχ²(ce sont des sommes de variablesN(0,1)pondérées par les valeurs propres des différents sous-espaces), et la variance deYk estPkΓ^tPk.

Enfin, les lois gaussiennes sur R^d interviennent dans la généralisation du théorème central limite aux va- riables aléatoires à valeurs dansR^d :

Théorème 2 – Théorème central limite multidimensionnel. Soit X₁, X₂, . . . une suite de vecteurs aléatoires à valeurs dans R^d, i.i.d., de carré intégrable, de moyennem et de varianceΓ. Alors

√1

n(X₁+X₂+· · ·+X_n−nm)−→^(loi)

n N(0,Γ).

Démonstration. Même preuve que la version réelle. En remplaçantX_i parX_i−m on se ramène àm= 0.

Soitu∈R^d. On a

Φ√¹

n(X1+X2+···+Xn)(u) = ΦX

u

√n n

(oùΦX = ΦX1). On a le développement limité Φ_X(t) = 1−1

2

ttΓt+ o

t→0 ktk² , d’où

Φ√1

n(X1+X2+···+Xn)(u) =

1− 1 2n

tuΓu+o

n

1 n

n

−→n exp

−1 2

tuΓu

.

NB : On a utilisé (1−z_n/n)ⁿ = exp(nLn(1−z_n/n)) →_n exp(−c) où (z_n)_n est une suite complexe telle que zn →_n c et Ln est la détermination principale du logarithme complexe. L’égalité est vraie dès que

|1−z_n/n|<1, donc pourngrand, et la limite vient deLn(1−z)∼ −z, quandz→0,z∈C. (Si on définit z7→Ln(1−z) =−P∞

k=1 1

kz^k surD(0,1), c’est une série entière qui coïncide avec x7→ln(1−x) sur]0,1[; elle vérifie doncexp(Ln(1−z)) = 1−z pourz∈]0,1[et, par unicité du prolongement analytique, pour tout z∈D(0,1); etLn(1−z)∼ −z quandz→0 vu le premier terme du développement en série entière. )

Université Paris 13, Institut Galilée Préparation à l’agrégation Année universitaire 2014-2015

Notions de statistiques

Rappels sur les vecteurs gaussiens

Soitd∈N^∗. Unvecteur gaussienest un vecteur aléatoire à valeurs dansR^ddont toutes les combinaisons affines des composantes suivent des lois normales. La loi d’un tel vecteur aléatoire est caractérisée par sa moyennem et sa matrice de covarianceΓ, on la note N(m,Γ).

Pour toute matrice A de taille(p, d) et toutb∈R^p,

siX ∼ N(m,Γ)alorsAX+b∼ N(Am+b, AΓ^tA).

En particulier, si Γ = A^tA (A est appelée une racine carrée de Γ), et si X ∼ N(0, I_d) alors m+AX ∼ N(m,Γ). Ceci permet de toujours se ramener au cas N(0, I_d), la loi gaussienne standard de R^d, où les composantes sont indépendantes et de loiN(0,1).

Autre conséquence, si X ∼ N(0, σ²I_d) et A est une matrice orthogonale (rotation, symétrie orthogonale), A^tA=I_d donc AX a même loi que X. Le théorème suivant s’en déduit.

Théorème 3 –Théorème de Cochran. SoitX ∼ N(m, σ²I_d), etR^d=E₁ ⊕^⊥ . . .⊕^⊥ E_rune décomposition de R^d en sous-espaces (affines) orthogonaux. Pour k = 1, . . . , r, on note d_k la dimension de E_k, et P_k la projection orthogonale surEk. Alors les variables aléatoiresY1=P1X1,. . . ,Yr =PrX sont indépendantes,

Y_k∼ N(P_km, σ²P_k) et 1

σ²kY_k−P_kmk²∼χ²_d

k. (voir à la fin pour la définition de la loiχ²_d

k)

Démonstration. En remplaçantX parX−m, on peut supposer que m= 0.

Pour k = 1, . . . , r, on note(f_k,1, . . . , f_k,dk) une base orthonormale de E_k, de sorte que leur concaténation fournit une base orthonormale(f) = (f1, . . . , fd)de R^d. Le vecteur





 hX, f₁i

... hX, f_di







des composantes de X dans la base (f)est l’image de X par une application orthogonale (l’application de changement de base Adéfinie par A(f_i) =e_i où (e₁, . . . , e_d) est la base canonique de R^d). Par conséquent, ce vecteur a même loi queX, c’est-à-dire que ses composantes sont indépendantes et suivent la loiN(0, σ²).

Or chacune des projections

Y_k =P_kX=hX, f_k,1if_k,1+· · ·+hX, f_k,dkif_k,dk

pour k = 1, . . . , r, ne dépend que d’une sous-famille de composantes du vecteur précédent, et ces sous- familles sont disjointes les unes des autres, donc Y1, . . . , Yr sont indépendantes (propriété d’indépendance

« par paquets »).

De plus, on aYk=PkX ∼ N(0, σ²PktPk) etPktPk=P_k² =Pk (projection orthogonale), et kY_kk₂ =|hX, f_k,1i|²+· · ·+|hX, f_k,dki|²

d’où l’on déduit la deuxième partie vu la définition de χ²_d

k.

1 Principes généraux : estimation et test

L’objet des statistiques (plus exactement, des statistiquesmathématiques, ou inférentielles) est de déduire de l’observation de données supposées aléatoires des informations sur la loi de celles-ci.

On se restreint dans la suite au cas où les données observées sont des réalisations de nvariables aléatoires X1,. . . ,Xn indépendantes et de même loiµsurR^d. On dit que(X1, . . . , Xn)est un échantillon de taille n.

On peut globalement distinguer deux types de problématiques :

– l’estimation d’une grandeur numérique dépendant de µ (son espérance, sa variance,. . . ) : c’est une ap- proche quantitative. Les notions concernées sont lesestimateurs et les régions de confiance.

– confirmer ou infirmer des hypothèses sur la loiµ (Son espérance est-elle égale à 5?µ est-elle une loi de Poisson ?µ(surR^d) est-elle une loi produit ?. . . ) : c’est une approchequalitative. Notons que cela revient à estimer des grandeurs discrètes dépendant de µ (autrement dit, des fonctions indicatrices). La notion qui s’y rattache est celle de test d’hypothèse.

1.1 Estimation 1.1.1 Estimateurs

Supposons que l’on souhaite estimer la valeur d’une quantité θ ∈ R^d dépendant de µ. Typiquement, son espérance ou sa variance. Unestimateurdeθest une variable aléatoireθbà valeurs dansR^d, qui dépend de X₁,. . . ,X_n. Il est consistant (resp. fortement consistant) siθb→θ quand n→ ∞en probabilité (resp.

presque sûrement). La consistance est bien sûr une propriété essentielle pour un estimateur. On dit que θb estsans biais s’il est intégrable etE[θ] =b θ.

Exemple. Siµa une espérance finie, on peut, pour estimer son espérancem, utiliser lamoyenne empirique

mb =X_n= X1+· · ·+Xn

n .

C’est un estimateur sans biais (linéarité de l’espérance) et fortement consistant (loi forte des grands nombres).

Remarque. Bien que l’on se soit restreint ci-dessus àθ∈R^d, on peut considérer aussi des quantités vivant dans des espaces de dimension infinie, en adaptant alors la notion de consistance. Par exemple on peut tout simplement souhaiter estimerµelle-même (oùµest une mesure surR^d). Pour cela, un choix naturel est lamesure empirique

µb= 1 n

n

X

i=1

δX_i.

C’est la mesure sur R^d telle queµ(A)b est la proportion de points de l’échantillon qui appartiennent au borélien A. Par la loi forte des grands nombres (et la séparabilité deCc(R^d)), c’est un estimateur fortement consistant, au sens où, presque sûrementµb→µen loi quandn→ ∞.

Souvent, on suppose que µ appartient à un ensemble {µ_θ|θ ∈ Θ} de mesures de probabilités indexé par Θ ⊂ R^d. Dans ce cadre (qui revient à dire que θ caractérise µ), θ apparaît comme un paramètre de la loi µ, et on parle d’estimation paramétrique. Le modèle est dit identifiable si θ est défini uniquement, c’est-à-dire que θ7→µθ est injective sur Θ.

On peut souvent deviner une fonction qui constitue un (bon) estimateur de θ. Néanmoins, il y a aussi des méthodes plus ou moins générales :

Méthode des moments. Siθ=ϕ(m1, m2, . . . , mk)est une fonction continueϕdeskpremiers moments de µ:

m1 =m= Z

xdµ, m2 = Z

x²dµ, · · · m_k= Z

x^kdµ, alors, d’après la loi forte des grands nombres, un estimateur fortement consistant est

θb=ϕ(mb₁, . . . ,mb_k) où

mb₁ = 1 n

n

X

i=1

X_i, · · · mb_k= 1 n

n

X

i=1

(X_i)^k.

EMV. Si µ ∈ {µ_θ|θ ∈ Θ} et qu’il existe une mesure ν (pas nécessairement une probabilité) telle que µ_θν pour toutθ∈Θ(en généralν est la mesure de comptage, ou la mesure de Lebesgue), on appelle la densité

(x₁, . . . , x_n)7→L_θ(x₁, . . . , x_n) = dµ^⊗n_θ

dν^⊗n(x₁, . . . , x_n) = dµ_θ

dν (x₁)· · ·dµ_θ dν (x_n)

lavraisemblancedeθ. C’est une façon de mesurer la probabilité, sousµ_θ, d’observer un échantillon « voi- sin » de(x₁, . . . , x_n). L’estimateur du maximum de vraisemblanceest la valeurθb(pas nécessairement unique) telle que

Lbθ(X1, . . . , Xn) = sup

θ∈Θ

L_θ(X1, . . . , Xn).

Cet estimateur n’est pas toujours simple à déterminer mais sa définition en fait un estimateur naturel et, sous des hypothèses de régularité de θ7→ L_θ (que je ne précise pas), on peut montrer qu’il est consistant (et asymptotiquement gaussien).

Exemples d’EMV. a) On souhaite estimer la moyenneθ= ¹_λ deµ, où l’on sait queµ=E(λ)(loi exponentielle) pour un certainλ >0inconnu. Notonsµθ=E(1/θ)pour suivre les notations ci-dessus. On prendν =1_[0,∞[(x)dx.

Alors, pourx >0,

dµθ

dν (x) = 1 θe^−x/θ d’où

Lθ(X1, . . . , Xn) = 1

θⁿe^{−(X1+···+Xn)/θ}.

Comme souvent, il est plus pratique d’étudier lalog-vraisemblanceln(Lθ(X1, . . . , Xn)). Une étude de fonction donne immédiatement

θb= n

X₁+· · ·+X_n.

b) On souhaite estimer les paramètresp= (p1, . . . , pr)d’une loi discrèteµ=µpsur{1, . . . , r}(avecµp({i}) =pi).

On prend pourν la mesure de comptage sur{1, . . . , r}de sorte que dµp

dν (x) =µp({x}) =px

et donc

Lp(X1, . . . , Xn) =pX₁· · ·pX_n = (p1)^N1· · ·(pr)^Nr

oùN_k = Card{1≤i≤n|Xi=k}. On veut maximiserlnL_p=N₁lnp₁+· · ·+N_rlnp_r, parmi les vecteursptels quep_i≥0etp₁+· · ·+p_r= 1. C’est un problème d’optimisation sous contrainte. On peut le résoudre en utilisant un multiplicateur de Lagrange. p7→lnL_p tend vers−∞au bord du domaine donc son maximum est atteint à l’intérieur. Alors, il existeλ∈Rtel quep7→lnL_p−λ(p₁+· · ·+p_r−1)a un point critique enp. En dérivant parb rapport àp_i on trouve queN_i/pb_i=λd’où, via la contrainte,λ=net

bpi= Ni

n

(il y a un seul point critique donc par ce qui précède c’est bp).

1.1.2 Régions de confiance

On souhaite en général disposer de bornes autour de la valeur approchée fournie par un estimateur, afin de mesurer l’erreur possible surθ (θest appelé la valeur vraie).

Soitα∈]0,1[(en général,α= 5%ou1%). Une région de confiancedeniveau1−αest une partieA de R^d qui dépend de X1, . . . , Xn (donc « aléatoire ») telle que P(θ∈ A)≥1−α. Unerégion de confiance asymptotique de niveau1−α est telle quelimP(θ∈ A)≥1−α quand n→ ∞.

Dans R, on considère en général des régions de confiance qui sont des intervalles, et sont donc appelés intervalles de confiance.

Exemple. SiX₁, . . . , X_nsont i.i.d. de carré intégrable, de moyennemet de varianceσ², un intervalle de confiance se déduit de l’inégalité de Tchebycheff : pour toutA,

P |Xn−m|> A

≤ σ² nA²

(carVar(Xn) =σ²/n), donc l’intervalle

"

X_n− rσ²

nα, X_n+ rσ²

nα

#

est un intervalle de confiance de niveau1−α.

1.2 Tests

Les estimations peuvent suggérer certaines conclusions au sujet de la loi µ. Le rôle des tests est de décider si les données permettent effectivement, à certains niveaux d’erreur près, de tirer ces conclusions. Là où l’estimation donne une valeur numérique approchée de certaines grandeurs, le test produit un résultat binaire permettant éventuellement de prendre une décision.

Il convient d’être prudent. L’issue d’un test sera en général : « on rejette l’hypothèse » ou « on ne peut rejeter l’hypothèse », et on ne conclura pas, en revanche, que les données permettent d’accepter l’hypothèse. En cela, le choix de l’hypothèse est important et dépend des finalités de l’étude : il faut que le risque dont on souhaite minimiser la probabilité qu’il se produise soit celui de rejeter l’hypothèse à tort (faux négatif, ou erreur de première espèce). Par exemple, dans un test d’efficacité d’un médicament qui vient d’être mis au point, la sécurité sociale (qui, avec un budget en déficit, ne souhaite pas rembourser un médicament inefficace) peut vouloir tester l’hypothèse « le médicament est inefficace », quand le laboratoire pharmaceutique (qui souhaite rentabiliser son investissement en commercialisant le médicament) veut tester l’hypothèse « le médicament est efficace ».

Considérons deux hypothèsesH₀ etH₁ surµ, autrement ditH₀ etH₁ sont des ensembles de lois auxquels on se demande siµappartient. Le « test de H₀ contreH₁» consiste à décider si, en fonction des données, on peut rejeter l’hypothèse H₀ au profit de H₁ ou ne pas la rejeter. On appelle H₀ l’hypothèse nulle, c’est celle que l’on ne veut pas manquer de détecter. Ce test est deniveau α si, sous H₀ (c’est-à-dire siH₀ est vraie), le test est négatif avec probabilité ≤ α (un niveau classique est 5%). Sa puissance 1−β est la probabilité que le test soit négatif sousH₁(oùβ est donc la probabilité defaux positif, ouerreur de seconde espèce). Souvent, on ne contrôle pas la puissance du test (d’où la dissymétrie entreH₀ etH₁) mais on sait dire qu’elle tend vers1 quandntend vers l’infini : on dit que le test est consistant.

Le principe habituel pour concevoir un test consiste à définir une variable auxiliaire T à valeurs réelles, fonction de l’échantillon, dont on connaît (ou contrôle) la loi sousH₀et qui a un comportement très différent sous H₁. Typiquement, sousH₀,T a une loiν (ou converge en loi vers ν quand la taille nde l’échantillon tend vers l’infini) et, sousH₁,T diverge vers+∞en probabilité avecn. On choisit alors un intervalle borné A ⊂ R (région d’acceptation ou, plus proprement, région de non-rejet) telle que ν(A) > 1−α, et le test est : « siT /∈A, on rejetteH₀ ». SousH₀,P(T ∈A) =ν(A) = 1−α donc ce test est de niveauα. Et, sous H₁,P(T ∈A)→_n0carA est bornée etT → ∞(en probabilité), donc ce test est consistant.

NB. On note que, bizarrement, un intervalle de confiance de niveau 1−α fournit un test de niveau α. Le mot niveau a donc des significations bien différentes selon les cas. Pour un intervalle de confiance, c’est le niveau de confiance; pour un test, c’est le niveau de risque (de première espèce).

Remarque générale. Dans la suite, les énoncés sont souvent exacts dans le cas gaussien et approximatifs (pour n grand) dans un cadre très général. Il convient en pratique de veiller à ce que l’approximation gaussienne soit justifiée. Les énoncés pratiques sont donc assortis de limites d’application (valeur de nassez grande, etc.) que je ne précise pas toujours ci-après, d’autant qu’elles devraient théoriquement dépendre de la loi réellement suivie par les variables. Pour donner un ordre d’idée, on peut signaler qu’avant l’essor de l’informatique, une méthode populaire pour simuler des variables aléatoires de loi N(0,1), appelée « sum-of-twelve method », consistait à calculerU1+· · ·+U12−6oùU1, . . . , U12 sont i.i.d. de loi uniforme sur[0,1](donc de moyenne ¹₂ et de variance

1

12). L’approximation était déjà satisfaisante pour nombre d’usages (et d’un coût algorithmique très modéré).

2 Moyenne et variance

2.1 Estimation

On estime en général la moyenne d’une loi à l’aide de la moyenne empirique X_n= X₁+· · ·+X_n

n .

C’est un estimateur sans biais, et par la loi des grands nombres il est fortement consistant.

Si la moyennem est connue, on peut estimer la variance à l’aide de ˆ

σ² = 1 n

n

X

k=1

(X_k−m)²,

qui est sans biais et fortement consistant. En général,mest inconnue et on estime alors la variance à l’aide de la variance empirique

S_n² = 1 n−1

n

X

k=1

X_k−X_n2

.

La normalisation par n−1 le rend sans biais (calcul laissé en exercice). De plus (en développant), cet estimateur est fortement consistant. Normaliser par ndonne un autre estimateur fortement consistant qui peut aussi être utilisé.

Ces formules s’adaptent pour des variables à valeurs dans R^d : la moyenne empirique se définit de même, et la matrice de covariance empirique est

Γˆn= 1 n−1

n

X

k=1

Xk−Xn

_t

Xk−Xn

.

2.2 Régions de confiance

Variance connue. Siµ=N(m, σ²), alors Xn∼ N(m, σ²/n), donc

√n

σ (Xn−m)∼ N(0,1). On a donc P

√ n σ

X_n−m < A

= 1−α où Aest tel que

Z ∞ A

e^−t2/2 dt

√2π = α 2 (si α= 0.05,A'1.96) ce qui donne

P

m∈

Xn− σA

√n, Xn+ σA

√n

= 1−α.

Autrement dit, [Xn−^√σA_n, Xn+^√σA_n]est un intervalle de confiance de niveau1−αpourm. On a choisi cet intervalle symétrique du fait de la symétrie de la loiµ.

Par le théorème central limite, c’est de plus un intervalle de confiance asymptotique pour m dès que µ a pour varianceσ².

Dans R^d, siµ=N(m, σ²I_d) alorsXn ∼ N(m, σ²/nI_d), et comme cette loi est invariante par les rotations de centrem il est naturel de chercher une région de confiance qui soit une boule. On a

1

σ²kX_n−mk² = (X1−m)²

σ² +· · ·+ (Xn−m)² σ² ∼χ²_n

donc siR_n>0 est telle queP(Z_n< R_n) = 1−α oùZ_n∼χ²_n (R_n est de l’ordre de 1/n), alors P(kX_n−mk ≤σp

R_n) = 1−α, de sorte que la boule de centreXn et de rayonσ√

Rn est une région de confiance de niveau1−α pourm.

Si maintenant µ = N(m,Γ), et que A est une matrice carrée telle que Γ = A^tA, alors A⁻¹(X_n−m) ∼ N(0,1/nI_d) donc (avec la même valeurR_n que ci-dessus)

P(kA⁻¹(X_n−m)k ≤p

R_n) = 1−α d’où

P(m∈A·B(X_n,p

R_n)) = 1−α.

Autrement dit, l’ellipsoïde image de la boule de centre X_n et de rayon √

R_n par l’application A est une région de confiance pourm de niveau1−α.

Moyenne inconnue. Donnons un intervalle de confiance pour la variance lorsque la moyenne est incon- nue. On utilise la conséquence importante du théorème de Cochran qui suit :

Proposition 3. SiX₁, . . . , X_n des variables aléatoires i.i.d. de loi N(m, σ²), alors les variables aléatoires Xn etS_n² sont indépendantes,

X_n∼ N

m,σ² n

et n−1

σ² S_n² ∼χ²_n−1.

Démonstration. On considère la décomposition R^d =E⊕E^⊥ où E =R1 (1 étant le vecteur de Rⁿ dont toutes les composantes valent 1). En notant X=^t X1 · · · Xn

, on a :

PE(X) = X·1 k1k²1=





 X_n

... X_n





 et P_E^⊥(X) =X−PE(X) =







X₁−X_n ... X_n−X_n





,

donc Xn ne dépend que de PE(X) et S_n² = _n−1¹ kP_E⊥(X)k² ne dépend que de P_E^⊥(X). Le théorème de Cochran conclut, avec le fait queE^⊥ est de dimensionn−1.

Donc si µ=N(m, σ²), en choisissant0≤a_n< b_n tels queP(a_n< Z_n< b_n) = 1−α oùZ_n∼χ²_n−1, on a P

n−1

σ² S_n−1² ∈[a, b]

= 1−α

et donc

P

σ² ∈

n−1

b S_n²,n−1 a S_n²

= 1−α,

ce qui donne un intervalle de confiance pourσ (sans connaître m).

Remarque. La loi χ²_n n’est pas symétrique (elle est portée parR⁺). Un choix naturel d’intervalle de confiance consiste à prendrean, bntels queP(Zn< an) =^α₂ etP(Zn > bn) = ^α₂. Notons quean etbn tendent vers+∞avec n.

Variance inconnue. On suppose µ=N(m, σ²) avec m et σ² inconnues. L’intervalle de confiance pour m donné précédemment fait intervenirσ. Pour éviter cela, on peut bornerσ, ou l’approcher.

Siµ=B(p) (réponses oui/non à un sondage), alors σ² =p(1−p)≤ ¹₄. Reprenant l’intervalle de confiance asymptotique de niveau 1−α précédent, on en déduit l’intervalle asymptotique suivant (plus large, mais de peu pourp proche de1/2) :

Xn− A 2√

n, Xn+ A 2√ n

.

Si µ est quelconque de carré intégrable, on souhaite remplacer σ² par S_n² dans l’intervalle de confiance asymptotique donné plus haut. Pour cela, il suffit de justifier qu’on peut le faire dans le théorème central

limite : √

n

pS_n²(Xn−m)−→^(loi)

n N(0,1).

C’est effectivement vrai car(S_n²)nconverge presque-sûrement vers σ² et on dispose du

Proposition 4 – Lemme de Slutzky. Si les suites(Xn)net(Yn)n convergent respectivement en loi vers une variable aléatoire X et vers une constantec, alors la suite (X_n, Y_n)_n des couples converge en loi vers (X, c). Ainsi, f(X_n, Y_n) converge en loi versf(X, c)quand n→ ∞ pour toute fonction continuef.

Ainsi, l’intervalle

"

Xn−Ap S_n²

√n , Xn+Ap S_n²

√n

# ,

où A est tel que P(|Z| ≤ A) = 1−α pour Z ∼ N(0,1), est un intervalle de confiance asymptotique de niveau 1−α pourm, qui ne dépend pas de σ.

Si µ = N(m, σ²), cet intervalle de confiance n’est pas exact puisque la loi de

√n

√

S_n²(X_n−m) n’est pas gaussienne. L’importance pratique de cette situation justifie l’intérêt de chercher plutôt un intervalle de confiance exact. Par la Proposition 3,

√n

σ (X_n−m) ∼ N(0,1), ⁿ⁻¹_σ2 S_n² ∼ χ²_n−1 et ces variables aléatoires sont indépendantes, donc (par définition)

√n

pS_n²(X_n−m) =

√n

σ (X_n−m) q 1

σ²S_n²

∼tn−1

(loi de Student àn−1 degrés de liberté, voir appendice). Si on choisitA_ntel queP(|Z_n| ≤A_n) = 1−α où Zn ∼tn−1, alors l’intervalle donné plus haut, avecAn au lieu de A, est un intervalle de confiance (exact) de niveau 1−α pourm. Quandn→ ∞,An→A, donc cet intervalle de confiance exact (mais plus difficile à calculer) n’est intéressant que pour de petites valeurs den.

2.3 Tests de valeur

Moyenne Pour une valeur m₀ donnée, on souhaite tester l’hypothèse H₀ : «m =m₀ » contre l’une des hypothèses H₁ : «m6=m₀ »,H₁^> : «m > m₀ » ouH^<₁ : «m < m₀».

Supposonsσ² inconnue (le cas où σ² est connue fonctionne de même, avecN(0,1)au lieu detn−1 etσ² au lieu deS²_n). On a vu que, sousH₀,

T :=

√n

pS_n²(X_n−m₀) =

√n

σ (X_n−m₀) q 1

σ²S_n²

∼tn−1

donc, sous H₀,P(|T| ≤An) = 1−α oùAn est tel queP(Zn≤An) = 1−α siZn∼tn−1.

Le test « On rejetteH₀ si|T|> A_n» est un test de niveauαdeH₀ contre l’une quelconque des hypothèses H₁,H^>₁ ou H₁^<.

De plus, sousH^>₁,Xn−m0 →m−m0 >0 doncT →+∞ p.s., ce qui donneP(|T| ≤An)→_n0. Sous H^<₁, T → −∞ p.s., et sous H₁ l’un ou l’autre a lieu. Dans tous les cas, le test est consistant.

La différence entre les hypothèses alternatives est dans la puissance du test. Si l’hypothèse alternative est vraie, un bon test doit rejeter l’hypothèse avec grande probabilité. On sait que c’est vrai asymptotiquement.

Préciser l’hypothèse alternative permet de raffiner légèrement le test :

– SousH^>₁, l’hypothèse est rejetée du fait de grandes valeurs deT, donc il est inutile d’avoir une région de rejet située à gauche dem. Le test sera meilleur si on choisit la zone d’acceptation de la forme]− ∞, A]:

« On rejette H₀ si T > A⁺_n » où A⁺_n est tel que P(Z_n ≤ A⁺_n) = 1−α si Z ∼ tn−1. On parle de test unilatéral.

– Si l’hypothèse alternative estH^<₁, on choisit de même le test « On rejette H₀ siT > A⁻_n » oùA⁻_n est tel que P(Z_n≥A⁻_n) = 1−α siZ ∼tn−1. (En fait,A⁻_n =−A⁺_n)

– ContreH₁, on utilise la version initiale : un test bilatéral.

Variance On souhaite testerH₀ : «σ =σ0» contreH₁ : «σ 6=σ0»,H^<₁ : «σ < σ0» ouH^>₁ : «σ > σ0».

On applique la même principe que ci-dessus avec la variable C= n−1

σ₀² S_n².

On sait que, sousH₀,C∼χ²_n−1, etC sera plus grande sous H₁^>, donc :

– pour un test bilatéral (H₀ contreH₁), on choisitan, bn tels queP(an< Zn< bn) = 1−α siZn∼χ²_n−1; – pour un test de H₀ contreH^>₁, on choisit an tel que P(an< Zn) = 1−α;

– pour un test de H₀ contreH^<₁, on choisit b_n tel queP(Z_n> b_n) = 1−α.

Alors le test « On rejetteH₀ siC /∈[an, bn]» (resp. C < an,C > bn) est un test de niveauα de H₀ contre H₁ (resp. H₁^>,H^<₁).

De plus, on peut justifier que ce test est consistant. De même qu’avant, le premier test est en fait consistant pour chacune des trois hypothèses, mais moins puissant que les versions unilatérales dans le cas de H^>₁ et H^<₁. On note qu’iciC ∼n^σ_σ²2

0

tend vers+∞ p.s. quel que soitσ, donc la consistance n’est pas aussi directe que pour le test de valeur de la moyenne. Elle se déduit du fait que an ∼ bn ∼ n et ^C_n →_n ^σ2

σ²₀ p.s., donc sousH₁ l’intervalle[a_n/n, b_n/n]ne contient presque sûrement plus ^C_n pourngrand.

2.4 Tests de comparaison

On suppose que l’on dispose de deux échantillonsX₁, . . . , X_nde loiN(m_x, σ²_X)etY₁, . . . , Y_pde loiN(m_Y, σ_Y²) indépendants entre eux. On souhaite tester l’égalité de leurs moyennes et variances.

Comparaison de moyennes Pour le test qui suit, on suppose les variances égales (on verra juste après comment tester cette hypothèse) :σ =σX =σY. En revanche, on suppose σ inconnue.

On souhaite tester H₀ : «m_X = m_Y » contre H₁ : «m_X 6=m_Y », ou contre H^X>Y₁ : «m_X > m_Y », ou contreH^X<Y₁ : «mX < mY ».

Comme mX −mY est estimé parXn−Yp, on peut chercher un test basé sur les valeurs de cette variable.

Elle suit la loiN(mX−mY,^σ_n²+^σ_p²). Il faut se ramener à une loi connue, ne dépendant pas deσ. Siσétait connue, on dirait que, sousH₀,

q1 n+ ¹_p

σ X_n−Y_p

∼ N(0,1).

Ici, on va utiliser comme d’habitudeS_X² etS_Y² (les variances empiriques) pour remplacer σ.

On applique le théorème de Cochran à la décomposition orthogonaleR^n+p =E_X ⊕E_Y ⊕F et au vecteur Z, où

EX =R



















 1

... 1 0 ... 0





















, EY =R



















 0

... 0 1 ... 1





















, F = (EX+EY)^⊥ etZ =



















 X1

... Xn

Y1

... Yp



















 .

Alors (comme dans la proposition 3) Xn ne dépend que de PEX(Z), Yp ne dépend que de PEY(Z) et kP_F(Z)k²= (n−1)S_X² + (p−1)S_Y², donc ces trois quantités sont indépendantes, et la dernière a la loi de σ²C où C∼χ²_n+p−2 cardimF =n+p−2. Par suite, la variable aléatoire

T = q1

n+ ¹_p X_n−Y_p q(n−1)S_X²+(p−1)S²_Y

n+p−2

suit, sous H₀, la loitn+p−2. On en déduit les tests de niveau α:

– DeH₀ contreH₁ : « On rejette l’hypothèse m_X =m_Y si|T|> A», où Aest tel queP(C > A) =α/2 si C ∼χ²_n+p−2.

– DeH₀ contreH^X>Y₁ : « On rejette l’hypothèsem_X =m_Y siT > A», où A est tel queP(C > A) =α.

– DeH₀ contreH₁^X<Y : « On rejette l’hypothèse mX =mY si T <−A», oùA est tel queP(C > A) =α.

Sim_X 6=m_Y,T diverge vers±∞p.s. quandn, p→ ∞d’où la consistance (comme pour les tests précédents).

Comparaison de variances On souhaite tester l’hypothèse H₀ : «σ_X =σ_Y » contre H₁ : «σ_X 6= σ_Y (ou . . . ou . . . ).

On se rappelle (proposition 3) que ⁿ⁻¹

σ²_X S_X² ∼χ²_n−1, ^p−1

σ²_Y S_Y² ∼χ²_p−1 et ces variables sont indépendantes par hypothèse, donc sousH₀ (c-à-d. si σX =σY), la variable

F =

n−1

σ²_X S_X²/(n−1)

p−1

σ_Y² S_Y²/(p−1) = σ_Y² σ²_X

S_X² S_Y² = S_X²

S_Y² suit (par définition) la loiF(n−1, p−1)(loi de Fischer-Snedecor).

On a alors le test de niveau α suivant : « On rejette l’hypothèse σ_X = σ_Y si F /∈ [a, b]» où a, b sont tels que P(Z < a) = P(Z > b) = ^α₂ si Z ∼F(n−1, p−1). (Et on a les tests unilatéraux pour les hypothèses alternatives correspondantes).