Vecteurs Gaussiens

n

Y

i=1

E(e^intYi) =

ϕ_Yt n

ⁿ

=

1 +imt n+ot

n ⁿ

.

Quandn→ ∞, on a doncϕ_Y

n(t)qui converge verse^imtpour toutt∈R, qui est la fonction caractéristique de la variable aléatoire constante m. D'après le théorème de Lévy, Y converge donc en loi versm. La convergence en loi vers une constante implique la convergence en probabilité, d'où le résultat.

1.2 Vecteurs Gaussiens

Le théorème central limite permet d'étudier plus précisément le comportement de la moyenne empirique Y_n= _n¹Pn

i=1Y_id'un échantillon iid autour de l'espérance lorsqueY₁admet un moment d'ordre2. Sous sa forme vectorielle, la limite est une généralisation vectorielle de la loi normale, appelée vecteur Gaussien.

Pour simplier, on considèrera une constante comme une variable aléatoire Gaussienne de variance nulle.

Dénition 1.5. Soit m∈R^k et Σ∈R^k×k une matrice symmétrique semi dénie-positive. Un vecteur aléatoireX deR^k est un vecteur Gaussien de moyenne met de varianceΣ si pour tout vecteura∈R^k, a^>X ∼ N(a^>m,a^>Σa). On le noteX∼ N(m,Σ).

On vérie facilement que la matriceΣest bien la matrice de covariance de X. En eet,

- Poura=ei lei-ème vecteur de la base canonique,a^>X=Xi∼ N(mi,Σii) =⇒var(Xi) = Σii. - Poura=e_i+e_j, on obtientX_i+X_j∼ N(m_i+m_j,Σ_ii+Σ_jj+2Σ_ij)d'où on déduitcov(X_i, X_j) = Σ_ij. Une propriété fondamentale de la famille des vecteurs Gaussiens est qu'elle est stable par transformation ane.

Proposition 1.6. SoitX ∼ N(m,Σ)un vecteur Gaussien deR^k. PourA∈R^p×ketb∈R^p,Y =AX+b est un vecteur Gaussien deR^p de loiY ∼ N(Am+b,AΣA^>).

Preuve. Soit a∈R^p, on a a^>Y =a^>(AX+b) = (A^>a)^>X +a^>b. CommeX ∼ N(m,Σ), on sait que (A^>a)^>X ∼ N (A^>a)^>m,(A^>a)^>Σ(A^>a). Commea^>best une constante, on déduit

(A^>a)^>X+a^>b=AY +b∼ N a^>(Am+b),a^>(AΣA^>)a . Ceci est valable pour touta∈R^p, d'où le résultat.

Il existe d'autres dénitions équivalentes d'un vecteur Gaussien.

Proposition 1.7. Un vecteur aléatoire X est un vecteur Gaussien de moyenne m∈R^k et de variance Σ∈R^k×k si, et seulement si:

1. X a pour fonction caractéristique

ϕX(t) =E e^it>X

= exp

it^>m−t^>Σt 2

, t∈R^k. 2. SiΣest inversible,X a pour densité

fX(x) = 1 (2π)^k/2p

det(Σ)exp

−1

2(x−m)^>Σ⁻¹(x−m)

, x∈R^k.

Preuve. SoitX qui vérie la dénition 1.5, on remarque que ϕX(t) =ϕ_t>X(1) = exp

i t^>m−t^>Σt 2

,

où le terme de droite est une simple évaluation de la fonction caractéristique d'une variable aléatoire Gaussienne réelleN(t^>m, t^>Σt). De plus, on vérie facilement qu'un vecteur aléatoire de densité f_X a pour fonction caractéristiqueϕ_X. Le résultat découle du fait que la fonction caractéristique caractérise la loi.

Remarque 1.8. Lorsque la matrice Σ n'est pas inversible, X vit dans le sous-espace ane A = {m} ⊕Im(Σ)⊂R^k, dans le sens où P(X ∈ A) = 1. Dans ce cas,X n'admet pas de densité sur R^k par rapport à la mesure de Lebesgue.

Proposition 1.9. SoitX ∼ N(m,Σ)etY₁=A₁X+b₁,Y₂=A₂X+b₂deux transformations anes de X à valeurs dansR^p1 etR^p2 respectivement. Les énoncés suivants sont équivalents:

i) Y1 etY2 sont indépendants

ii) Y₁ etY₂ sont non-corrélés: E(Y₁Y₂^>)−E(Y₁)E(Y₂^>) = 0∈R^p1×p2 iii) A1ΣA^>₂ = 0∈R^p1×p2

En particulier, les coordonnées d'un vecteur Gaussien sont indépendantes si et seulement si elles sont non-corrélées.

Preuve. Clairement i) =⇒ ii). De plus, E(Y₁Y₂^>)−E(Y₁)E(Y₂^>) = A₁ΣA^>₂ d'où ii) =⇒ iii). Enn, Y := (Y₁^>, Y₂^>)^>est un vecteur Gaussien par la proposition 1.6. Pourt= (t1, t2)^>∈R^p1+p2, sa fonction caractéristique est donnée par

ϕY(t) = exp

i(t^>₁b1+t^>₂b2)−t^>₁A1ΣA^>₁t1+t^>₂A1ΣA^>₁t1+ 2t^>₁A1ΣA^>₂t2

2

. On a doncϕY(t) =ϕY₁(t1)ϕY₂(t2)si et seulement siA1ΣA^>₂ = 0.

On est maintenant en mesure de présenter la version vectorielle du théorème central limite.

Théorème 1.10 (Théorème central limite). Soient Y1, ..., Yn, ... des variables aléatoires de R^k iid de carré intégrable telles queE(Yi) =m∈R^k etvar(Yi) = Σ∈R^k×k, l'estimateurYn =_n¹Pn

i=1Yi vérie

√n(Y_n−m)−−−−→^loi

n→∞ N(0,Σ).

La preuve du théorème central limite utilise également le théorème de Lévy, en développant à l'ordre 2 la fonction caractéristique au voisinage de zéro.

Preuve du théorème central limite. On poseZi=Yi−m. On aE(Zi) = 0,E(ZiZ_i^>) = Σet ϕZ(t) =E(e^iht,Z1i) = 1−t^>Σt

2 +o(ktk²).

En écrivant√

n(Yn−m) = ^√1_nPn

i=1Zi, on déduit ϕ^√_n(Y

n−m)(t) =E e^iht,

√n(Yn−m)i

=

n

Y

i=1

E e^i√1nht,Zii

=

ϕZ

t

√n ⁿ

=

1−t^>Σt

2n +oktk² n

ⁿ .

Pour toutt ∈R^k, la fonction caractéristique de √

n(Yn−m)au point tconverge donc vers e^−12t>Σt, la fonction caractéristique d'une loi normaleN(0,Σ). On conclut par le théorème de Lévy.

Dénition 1.11. La loi du Khi-2 àkdegrés de liberté, notéeχ²(k), est la loi de la somme des carrés de k variables aléatoires indépendantes de loiN(0,1).

Le théorème suivant concerne la loi de projections orthogonales de vecteurs Gaussiens.

Théorème 1.12 (Théorème de Cochran). SoitXun vecteur Gaussien standard deR^k,X∼ N(0,I). Soit Eun sous-espace vectoriel deR^k de dimensiondetΠEsa matrice de projection orthogonale. Alors,ΠEX et(I−ΠE)X sont des vecteurs Gaussiens indépendants de loisN(0,ΠE)etN(0,I−ΠE)respectivement.

De plus,kΠEXk² etk(I−ΠE)Xk²sont des variables aléatoires indépendantes de loisχ²(d)etχ²(n−d). Preuve. Les lois de ΠEX et (I−ΠE)X de déduisent immédiatement de la Proposition 1.6. De plus, la fonction caractéristique deX= Π_EX+ (I−ΠE)X est égale au produit des fonctions caractéristiques de Π_EX et(I−ΠE)X par le théorème de Pythagore, les vecteursΠ_EXet(I−ΠE)Xsont donc indépendants.

Soit u₁, ...,u_d une base orthonormée de E et U = (u₁, ...,u_d) ∈ R^k×d. On remarque que U^>U = I (la matrice identité deR^d) etUU^>= Π_E. Par la proposition 1.6,U^>X est un vecteur Gaussien standard de R^d. D'où

kΠEXk²=kUU^>Xk²=kU^>Xk²=

d

X

i=1

(u^>_i X)²∼χ²(d).

La loi dek(I−ΠE)Xk² s'obtient de la même manière.

Le théorème de Cochran est notamment utilisé pour construire les tests de signicativité des coecients dans un modèle de régression linéaire Gaussien.

2 Statistique inférentielle paramétrique

Contrairement aux statistiques descriptives qui consistent essentiellement à résumer l'information con-tenue dans des données à l'aide d'indicateurs (moyenne, médiane, variance etc...) ou de représentations graphiques (diagrammes, boxplots, histogrammes etc...), la statistique inférentielle cherche à fournir un modèle probabiliste qui explique les données observées. Les observations sont donc traitées comme des réalisations de variables aléatoires de loi inconnue, dont on cherche à retrouver certaines caractéristiques (ex: espérance, probabilité d'un événement, densité etc...).

La statistique inférentielle permet de répondre à diérentes questions:

1. Le choix d'un modèle permettant de décrire le phénomène aléatoire 2. L'estimation de la loi des observations

3. La vérication d'hypothèses par des tests

Plus le modèle est précis, plus il sera facile d'évaluer la loi des observations. Par exemple, si on observe un échantillonx1, ..., xn issu d'une loi normaleN(m, σ²), il sut d'estimer la moyenne et la variance des observations pour connaître la loi. En revanche, on prend le risque de considérer un modèle qui n'est pas exact. Si les observations ne sont pas Gaussiennes, on ne retrouvera jamais leur loi en se limitant à un modèle Gaussien.

Dénition 2.1. Un modèle paramétrique est un modèle pour lequel la loi des observations dépend d'une ou plusieurs constantes inconnues appelées paramètres.

Par exemple, le modèle Gaussien{N(m, σ²), m∈R, σ² >0}, le modèle de Poisson{P(λ), λ >0}ou le modèle exponentiel{E(λ), λ >0} sont des modèles paramétriques.

Dénition 2.2. Un modèle non-paramétrique est un modèle qui ne peut pas être décrit par un nombre ni de paramètres.

Utiliser un modèle non-paramétrique signie généralement qu'on dispose de peu d'information sur la loi µdes observations. Par exemple,µ est une loi continue (densité),µ admet un moment d'ordre deux,µ est une loi symétrique par rapport à zéro ou encoreµest une loi de probabilité (aucune information) sont des exemples de modélisation non-paramétriques.

Lorsqu'on choisit un modèle paramétrique, on prend le risque que la vraie loi des données n'appartienne pas au modèle. Un modèle non-paramétrique permet donc une évaluation parfois moins précise mais plus robuste de cette loi.

2.1 Modèle d'échantillonage

Soit(Ω,A,P)un espace probabilisé etX un sous-ensemble deR. On observe une réalisation(x1, ..., xn)∈ Xⁿd'un vecteur aléatoire(X1, ..., Xn). On suppose les composantesX1, ..., Xnindépendantes et de même loiµ sur X. On dira que le vecteur (X1, ..., Xn)est un échantillon de variables indépendantes et iden-tiquement distribuées, abrégé en iid.

Il faut distinguer l'échantillon(X1, ..., Xn)qui est aléatoire, et les données(x1, ..., xn) = (X1(ω), ..., Xn(ω)) qui sont la réalisation d'un événementω. Lors d'une étude statistique, on observe seulement l'image de ω par les fonctionsX1, ..., Xn.

Dénition 2.3. Une statistiqueT =T(X₁, ..., X_n)est une fonction connue de l'échantillon.

Une statistique T est une variable aléatoire dont on observe une réalisation T(x₁, ..., x_n). On parle d'estimation lorsque l'on cherche à approcher une caractéristique de la loi µ (par exemple sa moyenne) par une fonction des observations. La statistique utilisée est appelée estimateur.

Dénition 2.4. Le biais d'un estimateurT deθ est la quantité b(T) =E(T)−θ.

Le biais n'est déni que si l'espérance deT est dénie, c'est-à-dire si E|T|<∞. Si le biais est nul, on dira que T est un estimateur sans biais, ce qui est évidemment une propriété appréciable. Cela signie que l'estimateur est égal "en moyenne" au paramètre à estimer.

Dénition 2.5. L'erreur quadratique moyenne (EQM) d'un estimateurT deθ est la quantité EQM(T) =E(T−θ)²∈[0,+∞].

On dit qu'un estimateurT deθ converge dansL² si son EQM tend vers zéro. La formule de la décom-position biais-variance:

EQM(T) =b(T)²+ var(T)

permet de montrer immédiatement qu'un estimateur converge dans L²si et seulement si son biais et sa variance tendent vers zéro.