MNCS–Thème 3 : analyse de données, statistique descriptive et inférentielle

(1)

MNCS–Thème 3 : analyse de données, statistique descriptive et inférentielle

J. Lefrère

Université Pierre et Marie Curie

février 2015

J. Lefrère (UPMC) MNCS Thème 3 février 2015 1 / 52

Table des matières

Table des matières I

Introduction

Bref rappel de probabilités Variables aléatoires

Lois de probabilité, fonction de répartition Moments d’une v.a.

Statistiques d’ordre et quantiles d’une v.a.

Fonctions caractéristiques et fonction génératrice Fonctions d’une variable aléatoire

Distributions bivariées, conditionnement Variables aléatoires indépendantes (v.a.i.) Lois de probabilité usuelles

Table des matières

Table des matières II

Estimation

Position du problème Estimateurs des moments

Loi de probabilité, fonction de répartition Théorème de la limite centrale

Tests

Introduction aux tests Test duχ²

Test de Kolmogorov-Smirnov

Introduction

En physique, on est souvent amené à analyser de vastes séries de mesures, dont on cherche à synthétiser les propriétés statistiques.

1750 1800 1850 1900 1950 2000

−10

−5 0 5 10 15 20 25

Température moyenne mensuelle sur 239 ans à Montsouris

Année

Température en Celsius

• On fait alors appel à lastatistique descriptivedont le but est de faire ressortir l’information contenue dans les données (par exemple par des méthodes de classification, d’analyse en composantes principales...) ;

• Souvent, on doit définir ces propriétés sans disposer de toutes les mesures possibles. On ne dispose dans ce cas que d’un échantillon des mesures et l’on cherche à estimer les propriétés de la variable aléatoire sous-jacente. On utilise alors les résultats de la statistique inférentiellequi s’appuie sur la théorie des probabilités.

(2)

Bref rappel de probabilités

Variables aléatoires

Unevariable aléatoire(v.a.)X est un objet mathématique permettant de représenter une expérience ou une mesure dont le résultat n’est ou ne peut être connu exactement à l’avance.

On distingue deux types de variables aléatoires :

• variablesà valeurs discrètes: tirage d’un dé, jet d’une pièce de monnaie, comptage d’événements (particules, photons, appels téléphoniques), etc.

• variablesà valeurs continues: durée d’un trajet, durée de vie d’un composant, vitesse d’une molécule dans un gaz, température, etc.

Bref rappel de probabilités Lois de probabilité, fonction de répartition

Variables aléatoires discrètes

Dans le cas discret, à chaque valeur possiblexk de la variableX, on associe la probabilité de réalisation de l’événementX =xk soitP(X =xk) =pk. Loi des grands nombres : cette probabilité peut être vue comme la fréquence d’occurrence de l’événementxk dans la limite d’un nombre d’expériences infini.

P est appelé laloi de probabilité de X et vérifieP

k

P(X =x_k) = 1.

Définir lafonction de répartition F_X deX par :

FX(x) =P(X 6x) (1)

FX est croissante, lim

x→−∞FX(x) = 0, lim

x→+∞FX(x) = 1et P(a<X 6b) =F_X(b)−F_X(a).

Bref rappel de probabilités Lois de probabilité, fonction de répartition

Variables aléatoires continues

Dans le cas continu, la loi de probabilité peut admettre unedensité de probabilitéf_X (pdf : probability density function), et alors :

P(x<X 6x+dx) =fX(x) dx (2) avecR+∞

−∞ fX(x) dx= 1. N.-B. : dans le cas continu,P(X =x) = 0

Lafonction de répartition(cdf : cumulative density function) est définie de la même manière que dans le cas continu, et dans le cas oùfX existe,FX est la primitive defX : FX(−∞) = 0etFX(+∞) = 1

F_X(x) = Z x

−∞

f_X(t) dt (3)

P(a<X 6b) =F_X(b)−F_X(a) =Rb

a f_X(t) dt.

N.-B. : Une loi discrète peut être représentée dans ce formalisme par une densité constituée de distributions de Dirac aux pointsxk pondérées par leur probabilités pk respectives.

fX(x) =X

k

pkδ(x−xk) (4) La fonction de répartition présente alors des discontinuitésp_k en ces points.

Bref rappel de probabilités Moments d’une v.a.

Moments d’une v.a.

On définit lemoment d’ordren d’une variable aléatoireX par :

m_n = E (Xⁿ) =









 X

k

x_kⁿP(X =x_k) discret Z +∞

−∞

xⁿf(x) dx continu

(5)

Moment d’ordre 1 = espérance mathématiqueE (X)(ou la moyenne) On définit de même lemoment centré d’ordre n par :

µn= E ([X−E (X)]ⁿ) =









 X

k

(xk−m1)ⁿP(X =xk) discret Z +∞

−∞

(x−m1)ⁿf(x) dx continu (6)

(3)

Moment centré d’ordre 2 =variance V (X)de la v.a.X V (X) = E [X−E (X)]²

= E X²

−E (X)² σ=√

V (X) =√

µ₂ estl’écart type(standard deviation) deX σmesure la dispersion des données autour de la moyenne.

• Variablecentréelorsque sa moyenne est nulle,

• Variableréduitelorsque de plus sa variance vaut 1.

• Variable centrée-réduiteX⁰ associée àX par :X⁰ =X −m₁ σ

On définit aussiles coefficientssans dimension liés aux moments d’ordre 3 et 4 : d’asymétrie(skewness) γ₁= µ₃

σ³ d’aplatissement(kurtosis) γ₂= µ₄

σ⁴ −3

(7)

Certains auteurs définissent ce coefficient comme µ4

σ⁴; on parle alors d’excess kurtosispourγ2.

Le coefficient d’asymétrie (et plus généralement, tous les moments centrés d’ordre impair) est nul pour une variable dont la loi de probabilité est symétrique par rapport à la moyenne.

Le coefficient d’aplatissement mesure l’importance des « queues » de la loi de probabilité : il est positif quand les événements extrêmes sont plus probables que pour une variable gaussienne.

Bref rappel de probabilités Statistiques d’ordre et quantiles d’une v.a.

Statistiques d’ordre et quantiles d’une v.a.

Quantile(percentile ou fractile) d’ordreq (0<q<1)=

valeurx_q telle que P(X 6x_q) =q, c’est-à-direx_q=F_X⁻¹(q) x_q ne dépend que de l’ordreentre les valeurs prises par la v.a.

⇒moins sensible aux valeurs aberrantes isolées que les moments.

• Mode= valeur la plus probable (v.a. discrète) ou valeur où la densité de probabilité est maximale (v.a. continue)

• Médiane= valeurx_1/2 telle que FX(x_1/2) = 1/2

⇔autant de valeurs à gauche qu’à droite de la médiane (ne pas confondre avec la moyenne ni avec le mode)

utilisée pour éliminer des parasites isolés dans un signal (filtre médian)

• en statistique, on définit desintervalles de confianceà 90%, par

[x0.05, x0.95]dans le cas symétrique pour encadrer des paramètres estimés.

Bref rappel de probabilités Fonctions caractéristiques et fonction génératrice

Fonctions caractéristiques et fonction génératrice I

La première fonction caractéristiqueΦX est la transformée de Fourier de la densitéfX :

Φ_X(u) = E e^iuX

= Z +∞

−∞

f_X(x)e^iux dx (8) À partir de la densité de probabilité, on peut calculer tous les moments d’une v.a.

et il faut tous les connaître pour revenir à sa densité.

Φ_X(u) =

∞

X

k=0

i^ku^k

k! E X^k

(9) dⁿΦX

duⁿ (u= 0) =iⁿE (Xⁿ) et Φ_X(0) = 1 (10) ΦX(u) = 1 +iuE (X)−1

2u²E X²

+· · · (11)

(4)

Bref rappel de probabilités Fonctions caractéristiques et fonction génératrice

Fonctions caractéristiques et fonction génératrice II

La deuxième fonction caractéristiqueΨX est le logarithme de la première.

ΨX(u) = ln ΦX(u) = ln

E e^iuX

(12) Ψ_X se développe selon les cumulantsK_n(X).

dⁿΨ_X

duⁿ (u= 0) =iⁿK_n(X) et Ψ_X(0) = 0 (13) En particulierK1(X) = E (X)etK2(X) = V (X).

SiX est centrée,K3(X) =µ3(X)etK4(X) =µ4(X)−3µ2(X)² (tous deux nuls pour une gaussienne).

Ψ_X(u) =iuE (X)−1

2u²V (X) +· · · (14) Transformation linéaire deX :

Y =aX+b ⇒ ΦaX+b(u) = E

e^iu(aX+b)

=e^iubΦX(au)

⇒ ΨaX+b(u) =iub+ ΨX(au)

Bref rappel de probabilités Fonctions d’une variable aléatoire

Fonctions d’une variable aléatoire I

Distribution de la fonction d’une v.a.

Y =g(X)où g est une fonction certaine.

Déduire laloi deg(X)de celle deX

Cas oùg estmonotone(croissante par exemple)

P(X 6x) =F_X(x) =P(g(X)6g(x)) =F_Y(g(x))

⇒ FY(y) =FX(g⁻¹(y)) ⇒ fY(y) = fX(g⁻¹(y) g⁰(g⁻¹(y)) Plus généralement

fY(y) =fX(x)

dx dy Sommer toutes les contributions si gnon monotone.

Application I

Égalisation d’histogrammeen traitement d’image

Rendre uniforme l’histogramme des niveaux de gris pour améliorer le contraste

0*10⁰ 1*10⁴ 2*10⁴ 3*10⁴ 4*10⁴ 5*10⁴ 6*10⁴ 7*10⁴ 8*10⁴

0 50 100 150 200 250

niveau de gris histogramme cumulé initial

nécessite de classer les données

0*10⁰ 1*10⁴ 2*10⁴ 3*10⁴ 4*10⁴ 5*10⁴ 6*10⁴ 7*10⁴ 8*10⁴

0 50 100 150 200 250

niveau de gris histogramme cumulé après égalisation

Application II

Générateurs pseudo-aléatoiresde loi imposée à partir d’un générateur uniforme X uniforme sur[0,1]doncf_X(x) = 1etF_X(x) =x.

f_Y imposée doncF_Y par intégration, puis choisirg=F_Y⁻¹

Exemple : loi exponentielle de paramètre λ

générer la v.a. Y de densité

f_Y(y) =λe^−λy pour y>0.

1. intégrer la densité de probabilité de Y F_Y(y) =

Z y 0

f_Y(y₁) dy₁= 1−e^−λy=x 2. inverser la fonction de répartition deY

⇒Y =−ln(1−X)/λ suit une loi exponentielle

(5)

Moments de la fonction d’une v.a.

Approximation desmoments d’une fonction non-linéaire d’une v.a.: développerg(X)autour de la moyenne m1= E (X)

g(X) =g(m1) + dg

dX

m₁

(X −m1) +1 2

d²g dX²

m₁

(X−m1)²+· · · En prenant l’espérance,

E (g(X))≈g(m1) +1 2

d²g dX²

m1

V (X)≈g(m1) =g(E (X)) En négligeant le terme du second ordre dans la moyenne,

V (g(X))≈ dg

dX 2

m1

V (X)

Bref rappel de probabilités Distributions bivariées, conditionnement

Distributions bivariées, conditionnement

Probabilité conjointe deAet B:P[Aet B]

X etY de loi conjointeFX,Y =P[X 6x etY 6y]

Densité de probabilité conjointedeX etY : f_X,Y(x,y) = ∂²FX,Y

∂x ∂y Densité de probabilité marginale de Y :

f_Y(y) = Z +∞

−∞

f_X,Y(x,y) dx Probabilité conditionnelledeB sachant queAest vrai :

P[B|_A] =P[AetB]/P[A]

Densité de probabilité conditionnelledeY connaissantX : f_Y_|_X(y;x) = f_X,Y(x,y)

fX(x) (15)

Bref rappel de probabilités Variables aléatoires indépendantes (v.a.i.)

Variables aléatoires indépendantes (v.a.i.)

Événementsindépendants

P[Aet B] =P[A]×P[B] ⇐⇒ P[A|B] =P[A]

X et Yvariables aléatoires indépendantes(v.a.i.) si factorisation des cdf et pdf : FX,Y(x,y) =FX(x)×FY(y) ⇔ fX,Y(x,y) =fX(x)×fY(y)

ou encoref_Y_|_X(y;x) =f_Y(y)

Moments bivariés

E (g(X,Y)) =RR

g(x,y)f_X,Y(x,y) dx dy Covariance(^? pour complexe conjugué)

Cov(X,Y) = E ((X−E (X))(Y −E (Y))^?) = E (XY^?)−E (X) E (Y^?)

Moments de v. a. indépendantes.

E (XY) = E (X) E (Y) et covariance nulle car RR

x,yfX,Y(x,y)xy dx dy =hR

xx fX(x) dxi hR

yy fY(y) dyi

Bref rappel de probabilités Variables aléatoires indépendantes (v.a.i.)

Somme de variables aléatoires indépendantes

Loi de la sommede deux variables aléatoires :Z =X+Y FZ(z) =P[Z 6z] =

Z +∞

x=−∞

Z z−x y=−∞

fX,Y(x,y) dx dy = Z +∞

x=−∞

F_Y_|_X=x(z−x)fX(x) dx

$y$

$z$

$x$

$y=z−x$

$x$ $x+dx$

y z

z x

y = z −

x

x x+dx

Cas général :produit de convolution fZ=f_Y_|_X=x ?fX

Cas oùX etY sontindépendantes: f_X+Y =f_X?f_Y =⇒ Φ_X+Y = Φ_XΦ_Y Les secondes fonctions caractéristiques s’ajoutent.

ΨX+Y = ΨX+ ΨY

(6)

Bref rappel de probabilités Lois de probabilité usuelles

Variables aléatoires discrètes I

• la loi discrèteuniformesur1,2, ...,n :

∀k∈ {1,2, ...,n},P[X =k] = 1

n; (16)

moyennem₁= n+ 1

2 , varianceσ²= n²−1 12 .

• la loi de Bernoulli(ou de pile ou face) de paramètrep:

P[X = 1] =p etP[X = 0] = 1−p; (17) moyennem₁=p, varianceσ²=p(1−p),

Φ(u) =pe^iu+ 1−p≈1 +piu−pu²/2 +· · ·

Ψ(u) = ln (1 +p(e^iu−1))≈piu−p(1−p)u²/2 +· · ·

Variables aléatoires discrètes II

• la loi binomiale de paramètres n etp,

obtenue en sommant n variables de pile ou face indépendantes :

P(X =k) =C_n^kp^k(1−p)^n−k, pour06k6n. (18) moyennem₁=np, varianceσ²=np(1−p).

Ψ(u) =nln (1 +p(e^iu−1))≈npiu−np(1−p)u²/2 +· · ·

• la loi de Poisson de paramètreλ: P[X =k] = λ^k

k! exp(−λ) k>0 (19) moyennem₁=λ, variance σ²=λ.

Φ_X(u) = exp [λ(e^iu−1)]

Ψ_X(u) =λ(e^iu−1) =λ(iu+u²/2−iu³/6 +· · ·) K_n(X) =λ ∀n

Variables aléatoires discrètes III

Applications des secondes fonctions caractéristiques

• La somme de deux v.a.i. de Poisson de paramètresλ1 etλ2 est une v.a. de Poisson de paramètreλ1+λ2.

• La loi de Poisson est la limite de la loi binomiale pourn → ∞etp→0avec np=λ. →loi des événements rares

En développant la seconde fonction caractéristique Ψ(u) =nln

1 +λ

n(e^iu−1)

=n

"

λ

n(e^iu−1)− λ

n 2

· · ·

#

→λ(e^iu−1)

Variables aléatoires continues I

• la loiuniformesur[0 ;a], de densité de probabilité : f(x) = 1

a pour06x6a; (20) moyennem1=a/2, varianceσ²=a²/12.

• loiexponentielle de paramètreλ:

f(x) =λexp(−λx)six >0 (21) moyennem₁= 1/λ, variance σ²= 1/λ², m_n=n!/λⁿ.

Cette distribution est étalée vers la droite : γ₁= 2etγ₂= 6.

Φ(u) = λ

λ−iu = 1

1−iu/λ =

∞

X

k=0

iu λ

k

=

∞

X

k=0

(iu)^k k! mk

(7)

Variables aléatoires continues II

• la loigaussienne(ou normale) d’espérancem et de varianceσ²: f(x) = 1

σ√ 2πe⁻

(x−m)2

2σ2 (22)

µ2k+1 = 0etγ2= 0. Fonction de répartition sans expression analytique obtenue à partir de la «fonction d’erreur » (erf(x) = ^√²_πRx

0 e^−t² dt) : F(x) = 1

2

1 +erf

x−m σ√

2

(23) moyennem₁=m, varianceV (X) =σ²

Φ(u) = exp (ium−u²σ²/2)

Ψ(u) =ium−u²σ²/2polynôme de degré 2 (cumulants d’ordre > 2 nuls) Conséquence : la somme de deux v.a.i. de Gauss est une v.a. de Gauss (les moyennes et les variances s’ajoutent).

Variables aléatoires continues III

• loi duχ²_n àn degrés de liberté ; c’est la loi de la variable :

n

X

k=1

X_k² (24)

où les variables X_k sont des variables gaussiennes centrées-réduites indépendantes.

Fonction de répartition F(x) =P

n

X

k=1

X_k²<x

!

= Γn 2, x

2

(25) où Γest la fonction gamma incomplète :

Γ(a,x) = Rx

0 e^−tt^a−1 dt R∞

0 e^−tt^a−1 dt (26)

moyennem1=n, varianceV (X) = 2n.

Densité de la loi du χ

²

5 D.L.

10 D.L.

20 D.L.

50 D.L.

100 D.L.

0 20 40 60 80 100 120 140 160 180 200

0.00 0.02 0.04 0.06 0.08 0.10 0.12 0.14 0.16

Densité de probabilité de la loi du chi^2

Densité de probabilité du chi^2

Estimation Position du problème

La question de l’estimation

On se place ici dans le cas où l’on dispose d’un ensemble de données (par exemple, une série d’observations d’un même phénomène en physique) et l’on cherche à estimer les propriétés de la variable aléatoire (le phénomène physique) dont les données constituent une réalisation.

Si lesn données sont des tiragesindépendants de la variable aléatoire, elles constituent unéchantillon de taille n.

Définir unestimateurd’un paramètre statistique de la loi que suit la variable aléatoire, c’est se donner une méthode de calcul approché de ce paramètre en fonction desn tirages.L’estimateur est alors lui-même une variable aléatoire, puisque sa valeur dépend de la réalisation dont on dispose.

Il s’agit de choisir un estimateur :

• sans biais (sans erreur systématique)

• de faible variance (présentant le minimum de dispersion)

• convergent: qui tend vers le paramètre à estimer (souvent au sens de la moyenne quadratique) lorsque la taille de l’échantillon tend vers l’infini.

(8)

Estimation Estimateurs des moments

Estimateur de la moyenne

L’estimateur X de la moyenne est calculé selon : X = 1

n

X

k=1

X_k (27)

L’estimationx est une réalisation de la variable aléatoireX, fonction desn réalisations indépendantes deX dont on cherche à estimer les propriétés :m sa moyenne etσ² sa variance.X est un estimateur :

• sans biais :∀n,E X

=m; E X

= E 1 n

n

X

k=1

Xk

!

= 1 n

n

X

k=1

E (Xk) = 1

nnE (X) = E (X)

• de variance :V X

=σ²

n (car lesX_k sont indépendants) V X

= V 1 n

n

X

k=1

Xk

!

= 1 n² V

n

X

k=1

Xk

!

= 1 n²

n

X

k=1

V (Xk) = V (X) n

• convergent :X −→

n→ ∞m.

Estimateur de la variance

Si la moyenne n’est pas connue, un estimateur naturel de la variance est : S⁰²= 1

n

X

k=1

Xk−X²

Mais l’emploi de la moyenne empirique en fait un estimateur biaisé : X(X_k−m)²=X

(X_k−X)²+ 2(X−m)X

(X_k−X) +n(X−m)² X(Xk−X) = 0 ⇒ nV (X) =nE S⁰²

+nV X E S⁰²

= n−1 n σ² On lui préfère donc l’estimateur sans biaisS :

S²= 1 n−1

n

X

k=1

Xk−X²

(28) Cet estimateur est aussi convergent.

Estimateurs des moments d’ordre supérieur

Les coefficients d’asymétrie et d’aplatissement sont estimés respectivement selon :

Γ1= 1 n

n

P

k=1

(Xk−X)³

S³ Γ2=

1 n

n

P

k=1

(Xk−X)⁴

S⁴ −3 (29)

Les estimateurs associés sont asymptotiquement (n→ ∞) non-biaisés et convergents.

Estimation Loi de probabilité, fonction de répartition

Estimateurs des lois et fonction de répartition

On obtient des informations sur la loi de probabilité de la variable aléatoire que l’on étudie en construisant l’histogramme empiriquedes fréquences

d’occurrence des différentes valeurs observées. Le problème pratique, dans le cas continu, consiste à trouver un compromis entre des intervalles de valeurs (ou classes) assez larges permettant d’obtenir un histogramme d’allure régulière, mais suffisamment petits pour ne pas trop réduire l’information.

La fonction de répartition est quant à elle approchée par lafonction de répartition empirique F_n^∗ : soient(x1,x2, . . . ,xn)les différentes valeurs observéesclassées par ordre croissant, alors :

F_n^∗(x) =











0 six <x₁ k

n six_k 6x <x_k+1 1 six >xn

(30)

On peut démontrer que la fonction de répartition empirique converge presque sûrement vers la fonction de répartition de la variable dont on possède un échantillon.

(9)

Estimation Théorème de la limite centrale

Théorème de la limite centrale I

X₁,X₂,· · ·,X_n n variables aléatoires indépendantes de même loi (échantillon de taillen) possédant une moyennem et une varianceσ².

X_n= 1 n

n

X

i=1

X_i moyenne empirique

E X_n

= E (X) et V X_n

= σ²

n →0sin → ∞ SoitY_i la variable centrée associée àX_i

SoitZ_n la variable centrée réduite associée à X_n Zn= X_n−m

σ/√

n = 1 σ√

n

X

i=1

Yi

Ψ_Z_n(u) = Ψ_σ^√_nZ_n(u/σ√

n) =nΨ_Y_i(u/σ√ n)

Théorème de la limite centrale II

CommeY_i est centrée,Ψ_Y_i(v) =−σ²v²/2 +v²ε(v), donc Ψ_Z_n(u) =n

−σ² 2

u² nσ² + u²

nσ²ε u

σ√ n

Ψ_Z_n(u) =−u² 2 +u²

σ²ε u

σ√ n

→ −u²

2 si n→ ∞ ΨZ_n →deuxième fonction caractéristique d’une gaussienne centrée-réduite.

Xn tend vers une gaussienne de moyennem et sa variance tend vers 0 comme1/n Rôle prépondérant des gaussiennes dans lesphénomènes additifs

(physique macroscopique = somme de contributions microscopiques indépendantes)

Application : générateurs pseudo-aléatoires quasi-gaussiens

Somme den v.a.i. uniformes =⇒ convolution des distributions : densité de la somme = polynôme de degrén−1.

Convergence rapide :n = 12pour simplifier le calcul (variance unité).

Autre application : la loi duχ²_n tend vers une gaussienne pourn grand.

Un cas de non application de la limite centrale : la loi de Cauchy

Loi de Cauchy : celle du rapport de 2 gaussiennes centrées réduites indépendantes Densité de probabilité

fX(x) = 1 π

1 1 +x² Fonction de répartition

FX(x) = 1 2+1

πarctanx Fonctions caractéristiques

Φ_X(u) = exp(−|u|) et Ψ_X(u) =−|u|

Mais aucun moment de la loi de Cauchy n’existe !Mais mode et médiane nuls.

La moyenneXn den v.a.i. de Cauchy suit aussi une loi de Cauchy quel que soitn. Ψ_X

n(u) =nΨ_X(u/n) =−n|u/n|=−|u|= Ψ_X(u)

Échantillon de la loi de Cauchy

−500

−400

−300

−200

−100 0 100 200 300

0 100 200 300 400 500 600 700 800 900 1000

1000 tirages de Cauchy

Figure:Un échantillon de 1000 tirages selon la loi de Cauchy

(10)

Tests Introduction aux tests

Introduction aux tests d’hypothèses I

Untestest un mécanisme de décision permettant de trancher entre deux hypothèses :

• une hypothèse dite « nulle » notéeH₀

• et une hypothèse alternative notéeH₁

au vu des résultats d’un échantillon d’observations.

Nous ne présentons ici que deux tests relatifs à laloi de probabilitéque suit la variable étudiée, outests d’adéquation(goodness-of-fit) :

• letest du χ² et

• letest de Kolmogorov-Smirnov.

De nombreux autres tests existent, permettant de comparer par exemple

• lamoyennede deux échantillons (test de Student)

• ou leurvariance(test de Fisher).

Introduction aux tests d’hypothèses II

````

````````

Décision

Hypothèse

H₀ H₁ acceptationD₀ 1−α β rejet (région critique)D₁ α 1−β

Stratégie de décision : partition de l’espace des observations entre région d’acceptation (D₀) et région critique (D₁).

Performancesdéterminées par :

• α=P[D1|_H

0]risque de première espèce(rejet erroné ou fausse alarme)

• β=P[D₀|_H

1]risque dedeuxième espèce (acceptation erronée)

• 1−β=P[D1|_H

1]puissancedu test (rejet justifié)

Maximum de vraisemblance a posteriori

Minimiser la somme des probabilités d’erreur :

min (β+α) ⇐⇒ min P[D₀|_H₁] +P[D₁|_H₀] min

Z

D₀

p(#–x|_H₁) d#–x + 1− Z

D₀

p(#–x|_H₀) d#–x min

Z

D0

[p(#–x|H₁)−p(#–x|H₀)] d#–x

Choisir le domaineD0 de façon à minimiser l’intégrale en n’intégrant que des termes négatifs. La décision est donc :

#–x ∈D₀ ⇐⇒ V(#–x) =p(#–x|_H₀) p(#–x|H₁) >1 Comparaison durapport de vraisemblance V(#–x)à 1.

Stratégie bayésienne

Si on connait les probabilités a priori p0=P[H0] etp1=P[H1], la probabilité d’erreur est :

p_e=p₀P[D₁|_H₀] +p₁P[D₀|_H₁] =p₀α+p₁β Mais on affecte parfois des coûts différents à ces deux risques

min p0c10P[D1|H₀] +p1c01P[D0|H₁] La décision est donc :

#–x ∈D₀ ⇐⇒ V(#–x) = p(#–x|H₀)

p(#–x|H₁) > p1c01

p0c10

Comparaison durapport de vraisemblanceV(#–x)à un seuil.

(11)

Cas non paramétrique

L’hypothèseH₁ est simplement la négation deH₀ et ne permet en général pas de calculer des probabilités.

Stratégie de Neyman-Pearson :

• choisir un risqueacceptable de rejetα

• etmaximiser la puissance 1−βdu test (minimiserβ)

Comparaison du rapport de vraisemblanceV(#–x)à un seuil déterminé parα.

Tests Test duχ2

Test du χ

²

sur l’histogramme I

On cherche à évaluer l’écartD entre l’histogramme construit à partir de l’échantillon et la loi de probabilité qu’est censée suivre la variable aléatoire.

Dans le cas continu, cela impose de discrétiser les observations en classes, ce qui peut faire préférer le test de Kolmogorov-Smirnov présenté plus loin.

On considère ainsi que l’histogramme empiriquea été construit en utilisantk classes d’effectifsN₁,N₂, . . . ,N_k avec la condition :

k

X

i=1

Ni=N où N est le nombre total d’observations (31) L’hypothèse que l’on cherche à tester est :

H0 : la variable aléatoireX dont on possède un échantillon suit une loi de probabilité donnée, pour laquelle la probabilité associée à chaque classe estp₁,p₂, . . . ,p_k.

L’hypothèse alternative est :

H1 : la variable aléatoireX suit une autre loi de probabilité.

Tests Test duχ2

Test du χ

²

sur l’histogramme II

N_i=effectif d’une classe = somme de N v.a.i. de type pile ou face :

• 1si le tirage tombe dans la classei

(probabilitépi donnée par la loi et la classe)

• 0sinon (probabilité1−pi)

Ni suit une loi binomiale de moyenne Npi et devarianceNpi(1−pi)≈Npi

Mais lesNi liés parPk

1Ni=N

On calcule alors la distance (ou « statistique »)D permettant de mesurer l’écart quadratique pondérépar l’inverse de la variance de l’histogramme à celui de la loi de probabilité testée :

D=

k

X

i=1

(N_i−Np_i)² Npi

(32)

Tests Test duχ2

Test du χ

²

sur l’histogramme III

On démontre queD suit uneloi duχ²_ν, àν =k−1−cdegrés de liberté, dans la limite où l’effectif de chaque classe est suffisamment grand,

=⇒ éliminer les classes d’effectif inférieur à 5 par exemple.

Nombre de degrés de liberté ν=k−1−c

+k nombre de classes retenues dans l’histogramme (de population assez grande)

−1car l’effectif total impose une relation entre lesN_i

−cle nombre de paramètres de la loi estimés à partir de l’échantillon (par exemple : moyenne, écart-type, etc.)

(12)

Tests Test duχ2

Test du χ

²

sur l’histogramme IV

0 100 200 300 400 500 600 700

−15 −10 −5 0 5 10

nombre d’ocurrences

anomalie de température (K) histogramme des anomalies de température

classes trop peu peuplées exclues

N_i expérimental Np_i théorique seuil de population à 5

12 classes retenues

⇒9 degrés de liberté

Figure:Histogrammes expérimental et théorique

Tests Test duχ2

Test du χ

²

sur l’histogramme V

Question :quand rejeterH0 avec un risque r (généralement faible) acceptable ?

• Estimer la moyenne et la variance via les moments empiriques pour identifier la gaussienne candidate.

• Fixer le nombre classes et leurs bornes (il faudrait qu’elle aient des populations proches). Calculer l’histogramme théorique.

• Calculer l’histogramme de l’échantillon et en déduireν etd.

• Fixer unrisquer (faible : 5% par ex.) de rejeterH0 alors qu’elle est vraie ; en déduire unseuil, la valeur critiquedc définie par

P_χ2

ν[D6dc] = 1−r ce qui nécessite d’inverser la distribution cumulée du χ².

• Décider :

• sid>dc, rejeter l’hypothèseH0;

• sid<dc, accepter l’hypothèseH0.

N.-B. :on ne démontre jamais que la variable aléatoire étudiée suit bien la loi de probabilité testée, mais seulement que l’échantillon dont on dispose est conforme avec l’hypothèse H₀.

Tests Test duχ2

Test du χ

²

sur l’histogramme VI

Risque déduit du seuil : densité de probabilité duχ²

zone de rejet de H0

seuil = 18.31

0 5 10 15 20 25 30 35 40

0.00 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.10

Test du chi^2 à10 degrés de liberté avec un risque de 0.050

densité de probabilité

Tests Test duχ2

Test du χ

²

sur l’histogramme VII

Risque déduit du seuil : inversion de la fonction de répartition cumulée duχ²

95 %

seuil = 18.31

0 5 10 15 20 25 30 35 40

0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0

Test du chi^2 à10 degrés de liberté avec un risque de 0.050

Probabilité cumulée du chi^2 à10 degrés de liberté

(13)

Tests Test de Kolmogorov-Smirnov

Test de Kolmogorov-Smirnov I

Letest de Kolmogorov Smirnovne nécessite pas de discrétiser les variables aléatoires continues (avantage par rapport au test duχ²) :

=⇒évite un choix arbitraire des classes de l’histogramme empirique.

Ce test travaille sur la fonction de répartition et l’on teste l’hypothèse :

H₀: la variable aléatoire X dont on possède un échantillon suit une loi de probabilité donnée de fonction de répartition F(x) =P(X 6x).

L’hypothèse alternative est comme précédemment :

H₁: la variable aléatoire X suit une autre loi de probabilité.

On mesure l’écart maximald_N entreF(x)et la fonction de répartition empirique F_N^∗(x):

dN =sup |F_N^∗(x)−F(x)| (33) En pratique, il fautclasser les données et, puisque la fonction de répartition empirique estdiscontinueaux valeursx_k de l’échantillon, il faut calculerd_N comme :

dN =sup (|F_N^∗(xk)−F(xk)| ;|F_N^∗(x_k−1)−F(xk)|) (34)

Test de Kolmogorov-Smirnov II

La fonction de répartition de la variable aléatoireDN dontdN est une réalisation a pu être calculée (pourN → ∞).

Elle estindépendante de la loi de probabilité de la variableX : Ph√

N D_N <d_ci

−→

N→∞1 + 2

∞

X

k=1

(−1)^kexp (−2k²d_c²) (35) On pourra utiliser la valeur limite dès queN >80. Le calcul de la somme fournit : P

DN <1,223

√ N

= 0,90 ; P

DN < 1,358

√ N

= 0,95 ; P

DN < 1,629

√ N

= 0,99 La comparaison dedn calculé à partir de l’échantillon avec les valeurs limites précédentes permet donc de conclure, pour un certain risque, sur le rejet ou non de l’hypothèse nulle.

Test de Kolmogorov-Smirnov III

Cas où on estime des paramètres de la loi avant le test

La limite (35) n’est exacte que lorsque la fonction de répartitionF(x)à tester est entièrement spécifiéea priori.

Si on a recours à l’échantillon pour estimer certains paramètres deF(x)(tels que moyenne ou écart-type), les valeurs de distances critiques sont trop conservatives : le test pousse à conserver l’hypothèse nulle, alors qu’il faudrait la rejeter.

Des simulations numériques ont permis de calculer les valeurs ded_c adéquates, notamment lorsque l’on teste si l’échantillon peut être une réalisation d’une variable aléatoire gaussienne et qu’on estime la moyenne et l’écart-type à partir de l’échantillon.

=⇒prendred_c⁰ ≈2dc/3, par exemple : P

DN < 0,886

√ N

= 0,95 (36)

0 0.2 0.4 0.6 0.8 1

−12 −10 −8 −6 −4 −2 0 2 4 6

fréq. cumulée d’ocurrences

anomalie de température fonction de répartition cumulée des anomalies de température expérimental

théorique

Allure générale

0.45 0.46 0.47 0.48 0.49 0.5 0.51 0.52 0.53 0.54 0.55

−0.2 −0.15 −0.1 −0.05 0 0.05 0.1 0.15 0.2

fréq. cumulée d’ocurrences

anomalie de température

Zoom fonction de répartition cumulée des anomalies de température expérimental

théorique

Zoom : on remarque les discontinuités de la répartition empirique Figure:Répartition cumulée expérimentale et

théorique pour le test de Kolmogoroff Smirnov

(14)

Bibliographie

Quelques références bibliographiques

Jenkins, GwilymetD. G. Watts,Spectral analysis and its applications, 525 pages (Holden-Day, 1968), ISBN 0-8162-4464-2.

Lejeune, Michel,Statistique : la théorie et ses applications, 434 pages (Springer, 2010), deuxième édition, ISBN 978-2-8178-0156-8.

Saporta, Gilbert, Probabilité, Analyse des données et Statistique, 622 pages (Technip, 2011), troisième édition, ISBN 978-2-7108-0980-7.