A.Godichon-Baggioni Modèlelinéaire Miseàniveau

(1)

Mod`ele lin´eaire

A. Godichon-Baggioni

(2)

I. Mod`ele lin´eaire

(3)

MODELE DE R` EGRESSION´

L’objectif est d’expliquer une variableYen fonction de variables explicativesX. Plus précisément, un modèle de regression est un modèle o ù on considère :

I des variables al´eatoires `a expliquerY1, . . . ,Yn

I des vecteursX1, . . . ,Xn∈R^p(variables explicatives) I une fonction de r´egressiong:R^p−→R

I des variables aléatoires indépendantes et centrées ₁, . . . , _n

Le modèle de régression est défini comme Yi=g(Xi) +_i.

(4)

EXEMPLE 1 : Y_i = ax²_i +bx_i+c+_i

−2 −1 0 1 2

0246

X

Y

(5)

EXEMPLE 2 : Y_i = ax_i+ b+_i

−2 −1 0 1 2

−6−4−2024

X

Y

(6)

MODELE LIN` EAIRE´

D´efinition

Lorsque la fonction de régréssion est linéaire, i.e de la forme g(X) =X^Tβ

avecβ∈R^p, le modèle de régression associé est dit linéaire.

(7)

FORME MATRICIELLE

On considère le modèle linéaire

Yi=g(Xi) +_i=X^Tiβ+_i. On noteY= (Y1, . . . ,Yn)^T,= (₁, . . . , _n)^Tet

X= (X1, . . . ,Xn)^T=







X1,1 . . . X1,p

... . .. ... Xn,1 . . . Xn,p





.

La forme matricielle du modèle linéaire s’écrit alors Y=Xβ+.

(8)

EXEMPLE 1 : MODELE LIN` EAIRE SIMPLE´

On ax1, . . . ,xn∈Ret pour touti yi=a+bxi+_i. Le mod`ele s’´ecrit sous la forme

Y=Xβ+.

avec

X=





 1 x1

... ... 1 xn





, et β = a

b

.

La fonctionx7−→a+bxest dite droite de r´egression.

(9)

EXEMPLE 2 : REGRESSION POLYNOMIALE´

On ax1, . . . ,xn∈Ret pour touti

yi=a0+a1xi+. . .+apx^p_i +_i. Le mod`ele s’´ecrit sous la forme

Y=Xβ+. avec

X=







1 x1 . . . x^p₁ ... ... ... 1 xn . . . x^pn





, et β =





 a0

... ap





.

(10)

Comment estimer β ?

(11)

II. M´ethode des moindres carr´es

(12)

ESTIMATEUR DES MOINDRES CARRES´

La méthode des moindres carrés consiste à chercherβˆ∈R^pqui minimise la quantité suivante :

kY−Xβ⁰k² =

n

X

i=1

Yi−X^T_iβ⁰² .

βêst appelé estimateur des moindres carrés.

I Existence d’une solution ? I Unicit´e ?

(13)

EXISTENCE ET UNICITE´

Th´eor`eme

SiXest de rang p, alors l’estimateur des moindres carr´es est unique et est d´efini par

βˆ= X^TX⁻¹ X^TY

(14)

PROPOSITION

Proposition

La matriceX^TXest semi-d´efinie positive. De plus, elle est positive si et seulement siXest de rang p.

Remarque : La matriceXne peut ˆetre de rangpque sin≥p.

(15)

MOINDRES CARRES ET PROJECTION´

On doteD⊂R^ple sous espace vectoriel engendré par les colonnes deX. Le problème de minimization peut s’écrire comme

min

β⁰∈R^pkY−Xβ⁰k² = min

h∈DkY−hk²

et chercher le minimum revient donc `a cherche la projection orthogonale deYsurD.

Remarque : dim(D) =rang(X).

(16)

MOINDRES CARRES ET PROJECTION´

Th´eor`eme

Si rang(X) =p, i.e siX^TXest inversible, alors la matrice PD=X X^TX⁻¹

X^T

est la matrice de projection orthogonale sur D et rang(H) =p.

(17)

PROPRIET´ ES DE L´ ’ESTIMATEUR DES MOINDRES CARRES´

Proposition

Soit= (₁, . . . , _n)avecE[] =0_Rⁿet Var[] =σ²In,σ²>0. On suppose de plus que rang(X) =p. Alors

E hβˆi

=β et Varh βˆi

=σ² X^TX⁻¹ .

(18)

D ´EFINITIONS

D´efinition

1. On appelle

ˆ

=Y−Xβˆ le vecteur des r´esidus.

2. On appelle

SCR=kˆk²= Y−Xβˆ

2

la somme des carr´es des r´esidus.

(19)

ESTIMATION DE σ²

Th´eor`eme

Soit= (₁, . . . , _n)avecE[] =0_Rⁿet Var[] =σ²In,σ²>0. On suppose de plus que rang(X) =p. Alors

ˆ σ²=

Y−Xβˆ

2

n−p = 1

n−p

n

X

i=1

Yi−X_i^Tβˆ2

est un estimateur sans biais deσ².

(20)

III. Mod`ele lin´eaire gaussien

(21)

MODELE LIN` EAIRE GAUSSIEN´

D´efinition

Le modèle de régression linéaire

Y=Xβ+

est dit mod`ele lin´eaire gaussien siest un vecteur gaussien de loi N 0, σ²In

avecσ²>0.

Proposition

Dans le cadre du modèle linéaire gaussien, l’estimateur des moindres carrés co¨ıncide avec l’estimateur du maximum de vraisemblance.

(22)

PROPRIET´ ES DES ESTIMATEURS´

Th´eor`eme

Soit∼ N 0, σ²In

,σ² >0. On suppose de plus que rang(X) =p.

Alors

1. βˆ∼ N

β, σ² X^TX−1 . 2. βˆetσˆ²sont ind´ependantes.

3. ^(n−p)_σ2 σˆ²∼χ²_n−p.

(23)

INTERVALLE DE CONFIANCE

Th´eor`eme

Soit x0∈R^p. Un intervalle de confiance de niveau1−αpour x^T₀β est donn´e par

h

x^T₀βˆ−σˆ√

v0tn−p,1−α/2;x^T₀βˆ+ ˆσ√

v0tn−p,1−α/2

i

avec v0=x^T₀ X^TX−1

x0et tn−p,1−α/2est le quantile d’ordre 1−α/2de la loi de Student à n−p degrés de liberté.

(24)

INTERVALLES DE PREDICTION´

Th´eor`eme

Soit x0∈R^p. Un intervalle de pr´ediction de niveau1−αde y0est donn´e par

h

x^T₀βˆ−σˆp

1+v0tn−p,1−α/2;x^T₀βˆ+ ˆσp

1+v0tn−p,1−α/2

i

avec v0=x^T₀ X^TX−1

x0et tn−p,1−α/2est le quantile d’ordre 1−α/2de la loi de Student à n−p degrés de liberté.

Remarque : L’intervalle de pr´ediction est plus grand que l’intervalle de confiance car il doit ´egalement prendre en compte la variance de₀.

(25)

TEST DE SIGNIFICATIVITE D´ ’UN PARAMETRE`

Soitk∈ {1, ...,p}, on souhaite tester

H0: ”β_k=0” contre H1: ”β_k6=0”.

Proposition

Dans le cadre du modèle linéaire gaussien, un test de significativité du k-ème coefficient de niveauαest donné par la zone de rejet

ZRα,k=n 0∈/ h

βˆ_k±σˆ√

vktn−p,1−α/2

io ,

o `uvk=

X^TX−1

k,kest lek-`eme coefficient diagonal de X^TX−1

ettn−p,1−α/2est le quantile d’ordre 1−α/2 de la loi de Student àn−pdegrés de liberté.

(26)

TEST DE SIGNIFICATIVITE DE PLUSIEURS´

COEFFICIENTS´

On souhaite tester la significativit´e de plusieurs coefficients β_i₁, . . . , β_i_k. Pour simplifier les notations, on souhaite tester

H0: ”β_p₀₊₁, . . . , β_p=0” contre H1: ”∃i∈ {p0+1, . . . ,p}, β_i6=0”.

(27)

COEFFICIENTS´

On note I X0=

X1, . . . ,Xp0

∈R^n×(p⁰⁾ I X1=

Xp0+1, . . . ,Xp

∈R^n×(p−p⁰⁾ I X= [X0,X1]∈R^n×p.

Le test de significativité revient à faire la comparaison de modèles suivante :

H0: ”Y=X0β₀+” contre ”H1:Y=Xβ+”.

(28)

COEFFICIENTS´

Th´eor`eme

On consid`ere la statistique de test

F=

Yˆ−Yˆ0

2

(p−p0) ˆσ² =: ˆσ₀² ˆ σ²,

avecYˆ0 =X0βˆ₀, etβˆ₀est l’estimateur des moindres carr´es dans le mod`ele H0. Alors, sous H0,

F∼ F(p−p0,n−p).

Corollaire

Tester la significativité des coefficients au risqueαrevient à considérer la zone de rejet

ZRα=

F>f1−α,p−p0,n−p

o `u f1−α,p−p0,n−pest le quantile d’ordre1−αde la loi de Fisher de param`etres p−p0et n−p.

(29)

IV. Mod`eles emboit´es

(30)

MODELES EMBOIT` ES´

Le test de Fisher précédent est un cas particulier du test entre modèles emboités. On considère :

I Y∼ N µ, σ²In

avecσ²>0.

I M₀⊂ M₁ ⊂Rⁿdeux sous espaces vectoriels deRⁿ On souhaite tester

H0:E[Y] =µ∈ M₀ contre H1:E[Y] =µ∈ M₁.

(31)

CONSTRUCTION DE LA STATISTIQUE DE TEST

On consid`erePM0,PM1les projections orthogonales surM₀et M₁. On consid`ere la statistique

F= dim M^⊥₁

kPM0Y−PM1Yk² (dim(M₁)−dim(M₀))

P_M^⊥

1 Y

2

Proposition

Sous H0,

F ∼F dim(M₁)−dim(M₀),dim M^⊥₁

(32)

TEST DES MODELES EMBOIT` ES´

Corollaire

Faire le test des modèles emboités revient donc à considérer la zone de rejet

ZRα=n

F>f_1−α,dim(M₁_)−dim(M₀_),dim(^M^⊥1) o