Apprentissage statistique TD1 : Modèle statistique

Apprentissage statistique TD1 : Modèle statistique

Lucie Le Briquer 9 janvier 2018

Exercice 1 Modèle :

Y =x¹β₁+. . .+x^dβ_d+ε∈R

On supposeεcentrée et de variance bornée.nréalisations de ce modèle indépendantes àxfixé.

1. Modèle statistique : Ω =Rⁿ,F =B(Rⁿ),Y = (Y1, . . . , Yn),

P = (

Pproba sur(Rⁿ,B(Rⁿ)|E[Yi] =

d

X

j=1

x^j_iβj, E[Y_i²]<+∞, (Yi)16i6n idp sousP )

2.

P ={Px,β,σ² =N(xβ, σ²In)oùxest la matrice(x^j_i)i,j} P est dominé par la mesure de Lebesgue et les densités associées sont :

αexp Å

−ky−xβk² 2σ²

ã

3. Pour tout(y1, x¹_i, . . . , x^d_i)16i6n montrons que : inf

β∈R^d

X(yi−(xβ)i)²= min(. . .)

Soitρ(β) =ky−xβk²,ρest convexe. On considèreV ⊂Rⁿ défini par : V ={z |z=xβ, β∈R^d}

On a :

inf

β∈R^d

ρ(β) = inf

z∈Vky−zk²= min

z∈V ky−zk²

atteint enz=p_V(y)(la projection orthogonale deysurV) carV est un sev de dimension finie.

1

Remarque. βˆn(x1. . . xn, y1. . . yn)est l’EMV deβ dans le modèle gaussien.

4. On suppose maintenant xinjective,d6 n. Montrons que∀(x, y) ∈R^(d+1)n, l’estimateur des moindres carrés est unique et donné par :

βˆn(x, y) = (x^Tx)⁻¹x^Ty

1ère étape.Montrons quex^Txest inversible. Soitβ∈Ker(x^Tx).x^Txβ= 0alorsβ^Tx^Txβ= 0 i.e.kxβk²= 0 doncxβ= 0⇒β= 0carxinjective.

2nde étape.On a plusieurs solutions :

(a) Sixest injective alorsρest fortement convexe i.e.∇²ρ(β)>0∀β ∈R^d. Doncρadmet un unique minimum tel que ∇f(β) = 0i.e.−2x^Ty+ 2x^Txβ= 0ainsi forcément :

β= (x^Tx)⁻¹xy

(b) Montrons que le minimum est unique et queβˆn atteint le minimum.

(c) Caractérisation de la projection orthogonale :z=pV(y)ssi∀˜z∈V, hy−z,zi˜ = 0 5. On se place maintenant dans le cas gaussien etx^Txinversible,d6n. On définit le vecteur

des résidus comme : ˆ

ε_n(Y) =Y −xβˆ_n= I_n−x(x^Tx)⁻¹ Y Y ∼ N(xβ, I_nσ²),βˆ_n∼ N (x^Tx)⁻¹x^Txβ, σ²(x^Tx)⁻¹

carx^Txest symétrique donc(x^Tx)⁻¹ aussi on donc on a la loi deβˆ_n.

ˆ

εn(Y)∼ N

0, σ²(In−x(x^Tx)⁻¹x^T)²

B projection ? Soit z∈Rⁿ.Bz∈V,β projecteur surF sev deV. Il suffit de montrer que

∀z∈V,Bz=z.z∈V,∃β ∈R^d tel quez=xβ βxβ =x(x^Tx)⁻¹x^Tx

| {z }

=id

β=xβ=x

DoncF =V. Conclusion,β projecteur et id−β aussi.

6. Un estimateur deβ estβˆn. Un estimateur deσ²?

E[kεˆ_nkⁿ] =σ²Tr(I−B) =σ²(n−d) Un estimateur de σ²est ^kˆ_n−d^εnk2.

7. β¯ est dit linéaire si β¯(Y) = AY pour A ∈ Md,n(R), E[ ¯β] = β. Montrons qu’il existe R définie positive telle que :

Cov( ¯β_A) =Cov( ˆβ_n) +R

Solution : comme β¯_A est non biaisé,E[ ¯β] =β, or E[ ¯β] =E[AY] =AE[Y] =Axβ. Ainsi, Axβ=β.

Cov( ¯βA) =E

(AY −β)(AY −β)

=ACov(Y)A^T

2