TD 6 : MAXIMUM DE VRAISEMBLANCE.
COURS D’APPRENTISSAGE, ECOLE NORMALE SUP ´ERIEURE, 30 OCTOBRE 2016
Jean-Baptiste Alayrac [email protected]
R´esum´e. Dans ce court TD on calculera les estimateurs du maximum de vraisemblance dans le cas de donn´ees i.i.d (ind´ependantes et identiquements distribu´ees) suivant une loi Gaussienne puis dans le cadre du mod`ele de la r´egression lin´eaire.
1. Exercice : Maximum de vraisemblances dans des mod`eles simples
Pour cet exercice on rappelle l’expression de la densit´e d’une variable al´eatoire Gaussienne uni- vari´ee (`a valeur dansR) de moyenneµ et de varianceσ2 :
p(x) = 1
√
2πσ2 exp
− 1
2σ2(x−µ)2 .
1) Consid´erer unn-´echantillon (x1, . . . xn), r´ealisation de variables Gaussiennes i.i.d (ind´ependantes et identiquement distribu´ees) de moyenne µet de varianceσ2. En utilisant le principe du maximum de vraisemblance, calculer les estimateurs µbet bσ associ´es. Pour le calcul du maximum de vraisem- blance, on rappelle qu’il est g´en´eral plus facile de faire les calculs en utilisant une transformation monotone de la vraisemblance comme le log.
On consid`ere un mod`ele de r´egression lin´eaire deRpdansR. Soit unn-´echantillon (x1, y1). . .(xn, yn)∈ Rp ×R que l’on suppose g´en´er´e suivant un mod`ele Y = βTX + o`u est un bruit Gaussien ind´ependant de X centr´e (E[] = 0) de variance σ2.
2) V´erifier que, conditionnellement `a X, Y suit une loi Gaussienne de moyenne µ(X) que l’on pr´ecisera et de variance σ2.
3) Quels sont les estimateurs du maximum de vraisemblance de la varianceσ2 et deβ dans ce cas ?