Exercices de r´evision - Cours d’Apprentissage Statistique
Aude Genevay - [email protected] 12 janvier 2017
Exercice 1 - Naive Bayes
On consid`ere un probl`eme de classification avec donn´ees d’entr´ee binaires,X ∈ {0,1}d, et une variable de sortie binaireY ∈ {0,1}.
On consid`ere le mod`ele g´en´eratif suivant :
• Y est distribu´ee comme une variable de Bernoulli de param`etreπ∈[0,1],
• sachantY =y avecy ∈ {0,1}, les composantesX1, . . . , Xd deX sont ind´ependantes et chacune distribu´ee comme une loi de Bernoulli avec param`etresµi,y∈[0,1],i= 1, . . . , d.
(a) Ecrire la log-vraisemblance logp(x, y) pour la paire (X, Y), comme fonction “bi-affine” (avec termes constants, lin´eaires et bi-lin´eaires) de x∈ {0,1}d ety∈ {0,1}.
(b) Montrer que logp(Y = 1|x)−logp(Y = 0|x) peut s’exprimer comme fonction affine de x(avec param`etresµet π).
(c) En d´eduire quep(Y = 1|X =x) = σ(a>X+b) en exprimant a et b en fonction de µ et π, o`u σ(u) = (1 + exp(−u))−1.
(d) On consid`erenobservations (x1, y1),· · ·,(xn, yn) ind´ependantes et identiquement distribu´ees de ce mod`ele. Ecrire la vraisemblance des donn´ees logp(x1, y1, . . . , xn, yn) et trouver des estimateurs deµetπen formules analytiques simples.
(e) Ecrire la vraisemblance conditionnelle logp(y1, . . . , yn|x1, . . . , xn). A quel mod`ele vu en cours cela correspond-il ? D´ecrire un algorithme d’estimation.
(f) Quel est le lien avec l’analyse discriminante lin´eaire ?
(g) Ce mod`ele est tr`es utilis´e pour la pr´ediction textuelle, i.e., quandXrepr´esente un document,dle nombre total de mots disponibles, etY une classe quelconque (i.e., article parlant de sport vs.
article parlant de finance). Comment utiliser le mod`ele d´ecrit ?
(h) Dans le cadre d’une application de pr´ediction textuelle, l’hypoth`ese d’ind´ependance deX1, . . . , Xd sachantY est-elle justifi´ee ? Que se passe-t-il si on la retire ?
Exercice 2 - Seuillage doux et projection sur la boule `
∞Soitz∈Rn etλ∈R∗+. On consid`ere le probl`eme d’optimisation suivant : minimiser 1
2kx−zk22+λkxk1 par rapport `ax∈Rn, o`u kakp= Pn
i=1|ai|p1/p
pourp∈[1,∞), et kak∞= max{|a1|,· · ·,|an|}.
(a) Montrer que le minimum estatteint et qu’il est unique.
(b) Exprimer simplement la solution x en fonction de z. On utilisera la s´eparabilit´e par rapport
`
a chacune des composantes de x pour se ramener `a n probl`emes uni-dimensionnels. Conseil : consid´erer le cas o`uxi= 0 est une solution s´epar´ement en premier.
(c) Soit a∈Rn. Calculer infx∈Rna>x+λkxk1.
(d) En introduisant la variableu=x−z∈Rnet des multiplicateurs de Lagrange pour ces contraintes, montrer qu’un probl`eme dual est la projection orthogonale sur une boule pour la normek · k∞.
