2 Apprendre la classe des singletons

Algorithmique avanc´ee 2018-2019

TD12 : Apprentissage

1 Apprendre les rectangles align´ es sur les axes de base

On consid`ere la classe d’hypoth`eses des rectangles de dimension 2 align´es sur les axes de base : H²_rec = {h(a₁,b₁,a₂,b₂)|a₁≤b₁ eta₂≤b₂}o`u :

h_{(a1,b1,a2,b2)}(x1, x2) =

(1 sia1≤x1≤b1 eta2≤x2≤b2

0 sinon

Nous voulons montrer que cette classe peut ˆetre apprise par un algorithme respectant la r´egle ERM. Nous supposerons que la distributionDsur les donn´ees est continue et que la classeH²_rec est r´ealiste.

Question 1 :Proposez un algorithmeAd’apprentissage deH²_recqui respecte la r`egle ERM.

Question 2 :Montrez que siAre¸coit une donn´ee d’apprentissage de taillem≥ ^4log(4/δ) et siH_mest la sortie correspondante deA, on aPr(L(H_m)> )≤δ.

Question 3 :Que pouvez-vous en conclure pour la classe des rectangles align´es sur les axes de dimension d≥2.

Question 4 :Quelle est la complexit´e en temps de l’algorithmeA? Question 5 :Que vautVCdim(H_rec² ) ?

Question 6 :Que vautVCdim(H_rec^d ) pourd≥2 ?

2 Apprendre la classe des singletons

SoitX un domaine discret. On consid`ere la classe d’hypoth`esesHsing ={hz|z∈ X } ∪ {h⁻} o`u pour toutx∈ X, on ahz(x) = 1 six=zet hz(x) = 0 sinon et h⁻(x) = 0. On suppose que la classeHsing est r´ealiste.

Question 1 :Proposez un algorithmeAd’apprentissage deHsing qui respecte la r`egle ERM.

Question 2 : Montrez que Hsing peut ˆetre apprise et donnez une borne sup´erieure sur la taille des donn´ees d’apprentissage.

3 VC dimensions de conjonctions bool´ eennes

On consid`ere H^d_con la classe des conjonctions bool´eennes sur les variables x1, x2, . . . , xd avecd ≥2.

Nous savons d´ej`a que cette classe est finie. Nous allons calculer ici sa VC dimension.

Question 1 :Montrez que|H^d_con| ≤3^d+ 1.

Question 2 :En d´eduire une borne surVCdim(H^d_con).

Question 3 :Montrez queH^d_conbrise l’ensemble des vecteurs de l’unit´e{ei|1≤i≤d}(on assimile ici 1 `a vrai et 0 et faux comme cela est fait habituellement).

Question 4 :Montrez queVCdim(H^d_con)≤d.

Question 5 : On consid`ere la classe H<sup>d</sup><sub>mcon</sub> des conjonctions bool´eennes monotones sur les variables x<sub>1</sub>, x<sub>2</sub>, . . . , x<sub>d</sub>avecd≥2. La monotonicit´e signifiant dans ce contexte que les conjonctions ne contiennent pas de n´egation. La conjunction vide est suppos´ee ´egale `a vrai. Nous ajoutons `a H<sup>d</sup><sub>mcon</sub> l’hypoth`ese h⁻ qui est toujours fausse. Montrez queVCdim(H^d_con) =d.

1

Algorithmique avanc´ee 2018-2019

4 Quelques questions en vrac

Question 1 : VC dimension d’unions. Soient H1, . . . ,Hr des classes d’hypoth`ese sur un ensemble fixe d’objetsX. Soitd=max_1≤i≤rVCdim(Hi) et supposons que d≥3.

1. Soita >0. Montrez que si x≥2alog(a) alorsx≥alog(x).

2. Soienta≥1 andb >0. Six≥4alog(2a) + 2balorsx≥alog(x) +b.

3. Montrez queVCdim(Sr

i=1Hi)≤4dlog(2d) + 2log(r). (On pourra utiliser le Lemme 16 du cours).

4. Montrez que, dans le cas o`ur= 2, on aVCdim(H1∪ H2)≤2d+ 1.

Question 2 : Soient X = R², Y = {0,1} et soit H la classe des disques concentriques dans le plan, c’est-`a-dire H={hr|r∈R+}o`uh_r(x) =1{||x||≤r}. On suppose la distributionDcontinue et la classe H r´ealiste. Montrez que Hpeut ˆetre apprise et donnez une borne sup´erieure sur la taille de la donn´ee d’apprentissage.

Question 3 :D´emontrez la proposition 27 du cours dans le cas d’une distribution quelconque (c’est `a dire que l’on ne suppose plus que0>0 ni que la distribution est continue.

2