M1 info UFR math

M1 info UFR mathématiques et informatique Université Paris Descartes Examen « apprentissage automatique »

1er juin 2012 ­ Durée 2h Documents autorisés

Exercice 1 (arbres de décision)

Un objet possèdent 3 attributs: a0, a1 et a2. Les attributs prennent leur valeur dans {0, 1, 2}. Un  objet appartient à une classe c valant + ou ­. 

Soient l'ensemble d'apprentissage et l'ensemble de test suivants:

learn a0 a1 a2 c test a0 a1 a2 c

l1 1 1 0 + t1 1 1 1 ­

l2 2 1 1 ­ t2 0 0 0 +

l3 0 1 2 + t3 2 2 1 +

l4 2 1 2 ­ t4 0 2 2 ­

l5 0 0 1 ­ t5 0 2 0 ­

l6 2 2 0 + t6 2 0 2 +

l7 2 2 2 + t7 2 0 0 +

l8 1 1 2 ­ t8 2 1 0 ­

l9 0 0 2 + t9 2 0 1 ­

En utilisant l'ensemble d'apprentissage,

1° Construire l'arbre de décision T1 en prenant les attributs dans l'ordre: a0, puis a1, puis a2. Les  noeuds terminaux de l'arbre sont libellés +, ­ ou ? selon les cas.

2° Construire le premier niveau de l'arbre de décision T2 en prenant la minimisation de l'entropie  pour critère de choix d'attribut. On pourra faire les approximations suivantes: log(2) = 0.7, log(3) =  1.1, log(5) = 1.6 et log(7) = 2.

3° Terminer la construction de T2 avec ce critère.

En utilisant l'ensemble de test,

4° Donner le nombre d'erreurs de T1 et T2. Une erreur + pour – ou – pour + sera comptée 1 et un ?  sera compté 0.5. 

5° Conclure.

Bruno Bouzy Apprentissage automatique 1/2

M1 info UFR mathématiques et informatique Université Paris Descartes Exercice 2 (réseaux bayésiens)

Soit le réseau bayésien suivant:

1° Calculer P(x1|x2) et P(x1|~x2).

2° Calculer P(x1|x3) et P(x1|~x3).

3° Calculer P(x3|x2) et P(x3|~x2).

4° Calculer P(x2|x3) et P(x2|~x3).

5° Existe­t­il un réseau bayésien ayant la structure  ci­dessous donnant les mêmes probabilités  jointes que celles du réseau bayésien ci­dessus ?

Exercice 3 (réseaux de neurones)

Un objet a deux attributs réels x et y et appartient à la classe + ou à la classe ­. Soit l'ensemble  d'apprentissage suivant:

1° Construire un réseau de neurones avec une couche d'entrée incluant x et y, deux couches cachées  et un couche de sortie classifiant correctement les exemples de l'ensemble d'apprentissage. On  affectera les connexions entre les neurones avec les poids adéquats.

2° Quels sont les exemples support de l'ensemble d'apprentissage ?

Bruno Bouzy Apprentissage automatique 2/2

+ -

x y

1 2

0 -2

1 2

-1 -2

+ + +

+

+ + + -

-

- - - - - -

- -

- - - - - -

-1

x2 x1 x3

P(x1)=0.6 P(x2|x1)=0.8

P(x2|~x1)=0.3 P(x3|x1)=0.9

P(x3|~x1)=0.2

x1 x2 x3