Département d'informatique et de recherche opérationnelle
Laboratoire d’Informatique des Systèmes d’Apprentissage
IFT3390/6390
Fondements de l’apprentissage machine
Professeur: Pascal Vincent
Deuxième cours:
Terminologie de l’apprentissage supervisé Méthodes à base de voisinage (formalisation)
http://www.iro.umontreal.ca/~vincentp/ift3390
Au programme aujourd’hui
Bref rappel de points importants du premier cours
Terminologie de l’apprentissage supervisé
Formalisation mathématique des méthodes
à base de voisinage
Apprendre à partir d’exemples !
“cheval” “cheval” “cheval”
Principe beaucoup plus général que d’écrire à la main, en
partant de zéro, un algorithme pour reconnaître un cheval...
Les catégories de problêmes (tâches) standards de l’apprentissage automatique
Classification Régression
Estimation de densité
Partitionnement ( clustering ) Réduction de dimensionalité
Apprentissage supervisé
Apprentissage non supervisé
Apprentissage par renforcement
entrée, observation , input, x cible, target,
sortie désirée,y
entrée, observation , input, x entrée, observation , input, x 1
2 3
entrée, observation , input, x n
cible, target,
sortie désirée,y cible, target,
sortie désirée,y
cible, target,
sortie désirée,y
etc ...
. . .
1 2 3
n
. . .
1 2 3
n
. . .
Terminologie de l’apprentissage supervisé
Ensemble de données d’entrainement (training set)
point de test
On cherche un algorithme qui produit une sortie (output) qui est une bonne prédiction de la cible.
Cet algorithme trouve une bonne fonction x -> y
? ? ?
taille de
?
l’ensemble, nombre
d’exemples, d’échantilons.
Une entrée est généralement représentée par un vecteur de dimension
d
.dimensionalité de l’entrée
x ∈ R
dTerminologie de l’apprentissage supervisé
Lorsque la cible est une étiquette de classe, une variable catégorique (indiquant à quelle classe ou catégorie l’entrée appartient, parmi plusieurs) on dit qu’on a affaire à un problème de CLASSIFICATION.
(on utilise souvent un entier comme étiquette).
Lorsque la cible est une (ou plusieurs) valeur réelle à prédire, on parle de problème de
RÉGRESSION.
Quand on n’a pas de cible explicite, on est
dans le cadre de l’apprentissage non supervisé.
Point de test:
(nouveau x )
Ex. de problème de classification
2 2 2 2 2 3 3 3 3 3
Ensemble de données d’entrainement
(training set)
2 ou 3?
?
Apprendre n’est pas simplement
mémoriser...
C’est être capable de généraliser à de nouveaux cas!
x ∈ R d
x = (0, 0, . . . , 54, 120, . . . , 0, 0)
(représentation vectorielle) entrée x
iétiquette label y
i
Représentation des données
x = ( 0, 0, ... , 140, 0, ... )
x vecteur de
?
x [1]
x[2]
x[1] x[2]
R d
L’algorithme du plus proches voisin
On trouve le plus proche voisin de x parmi l’ensemble d’apprentissage selon une
certaine mesure de distance (ex: distance Euclidienne).
Pour un point test x:
BLEU!
On associe à x la classe de ce plus proche voisin.
Ensemble d’apprentissage
x?
L’algorithme classique des k plus proches voisins (kNN)
On trouve les k plus proches voisins de x parmi l’ensemble d’apprentissage
(typiquement selon la distance Euclidienne).
On associe à x la classe majoritaire parmi ses k voisins
Pour un point test x:
x?
BLEU!
