• Aucun résultat trouvé

Apprentissage supervisé Approches basées sur un modèle.

N/A
N/A
Protected

Academic year: 2022

Partager "Apprentissage supervisé Approches basées sur un modèle."

Copied!
27
0
0

Texte intégral

(1)

Apprentissage supervisé Approches basées sur un modèle.

Master MAS de Bordeaux

2021-2022 Marie Chavent

(2)

Introduction

I On a vu dans le chapitre précédent que la règle de classification de Bayes s’écrit :

g(x) = argmin

`∈{1,...,K}

K

X

k=1

Ck`P(Y =k|X=x)

= argmax

`∈{1,...,K}P(Y =`|X =x) (si coût 0-1)

I Lesapproches basées sur un modèleconsistent àapprendre la loi deY sachant X pour en déduire ensuite la règle de classificationg.

I Exemples : analyse discriminante linéaire et quadratique, bayésien naïf, régression logistique.

(3)

I L’approche directeconsiste à apprendre directement la loi deY sachantX. Par exemple en régression logistique :

P[Y = 1|X =x]= exp(XTβ) 1 +exp(XTβ)βest estiméà partir des données d’apprentissage.

I L’approche indirecteutilise la formule de Bayes

P(Y =k|X =x)= f(x|Y =k)P(Y =k)

P

K

j=1f(x|Y =j)P(Y =j) .

Il suffit alors d’apprendre laloi deX sachantY etla loi deY. Par exemple en analyse discriminantef(x|Y =k) est gaussienne etles paramètres sont estimésà partir des données d’apprentissage.

(4)

Plan

1. Analyse discriminante linéaire et quadratique.

2. Bayésien naif.

3. Régression logistique.

(5)

Analyse discriminante linéaire et quadratique

I X ∈Rp etY ∈ {1, . . . ,K}

I Ensemble d’apprentissage (Xi,Yi),i= 1, . . . ,n

I Hypothèseparamétrique gaussienneX|Y =k∼ N(µkk) : f(x|Y =k) = 1

(2π)p/2k|1/2exp(−1

2(x−µk)TΣ−1k (x−µk)) I Paramètres inconnus{µk,Σk}etπk=P(Y =k), pourk= 1, . . . ,K.

(6)
(7)

I Paramètres inconnus à estimer :

θ= (π1, . . . , πK, µ1, . . . , µK,Σ1, . . . ,ΣK).

I Log-vraissemblance de l’échantillon (X1,Y1), . . . ,(Xn,Yn)

`(θ) = log

n

Y

i=1

fX,Y(xi,yi)

=

n

X

i=1

log (πyif(xi|Y =yi))

=

K

X

k=1

nklog(πk) +

K

X

k=1

X

i:yi=k

log (f(xi|Y =k))

I Estimateurs du maximum de vraissemblance :

b

πk= nk

n,

b

µk=

1 nk

X

i:yi=k

xi

b

Σk= 1 nk

X

i:yi=k

(xi

b

µk)(xi

b

µk)T

(8)

I Règle de classification de Bayes (coût 0-1) : g(x) = arg max

`∈{1,...,K}P(Y =`|X=x)(approche directe)

= arg max

`∈{1,...,K}

f(x|Y =`)P(Y =`)(approche indirecte)

= arg max

`∈{1,...,K}

log [f(x|Y =`)] + log [P(Y =`)]

I Avec l’hypothèseparamétrique gaussienneon obtient (à montrer) : g(x) = arg max

`∈{1,...,K}

Q`(x) (1)

avec

Q`(x)=−1

2log|Σ`| −1

2(x−µ`)TΣ−1` (x−µ`) + log(π`) (2) I Q`est appelléefonction discriminante quadratique.

I -2Q`est appellée dans SAS ladistance de Mahalanobisgénéralisée entrexetµ`.

(9)

I Lafrontière de décisionentre deux classesket`est décrite par une équation quadratique enx{x:Qk(x) =Q`(x)}

(10)

On suppose maintenant queΣk= Σpour toutk= 1, . . . ,K.

(11)

I Avec l’hypothèsed’égalité des matrices de covarianceon obtient (à montrer) : g(x) = arg max

`∈{1,...,K}

L`(x)

avec

L`(x) =xTΣ−1µ`−1

2µT`Σ−1µ`+ log(π`) (3) I L`est alors appelléefonction discriminante linéaire.

I L’estimateur du maximum de vraisemblance de Σ est lamatrice de covariance intra-groupedéfinie par :

Σ

b

=1 n

K

X

k=1

nkΣ

b

k

(12)

I Lafrontière de décisionentre deux classesket`est décrite par une équation linéaire enx {x:Lk(x) =L`(x)}

(13)

Cas particulier de laclassification binaireoùK= 2.

I Lescore de Fisherest définit par :

∆(x) =L1(x)−L2(x)

=xTΣ−11µ2)−1

2(µ1+µ2)TΣ−11µ2) + log(π1

π2

).

Ce score est une fonction linéaire enx.

I On affectexà la classe 1 si ∆(x)≥0, sinon on affectex à la classe 2.

I Laprobabilité à posteriorid’appartenir à la classe 1 est une fonction logistique du score de Fisher :

P(Y = 1|X=x) = exp (∆(x)) 1 + exp (∆(x))

(14)

On suppose maintenant que Σk= Σ et queP(Y =k) = 1/Kpour toutk= 1, . . . ,K.

I Avec cette hypothèse supplémentaire desprobabilités à priori égaleson obtient (à montrer) :

g(x) = arg min

`∈{1,...,K}

D`(x)

avec

D`(x) = (x−µ`)TΣ−1(x−µ`) (4) I D`(x) est le carré de la distance de Mahalanobis (métrique Σ−1) entrex et le

centreµ`de la classe`.

I On affecte alorsx à laclasse la plus proche.

I On parle derègle géométrique de classement.

(15)

En résumé:

I QDA (Quadratic Discriminant Analysis) : g(x) = arg max

`∈{1,...,K}

Q`(x)

Q`définie en (2)

I LDA (Linear Discriminant Analysis) : g(x) = arg max

`∈{1,...,K}

L`(x)

L`définie en (3)

I Qk(x) ou encoreLk(x) mesurentun score d’appartenance aux classes, I Lesprobabilités à posteriorides classes se calculent de la manière suivante :

P(Y =k|X=x) = exp (Qk(x))

P

K

`=1exp (Q`(x)) en QDA

= exp (Lk(x))

P

K

`=1exp (L`(x)) en LDA

(16)

Bayésien naïf

Les variables d’entréesX = (X1, . . . ,Xp) sontquantitatives ou qualitativeset Y ∈ {1, . . . ,K}.

I Hypothèse d’indépendancedes variablesX1, . . . ,Xpconditionnellement àY :

f(x|Y =k) =

p

Y

j=1

fj(xj|Y =k),

fj(xj|Y =k) est la notation utilisée ici pour désigner de manière unifiée : I la densité conditionnelle deXjsachantY=ksiXjcontinue,

I la probabilité conditionnelle deXjsachantY=ksiXjdiscrète.

I L’approche indirect donne :

g(x) = arg max

`∈{1,...,K}

π`f(x|Y =`)

= arg max

`∈{1,...,K}

π` p

Y

j=1

fj(xj|Y =`).

I LesKparamètresπ`et lesp×K lois conditionnellesfj(xj|Y =k) sont à

(17)

I Si la variableXj est qualitativeà valeurs dansMj, on estime les probabilités conditionnellesfj(xj|Y =k) par les fréquences dans la classek des modalités xj∈ Mj:

ˆfj(xj|Y =k) =

P

i:yi=k1Xj i=xj

nk

.

I Si la variableXj est quantitativeà valeur dansR:

- On peut supposer uneforme paramétriquepourfj(xj|Y=k) et estimer les paramètres par maximum de vraissemblance. Par exemple

ˆfj(xj|Y=k) = 1

p

σˆ2kj exp

− 1

σkj2(x−µˆkj)2

où ˆµkj est la moyenne empirique et ˆσkj2 est la variance empirique corrigée de la variableXjdans la classek.

- On peut aussi estimerfj(xj|Y=k) de façonnon paramétriqueà l’aide d’un histogramme ou d’un estimateur de densité à noyau.

(18)

I L’hypothèse d’indépendancedes variablesX1, . . . ,Xpconditionnellement àY est généralementfausse.

I Pourtant cette approche est très courante :

- car elle est simple, rapide et fonctionne pour une variable de sortie non binaire, et des variables d’entrées de type quelconque.

- elle permet de traiter des données de grande dimension.

(19)

Régression logistique

Les variables d’entrées sontquantitatives ou qualitativesetY ∈ {0,1}.

I Les variablesqualitativessont recodées par lesindicatrices des modalitéset X = (X1, . . . ,Xp)∈RpavecXjquantitative ou binaire.

I En régression logistique, on s’intéresse àla loi deY sachantX qui est uneloi de Bernoullide paramètrepavec :

P(Y = 1|X=x) =p P(Y = 0|X=x) = 1p

(20)

I On fait l’hypothèse que la probabilitép=P(Y = 1|X=x) est unefonction logistiqued’unscore linéaire

β0+β1x1+. . .+β1xp∈R et la fonction logistiquef :R→[0,1] est définie par :

f(u) = exp(u) 1 + exp(u).

(21)

I On modélise donc laprobabilité à posteriorippar :

P(Y = 1|X=x) =

exp(β0+

P

p j=1βjxj) 1 + exp(β0+

P

p

j=1βjxj) I Lescore linéaireest alors :

β0+

p

X

j=1

βjxj=f−1(p) = log p 1−p. La fonctionf−1est appeléefonction logitavec :

logit(p) =log p 1−p.

(22)

I Paramètres inconnusestimés par maximum de vraisemblance : (β0, . . . , βp).

I Log-vraissemblance(conditionnelle) de l’échantillon (X1,Y1), . . . ,(Xn,Yn)

`(β0, β1, . . . , βp) = log

n

Y

i=1

P(Yi=yi|Xi =xi)

= log

n

Y

i=1

pyii(1−pi)1−yi

avec

pi=P(Yi= 1|Xi=xi) =

exp(β0+

P

p j=1βjxij) 1 + exp(β0+

P

p

j=1βjxij).

(23)

I L’estimateur du maximum de vraissemblancedeβn’apas de forme explicite. Les logiciels utilisent donc des algorithmes d’optimisation pour estimer les

paramètresβ0, . . . , βp sur les données d’apprentissage.

I L’algorithme souvent utilisé est celui deNewton-Raphsonqui est uneméthode itérativede type gradient basée sur la relation suivante :

β(t)=β(t−1)2`(β)

∂β∂βT

β(t−1)

!

−1

∂`(β)

∂β

β(t−1)

β= (β0, . . . , βp).

I Larègle de classificationg affecte alors une nouvelle observationxà la classe 1 si

p=

exp( ˆβ0+

P

p j=1βˆjxj) 1 + exp( ˆβ0+

P

p

j=1βˆjxj) est supérieur à 0.5. Elle est affectée à la classe 0 sinon.

(24)

La régression logistique peut s’étendre au cas declasses multiples. On parle alors de régression logistique multinomiale.

I On a maintenantY ∈ {1, . . . ,K}et on noteX= (1,X1, . . . ,Xp).

I Le modèle prend la forme

log P(Y =1|X =x) P(Y =K|X =x)=xTβ1

log P(Y =2|X =x) P(Y =K|X =x)=xTβ2

.. .

logP(Y =K−1|X=x)

P(Y =K|X =x) =xTβK−1

avecβ1, . . . , βK−1des vecteurs deRp+1.

I LesK−1 vecteursβksontestiméspar maximum de vraisemblance sur les données d’apprentissage.

(25)

I Lesprobabilités à posteriorisont alors :

P(Y =K|X=x) = 1 1 +

P

K−1

`=1 exp(xTβ`)

P(Y = 1|X=x) = exp(xTβ1) 1 +

P

K−1

`=1 exp(xTβ`) ..

.

P(Y =K−1|X =x) = exp(xTβK−1) 1 +

P

K−1

`=1 exp(xTβ`)

I Larègle de classificationg affecte alors une nouvelle observationxà la classe la plus probable à posteriori.

(26)

Exemple :p= 2,K= 3 classes

(27)

Comparaison avec l’analyse discriminante linéaire.

Régression logistique (à gauche) versus LDA (à droite).

Références

Documents relatifs

• utilisation : pour une entrée X (de  d ), chaque neurone k de la carte calcule sa sortie = d(W k ,X), et on associe alors X au neurone « gagnant » qui est celui de sortie la

But : A partir de ` donn´ ees d’entraˆınement, on veut apprendre une loi de pr´ ediction pour : pr´ edire une donn´ ee de sortie y ` a partir d’une donn´ ee d’entr´ ee x,

Le but de cette partie est d’´ etudier l’´ evolution empirique de certaines quantit´ es th´ eoriques vues en cours : l’exc` es de risque ainsi que l’erreur d’approximation

Le but du cours n’est pas seulement d’exposer une th´ eorie de l’apprentissage, mais aussi d’introduire un certain nombre de concepts et techniques de math´ ematiques appliqu´

b) Estimer les param` etres de la r´ egression lin´ eaire sur les seules donn´ ees d’entraˆınement et affichez la droite obtenue sur le mˆ eme graphique que les donn´ ees.

As already mentioned, the present work is concerned with the modelling of large- scale data within a data streaming framework, using Machine Learning methods, specifically the

The present research program proposes to investigate the possibility of explicitly discovering and learning unknown invariant transformations, as a way to go beyond the limits

— Apprentissage supervisé : Dans ce type de problème, on cherche à définir une règle de