Apprentissage supervisé Approches basées sur un modèle.

Apprentissage supervisé Approches basées sur un modèle.

Master MAS de Bordeaux

2021-2022 Marie Chavent

Introduction

I On a vu dans le chapitre précédent que la règle de classification de Bayes s’écrit :

g(x) = argmin

`∈{1,...,K}

K

X

k=1

Ck`P(Y =k|X=x)

= argmax

`∈{1,...,K}P(Y =`|X =x) (si coût 0-1)

I Lesapproches basées sur un modèleconsistent àapprendre la loi deY sachant X pour en déduire ensuite la règle de classificationg.

I Exemples : analyse discriminante linéaire et quadratique, bayésien naïf, régression logistique.

I L’approche directeconsiste à apprendre directement la loi deY sachantX. Par exemple en régression logistique :

P[Y = 1|X =x]= exp(X^Tβ) 1 +exp(X^Tβ) oùβest estiméà partir des données d’apprentissage.

I L’approche indirecteutilise la formule de Bayes

P(Y =k|X =x)= f(x|Y =k)P(Y =k)

P

j=1f(x|Y =j)P(Y =j) .

Il suffit alors d’apprendre laloi deX sachantY etla loi deY. Par exemple en analyse discriminantef(x|Y =k) est gaussienne etles paramètres sont estimésà partir des données d’apprentissage.

Plan

1. Analyse discriminante linéaire et quadratique.

2. Bayésien naif.

3. Régression logistique.

Analyse discriminante linéaire et quadratique

I X ∈R^p etY ∈ {1, . . . ,K}

I Ensemble d’apprentissage (Xi,Yi),i= 1, . . . ,n

I Hypothèseparamétrique gaussienneX|Y =k∼ N(µk,Σk) : f(x|Y =k) = 1

(2π)^p/2|Σ_k|^1/2exp(−1

2(x−µ_k)^TΣ⁻¹_k (x−µ_k)) I Paramètres inconnus{µ_k,Σk}etπk=P(Y =k), pourk= 1, . . . ,K.

I Paramètres inconnus à estimer :

θ= (π1, . . . , πK, µ1, . . . , µK,Σ1, . . . ,ΣK).

I Log-vraissemblance de l’échantillon (X1,Y1), . . . ,(Xn,Yn)

`(θ) = log

n

Y

i=1

fX,Y(xi,yi)

=

n

X

i=1

log (πy_if(xi|Y =yi))

=

K

X

k=1

n_klog(π_k) +

K

X

k=1

X

i:y_i=k

log (f(xi|Y =k))

I Estimateurs du maximum de vraissemblance :

b

n,

b

1 nk

X

i:y_i=k

xi

b

X

i:y_i=k

(xi−

b

b

I Règle de classification de Bayes (coût 0-1) : g(x) = arg max

`∈{1,...,K}P(Y =`|X=x)(approche directe)

= arg max

`∈{1,...,K}

f(x|Y =`)P(Y =`)(approche indirecte)

= arg max

`∈{1,...,K}

log [f(x|Y =`)] + log [P(Y =`)]

I Avec l’hypothèseparamétrique gaussienneon obtient (à montrer) : g(x) = arg max

`∈{1,...,K}

Q`(x) (1)

avec

Q`(x)=−1

2log|Σ_`| −1

2(x−µ`)<sup>T</sup>Σ<sup>−1</sup><sub>`</sub> (x−µ`) + log(π`) (2) I Q`est appelléefonction discriminante quadratique.

I -2Q`est appellée dans SAS ladistance de Mahalanobisgénéralisée entrexetµ`.

I Lafrontière de décisionentre deux classesket`est décrite par une équation quadratique enx{x:Qk(x) =Q`(x)}

On suppose maintenant queΣk= Σpour toutk= 1, . . . ,K.

I Avec l’hypothèsed’égalité des matrices de covarianceon obtient (à montrer) : g(x) = arg max

`∈{1,...,K}

L`(x)

avec

L`(x) =x<sup>T</sup>Σ<sup>−1</sup>µ`−1

2µ^T<sub>`</sub>Σ<sup>−1</sup>µ`+ log(π`) (3) I L`est alors appelléefonction discriminante linéaire.

I L’estimateur du maximum de vraisemblance de Σ est lamatrice de covariance intra-groupedéfinie par :

Σ

b

K

X

k=1

nk^Σ

b

I Lafrontière de décisionentre deux classesket`est décrite par une équation linéaire enx {x:Lk(x) =L`(x)}

Cas particulier de laclassification binaireoùK= 2.

I Lescore de Fisherest définit par :

∆(x) =L1(x)−L2(x)

=x^TΣ⁻¹(µ1−µ2)−1

2(µ1+µ2)^TΣ⁻¹(µ1−µ2) + log(π1

π2

).

Ce score est une fonction linéaire enx.

I On affectexà la classe 1 si ∆(x)≥0, sinon on affectex à la classe 2.

I Laprobabilité à posteriorid’appartenir à la classe 1 est une fonction logistique du score de Fisher :

P(Y = 1|X=x) = exp (∆(x)) 1 + exp (∆(x))

On suppose maintenant que Σk= Σ et queP(Y =k) = 1/Kpour toutk= 1, . . . ,K.

I Avec cette hypothèse supplémentaire desprobabilités à priori égaleson obtient (à montrer) :

g(x) = arg min

`∈{1,...,K}

D`(x)

avec

D_{`</sub>(x) = (x−µ<sub>`})^TΣ⁻¹(x−µ<sub>`</sub>) (4) I D`(x) est le carré de la distance de Mahalanobis (métrique Σ⁻¹) entrex et le

centreµ`de la classe`.

I On affecte alorsx à laclasse la plus proche.

I On parle derègle géométrique de classement.

En résumé:

I QDA (Quadratic Discriminant Analysis) : g(x) = arg max

`∈{1,...,K}

Q`(x)

oùQ`définie en (2)

I LDA (Linear Discriminant Analysis) : g(x) = arg max

`∈{1,...,K}

L`(x)

oùL`définie en (3)

I Qk(x) ou encoreLk(x) mesurentun score d’appartenance aux classes, I Lesprobabilités à posteriorides classes se calculent de la manière suivante :

P(Y =k|X=x) = exp (Qk(x))

P

`=1exp (Q`(x)) en QDA

= exp (Lk(x))

P

`=1exp (L`(x)) en LDA

Bayésien naïf

Les variables d’entréesX = (X¹, . . . ,X^p) sontquantitatives ou qualitativeset Y ∈ {1, . . . ,K}.

I Hypothèse d’indépendancedes variablesX¹, . . . ,X^pconditionnellement àY :

f(x|Y =k) =

p

Y

j=1

fj(xj|Y =k),

oùfj(xj|Y =k) est la notation utilisée ici pour désigner de manière unifiée : I la densité conditionnelle deX^jsachantY=ksiX^jcontinue,

I la probabilité conditionnelle deX^jsachantY=ksiX^jdiscrète.

I L’approche indirect donne :

g(x) = arg max

`∈{1,...,K}

π`f(x|Y =`)

= arg max

`∈{1,...,K}

π` p

Y

j=1

fj(xj|Y =`).

I LesKparamètresπ`et lesp×K lois conditionnellesfj(xj|Y =k) sont à

I Si la variableX^j est qualitativeà valeurs dansM_j, on estime les probabilités conditionnellesfj(xj|Y =k) par les fréquences dans la classek des modalités xj∈ Mj:

ˆfj(xj|Y =k) =

P

i:y_i=k1_Xj i=x_j

nk

.

I Si la variableX^j est quantitativeà valeur dansR:

- On peut supposer uneforme paramétriquepourfj(xj|Y=k) et estimer les paramètres par maximum de vraissemblance. Par exemple

ˆfj(xj|Y=k) = 1

p

− 1

2ˆσ_kj²(x−µˆkj)²

où ˆµkj est la moyenne empirique et ˆσ_kj² est la variance empirique corrigée de la variableX^jdans la classek.

- On peut aussi estimerfj(xj|Y=k) de façonnon paramétriqueà l’aide d’un histogramme ou d’un estimateur de densité à noyau.

I L’hypothèse d’indépendancedes variablesX¹, . . . ,X^pconditionnellement àY est généralementfausse.

I Pourtant cette approche est très courante :

- car elle est simple, rapide et fonctionne pour une variable de sortie non binaire, et des variables d’entrées de type quelconque.

- elle permet de traiter des données de grande dimension.

Régression logistique

Les variables d’entrées sontquantitatives ou qualitativesetY ∈ {0,1}.

I Les variablesqualitativessont recodées par lesindicatrices des modalitéset X = (X¹, . . . ,X^p)∈R^pavecX^jquantitative ou binaire.

I En régression logistique, on s’intéresse àla loi deY sachantX qui est uneloi de Bernoullide paramètrepavec :

P(Y = 1|X=x) =p P(Y = 0|X=x) = 1−p

I On fait l’hypothèse que la probabilitép=P(Y = 1|X=x) est unefonction logistiqued’unscore linéaire

β0+β1x1+. . .+β1xp∈R et la fonction logistiquef :R→[0,1] est définie par :

f(u) = exp(u) 1 + exp(u).

I On modélise donc laprobabilité à posteriorippar :

P(Y = 1|X=x) =

exp(β0+

P

P

j=1βjxj) I Lescore linéaireest alors :

β0+

p

X

j=1

βjxj=f⁻¹(p) = log p 1−p. La fonctionf⁻¹est appeléefonction logitavec :

logit(p) =log p 1−p.

I Paramètres inconnusestimés par maximum de vraisemblance : (β0, . . . , βp).

I Log-vraissemblance(conditionnelle) de l’échantillon (X1,Y1), . . . ,(Xn,Yn)

`(β0, β1, . . . , βp) = log

n

Y

i=1

P(Yi=yi|X_i =xi)

= log

n

Y

i=1

p^y_iⁱ(1−pi)^1−yi

avec

pi=P(Yi= 1|Xi=xi) =

exp(β0+

P

P

j=1βjxij).

I L’estimateur du maximum de vraissemblancedeβn’apas de forme explicite. Les logiciels utilisent donc des algorithmes d’optimisation pour estimer les

paramètresβ0, . . . , βp sur les données d’apprentissage.

I L’algorithme souvent utilisé est celui deNewton-Raphsonqui est uneméthode itérativede type gradient basée sur la relation suivante :

β^(t)=β^(t−1)− ∂²`(β)

∂β∂β^T

!

∂`(β)

∂β

oùβ= (β0, . . . , βp).

I Larègle de classificationg affecte alors une nouvelle observationxà la classe 1 si

p=

exp( ˆβ0+

P

P

j=1βˆjxj) est supérieur à 0.5. Elle est affectée à la classe 0 sinon.

La régression logistique peut s’étendre au cas declasses multiples. On parle alors de régression logistique multinomiale.

I On a maintenantY ∈ {1, . . . ,K}et on noteX= (1,X¹, . . . ,X^p).

I Le modèle prend la forme

log P(Y =1|X =x) P(Y =K|X =x)=x^Tβ1

log P(Y =2|X =x) P(Y =K|X =x)=x^Tβ2

.. .

logP(Y =K−1|X=x)

P(Y =K|X =x) =x^TβK−1

avecβ1, . . . , βK−1des vecteurs deR^p+1.

I LesK−1 vecteursβksontestiméspar maximum de vraisemblance sur les données d’apprentissage.

I Lesprobabilités à posteriorisont alors :

P(Y =K|X=x) = 1 1 +

P

`=1 exp(x<sup>T</sup>β`)

P(Y = 1|X=x) = exp(x^Tβ1) 1 +

P

`=1 exp(x<sup>T</sup>β`) ..

.

P(Y =K−1|X =x) = exp(x^TβK−1) 1 +

P

`=1 exp(x<sup>T</sup>β<sub>`</sub>)

I Larègle de classificationg affecte alors une nouvelle observationxà la classe la plus probable à posteriori.

Exemple :p= 2,K= 3 classes

Comparaison avec l’analyse discriminante linéaire.

Régression logistique (à gauche) versus LDA (à droite).