• lin ´eaires: g ( x ) = w

• Objectif

• d ´eterminer directement les fonctions discriminantes

• lin ´eaires: g ( x ) = w

+ ∑

i=1

w

x

= w

x + w

• lin ´eaires g ´en ´eralis ´ees: g ( x ) =

d

∑

a

y

( x ) = a

y

• en minimisant le risque empirique

Fonctions discriminantes lin ´eaires

• Justifications

• parfois optimal

• facile `a calculer

• candidates pour des classifieurs initiales

• aborder quelques principes importants

• fonction de d ´ecision:

f ( x ) =

C

si g ( x ) > 0 , C

si g ( x ) < 0 =

C

si w

x > − w

, C

si w

x < − w

x₀=1

x₁

. . .

w₂ w₀

w₁

w_d

g(x)

x₂

. . .

unit´e de biais unit´e de sortie

unit´es d’entr´ee

Fonctions discriminantes lin ´eaires

• G ´eom ´etrie – deux classes

• fronti `ere de d ´ecision H est un hyperplan:g ( x ) = 0

• x

, x

∈ H: w

( x

− x

) = 0

• r ´egions de d ´ecision: R

:cot ´e positif, R

:cot ´e n ´egatif

• r = distance alg ´ebrique de x et H:

x = x

+ r w w

g ( x ) = w

x + w

= r w r = g ( x )

w

• G ´eom ´etrie – deux classes

x

g( x ) = 0 w

x

x

x

w

/ ^{|| w ||}

r

H

x

R

R

Fonctions discriminantes lin ´eaires

• G ´eom ´etrie – multiclasses

• C

/ non C

ω

not ω1

ω1

not ω2

ω2

not ω³ ω3

not ω4

ω4

ω

ω

ω

r´egion ambigue

• G ´eom ´etrie – multiclasses

• N ( N − 1 )/ 2 fonctions discriminantes

ω1

ω1

ω1

ω2

ω2

ω2

ω3

ω3

ω3

ω4

ω4 ω4

ω

ω

ω

ω

H13

H₁₂

H14

H23 H₂₄

H34

r´egion ambigue

Fonctions discriminantes lin ´eaires

• Fonctions discriminantes lin ´eaires

• machine lin ´eaire: g

( x ) = w

x + w

, j = 1 ,..., N

• fronti `eres de d ´ecision H

:g

( x ) = g

( x )

• ( w

− w

) est orthogonal `a H

• r ( x , H

) = g

( x ) − g

( x )

w

− w

• Fonctions discriminantes lin ´eaires

R

R

R

R

R

ω

R

R

R

ω

ω

ω

ω

ω

ω

ω

H

H

H

H

H

H

H

H

H

H

H

Fonctions discriminantes lin ´eaires

• Fonctions discriminantes lin ´eaires g ´en ´eralis ´ees:

g ( x ) =

d i ∑ = 1

a _i y _i ( x ) = a ^t y

• exemple: fonction discriminante quadratique:

g ( x ) = w

+ ∑

i=1

w

x

+ ∑

i=1 d

∑

w

x

x

• fronti `ere de d ´ecision: hyperquadrique

• Fonctions discriminantes lin ´eaires g ´en ´eralis ´ees

• exemple: g ( x ) = a

+ a

x + a

x

, y =



 1 x x





0

-1 0

1 2

y2

0 2 4

y3

0.5 1

1.5 2

2.5

y1

1

-1 0 2

-2 x

R1

R1 R2

y = ¹

( )

R2

R1

ˆ

ˆ

12

• exemple: y =



 x

x

α x

x





y

w

R

R

R

R

R

x

x

x

x

y

y

y = ^x ( )

^{x α}

^x

^x

H ^ˆ

ˆ

ˆ

• Vecteur augment ´e

• g ( x ) = w

+ ∑

i=1

w

x

= ∑

i=0

w

x

( x

= 1 )

• g ( x ) =

d i

∑

a

y

, d = d + 1, y =



 

  1 x

...

x



 

  , a =



 

  w

w

...

w



 

  =



 

  w

w



 

 

Fonctions discriminantes lin ´eaires

• Vecteur augment ´e

y1

y2

y0

a

y0=1

R1

R2

y0=0

y=0¹

y₂=0

fronti

`ere de d´ecision

• S ´eparabilit ´e lin ´eaire

• D

= ( y

, z

),..., ( y

, z

)

, z

=

1 si y

est classifi ´e C

− 1 si y

est classifi ´e C

• g ( x ) = a

y s ´epare D

sans erreur:

a

y

z

> 0 , i = 1 ,..., n

• a: vecteur s ´eparateur, vecteur de solution

Fonctions discriminantes lin ´eaires

• S ´eparabilit ´e lin ´eaire

y

y

y

y

a a

r´egion de r´egion de

solution solution

plans´eparateur

plan”s´eparateur”

• Marge de s ´eparation:

m _i = g ( x _i ) z _i = a ^t yz _i

• S ´eparation avec une marge b:

m _i = a ^t y _i z _i > b , i = 1 ,..., n

Fonctions discriminantes lin ´eaires

• Marge de s ´eparation

y

y

y

a

a

a

a

y

y

y

b/ || y

2

||

b/ || y

||

b/ || y ||

}

}

}

r´egion de r´egion de

solution solution

• Proc ´edures de descente de gradient

• fonction de crit `ere: J ( a ) – minimis ´ee si a est une solution

• a ( k + 1 ) = a ( k ) − η( k ) J ( a ( k ))

• η( k ) : taux d’apprentissage

D ESCENTE D E G RADIENT S IMPLE ( Θ , η (·), a

)

1 a ← a

2 k ← 0 3 faire

4 k ← k + 1

5 a ← a − η( k ) J ( a )

6 jusqu’ `a | η ( k ) J ( a )| < Θ

7 retourner a

Fonctions discriminantes lin ´eaires

• Descente de Newton

• J ( a ) J ( a ( k )) + J

( a − a ( k )) + 1

2 ( a − a ( k ))

H ( a − a ( k ))

• matrice hessienne: H

= δ

J δ a

δ a

• a ( k + 1 ) = a ( k ) − H

J

D ESCENTE D E N EWTON (Θ, a

)

1 a ← a

2 faire

3 a ← a − H

J ( a )

4 jusqu’ `a | H

J ( a )| < Θ

5 retourner a

• Descente de Newton

a

a

J(a)

Fonctions discriminantes lin ´eaires

• Le perceptron

• J

( a ) = ∑

i=1

I

(− a

y

z

)

• J

= ∑

i=1

I

(− y

z

)

• a ( k + 1 ) = a ( k ) + η( k ) ∑

I

y

z

• Le perceptron

P ERCEPTRON B ATCH ( Θ , η (·), a

)

1 a ← a

2 k ← 0 3 faire

4 k ← k + 1

5 a ← a + η( k ) ∑

I

y

z

6 jusqu’ `a | η ( k ) ∑

I

y

z

| < Θ

7 retourner a

Fonctions discriminantes lin ´eaires

• Fonctions de crit `ere

-2 0 2

4 -2

0 2

4 0

100

-2 0 2

4 -2

0 2

4 0

5 -2 0 2 4 -2

0 2

4 0

1 2 3

-2 0 2 4 -2

0 2

4 0

5 10

y₁ y₁

y₁ y₁

y₂ y₂

y₂ y₂

y₃ y₃

y₃ y₃

a₂ a₂

a₂ a₂

a₁ a₁

a₁ a₁

J_p(a)

Jq(a) J_r(a)

J(a)

r´egion de r´egion de

r´egion de r´egion de

solution solution

solution solution

1 a ← a

2 k ← 0 3 faire

4 k ← ( k + 1 ) mod n

5 si a

y

z

≤ 0 alors y

mal classifi´e 6 a ← a + y

z

7 jusqu’ `a ∑

I

= 0 pas d’erreur 8 retourner a

• Th ´eor `eme

• Si l’ensemble d’entraˆınement est lin ´eairement s ´eparable, l’algorithm

P ERCEPTRON E N L IGNE se termine `a une vecteur de solution apr `es

un nombre fini de corrections.

Fonctions discriminantes lin ´eaires

• Le perceptron en-ligne, avec marge, d’incr ´ement variable

P ERCEPTRON E N L IGNE M ARGE V ARIABLE (η(·), a

, b)

1 a ← a

2 k ← 0 3 faire

4 k ← k + 1 5 k

← k mod n

6 si a

y

z

≤ b alors 7 a ← a + η( k ) y

z

8 jusqu’ `a ∑

I

= 0 pas d’erreur par rapport `a la marge b

9 retourner a

• Conditions de convergence

• η( k ) ≥ 0

• lim

m→∞

m k

∑

η( k ) = ∞

• lim

m→∞

∑

η

( k )

(∑

η ( k ))

= 0

Fonctions discriminantes lin ´eaires

• Le perceptron batch d’incr ´ement variable

• y

= ∑

i=1

I

y

z

P ERCEPTRON B ATCH V ARIABLE (η(·), a

)

1 a ← a

2 k ← 0 3 faire

4 k ← k + 1

5 a ← a + η( k ) ∑

I

y

z

6 jusqu’ `a ∑

I

= 0

7 retourner a

• Proc ´edures de relaxation

• J

( a ) = ∑

i=1

I

( a

y

z

)

• J

( a ) = 1 2

n i

∑

I

( a

y

z

− b )

y

z

• J

= ∑

i=1

I

a

y

z

− b y

z

y

z

• a ( k + 1 ) = a ( k ) + η( k ) ∑

i=1

I

b − a

y

z

y

z

y

z

Fonctions discriminantes lin ´eaires

• Proc ´edures de relaxation

R ELAXATION B ATCH M ARGE ( η (·), a

, b)

1 a ← a

2 k ← 0 3 faire

4 k ← k + 1

5 a ← a + η( k ) ∑

I

y_iz_i²

y

z

6 jusqu’ `a ∑

I

= 0

7 retourner a

• Relaxation en-ligne

R ELAXATION E N L IGNE M ARGE (η(·), a

, b)

1 a ← a

2 k ← 0 3 faire

4 k ← k + 1 5 k

← k mod n

6 si a

y

z

≤ b alors

7 a ← a + η( k )

kz_k²

y

z

8 jusqu’ `a ∑

I

= 0

9 retourner a

Fonctions discriminantes lin ´eaires

• Relaxation en-ligne

• r ( k ) = b − a

y

z

y

z

a

y

= b

a (k)

y

r(k)

y

y

1- η η

• η > 1: sur-relaxation

• η < 1: sous-relaxation

• condition de convergence: 0 < η < 2

a₁ a₁

J(a) J(a)

Fonctions discriminantes lin ´eaires

• Comportement dans le cas non-s ´eparable

• proc ´edures de correction d’erreur

• fonctionnent bien si

• la d ´ecision de Bayes est `a peu pr`es lin ´eaire

• l’erreur de Bayes est petite

• si 2 d > n, la probabilit ´e de non-s ´eparabilit ´e est petite

• Incr ´ement fixe

• boucle infinie

• engendre un proc ´essus d’ ´etat fini

• moyenner les vecteurs de poids

• Incr ´ement variable

• converge si η( k ) → 0

Fonctions discriminantes lin ´eaires

• L’approche d’erreur carr ´ee (r ´egression)

• soit b = ( z

,..., z

)

• Id ´ealement on voudrait trouver a tel que Ya = b

• Mais on commet des erreurs e = Ya − b

• J

( a ) = Ya − b

= ∑

i=1

( a

y

− b

)

• J

( a ) = ∑

i=1

2 ( a

y

− b

) y

= 2Y

( Ya − b )

• Y

Ya = Y

b

• a = ( Y

Y )

Y

b = Y

b

Fonctions discriminantes lin ´eaires

• Proc ´edure de Widrow-Hoff (LMS)

• batch: a ( k + 1 ) = a ( k ) + η( k ) Y

( b − Ya ( k ))

• en ligne: a ( k + 1 ) = a ( k ) + η( k ) y

( b

− a

y

) LMS ( Θ , η (·), a

)

1 a ← a

2 k ← 0 3 faire

4 k ← k + 1 5 k

← k mod n

6 a ← a + η( k ) y

( b

− a

y

)

7 jusqu’ `a | η ( k ) y

( b

− a

y

)| < Θ

8 retourner a

• Proc ´edure de Widrow-Hoff (LMS)

• se comporte bien dans le cas non-s ´eparable

• ne converge pas n ´ecessairement `a un hyperplan s ´eparateur dans les

cas s ´eparables

Fonctions discriminantes lin ´eaires

• La machine de support vector (SVM)

• objectif: trouver un hyperplan s ´eparateur avec une grande marge z

g ( y

) = z

a

y

• maximiser b: z

g ( y

)

a ≥ b i = 1 ,..., n

y₁ y₂

R2

R1

hyperplan

optimal

mar gemar

ge

maximale maximale