Reconnaissance des Formes

Université Paris 13/Younès Bennani Reconnaissance des Formes 1

Master Pro. EID

Reconnaissance des Formes

Younès BENNANI

Plan du cours

• Méthodes statistiques

• Méthodes paramétriques

• Méthodes non-paramétriques

• Classification automatique

• Extraction et sélection de traits

• Méthodes structurelles

• Structures de chaîne

• Extraction de primitives

• Méthodes syntaxiques

• Grammaires et automates

• Arbres et graphes

Université Paris 13/Younès Bennani Reconnaissance des Formes 3

Reconnaissance Statistique des Formes

Partie I

1

Younès BENNANI

• Keinosuke Fukunaga

« Statistical Pattern Recognition »

Acacemic Press

Computer Science and Scientific Computing

• M. Friedman & A. Kandel

« Introduction to Pattern Recognition »

World Scientific

Machine Perception & Artificial Intelligence, Vol. 32.

• A. & Y. Belaïd

« Reconnaissance des Formes »

Inter Editions

Informatique & Intelligence Artificielle

Bibliographie

Université Paris 13/Younès Bennani Reconnaissance des Formes 5

A

RdF Statistique et Structurelle

a b d c

e

f g h

=[x1, x2, …, xn]

= b b b h h h a a

=[x¹, x², …, xⁿ]

= 0000000 …1100111000...

X

X

RdF Structurelle RdF Statistique

Méthodes syntaxiques - Grammaires et automates - Arbres et graphes

Méthodes statistiques

- Méthodes paramétriques+ non-paramétriques - Extraction et sélection de traits

- Classification automatique

A

Codage numérique des formes

t x(t)

t1 t2 t3 tn-1 tn

X =

x

₁

x

₂

M

x

_n

!

"

#

# #

$

%

&

&

&

=

x t ( )

₁

x t ( )

₂

M x t ( )

_n

!

"

#

#

# #

$

%

&

&

&

X =

x

₁

x

₂

M

x

_n

!

"

#

# #

$

%

&

&

&

= x ( ) 1 x ( ) 2 M

x n ( )

!

"

#

#

#

$

%

&

&

&

Pixel #1

Pixel #n

Université Paris 13/Younès Bennani Reconnaissance des Formes 7

Formes et variabilité

Représentation numérique

Un exemple :

Chernoff faces of the speaker data

Université Paris 13/Younès Bennani Reconnaissance des Formes 9

Classification : «!Clustering!»

Espace des formes

regroupement

C3

C4

C2

C1

Espace des « clusters »

Classement

Espace des formes

identification

Espace de décision

C1

C2

C3

C4

Université Paris 13/Younès Bennani Reconnaissance des Formes 11

Système de RdF

Codage Prétraitement Analyse Décision

Apprentissage

fréquenc e(Hz)

Monde Physique Espace des Formes

Analogique --> Numérique Espace de Représentation Microphone

Caméra

Sélection de l'info. nécessaire Elimination du bruit Suppression de la redondance

Calcul de paramètres Espace des Paramètres

Modélisation Espace des Noms

Reconnaissance Calcul de distance ou

de probabilité

Système de RdF

g(X, W)

:.

^g

+1

-1

+1 -1

Professeur

X= x1

x2

M x_n

!

"

#

# #

$

%

&

&

&

W=

w1

w2

M wn

!

"

#

# #

$

%

&

&

&

Université Paris 13/Younès Bennani Reconnaissance des Formes 13

Système de RdF

Classificateur :.

X=

x1

x2

M x_n

!

"

#

# #

$

%

&

&

&

Max P C (

_i

/ X )

ou Min d X, ( C

_i

)

Espace des formes Espace des décisions

Linear Discriminant Functions

x x x

x x

x x x x

x

oo o

o o

o o o

o o o

X_i

C₂

C₁

g(x)=0 g(x)> 0) g(x)< 0

Définir des fonctions permettant de séparer des classes représentées par leurs échantillons.

g(x)=W.X^t =w1 x1+w2 x2+ … +wn xn +wn+1

g(x)=W.X^t

>0 si x

!C

₁

<0 si x

!C

₂

"

#

$

% $

Université Paris 13/Younès Bennani Reconnaissance des Formes 15

Linear Discriminant Functions

Soit M le nombre de classes : C₁ ,C₂, . . . , C_M 1 classe contre le reste :

Il existe M fonctions de discrimination :

g_k(x) = W_k.X^t k = {1, 2, . . . , M}

x x x x x x

x x

x x

oo o

o o

o o o oo

o l l

l l l

ll l

g_j(x)=0 l

C_i

C_j

g_k(x)=W_k.X^t

>0 si x!C_k k=1KM

<0 sinon

"

#

$

% $

Linear Discriminant Functions

Classes séparables 2 à 2 :

Il existe M(M-1)/2 fonctions de discrimination : g_ij(x) = W_ij.X^t si x ! C_i alors g_ij(x) > 0 " j!i

et g_ij(x) = - g_ji(x)

Cas particulier :

g_ij(x) = g_i(x) - g_j(x) = (W_i- W_j).X^t = W_ij.X^t

x x x x x x

x x

x x

oo o

o o

o o o oo

o l l l l

C_i

Université Paris 13/Younès Bennani Reconnaissance des Formes 17

Méthodes paramétriques

Bayes Classifier

N observations D = { X¹, X²,...,X^N} dans #ⁿ réparties en M classes {C₁,C₂,..., C_M}, on cherche à estimer la probabilité d'appartenance a posteriori

de X à chacune des c classes.

P(C_i) : probabilité a priori d'appartenance à la classe C_i.

P(X/C_i) : la densité de probabilité conditionnelle dans la classe C_i.

x x x

x x

x x x x

x

oo o

o oo o

o o

o o

l l l l

l

l l

l l l

l l l

l

X_i

Ci

Méthodes paramétriques

Bayes Classifier

Supposons que soient connues P(C_i) et P(X/C_i), pour tout i variant de 1 à M, et supposons que l'on veuille identifier la classe d'un objet inconnu X :

La règle de Bayes consiste à déterminer la probabilité d'appartenance a posteriori de X à chacune des M classes :

P(C

_i

/ X) = P(X / C

_i

) P(C

_i

) P( X / C

_i

) P(C

_i

)

i=1 M

!

Probabilité a priori d’appartenance à la classe Ci Densité de probabilité conditionnelle dans la classe Ci

Probabilité a posteriori d’appartenance de X à la classe Ci

Université Paris 13/Younès Bennani Reconnaissance des Formes 19

Méthodes paramétriques

Bayes Classifier

L'objet X sera affecté à la classe pour laquelle P(C_i/X) sera maximum.

Une autre formulation du problème sera de calculer les fonctions discriminantes g_i(X) :

g _i ( X ) = P( X / C _i )P (C _i )

La règle de décision sera alors d'affecter X à la classe C_i correspondant à g_i(X) maximum.

Bayes Classifier

Hypothèse de Multi-normalité

$ (µ

_i

, %

_i

) pour la classe

Ci

µ

i

est le vecteur moyenne

%

i

est la matrice de covariance

µi= µ1= 1

N X1 k k=1

N

!

µ2= 1 N X₂^k

k=1 N

!

M µn= 1

N Xn k k=1

N

!

"

#

$

$

$

$

$

$

%

&

' ' ' ' ' '

!i=

var(X1) cov(X1,X2) L L cov(X1,Xn) var(X2)

M M M M M

M M M

cov(Xn,X1) L L var(Xn)

"

#

$

$

$ $

%

&

' '

' ' var(X_i)=!²(X_i)= 1 N (X_i^k

k=1 N

"

^#µi)2

1 N k

!

^k

Université Paris 13/Younès Bennani Reconnaissance des Formes 21

Bayes Classifier

Hypothèse de Multi-normalité

x x x

x x

x x x x

x

oo o

o oo o

o o

o o

l l l l

l

l l

l l l

l l l

l

"₁

#₁

"2

#₂

"₃

#3

Bayes Classifier

Hypothèse de Multi-normalité

P(X / C

_i

) = 1 (2 ! )

n 2

"

_i

1 2

e

^#

1

2(X#µ_i)^t"_i^#1(X#µ_i)

$

% & '

( ) La fonction de densité multi-normale a pour expression :

Université Paris 13/Younès Bennani Reconnaissance des Formes 23

Bayes Classifier

Hypothèse de Multi-normalité

La fonction de décision est :

g

_i

( X ) = ! 1

2 ( X ! µ

i

)

^t

"

_i^!1

( X ! µ

i

) ! n

2 ln 2 [ ] # ^{! 1}

2 ln [ ] "

_i

^{+ ln [ P(C}

ⁱ

^{) ]}

si l'on prend le logarithme népérien :

g

_i

(X ) = ln P(X / C [

_i

) ] ^{+ ln P(C} [

ⁱ

⁾ ]

g _i ( X ) = P( X / C _i )P (C _i )

Bayes Classifier

Hypothèse de Multi-normalité

Université Paris 13/Younès Bennani Reconnaissance des Formes 25

Bayes Classifier

Hypothèse de Multi-normalité et d’équi-covariance

La fonction de décision est :

g

_i

( X ) = ! 1

2 ( X ! µ

i

)

^t

"

^!1

( X ! µ

i

) + ln [ P(C

_i

) ] P( X / C

_i

) !"( µ

_i

^{, #)}

les classes ont une même matrice de covariance :

Bayes Classifier

Hypothèse de Multi-normalité, d’équi-covariance et d’équi-probabilité

g

_i

( X ) = ! 1

2 ( X ! µ

i

)

^t

"

^!1

( X ! µ

i

)

En faisant l'hypothèse supplémentaire d'égalité d'appartenance à priori aux classes, la fonction de décision devient :

On retrouve la distance de Mahalanobis :

d

mahalanobis

2

( X, µ

i

) = ( X ! µ

i

)

^t

"

^!1

( X ! µ

i

)

P(C

_i

) = P( C

_j

) ! i, j

Université Paris 13/Younès Bennani Reconnaissance des Formes 27

Exercice

µ

1

= 1 0

!

"

# $

% , µ

2

= 0 1

!

"

# $

% , µ

3

= 2 2

!

"

# $

%

On considère dans l’espace 2-D un problème à 3 classes :

- Donner les expressions des fonctions de décision - Donner les expressions des frontières entre les 3 classes - Donner une représentation graphique

P C ( )

₁

^{= P C} ( )

2

^{= 1}

4 , P C ( )

₃

^{= 1}

2

= = 1 0

0 2

!

"

# $

%

&

2

&

1

^, &

3

^{= !} _" ^{# 1 0} _{0 1} ^$ _%

Exercice (corrigé)

La fonction de décision pour C1:

!

₁

= !

₂

= 2, 1

2 ln !

₁

= 1

2 ln !

₂

= 1 2 ln 2

!

3

= 1, 1

2 ln !

3

= 0

!

₁^"1

= !

₂^"1

= 1 0

0

¹

2

#

$

% &

'

( , !

₃^"1

= 1 0

0 1

#

$

% &

'

g₁(X)

= !

1 2

x₁ x₂

"

#

$ %

& !

1 0

"

#

$ %

&

' ( )

* + ,

t 1 0

0 1/ 2

"

#

$ %

&

x₁ x₂

"

#

$ %

& !

1 0

"

#

$ %

&

' ( )

* + , !

1

2ln(2)

+

ln 1 4

"

# %

&

= !

1

2

(

x₁

!

1 x₂

)

^{1 0}

0 1/ 2

"

#

$ %

&

x₁

!1

x₂

"

#

$ %

& !

1

2ln(2)

+

ln 1 4

"

# %

&

1 1 5

Université Paris 13/Younès Bennani Reconnaissance des Formes 29

Les fonctions de décision :

g₂(X)= !1 2 x₁²+1

2

(

x₂!1

)

²

"

#

$

% !5 2ln(2) g₃(X) =!1

2

[ (

x₁!2

)

²+

(

x₂!2

)

²

]

^!ln(2)

g₁(X)

= !

1

2

(

x₁

!

1

)

²

⁺

¹

2x₂²

"

#

$

% !

5 2ln(2)

Les frontières entre les 3 classes :

entre C1 et C2 g₁₂(X)=g₁(X) !g₂(X)

=x₁!x₂ 2 !1

4 =0

entre C1 et C3

entre C2 et C3

g₁₃(X)=g₁(X)!g₃(X)

= x₂²

4 !2x₂!x₁+7!3ln(2)

2 =0

g₂₃(X)=g₂(X)!g₃(X)

= x₁²

4 !2x₁!x₂+7!3ln(2)

2 =0

Représentation graphique

-2 -1 0 1 2 3 4 5 6 7 8

-6 -4 -2 0 2 4 6 8

µ1

µ2

µ₃ g₁₂(X)

g₁₃(X) g₂₃(X)