Reconnaissance Statistique des Formes

Université Paris 13/Younès Bennani Reconnaissance des Formes 1

Reconnaissance Statistique des Formes

2

Exercice

µ

= 1 0

!

"

# $

% , µ

= 0

1

!

"

# $

% , µ

= 2

2

!

"

# $

%

On considère dans l’espace 2-D un problème à 3 classes :

- Donner les expressions des fonctions de décision

- Donner les expressions des frontières entre les 3 classes

P C ( )

^{= P C} ( )

^{= 1}

4 , P C ( )

^{= 1}

2

= = 1 0

0 2

!

"

# $

%

&

&

^, &

^{= !} _" ^{# 1 0} _{0 1} ^$ _%

Université Paris 13/Younès Bennani Reconnaissance des Formes 3

Bayes Classifier

Hypothèse de Multi-normalité

x x x

x x

x x x x

x

o o o

o o o o

o o

o o

l l

l l

l

l l

l l l

l l l

l

!1

"1

!₂

"2

!3

"3

La fonction de décision est :

g

( X ) = ! 1

2 (X ! µ

)

"

!1

( X ! µ

) ! n

2 ln 2 [ ] # ! 1

2 ln [ ] "

^{+ ln [ P(C}

^{) ]}

La frontière entre les classes :

g

( X ) = g

( X) ! g

( X)

Bayes Classifier

Hypothèse de Multi-normalité

x x x

x x

x x x x

x

o o o

o o o o

o o

o o

l l

l l

l

l l

l l l

l l l

l

!1

"₁

!2

"2

!3

"3

Université Paris 13/Younès Bennani Reconnaissance des Formes 5

Bayes Classifier

Hypothèse de Multi-normalité

Exercice (corrigé)

La fonction de décision pour C1:

!

= !

= 2, 1

2 ln !

= 1

2 ln !

= 1 2 ln 2

!

= 1, 1

2 ln !

= 0

!

"1

= !

"1

= 1 0

0

2

#

$

% &

' ( , !

"1

= 1 0

0 1

#

$ % &

'

g₁(X)= !1 2

x₁ x₂

"

#

$ %

& ! 1 0

"

#

$ %

&

' ( )

* + ,

t 1 0

0 1/ 2

"

#

$ %

&

x₁ x₂

"

#

$ %

& ! 1 0

"

#

$ %

&

' ( )

* + , !1

2ln(2)+ln 1 4

"

# %

&

= !1

2

(

)

#

$ %

&

x₁!1 x₂

"

#

$ %

& ! 1

2ln(2)+ln 1 4

"

# %

&

= !1

x₁!1

( )

' * ! 5

ln(2)

Université Paris 13/Younès Bennani Reconnaissance des Formes 7

Les fonctions de décision :

g₂(X)= !1

2 x₁² + 1

2

(

)

"

#

$

% ! 5 2ln(2) g₃(X)=!1

2

[ (

)

(

)

]

g₁(X)= !1

2

(

)

"

#

$

% ! 5 2ln(2)

Les frontières entre les 3 classes :

entre C1 et C2 g_{1 2}(X)=g₁(X)!g₂(X)

=x₁! x₂ 2 !1

4 =0

entre C1 et C3

entre C2 et C3

g_{1 3}(X)=g₁(X)!g₃(X)

= x₂²

4 !2x₂!x₁+ 7!3ln(2)

2 = 0

g_{2 3}(X)=g₂(X)!g₃(X)

= x₁²

4 !2x₁! x₂+ 7!3ln(2)

2 =0

Représentation graphique

-2 -1 0 1 2 3 4 5 6 7 8

-6 -4 -2 0 2 4 6 8

µ1

µ2

µ3

g_{1 2}(X)

g_{1 3}(X) g_{2 3}(X)

Université Paris 13/Younès Bennani Reconnaissance des Formes 9

Notions de distances

Définir une distance entre un objet et une classe à partir de la distance entre objets (formes) :

Approche la plus simple et la plus intuitive en RdF.

Un élément appartient à une classe s'il est plus proche de cette classe que toutes les autres.

La distance dépend de la forme à traiter et des paramètres extraits.

x x x

x x

x x x x

x

oo o

o o o o

o o

o o

+ X

Définition d’une distance

E : ensemble de points,

Espace métrique réel s'il existe une fonction : d : ExE !

!

vérifiant :

1. " (x,y) # E², x#y $ d(x,y) > 0, (séparabilité)

2. " x # E, d(x,x) = 0, (réflexivité)

3. " (x,y) # E², d(x,y)=d(y,x), (symétrie)

4. " (x,y,z) # E³, d(x,z) $ d(x,y) + d(y,z). (inégalité triangulaire)

Université Paris 13/Younès Bennani Reconnaissance des Formes 11

Exemples de distances

Distance de Hamming

X =

{ }

M x_n

!

"

#

# #

$

%

&

&

& Y =

{ }

d₁(X,Y)= x_i!y_i

i=1 n

"

d₂(X,Y)=

(

)

i=1 n

"

dk(X,Y)= xi!yi i=1

n

"

# k

$

% &

' (

1 k

d_!(X,Y)=max_i=1Knx_i"y_i Distance Euclidienne

Distance d^k

Distance du maximum E : ensemble de points, (X,Y) # E²

Distances entre formes et classes

Plus la distance est petite, plus on admet que la ressemblance est grande.

x x x

x x

x x x x

x

o o o

o o o o

o o

o o

X +

C_i

Cj d (C_i, C_j)

d₂(X,Y)=

(

)

i=1 n

"

• La distance d entre deux classes Ci et Cj est définie par :

d (C

, C

) = inƒ { d X,Y ( ) ^{; X !C}

et Y !C

}

d (X, Cj) d (X, C_i)

Université Paris 13/Younès Bennani Reconnaissance des Formes 13

Distances binaires

• caractéristiques des formes ne sont pas mesurables.

• codage binaire : 1 % présence de l’attribut (caractère) 0 % absence de l’attribut

• Le nombre de fois où X et Y possèdent le même caractère (couples de 11)

• Le nombre de fois où X et Y ne possèdent aucun caractère commun (couples de 00)

• Le nombre de fois où X ne possède pas le caractère possédé par Y (couples de 01)

• Le nombre de fois où X possède un caractère non possédé par Y (couples de 10) a= xi.yi

i=1 n

!

b=

(

)

i=1 n

" ⁽

⁾

h=

(

)

i=1 n

"

g= x_i. 1

(

)

i=1 n

"

Quelques distances binaires

• Russel et Rao

• Joccard et Needham

• Dice

• Sokal et Sneath

S₁(X,Y)= a a+b+g+h S2(X,Y)= a

n!b S3(X,Y)= a

2a+g+h S4(X,Y)= a

a+2(g+h) S5(X,Y)=a+b

n S6(X,Y)= a g+h

• Sokal et Michenon

• Kulzinsky

Université Paris 13/Younès Bennani Reconnaissance des Formes 15

Exemple

Caractéristiques

Rond Allongé Rouge Vert

1 0 1 0

0 1 0 1

1 0 0 1

S

( , )=0 et S

( , )=0.33

et se ressemblent plus que et

MDC: Minimum-Distance Classifier

M classes { C1,C2,..., CM }, M prototypes Y = { Y1,Y2,..., YM } dans !ⁿ on cherche à identifier la forme X.

• Attribuer un élément X à une classe Ck :

X !C

" C

= Arg min

C_i

d X,C (

)

!

D

= d X,C (

) ^{= d( X,Y}

^{) =} [ ( ^{X " Y}

)

( ^{X " Y}

) ]

^{,1 # i # M}

D

= min

1!i!M

( d( X, Y

) )

Université Paris 13/Younès Bennani Reconnaissance des Formes 17

MDC: Minimum-Distance Classifier

• Fonction de décision pour Ci :

D

2

= [ ( X ! Y

)

( ^{X ! Y}

) ]

= X

X ! 2 X

Y

+ Y

Y

Constante

minimiser

D

!

!2 X

Y

+ Y

Y

, 1 " i " M

maximiser

c

2 X

Y

! Y

Y

, 1 " i " M g

( X ) = X

Y

! 1

2 Y

Y

, 1 " i " M X #C

ssi g

(X) > g

( X), j $ i

MDC: Minimum-Distance Classifier

• Fonction de décision linéaire :

g

( X ) = X

Y

! 1

2 Y

Y

, 1 " i " M g

( X ) = W

X, 1 ! i ! M

X =

x

x

M x

1

!

"

#

#

# #

$

%

&

&

&

&

W

= w

w

M w

w

!

"

#

#

# #

$

%

&

&

&

&

=

y

y

M y

'1 2

Y

Y

!

"

#

#

# #

$

%

&

&

&

&

Université Paris 13/Younès Bennani Reconnaissance des Formes 19

MDC: Minimum-Distance Classifier

• Cas Multi-prototypes :

C

! Y

, Y

, K , Y

D

= min

1!j!ni

d (X , Y

)

( )

g

( X ) = X

Y

! 1

2 ( Y

)

^Y

(j)

, 1 " j " n

X #C

ssi g

(X) > g

( X), j $ i

• Fonction de décision pour Ci :

MDC: Minimum-Distance Classifier Exemple

C

! (1, 0), (1,1) C

! (0,1), (3,1)

C

! (1,2), (0, 0), ("1,1) X = (1, "1) #?

Consider a three-class problem in R² where each class is represented by its prototypes as follows:

Given the incoming pattern :

Université Paris 13/Younès Bennani Reconnaissance des Formes 21

MDC: Minimum-Distance Classifier Exemple

!

g₁(X)=

(

) ( )

2

( )

( )

(

) ( )

( )

( )

2 g₃(X)=

(

) ( )

( )

( )

!

D₁=min

[

(

( ) )

(

( ) ) ]

^{( )}

D₂=min

[

( ( ) )

( ( ) ) ]

^{( )}

D₃=min

[

( ( ) )

( ⁽

⁾ )

(

⁽

⁾ ) ]

^{( )}

!

g₁₂(X)=g₁(X)"g₂(X)=x₁"x₂=0

g₂₃(X)=g₂(X)"g₃(X)=x₂"1

2=0

g₃₁(X)=g₃(X)"g₁(X)= 1

2"x₁=0

Les fonctions de décision :

Les frontières entre les 3 classes : entre C1 et C2

entre C2 et C3

entre C3 et C1

Méthodes non paramétriques

k-Nearest Neighbour : KNN k-plus proches voisins : KPPV

N observations D = { X¹, X²,...,X^N} dans !ⁿ réparties en M classes {C1,C2,..., CM}, d(Xⁱ, X^j) est une distance entre les observations Xⁱ et X^j.

Règle du plus proche voisin (k=1) :

Xⁱ est affecté à la classe Cj si Cj est la classe de l'objet X^j, tel que : d(Xⁱ, X^j) = min _{k#i, K=1…N} d(Xⁱ, X^k), pour X^k appartenant à D.

x x x

x x

x x x x

x

oo o

o

o o o

o o

o o

i

C_i

x

x

x + ^o

o o

o o

o o

o x

xx x

x x

C_j X^j

Université Paris 13/Younès Bennani Reconnaissance des Formes 23

Méthodes non paramétriques

k-Nearest Neighbour : KNN k-plus proches voisins : KPPV

Règle des k plus proches voisins :

Xⁱ est affecté à la classe Ci si Ci est la classe la mieux représentée parmi les k voisins les plus proches de Xⁱ, tel que :

k_i = max { k₁, k₂, …, k_M } $ Xⁱ # C_i.

Avec ki = le nombre d’éléments de la classe Ciparmi les k voisins les plus proches de Xⁱ. et k1+k2+ …+ kM = k

x x x

x x

x x x x

x

oo o

o

o o o

o o

o o

Xⁱ C_i

x

x

x + ^o

o o

o o

o o

o x

xx x

x x

C_j kj =3 ki =5

k= 8

Méthodes non paramétriques

k-Nearest Neighbour : KNN k-plus proches voisins : KPPV

Propriétés de convergence en probabilité :

la probabilité d’erreur avec la règle du plus proche voisin (PPV) converge en probabilité vers une quantité inférieure à deux fois l’erreur minimum de la décision bayésienne, mais reste supérieure ou égale à une fois cette erreur.

Err

! lim

Err

! 2 Err

Université Paris 13/Younès Bennani Reconnaissance des Formes 25

Méthodes non paramétriques

k-Nearest Neighbour : KNN k-plus proches voisins : KPPV

Surface de séparation générée par KNN

Voronoi Net Delaunay Net

Frontière entre les 2 classes

Prototypes de la classe 1

Prototypes de la classe 2

Méthodes non paramétriques

k-Nearest Neighbour : KNN

k-plus proches voisins : KPPV

Université Paris 13/Younès Bennani Reconnaissance des Formes 27

Décision et Rejet

variante (k,l)-Nearest Neighbour (k,l)-NN

Décisions avec rejet :

consiste à fixer un seuil l de décision : k/2 < l < k

et à décider que Xⁱ est affecté à la classe Ci si au moins l parmi les k voisins les plus proches de Xⁱ appartiennent à Ci.

x x x

x x

x x x x

x

o o o

o

o o o

o o

o o

Xⁱ Ci

x

x

x + ^o

o o

o o

o o

o x

xx x

x x

Cj k_j =3 k_i =5

(k,l)= (8,5) $ Xⁱ # Ci

(k,l)= (8,6) $ Rejet

Variantes accélérées

k-Nearest Neighbour : KNN k-plus proches voisins : KPPV

KNN = méthode lente en phase de décision

nécessite le calcul de N distances dans un espace à n dimensions.

Variantes sub-optimales nécessitent moins de calcul :

• La condensation

[P.E. Hart, « The condensed Nearest Neighbor Rule » IEEE Transactions Information Theory, 14, May, 1968.]

• Le pavage

[C. Delannoy, « Un algorithme rapide de recherche de plus proches voisins » RAIRO Informatique, 14(3):275-286, 1980.]

• La hiérarchie

[J. H. Friedman, J. L. Bentley, R. A. Finkel, « An algorithm for finding best matches in logarithmic expected time », ACM Transactions on Software, 3(3), 1977]

• Le tri

[T. P. Yunk, « A technique to identify Nearest Neighbors », IEEE Transactions on Systems, Man and Cybernetics, 6:678-683, 1976]

Université Paris 13/Younès Bennani Reconnaissance des Formes 29

Recherche des KNN

Méthode de projection

J.H. Friedman, F. Baskett, L.J. Shustek

« An algorithm for finding nearest neighbors »

IEE trans. Comput?, Vol. C-24, pp. 1000-1006, Oct. 1975

Méthode non-paramétrique KNN Avantages :

- pas d’hypothèse sur les distributions - simple à mettre en œuvre

- donne une probabilité d’erreur faible Inconvénients :

- temps de calcul important (recherche des knn) - place mémoire

(stockage de l’ensemble des prototypes)

Recherche des KNN

Méthode de projection : 2-dimension

Pré-traitement Étape 0 :

projeter l’ensemble des points sur un axe et trier les projections

(projection+trie une seule fois pour l’ensemble des données) O(NlogN)

Recherche des knn Étape 1 :

localiser la projection du point test sur l’axe de projection

(recherche dichotomique O(logN)) Étape 2 :

trouver les 2 plus proches projections

(une de chaque coté)de la projection du point test Étape 3 :

calculer la distance (en dimension complète) entre les 2 prototypes et le point test

choisir le prototype minimisant cette distance : r_d

Université Paris 13/Younès Bennani Reconnaissance des Formes 31

Recherche des KNN

Méthode de projection : 2-dimension

Étape 4 :

déterminer les limites de la recherche - borne #1=projection du test+r_d - borne #2=projection du test -r_d Étape 5 :

calculer et sauvegarder en mémoire les distances entre le test et les prototypes à l’intérieur des deux bornes

Étape 6 :

trouver le prototype minimisant la distance par rapport au test = le plus proche voisin

Pour la recherche des knn (k>1) Étape 7 :

supprimer le ppv (trouvé à l’étape 6) de la liste des prototypes à l’intérieur des bornes

répeter k fois de l’étape 1 à l’étape 7 Si k>1, les bornes sont recalculées à chaque itération.

Recherche des KNN

Méthode de projection : d-dimension

Comment trouver le meilleur axe de projection ?

Université Paris 13/Younès Bennani Reconnaissance des Formes 33

Maximum coordinate ! distance

2 Euclidian

1 Manhattan

n p

Metric

Recherche des KNN

Méthode de projection : d-dimension

Étape 0.1 :

projeter l’ensemble des points sur les d axes et trier les projections

Étape 0.2 :

estimer le nombre n de distances à calculer dans le cas d’une distribution uniforme (worst case)

!

( )

!

" kd d 2#1

$

% & ' ( ) !

$

% & '

( )

1/d

(

)

!

k^1/dN^1"(1/d)

K: le nombre des ppv, d: la dimension, N: le nombre de prototypes

Recherche des KNN

Méthode de projection : d-dimension

Étape 1 :

localiser la projection du test sur chaque axe Étape 2 :

trouver la position du (n/2)ème prototype de chaque coté du test

Étape 3 :

calculer la distance S entre ces 2 prototypes Étape 4 :

calculer la projection de la densité locale D au voisinage du point test (local projected density) :

Étape 5 :

sélectionner l’axe minimisant D et l’utiliser pour la recherche des knn (méthode 2-dimension)!

D=n/S

Université Paris 13/Younès Bennani Reconnaissance des Formes 35

Nettoyage (editing) de l’ensemble d’apprentissage

Début

diviser aléatoirement l’ensemble d’apprentissage en deux sous-ensembles S₁ et S₂

tant que la stabilisation de S₁ et S₂ n’est pas réalisée faire

1-classer tous les points de S₁ sur S₂ par la règle du 1-ppv 2-éliminer de S₁ tous les points dont la classe n’est pas la même que celle de leur plus proche voisin dans S₂

3-classer tous les points de S₂ sur le nouveau S₁ par la règle du 1-ppv 4-éliminer de S₂ tous les points dont la classe n’est pas la même que celle de leur plus proche voisin dans S₁

fin tant que

L’ensemble d’apprentissage nettoyé est composé de S₁& S₂ fin.

Condensation (condensing) de l’ensemble d’apprentissage

Début

ordonner les m exemples d’apprentissage de x₁ à x_m initialiser S par x₁ et G par x₂ à x_m

tant que S et G ne sont pas stabilisés faire pour

chaque point g_i de G faire

si le 1-ppv de g_i dans S n’a pas la même classe que g_i alors enlever g_i de G et le mettre dans S

fin si fin pour

fin tant que

L’ensemble d’apprentissage condensé est S fin.

Université Paris 13/Younès Bennani Reconnaissance des Formes 37

Exercice

C

! (0,3), (0, 2), (0,1), (0, 0), ("1,0), ("2, 0) C

! (1,3), (1,1),(1,0), (0, "1)

X = (1,4) #? avec 1 " NN, 3 " NN et 5 " NN