État de l'art dans la segmentation d'images couleur

(1)

État de l'art dans la

segmentation d'images couleur

(en 1999)

(2)

P l a n

I - Introduction

II - Approche Globale

III - Approche Région et Frontière

IV - Approche Lumière et Couleur

V - Bilan

(3)

I n t r o d u c t i o n

●

Déf : opération de traitement d'images qui a pour but de

rassembler des pixels entre eux suivant des critères pré-définis

I- Introduction

II- Approche Globale III – Approche Région / Frontière

IV – Approche Lumière / Couleur V - B ilan

(4)

A p p r o c h e G l o b a l e

●

Hypothèse : un objet se distingue par sa couleur

●

Méthodes déduites :

– Regrouper les pixels en clusters de couleur

– Construire des histogrammes selon les caractéristiques couleur des

pixels.

I- Introduction

(5)

A p p r o c h e G l o b a l e

●

Classification non-supervisée :

– Fluzzy C-means.

– K-means.

I- Introduction

II- Approche Globale 1- Clus tering 2- His togram III – Approche Région / Frontière

(6)

A p p r o c h e G l o b a l e

●

Fluzzy c-means :

– Classification non supervisée floue

– 1 point appartient à 1 cluster avec un certain degrés

– Min (dist intra classe) & Max(dist inter classes)

– Algo :

●

Fixation arbitraire d'une matrice d'appartenance

●

Calcul des centres des classes

●

Réajustement de la matrice

I- Introduction

(7)

A p p r o c h e G l o b a l e

●

k-means :

– Connu et utilisé car simple

– Min (dist intra classe) & Max(dist inter classes)

– Position init. des centres influe le résultat final.

– Choisir le bon nombre de clusters.

I- Introduction

(8)

A p p r o c h e G l o b a l e

●

k-means :

– Algo (PhL) : Initialiser

¹

;

^K

●

Répeter

–

affectation de chaque point à son cluster le plus proche

– C(x

ⁱ

) = min_g d(x

ⁱ

;

^g

)

–

recalculer le centre mu de chaque cluster – mu

^g

= ( ^1/ N

^{g )*}

Sum_

^i2C^{g (}

x

ⁱ⁾

●

Tant que abs(mu_k)>epsilon

– Complexité : O(KnI) (I : itérations)

I- Introduction

(9)

A p p r o c h e G l o b a l e

●

Comparaison des 2 méthodes:

– – – – – – –

– FCM : tâche sous le « d »

– K-means : reconnu comme « studv »

I- Introduction

(10)

A p p r o c h e G l o b a l e

●

Comparaison des 2 méthodes:

– K-means à k clusters :

I- Introduction

(11)

A p p r o c h e G l o b a l e

●

Comparaison des 2 méthodes:

– – – – – – –

– FCM : moins pertinent

– K-means : mieux mais pas reconnu non plus

I- Introduction

(12)

A p p r o c h e G l o b a l e

●

Comparaison des 2 méthodes:

– – – – – – – –

– Bons résultats

– FCM + rapide

I- Introduction

(13)

A p p r o c h e G l o b a l e

●

Comparaison des 2 méthodes:

– – – – – – – –

– Bons résultats

– FCM + rapide

I- Introduction

(14)

A p p r o c h e G l o b a l e

●

Problématique :

– N&B: très utilisé et fiable.

– En couleur : combiner pics et vallées de 3 histo

– Bruit => ambiguités

I- Introduction

(15)

A p p r o c h e G l o b a l e

I- Introduction

(16)

A p p r o c h e G l o b a l e

●

Un exemple de méthode :

– Segmentation de chaque plan de couleur indépendamment à partir des histogrammes.

– Les palettes de segmentation obtenues sont fusionnées.

– Résultat : une palette de pixels avec labels.

I- Introduction

(17)

A p p r o c h e G l o b a l e

●

Un exemple de méthode :

I- Introduction

(18)

A p p r o c h e G l o b a l e

●

Un exemple de résultats :

I- Introduction

(19)

A p p r o c h e G l o b a l e

●

Un exemple de résultats :

I- Introduction

(20)

A p p r o c h e R é g i o n / F r o n t i è r e

●

Compacité spatial et

homogénéité : 2 critères importants

●

Impossibilité de connaître la localisation des pixels par les techniques précédentes

●

Deux familles de techniques :

– Split & merge

I- Introduction

1)S plit & Merge 2)Region

growing

3)Detection de contours IV – Approche Lumière / Couleur V - B ilan

(21)

A p p r o c h e R é g i o n / F r o n t i è r e

●

Split & Merge

– Split : On divise jusqu’à ce que la propriété soit vraie dans la sous image

– Merge : On regroupe les régions adjacente dont l’union vérifie la propriété

I- Introduction

growing

3)Détection de contour

(22)

A p p r o c h e R é g i o n / F r o n t i è r e

●

Split & Merge

– Split

●

L’image est stockée dans un arbre.

●

Initialement, arbre racine = image complète

●

Récursivement, chaque feuille F est subdivisée en quatre si elle n’est pas assez homogène, et les quatre sous images sont ajoutée en tant que

feuilles de F.

●

L’algorithme poursuit tant qu’il reste

I- Introduction

growing

3)Détection de contour

(23)

A p p r o c h e R é g i o n / F r o n t i è r e

I- Introduction

growing

3)Détection de contours IV – Approche Lumière / Couleur V - B ilan

(24)

A p p r o c h e R é g i o n / F r o n t i è r e

●

Construction du RAG ( ^Region

Adjacancy Graph )

I- Introduction

growing

RAG

• Connecte les régions adjacentes

• Arrêtes = mesures de différence

(25)

A p p r o c h e R é g i o n / F r o n t i è r e

●

Split & Merge

– Merge

●

Chaque nœud du Region Adjacency Graph est examiné.

●

Si un des voisins de ce nœud est à une distance inférieure à un seuil de regroupement, les deux nœuds fusionnent dans le RAG.

●

Lorsque plus aucun nœud ne peut fusionner avec l’un de ses voisins, STOP.

I- Introduction

growing

(26)

A p p r o c h e R é g i o n / F r o n t i è r e

I- Introduction

growing

Image originale Image après traitement Avantage :

-Méthode qui contourne le

problème du gradiant posé dans

l'algorithme du

Inconvénient :

-Méthode assez

complexe un peu « carré

», dû à la topologie des

quadtreeses quadtrees

(27)

A p p r o c h e R é g i o n / F r o n t i è r e

●

Region growing

– On part d’un point amorce (seed) et l’on

l’étend en ajoutant les points de la frontières qui satisfont le critère d’homogénéité

I- Introduction

growing

Image

originale Amorce Croissance Région

finale

(28)

A p p r o c h e R é g i o n / F r o n t i è r e

●

Region growing

– Deux méthodes:

●

Le point amorce peut être choisi soit par un humain, soit de manière automatique en évitant les zones de fort contraste

(gradient important) => méthode par amorce .

●

Si le critère d’homogénéité est local (comparaison de la valeur du pixel

candidat et du pixel de la frontière) =>

méthode linéaire .

I- Introduction

growing

(29)

A p p r o c h e R é g i o n / F r o n t i è r e

– Méthode par amorce

●

On définit une zone R qui contient la région à extraire.

●

Initialement, R contient l’amorce.

●

On utilise une file FIFO (First In, First Out) S qui contient les points frontière

●

Initialement, S contient le voisinage de l’amorce.

On retire p dans S

si p est homogène homogène avec R,

on ajoute p à R et on ajoute à S les points du voisinage de p qui ne sont pas dans R et qui ne sont pas

incompatibles.

sinon,

on marque p comme incompatible.

I- Introduction

growing

(30)

A p p r o c h e R é g i o n / F r o n t i è r e

– Méthode linéaire

●

Pour chaque pixel on regarde si sa valeur est égale à la valeur de la région

●

Si c'est le cas le pixel est intégré à la région

●

Sinon il fait parti de la frontière

I- Introduction

growing

(31)

A p p r o c h e R é g i o n / F r o n t i è r e

●

Region growing

– Avantages

●

Méthode rapide

●

Conceptuellement très simple – Inconvénients

●

Méthode locale: aucune vision globale du problème. En pratique, il y a

presque toujours un chemin continu de points connexes de couleur proche qui relie deux points d’une image…

Problème du gradient

●

Tenir compte de l’homogénéité globale donne un algorithme sensible à

l’ordre de parcours des points (méthode par amorce)

●

Algorithme très sensible au bruit,

I- Introduction

growing

(32)

A p p r o c h e R é g i o n / F r o n t i è r e

●

Détection de contours

– Plusieurs techniques sont utilisées.

– Les plus connues :

●

Détection de contours grâce au laplacien

●

Détection par contour actifs ou snakes

I- Introduction

growing

(33)

A p p r o c h e R é g i o n / F r o n t i è r e

●

Détection de contour

– Grâce au laplacien

– On trouve les contours lorsque le laplacien est nulle.

I- Introduction

growing

2 2 2

2 2

y f x

f f

∂ + ∂

∂

= ∂

∇

(34)

A p p r o c h e R é g i o n / F r o n t i è r e

●

Détection de contours

– Les contours actifs ou snakes

●

Utiliser des courbes déformables qui sont « attirées » par les formes recherchées dans l’image.

●

Analogie avec la physique: ^fonction

d’énergie à minimiser .

I- Introduction

growing

(35)

A p p r o c h e R é g i o n / F r o n t i è r e

●

Détection de contours

– Détection de contours actif

●

consiste à placer aux alentours de la forme à détecter une ligne initiale de contour. Cette ligne va se déformer progressivement selon l'action de

plusieurs forces qui vont la tirer ou la pousser vers la forme.

●

Les forces impliquées vont dériver de trois énergies associées au snake:

–

L'énergie interne

●

E int = (a(s)).||(Vs(s)|| + b(s)).||(Vss(s)||)

–

L'énergie potentielle liée a l'image

●

E image= -gradient(i).

–

L'énergie de "contrainte"

I- Introduction

growing

(36)

A p p r o c h e R é g i o n / F r o n t i è r e

●

Détection de contours

– Détection par contour actifs

●

On somme toutes les énergies

E totale(Vi-1, Vi, Vi+1) = somme (Ei int(Vi-1, Vi, Vi+1) + Ei image(Vi) + Ei cont(Vi))

●

Il faut ensuite trouver la position du contour qui va minimiser cette énergie. On se ramène donc à un problème d'optimisation d'une fonction

numérique de plusieurs variables

I- Introduction

growing

(37)

A p p r o c h e L u m i è r e / C o u l e u r

●

Méthodes abordées : erreurs à cause de saturation et ombres.

●

=> analyser l 'interaction entre la lumière et les matières colorées :

– Non homogène

– Homogène

– Métallique

I- Introduction

(38)

B i l a n

●

Existe-t-il une technique de

segmentation meilleure qu'une autre?

– Non tout dépend du contexte et de l'application

●

État de l'art dans la segmentation d'images couleur