Traitement dʼImage :

Traitement d ʼ Image :

Régularisation d’image par EDP

Introduction

n  On s'intéresse ici aux techniques d'amélioration des images numériques, pour augmenter la qualité de leur rendu visuel, ou pour faciliter leur analyse.

n  On cherche donc à atténuer, sinon supprimer une certaine dégradation.

n  Illustration :

Dégradation additive

Introduction

n  La problématique peut se voir comme la régularisation d’une surface (l’image)…

n  Illustration :

Introduction

n 

…et peut donc se formaliser sous forme variationnelle

n 

L’approche variationnelle de la restauration

d ʼ image aboutit à la réécriture de la problématique sous forme d’une EDP

n 

Origine empirique :

q  Analogie entre lʼatteinte de lʼéquilibre thermique dʼun ensemble de particules en thermodynamique (diffusion thermique) et la régularisation de la luminance des

images bruitées.

L’EDP de la chaleur

n 

Une première approche :

q  Régulariser l’image revient à régulariser les variations de niveaux de gris de l’image

q  La variation des niveaux de gris est liée aux variations de la norme du gradient de l’image.

q  On cherche donc à minimiser les variations associées

L’EDP de la chaleur

n 

Une première approche :

q 

La fonctionnelle associée s’écrit alors

q 

proposée par Thikonov en 1963 dans le cadre de l’étude des problèmes inverses.

E (I ) = ! I

dx dy

"

#

L’EDP de la chaleur

n 

Une première approche :

q 

Equation d’Euler-Lagrange associée

q 

Avec

! f

! I " d dx

! f

! I

" d dy

! f

! I

= 0

f I, ( I

, I

, x, y ) ^{= ! I}

^{= #} _$ ^% _" ^" _x ^{I &} _' ⁽

2

+ " I

" y

#

$ % &

' (

2

Aymeric Histace

L’EDP de la chaleur

n 

Une première approche :

q 

Soit

q 

L’EDP associée à la résolution est la suivante

8

!

I

! x

+ !

I

! y

= " I = 0

I(x, y, t = 0) = I

! I

! t = " I

#

$ %

&

%

Aymeric Histace

L’EDP de la chaleur

n 

Il s’agit de l’EDP de la chaleur

n 

Illustration :

9

I(x, y, t = 0) = I₀

!I

!t = "I

#

$%

&

%

5 itérations 10 itérations 50 itérations

L’EDP de la chaleur

n 

Propriété importante :

q  Il y a équivalence entre diffuser itérativement une image au moyen de lʼEDP de la chaleur et la filtrer par

convolution avec un masque gaussien

q  Propriété démontrée par Koenderick en 1984

q  Lʼéquivalence avec le filtrage gaussien dʼécart-type σ est vérifiée lorsque

t

= 2 σ

EDP de la chaleur

n 

Propriété importante :

q  Piste pour la preuve :

n  Déterminer les solutions du type : I(x, t) = I₁(x,y) . I₂(t)

n  En déduire la solution fondamentale de lʼéquation de la chaleur

n  En déduire la solution générale donnée par :

I(x, y, t) = 1

2

!

!( x!X )²+( y!Y )²

4t .I₀(X,Y )dX dY

!"

+"

#

EDP de la chaleur

n 

Propriété importante :

q  Piste pour la preuve :

n  Ceci est par définition la convolution de I₀ par une gaussienne dʼécart-type

n  Pour plus de détails, me demander le pdf.

I(x, y, t) = 1

2 !^{.t e}

!( x!X )²+( y!Y )²

4t .I₀(X,Y )dX dY

!"

+"

#

t

= 2 σ

EDP de la chaleur

n 

L ʼ équation de la chaleur est donc une autre façon de concevoir le filtrage gaussien.

n 

Cependant, un tel filtrage comme nous l ʼ avons vu est isotrope et ne permet donc pas de préserver les zones sensibles de l ʼ image (les contours ou

transitions).

5 itérations 10 itérations 50 itérations

EDP de la chaleur

n 

Question ?

q 

Comment améliorer ce processus isotrope, en

particulier en ne diffusant pas les zones de fort

gradient (les contours) de l’image ?.

EDP de Perona-Mailk

n 

L ʼ EDP proposée par Perona-Malik (1990) s ʼ inspire de l ʼ EDP de la chaleur, mais les

auteurs y intégre une non-linéarité sous forme d ʼ une fonction g à valeur positive, monotone et décroissante :

! I ( x, y , t )

! t = div g ( ( " I ( x , y) ) ^{" I(x, y)} )

EDP de Perona-Malik

n 

La fonction g la plus couramment utilisée est du type :

2 2

)

(

u

e u

g =

EDP de Perona-Malik

Les gradients élevés ne sont pas diffusés Les gradients faibles sont diffusés

La valeur de k permet de régler la sélectivité de g(.)

k=10

k=5 n 

Fonction g :

EDP de Perona-Malik

n 

La fonction g permet de pondérer la diffusion en fonction de l ʼ appartenance ou non du pixel

courant à un contour :

q  Si le pixel appartient à un contour (gradient local

élevé) alors g(.) renvoie une valeur proche de 0 : il nʼy a pas diffusion

q  Si le pixel nʼappartient pas à un contour (gradient local faible) alors g(.) renvoie cette fois ci une valeur importante non nulle : il y a diffusion

EDP de Perona-Malik

EDP généralisée

n  Afin de généraliser

l’approche de Perona-Malik et de l’enrichir, il est proposé (Deriche 96), une EDP

générale du type :

! I

! t = c

. I

+ c

. I

EDP généralisée

n  Une telle écriture permet de pondérer différemment les directions de diffusion (isophote et gradient) !!!

n  On parle dʼanisotropie

! I

! t = c

. I

+ c

. I

Pondération du gradient

Pondération de lʼisophote

EDP généralisée

n 

Dans le cas où les deux coefficients de pondération sont égaux à 1, on retrouve l ʼ équation de la chaleur

! I

! t = I

+ I

= " I

EDP généralisée

n 

L ʼ équation de Perona-Malik peut s ʼ écrire sous la forme généralisée décrite précédemment en prenant :

n 

Remarque : c

peut être négatif. La méthode est alors instable (on réhausse le bruit)

c_t = g

(

)

c_g = g'

(

)

(

)

"

#$

%$

Généralisation

n 

Plusieurs améliorations ont été apportées par la suite. Les deux principales étant :

q  Lissage du gradient par convolution avec une

gaussienne avant le calcul de la fonction g : approche de Catté et al

q  Remplacement de la fonction g par une matrice D, le tenseur de structure associée à lʼimage (emprunt à la mécanique) : approche matricielle de Weickert (voir partie dédiée)

ϕ - fonctionnelle

n 

Si l’écriture précédente permet d’intégrer l’anisotropie, elle ne s’inscrit pas pour le moment dans une formulation

variationnelle…

n 

C’est à la mise en place de cette formulation que nous allons nous intéresser maintenant.

n 

L’idée est de s’inscrire dans un formalisme

commun à la plupart des EDP de ce type

ϕ - fonctionnelle

n 

Soit ϕ une fonction croissante à valeurs

réelles permettant de guider la diffusion et en particulier de pénaliser les forts

gradients.

n 

La problématique de régularisation peut alors s’écrire sous la forme variationnelle générale suivante :

E ( I ) = # ! ( ! I ) ^{dx dy}

ϕ - fonctionnelle

n 

La minimisation de cette fonctionnelle au moyen de l’approche d’Euler-Lagrange amène alors à considérer l’équation de diffusion générale suivante :

I ( x, y , t = 0) = I

! I

! t = div ! ^' ( " I )

" I " I

#

$

% %

&

' ( ( )

* ++

,

+

+

ϕ - fonctionnelle

n 

Cette écriture n’est pas incompatible avec l’écriture locale proposée par Deriche et al.

n 

Avec :

!I

!t = c_t.I_tt + c_g.I_gg " !I

!t = div ! ^'

(

)

#I #I

$

%

&

&

' ( ))

c_t = !^'

(

)

!I

c_g = ! ^''

(

)

"

#$

%$

ϕ - fonctionnelle

n 

Quelques exemples issus de la littérature :

ϕ - fonctionnelle

n 

Quelques exemples issus de la littérature :

Approche matricielle

n 

Une généralisation des approches précédentes sous forme matricielle est proposé par Weickert (1996)

n 

EDP proposée :

_{I ( x, y , t = 0) = I}

0

! I

! t = div ( D " I )

#

$ %

&

%

D est appelé le tenseur de diffusion : il s’agit d’une

matrice permettant de prendre en compte la structure

« physique » de l’image à restaurer

Approche matricielle

n 

Cas particulier :

Impossible d'afficher l'image. Votre ordinateur manque peut-être de mémoire pour ouvrir l'image ou l'image est endommagée. Redémarrez l'ordinateur, puis ouvrez à nouveau le fichier. Si le x rouge est toujours affiché, vous devrez peut-être supprimer l'image avant de la réinsérer.

avec

Impossible d'afficher l'image. Votre ordinateur manque peut-être de mémoire pour ouvrir l'image ou l'image est endommagée. Redémarrez l'ordinateur, puis ouvrez à nouveau le fichier. Si le x rouge est toujours affiché, vous devrez peut-être supprimer l'image avant de la réinsérer.

Diffusion dans le cadre des Φ-fonctions

Aymeric Histace

Approche matricielle

n 

Calcul de D :

q  Afin d’éviter une trop grande sensibilité au bruit de

l’image, le tenseur est généralement calculée sur une version lissée isotropiquement de l’image de

départ :

q  Avec G_σ une gaussienne 2D d’écart-type σ

33

I

= I * G

Approche matricielle

n 

Calcul de D :

q  On définit alors les directions de diffusions locales η et ξ de la manière suivante

! = !I_"

!I_" ^et ! = !I_"^"

!I_"

Approche matricielle

n 

Calcul de D :

q  η et ξ sont les 2 vecteurs propres de la matrice D

auxquels ont peut associer deux valeurs propres µ₁ et µ₂

q  On définit alors λ₁ et λ₂ telles que :

!₁ ="

!₂ =

" ^si µ₁ = µ₂

" +(1!"^)e

! C

(µ₁!µ₂)²

"

#$$ %

&

'' sinon (

)* +* (

)

**

+

**

! ![ ]0,1 C >0

"

#$ avec %$

Approche matricielle

n 

Calcul de D :

q  En chaque point de l’image, on calcule alors :

q  Interprétation :

n  Sur les régions d’intensité constante : et

Conséquence :

D = !

""

+ !

##

µ₁ ! µ₂ = 0

!

!

"

D ! !^Id Diffusion isotrope

Approche matricielle

n 

Calcul de D :

q  Interprétation :

n  Le long des contours : et donc

n  La diffusion est donc anisotrope préférentiellement dans la direction ξ

µ₁ >> µ₂ >> 0

!

!

Approche matricielle

n 

Calcul de D :

q  Illustration

Originale Diffusion tensiorelle

Approche matricielle

n 

Représentation graphique de D:

q  Sur les zones homogènes, le tenseur est représenté par un disque de rayon α

q  Le long des contours, le tenseur est représenté par une ellipse d’axes µ₁ et µ₂ avec µ₁ > µ₂

η ξ

η

Approche matricielle

n 

Représentation graphique de D:

Approche matricielle

n 

Utilisation « détournée » du tenseur :

Noyaux de cellules en bleu

Protéine marquée en rouge Structure et organisation directionnelle de la protéine

Approche matricielle

Approche matricielle

n 

Utilisation « détournée » du tenseur :

Tractographie du réseau cérébral

nerveux

IRM de diffusion