Régularisation d'Images Multi-valuées par Convolutions de Lignes Intégrales

HAL Id: hal-00336553

https://hal.archives-ouvertes.fr/hal-00336553

Submitted on 4 Nov 2008

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Régularisation d’Images Multi-valuées par Convolutions de Lignes Intégrales

David Tschumperlé

To cite this version:

David Tschumperlé. Régularisation d’Images Multi-valuées par Convolutions de Lignes Intégrales.

TAIMA’2005, 2005, Hammamet, Tunisia. pp.8–12. �hal-00336553�

R´ egularisation d’Images Multi-valu´ ees par Convolutions de Lignes Int´ egrales

David Tschumperl´ e

GREYC Equipe Image, CNRS UMR 6072 6 Bd du Mar´ echal Juin, 14050 Caen Cedex. France

David.Tschumperle@greyc.ensicaen.fr

R´ esum´ e Nous proposons un nouvel algorithme de r´ egularisation d’images multi-valu´ ees util- isant la technique de convolution de lignes int´ egrales (aussi appel´ ee LIC [5]). A partir de l’´ etude d’approches r´ ecentes bas´ ees sur les EDP de diffusion multi-valu´ ees, nous montrons qu’un processus de r´ egularisation peut ˆ etre naturellement d´ ecompos´ e en l’´ elaboration d’une g´ eom´ etrie de r´ egularisation, suivie de l’application d’un lissage local orient´ e. En ex´ ecutant cette derni` ere ´ etape ` a l’aide de LIC, nous am´ eliorons de mani` ere significative les r´ esultats obtenus en r´ egularisation d’images, aussi bien en qualit´ e visuelle qu’en temps de calcul. Nous illus- trons l’application de notre algorithme ` a trois probl` emes de traitement d’images couleur : le d´ ebruitage, l’inpainting et l’interpolation.

Mots cl´ es Images Multi-valu´ ees, R´ egularisation, D´ ebruitage, Inpainting, Interpolation, EDP’s.

1 Introduction

Obtenir une version r´ egularis´ ee d’une donn´ ee d´ egrad´ ee reste un Graal dans le domaine du traitement d’images. L’application directe des algorithmes de r´ egularisation permet par ex- emple de d´ ebruiter des images. Mais ce besoin de r´ egularisation se rencontre aussi fr´ equemment dans des algorithmes de plus haut niveau mettant en jeu des chaines d’analyse complexes.

Depuis les travaux novateurs de Perona-Malik [9], les EDP de diffusion anisotropes (´ equations aux d´ eriv´ ees partielles) ont soulev´ ees un fort int´ erˆ et pour traiter ce probl` eme : de telles

´ equations sont capables de lisser des images de mani` ere non lin´ eaire, ce qui permet de pr´ eserver les structures internes significatives pr´ esentes dans les images (contours, coins ou autres discontinuit´ es). Ainsi, de nombreux formalismes utilisant les EDP de diffusion ont

´ et´ e propos´ es dans la litt´ erature pour la r´ egularisation d’images scalaires ou multi-valu´ ees ( [1,7,10,11,12,16,19] parmi d’autres). Pratiquement parlant, toutes ces m´ ethodes ont un point commun : elles lissent l’image localement suivant une ou plusieurs directions qui sont diff´ erentes en chaque point de l’image. Classiquement, la direction principale du lissage est parall` ele aux contours dans l’image.

La d´ efinition d’un lissage local correct est donc l’un des point-cl´ es d’un bon algorithme de

r´ egularisation. R´ ecemment, les auteurs de [16,19] ont propos´ es des formalismes tr` es g´ en´ eraux

permettant d’´ elaborer des processus de r´ egularisation adapt´ es ` a une g´ eom´ etrie locale de

lissage d´ esir´ ee d´ efinie ` a-priori : ` a partir de l’analyse des structures de l’image (calcul d’un

champ de tenseurs de structure [19]), un champ de tenseurs de diffusion est calcul´ e. Celui-ci

d´ efinit le comportement local du lissage d´ esir´ e. Puis, une ou plusieurs ´ etapes du processus

de lissage sont effectu´ ees par l’application d’une EDP de diffusion sp´ ecifique.

2 D. Tschumperl´ e

Dans une premi` ere partie, nous r´ esumons tout d’abord ces techniques de r´ egularisation tr` es efficaces. Puis, en gardant ` a l’esprit l’id´ ee de s´ eparation entre le lissage lui-mˆ eme et la d´ efinition de sa g´ eom´ etrie locale, nous proposons un nouveau formalisme de r´ egularisation d’images multi-valu´ ees bas´ e sur la technique des convolutions de lignes int´ egrales [5], permet- tant de lisser une image suivant une g´ eom´ etrie tensorielle d´ efinie ` a-priori. Notre m´ ethode poss` ede deux avantages principaux par rapport aux impl´ ementations par EDP : D’une part, elle pr´ eserve mieux les petites structures orient´ ees des images. D’autre part, elle s’ex´ ecute jusqu’` a trois fois plus rapidement. Pour finir, nous illustrons l’efficacit´ e de notre algorithme LIC, avec quelques r´ esultats d’applications sur des images couleur, pour les probl` emes par- ticuliers du d´ ebruitage, de l’inpainting et de l’agrandissement par interpolation non-lin´ eaire.

2 R´ egularisation ` a base d’EDP

Nous consid´ erons une image multi-valu´ ee bruit´ ee I : Ω → R ⁿ (n = 3 pour une image couleur) d´ efinie sur un domaine Ω ⊂ R ² . Nous notons I _i : Ω → R , la composante i de l’image I :

∀X ∈ Ω, I _(X) = I _1(X) I _2(X) ... I _n(X) T

. Les algorithmes de r´ egularisation propos´ es dans [16,19] consistent ` a calculer dans une premi` ere phase le champ liss´ e de tenseurs de structure G σ = G∗ G σ , o` u G σ est un noyau gaussien 2D (de variance σ) et G : Ω → P(2) est le champ des matrices positives et sym´ etriques suivantes : ∀X ∈ Ω, G _(X) = P n

i=1 ∇I _i(X) ∇I _i(X) ^T . Les auteurs de [6,19] ont remarqu´ es que G _σ(X) est un bon estimateur de la g´ eom´ etrie multi- valu´ ee locale de I en X : ses valeurs propres λ ₁ , λ ₂ donnent les variations vectorielles (couleur) des structures locales de l’image, tandis que l’orientation de ces structures (contours) est donn´ ee par les vecteurs propres u⊥v de G _σ . La convolution de G par G _σ permet une estimation plus coh´ erente de la g´ eom´ etrie locale multi-valu´ ee.

A partir de cette simple mesure g´ eom´ etrique G _σ , les auteurs de [16,19] ´ elabore un champ de tenseurs T : Ω → P(2) qui va d´ efinir le comportement local du lissage d´ esir´ e :

∀X ∈ Ω, T _(X) = f 1 (λ 1 , λ 2 ) uu ^T + f 2 (λ 1 , λ 2 ) vv ^T (1) o` u v est le vecteur propre principal de T _(X) . Intuitivement, f ₁ et f ₂ d´ efinissent la force du lissage qui va ˆ etre effectu´ e le long des deux directions u et v, au point X. Le lissage lui-mˆ eme est finalement r´ ealis´ e en faisant ´ evoluer l’une des deux EDP suivantes :

∂I

∂t = div(T∇I _i ) [19] ou ^∂I _∂t

= trace(TH _i ) [16]

o` u H i est la matrice hessienne de I <sub>i(X)</sub> . La comparaison de ces deux ´ equations est discut´ ee dans [16] et sort du cadre de cet article. N´ eanmoins, l’id´ ee importante qui se cache derri` ere ces deux m´ ethodes est de baser la r´ egularisation sur l’´ elaboration d’une g´ eometrie de lissage local, d´ efinie par un champ T de tenseurs de diffusion. Notons que T est g´ en´ eralement mis ` a jour pendant l’application de l’EDP (apr` es une ou plusieurs it´ erations de lissage).

L’application de telles m´ ethodes est tr` es coˆ uteuse en temps de calcul : I est r´ egularis´ e petit

`

a petit car les ´ evolutions d’images par EDP agissent de mani` ere tr` es locales, mˆ eme avec des sch´ emas num´ eriques r´ ecents [18].

3 R´ egularisation ` a base de LIC

Pour acc´ elerer le processus de lissage en lui-mˆ eme, nous proposons de remplacer l’applica-

tion des EDP de diffusion par une nouvelle m´ ethode plus rapide bas´ ee sur des LIC. Nous

conservons par ailleurs la premi` ere ´ etape des processus par EDP, c’est ` a dire le calcul (1) du

champ de tenseurs T repr´ esentant la g´ eom´ etrie locale du lissage d´ esir´ e.

3.1 LIC et lissage le long d’une direction

Les LIC (“Line Integral Convolutions” en anglais) ont ´ et´ e historiquement introduits dans [5] comme une technique pour cr´ eer un rendu textur´ e d’un champ de vecteur w : Ω → R ² . L’id´ ee g´ en´ erale, exprim´ ee dans un formalisme discret, consiste ` a lisser une image I <sup>bruit</sup> de bruit pur, en moyennant les valeurs des pixels le long des lignes int´ egrales de w, et ce, pour tous les pixels X ∈ Ω. Cela peut se transcrire ` a l’aide d’une formulation continue par :

I ^LIC _(X) = 1 N

Z σ

−σ

f _σ (a) I ^bruit (C _(X,a) ) da avec C :

C _(X,0) = X

∂C

∂a (X, a) = w(C _(X,a) ) (2) o` u f σ : R → R est une fonction paire (d´ ecroissante sur R <sup>+</sup> , dont la vitesse de d´ ecroissance est proportionnelle ` a σ, typiquement une gaussienne 1D) et C : Ω × R → Ω d´ efinit la courbe int´ egrale de w passant par X et param´ etris´ ee par a ∈ R (aussi appel´ ee ligne de champ). Le facteur de normalisation est N = R σ

−σ f σ (a) da. Le param` etre σ contrˆ ole la longueur du lissage (taille du voisinage utilis´ e pour le filtrage LIC le long de la ligne int´ egrale). Intuitivement, un lissage de l’image I suivant le champ de vecteur w est effectu´ e par (2).

On peut noter que ce probl` eme de visualisation de champs de vecteurs a ´ et´ e abord´ e par des approches EDP dans [3,15,16], aboutissant ` a des ´ equations de type ^∂I _∂t

= div(T∇I _i ) ou

∂I

∂t = trace(TH i ) avec un champ de tenseurs T d´ efini par : ∀X ∈ Ω, T _(X) = w _(X) w ^T _(X) (d´ efinissant donc un lissage anisotrope mono-directionnel). Ces m´ ethodes EDP et LIC pour la visualisation de champs de vecteurs ne sont pas strictement ´ equivalentes, mais elles sont bas´ ees sur une mˆ eme id´ ee : lisser une image localement le long de directions d´ efinies par un champ de vecteurs w. Une ´ etude plus approfondie peut ˆ etre trouv´ ee dans [17].

3.2 Extension au lissage multi-directionnel

La similarit´ e qui existe entre les techniques LIC et EDP de lissage suivant une seule direc- tion sugg` ere naturellement de remplacer la phase de lissage des EDP de r´ egularisation plus g´ en´ erales, par un processus bas´ e sur des LIC. Evidemment, cela implique que nous devons

´ etendre l’utilisation des LIC (qui ne consid` erent qu’une direction unique de lissage) ` a des champs de tenseurs de diffusion plus g´ en´ eraux T : Ω → P(2). Nous proposons pour cela de moyenner plusieurs LIC partant du mˆ eme point X, mais suivant des chemins diff´ erents.

Soit U _θ le vecteur U _θ = (cos θ sin θ) ^T . Alors, le vecteur w _(X) ^θ = T _(X) U _θ v´ erifie :

• Si T _(X) est isotrope, alors w _(X) ^θ = αU _θ .

• Si T _(X) est anisotrope et orient´ e suivant U _θ , alors w _(X) ^θ ' αU _θ .

• Si T _(X) est anisotrope et orthogonal ` a U θ , alors w _(X) ^θ ' 0.

Autrement dit, plus U _θ repr´ esente une “partie” de T, plus kw ^θ _(X) k sera important.

Pour un θ donn´ e, nous proposons donc de calculer un LIC partant de X et dirig´ e suivant le champ de vecteurs w ^θ , puis de moyenner tout ces LIC atomiques pour θ ∈ [0, π]. Cet intervalle est suffisant pour balayer l’ensemble du domaine Ω puisqu’un LIC est calcul´ e ` a la fois dans les sens avant (a > 0) et arri` ere (a < 0), le long des lignes int´ egrales C ^θ . Finalement, notre ´ equation de r´ egularisation qui calcule une version liss´ ee anisotrope I ^{r´ egul} d’une image multi-valu´ ee I ^{bruit´ e} s’´ ecrit : ∀X ∈ Ω,

I ^r´ _(X) ^egul = 1 N

Z π

0

Z σkw

k

−σkw

(X)

k

f(a) I ^{bruit´ e} (C _(X,a) ^θ ) da dθ (3)

4 D. Tschumperl´ e

o` u N est un facteur de normalisation d´ efini par N = R R

f(a) da dθ, le champ de vecteurs w est d´ efini par w ^θ _(X) = T _(X) U _(θ) et la fonction f (a) = exp

− _2σ ^a

. Le param` etre σ est un param` etre d´ efini par l’utilisateur qui r` egle la puissance globale du filtre de lissage. Comme pr´ ec´ edemment, C ^θ : Ω × R → Ω repr´ esente la ligne int´ egrale du champ de vecteurs w ^θ passant par X et param´ etris´ ee par a :

( C _(X,0) ^θ = X

∂C

∂a (X, a) = w ^θ (C _(X,a) ^θ ) = T(C _(X,a) ^θ ) U _θ On peut ais´ ement v´ erifier que :

• Le principe du maximum est respect´ e par (3), car seul un moyennage des pixels est effectu´ e.

• Pour les points X ∈ Ω o` u T _(X) est isotrope, le lissage est ´ egalement isotrope (le moyennage se fait localement dans toutes les directions du plan), puisque ∀θ, kw ^θ _(X) k est constant.

• Pour les points X o` u T <sub>(X)</sub> est tr` es anisotrope, le moyennage se fait seulement le long du vecteur propre principal de T _(X) .

Ces propri´ et´ es, ´ egalement g´ en´ eralement v´ erifi´ ees par la plupart des EDP de r´ egularisation anisotropes, assurent que le lissage est effectivement dirig´ e suivant le champ de tenseurs T.

4 Applications

La Fig.1 illustre quelques applications possible de notre m´ ethode g´ en´ erale de r´ egularisation bas´ ee sur des LIC, ici appliqu´ ee sur des images couleurs. L’obtention des r´ esultats est tr` es rapide, compar´ e aux temps n´ ecessaire pour les techniques EDP ´ equivalentes. En effet, notre algorithme ne n´ ecessite que tr` es peu d’it´ erations pour achever la r´ egularisation, la technique des LIC prenant en compte des valeurs de pixels qui peuvent ˆ etre tr` es ´ eloign´ es du point courant X. Pour nos exp´ eriences, nous avons d´ efini T avec l’´ eq.(1) et les fonctions f 1 et f 2

par f _1/2 (λ ₁ , λ ₂ ) = _(+λ ¹

1

+λ

)

. o` u = 0.01, p = 0.5 pour f <sub>1</sub> , et p = 2 pour f <sub>2</sub> (dans le cas du d´ ebruitage) ou p = 10 (dans le cas de l’inpainting et de l’agrandissement). La discr´ etisation spatiale est bas´ ee sur de simples diff´ erences finies pour le calcul des tenseurs de structure G <sub>σ</sub> (recalcul´ e ` a chaque it´ eration), et des sommes discr` etes sont utilis´ ees pour l’approximation des deux int´ egrales de (3). La discr´ etisation de θ est assez large (dθ = 30 ^o ) tandis que a est approxim´ e plus pr´ ecisement (da = 0.2). Nous avons appliqu´ e notre ´ equation (3) pour :

• Le d´ ebruitage d’images couleur (Fig.1a,b,c) : Seulement une it´ eration de notre algo- rithme est n´ ecessaire. Notez que le bruit est supprim´ e tandis que les structures orient´ ees de l’image sont bien pr´ eserv´ ees.

• L’inpainting d’images couleur (Fig.1d) : Pour cette application, nous avons appliqu´ e (3) seulement sur les points ` a l’int´ erieur d’un masque d´ efini par l’utilisateur (ici ayant une forme de damier). 100 it´ erations ont ´ et´ e n´ ec´ essaires pour obtenir le r´ esultat. Une limitation de notre m´ ethode d’inpainting repose sur le fait qu’aucune texture n’est reconstruite.

• L’interpolation non-lin´ eaire pour l’agrandissement (Fig.1e) : Ces deux exemples montrent comment notre technique de r´ egularisation par LIC (3) peut ˆ etre utilis´ ee pour ag- grandir des images de mani` ere non-lin´ eaire. Des aggrandissements lin´ eaires de petites images sont trait´ ees par (3) tout en forcant la valeur des pixels “connus” ` a rester inchang´ ees.

D’autres r´ esultats, ainsi que l’ex´ ecutable de l’algorithme peuvent ˆ etre trouv´ es ` a :

http://www.greyc.ensicaen.fr/~dtschump/greycstoration/

5 Conclusion

L’algorithme de r´ egularisation d’images multi-valu´ ees que nous avons propos´ e est g´ en´ erique et tr` es efficace. Il peut s’adapter ` a un grand nombre de probl` emes en traitement d’images, grˆ ace ` a la s´ eparation nette entre le processus de r´ egularisation lui-mˆ eme et la d´ efinition de la g´ eometrie de lissage sous-jacente. Nous prenons en fait le meilleur des deux mondes EDP et LIC, ce qui nous permet d’obtenir des r´ esultats de grande qualit´ e visuelle, en un temps de calcul tr` es court. Notre m´ ethode est tr` es simple ` a mettre en oeuvre, et son champ d’applications est potentiellement tr` es vaste.

R´ ef´ erences

1. G. Aubert and P. Kornprobst. Mathematical Problems in Image Processing : Partial Differential Equations and the Calculus of Variations, vol. 147 of Applied Mathematical Sciences.Springer-Verlag, Jan. 2002.

2. D. Barash. Bilateral filtering and anisotropic diffusion : Towards a unified viewpoint. Technical report, HP Laboratories Israel, 2000.

3. J. Becker, T. Preusser, and M. Rumpf. PDE methods in flow simulation post processing. Computing and Visualization in Science, 3(3) :159–167, 2000.

4. M.J. Black, G. Sapiro, D.H. Marimont, and D. Heeger. Robust anisotropic diffusion. IEEE Transaction on Image Processing, 7(3) :421–432, 1998.

5. B. Cabral. Imaging vector fields using line integral convolution. Comp. Graph. Proc., p.263–270, 1993.

6. S. Di Zenzo A note on the gradient of a multi-image. Comp. Vis., Graph. and Image Proc., 33, 1986.

7. R. Kimmel, R. Malladi, and N. Sochen. Images as embedded maps and minimal surfaces : movies, color, texture, and volumetric medical images. International Journal of Computer Vision, 39(2) :111–129, Septem- ber 2000.

8. T. Lindeberg. Scale-Space Theory in Computer Vision. Kluwer Academic Publishers, 1994.

9. P. Perona and J. Malik. Scale-space and edge detection using anisotropic diffusion. IEEE Transactions on Pattern Analysis and Machine Intelligence, 12(7) :629–639, July 1990.

10. L. Rudin, S. Osher, and E. Fatemi. Nonlinear total variation based noise removal algorithms. Physica D, 60 :259–268, 1992.

11. G. Sapiro. Geometric Partial Differential Equations and Image Analysis. Cambridge University Press, 2001.

12. G. Sapiro and D.L. Ringach. Anisotropic diffusion of multi-valued images with applications to color filtering. IEEE Transactions on Image Processing, 5(11) :1582–1585, 1996.

13. N. Sochen, R. Kimmel, and A.M. Bruckstein. Diffusions and confusions in signal and image processing.

Journal of Mathematical Imaging and Vision, 14(3) :195–209, 2001.

14. C. Tomasi and R. Manduchi. Bilateral filtering for gray and color images. Proceedings of the IEEE International Conference on Computer Vision, pages 839–846, January 1998.

15. D. Tschumperl´ e, R. Deriche Tensor Field Visualization with PDE’s and Application to DT-MRI Fiber Visualization. Workshop on Variational and Level Set Method (VLSM’2003), Nice/France, October 2003.

16. D. Tschumperl´ e, R. Deriche Vector-Valued Image Regularization with PDE’s : A Common Framework for Different Applications. IEEE Journal of Pattern Analysis and Machine Intelligence, Vol 27, No 4, pp 506-517, April 2005.

17. D. Tschumperl´ e Fast Anisotropic Smoothing of Multi-Valued Images using Curvature-Preserving PDE’s.

Research Report “Les Cahiers du GREYC”, No 05/01. Equipe IMAGE/GREYC (CNRS UMR 6072), F´ evrier 2005.

18. J. Weickert, K.J. Zuiderveld, B.M ter Haar Romeny, W.J. Niessen. Parallel Implementations of AOS Schemes : A Fast Way of Nonlinear Diffusion Filtering. International Conference on Image Processing (3 :396-399), Santa Barbara, Oct 1997.

19. J. Weickert. Anisotropic Diffusion in Image Processing. Teubner-Verlag, Stuttgart, 1998.

6 D. Tschumperl´ e

(a) D´ ebruitage d’image couleur avec du bruit granuleux.

(1 it´ eration, temps de calcul : 19 seconds)

(b) D´ ebruitage d’image couleur avec du moir´ e.

(1 it´ eration, temps de calcul : 11 seconds)

(c) Suppression des artifacts JPG sur une image couleur.

(1 it´ eration, temps de calcul : 13 seconds)

(d) Inpainting d’une image couleur.

(100 it´ erations, temps de calcul : 1 minute 26 s)

(e) Agrandissement non-lin´ eaire d’images couleur (1 it´ eration, temps de calcul : respectivement 20 et 5 secondes)

`

a gauche : Image couleur d’origine, au milieu : Agrandissement par blocs, ` a droite : Agrandissement par m´ ethode LIC.

Fig. 1. R´ esultats de notre r´ egularisation bas´ ee LIC (3) pour divers probl` emes de traitement d’images.