Transfert de couleurs et colorisation guidés par la texture

HAL Id: hal-01245713

https://hal.archives-ouvertes.fr/hal-01245713v2

Submitted on 22 Jun 2016

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Transfert de couleurs et colorisation guidés par la texture

Benoit Arbelot, Romain Vergne, Thomas Hurtut, Joëlle Thollot

To cite this version:

Benoit Arbelot, Romain Vergne, Thomas Hurtut, Joëlle Thollot. Transfert de couleurs et colorisation

guidés par la texture. 28ème journées de l’Association Française d’Informatique Graphique, LIRIS,

Nov 2015, Lyon, France. �hal-01245713v2�

Transfert de couleurs et colorisation guid´ es par la texture

B. Arbelot

¹

, R. Vergne

¹

, T. Hurtut

²

and J. Thollot

¹

1Inria-LJK (UGA, CNRS), France

2Polytechnique Montr´eal, Canada

Transfert de couleurs Colorisation

Figure 1 : Notre algorithme permet d’appliquer automatiquement un transfert de couleurs local (` a gauche) ou une colorisation (` a droite) en se basant sur les propri´ et´ es texturelles des images.

R´ esum´ e

Cet article se concentre sur deux probl` emes de manipulation de couleurs li´ es : le transfert de couleurs qui modifie les couleurs d’une image, et la colorisation qui ajoute des couleurs ` a une image en niveaux de gris.

Les m´ ethodes automatiques pour ces deux applications modifient l’image d’entr´ ee ` a l’aide d’une image de r´ ef´ erence contenant les couleurs d´ esir´ ees. Les approches pr´ ec´ edentes visent rarement les deux probl` emes simultanement et souffrent de deux principales limitations : les correspondances cr´ e´ ees entre les images d’entr´ ee et de r´ ef´ erence sont incorrectes ou approximatives, et une mauvaise coh´ erence spatiale autour des structures de l’image. Dans cet article, nous proposons un pipeline unifiant les deux probl` emes, bas´ e sur le contenu texturel des images pour guider le transfert ou la colorisation. Notre m´ ethode introduit un descripteur de textures pr´ eservant les contours de l’image, bas´ e sur des matrices de covariance, permettant d’appliquer des transformations de couleurs locales. Nous montrons que notre approche est capable de produire des r´ esultats comparables ou meilleurs que d’autres m´ ethodes de l’´ etat de l’art dans les deux applications.

Abstract

This paper targets two related color manipulation problems : Color transfer for modifying an image colors and colorization for adding colors to a greyscale image. Automatic methods for these two applications propose to modify the input image using a reference that contains the desired colors. Previous approaches usually do not target both applications and suffer from two main limitations : possible misleading associations between input and reference regions and poor spatial coherence around image structures. In this paper, we propose a unified framework that uses the textural content of the images to guide the color transfer and colorization.

Our method introduces an edge-aware texture descriptor based on region covariance, allowing for local color transformations. We show that our approach is able to produce results comparable or better than state-of- the-art methods in both applications.

Mots cl´ e: Transfert de couleurs, Colorisation

1. Introduction

Dans cet article, nous proposons une m´ ethode pour coloriser ou modifier les couleurs d’une image auto- matiquement. Coloriser une image en noir et blanc, ou modifier les couleurs d’une image ` a la main pour obtenir une certaine atmosph` ere est complexe, long et demande une certaine expertise. Les m´ ethodes par l’exemple offrent une alternative int´ eressante en modi- fiant automatiquement les couleurs d’une image en en- tr´ ee en fonction d’un exemple (r´ ef´ erence) contenant les couleurs d´ esir´ ees. La difficult´ e de ces m´ ethodes est de mettre pr´ ecis´ ement en correspondance le contenu des images d’entr´ ee et de r´ ef´ erence.

Les premiers algorithmes de transfert de couleurs, bas´ es sur des approches globales, transforment l’histo- gramme de l’image d’entr´ ee pour le rapprocher de ce- lui de l’image de r´ ef´ erence. Ces approches sont simples et efficaces avec des images d’entr´ ee bien choisies, ce- pendant elles ont tendance ` a transf´ erer entre r´ egions parfois mal choisies cr´ eant des r´ esultats impr´ edictibles.

De plus, ces approches ne sont pas adapt´ ees au pro- bl` eme de la colorisation o` u l’image d’entr´ ee n’a pas d’histogramme de couleurs ` a modifier.

D’autres approches, locales, segmentent les images en diff´ erentes sous-r´ egions transf´ er´ ees ou coloris´ ees in- d´ ependamment. Ces r´ egions peuvent ˆ etre d´ efinies par l’utilisateur, ou calcul´ ees automatiquement ` a l’aide de descripteurs.

Notre approche est automatique et bas´ ee sur des r´ egions d´ efinies comme des zones de contenu textu- rel similaire. Ce choix est dˆ u au fait que les textures sont pr´ esentes partout dans la nature, et donc dans beaucoup de photographies. D’autre part, des ´ etudes perceptuelles ont montr´ e que les premi` eres ´ etapes du syst` eme visuel humain sont compos´ ees de diff´ erents filtres analysant les textures et les variations de cou- leur dans notre champ de vision [YJ

^∗93,Bal06]. Cela

sugg` ere donc que les textures sont importantes lorsque nous regardons des images, ce qui en fait une base per- tinente pour appliquer des transformations de couleurs locales. De plus, les textures peuvent ˆ etre d´ ecrites effi- cacement par un r´ esum´ e de statistiques de premier et second ordre. Elles pr´ esentent donc un entre-deux in- t´ eressant entre des descripteurs de bas niveau (comme la luminance ou la chromaticit´ e) qui ne peuvent pas d´ ecrire efficacement des zones textur´ ees, et des des- cripteurs de haut niveau (d´ ecrivant des objets et leur s´ emantique) complexes, pas toujours fiables, et lents ` a calculer.

Dans le but d’appliquer un transfert entre r´ egions textur´ ees, nos descripteurs sont calcul´ es sur une large

´

echelle afin de pouvoir identifier de larges textures.

Cependant, ils doivent aussi respecter et pr´ eserver la structure de l’image. Les m´ ethodes existantes pour la

d´ ecomposition d’une image entre structure et texture ne sont pas id´ eales pour notre application : les descrip- teurs pr´ eservant les contours (comme le filtre bilat´ eral) ont du mal ` a analyser des textures tr` es contrast´ ees et risquent d’introduire des discontinuit´ es intra-textures durant le transfert. L’alternative consistant ` a d´ etec- ter les variations d’un descripteur de texture (comme la covariance d’une r´ egion) a tendance ` a flouter les contours de l’image, ce qui cr´ ee des halos durant le transfert.

Notre solution pour identifier les textures est fond´ ee sur une analyse texturale, suivie d’un post-traitement pr´ eservant les contours afin de cr´ eer un descripteur de texture pr´ eservant pr´ ecis´ ement les contours de l’image.

Nos contributions peuvent ˆ etre r´ esum´ ees comme suit :

— Une m´ ethode pour calculer des descripteurs de texture pr´ ecis, pr´ eservant la structure de l’image. Les descripteurs de texture sont calcu- l´ es ` a partir de statistiques de premier et second ordre sur la luminance des images, puis des trai- tements pr´ eservant les contours sont appliqu´ es sur ces descripteurs pour pr´ eserver la structure de l’image.

— Un pipeline g´ en´ erique pour appliquer un trans- fert de couleur ou une colorisation fond´ es sur des propri´ et´ es texturales.

2. Travaux pr´ ec´ edents

Dans cette section, un r´ esum´ e des techniques exis- tantes de transfert de couleur et de colorisation est propos´ e, suivi d’une discussion sur diff´ erentes ap- proches pour extraire et analyser les textures.

Transfert de couleur. Le transfert de couleur consiste ` a modifier les couleurs d’une image d’entr´ ee pour les rapprocher des couleurs d’une image de r´ ef´ e- rence. Cette technique fut initialement introduite par Reinhard et al. [RAGS01] comme un simple transfert d’histogramme o` u la moyenne et la variance de chaque canal de couleur sont transf´ er´ ees s´ epar´ ement, utili- sant l’espace de couleur d´ ecorrel´ e

Lαβ. Cette m´

ethode simple peut ˆ etre efficace si les images d’entr´ ee sont bien choisies et assez similaires. Une composante de ro- tation fut ajout´ ee au transfert par Xiao et Ma [XM06], permettant d’effectuer le transfert dans un espace de couleur corr´ el´ e comme RGB. Au lieu de traiter chaque canal ind´ ependamment, Piti´ e et al. [PKD07]

proposent de transformer des histogrammes 3D direc- tement en utilisant it´ erativement des transformations 1D. Bien que la correspondance entre l’histogramme de r´ ef´ erence et l’histogramme r´ esultant soit excellente dans cette approche, elle est presque “trop parfaite” et tend ` a produire des artefacts dans le r´ esultat, le for-

¸

cant ` a contenir le mˆ eme nombre de pixels de chaque

couleur que la r´ ef´ erence. Enfin, une approche plus r´ e- cente bas´ ee sur une transformation ` a plusieurs ´ echelles de l’histogramme a ´ et´ e propos´ ee dans [PR11] o` u l’uti- lisateur peut choisir ` a quel point la correspondance entre les histogrammes doit ˆ etre pr´ ecise. De mani` ere g´ en´ erale, ces m´ ethodes globales sont simples mais n’as- surent pas que les couleurs soient transf´ er´ ees entre r´ e- gions similaires. Quand ces m´ ethodes automatiques ne suffisent pas, une segmentation de l’image peut ˆ etre fournie par l’utilisateur pour transf´ erer uniquement entre r´ egions pr´ e-d´ efinies [DX09,

AP10,LSZ12].

Dans le but d’effectuer un transfert local automati- quement, Tai et al. [TJT05] proposent d’utiliser un m´ elange Gaussien pour segmenter les images d’en- tr´ ee et transf´ erer les couleurs entre r´ egions de lumi- nance similaire. Une m´ ethode pour ajuster les couleurs d’une vid´ eo, bas´ ee sur un transfert de couleur entre s´ e- quences a ´ et´ e propos´ ee dans [BSPP13]. Leur transfor- mation segmente les images en utilisant la luminance et transfert les couleurs entre les r´ egions d’ombres, de tons moyens, et de surbrillance. Dans une approche si- milaire, Hristova et al. [HLMCB15] divisent les images en nuages Gaussiens se basant sur leur principale ca- ract´ eristique (luminance ou couleurs). Bien que ces approches soient plus pr´ ecises que des transferts glo- baux, elles sont uniquement bas´ ees sur des informa- tions de premier ordre pour segmenter les images et ne prennent pas en compte d’information d’ordre plus

´

elev´ e pour effectuer les correspondances entre les r´ e- gions des images. En cons´ equence, des r´ egions ayant des textures diff´ erentes mais des luminances similaires ne peuvent pas ˆ etre diff´ erenci´ ees.

Colorisation. La colorisation consiste ` a ajouter des couleurs (ou de la chrominance) ` a une image en ni- veaux de gris. Une des premi` eres approches ` a at- taquer ce probl` eme se base sur des coups de pin- ceau color´ es fournis par l’utilisateur et les ´ etend sur des r´ egions de mˆ eme luminance ` a l’aide d’une optimisation [LLW04]. Cette optimisation est utili- s´ ee avec des coups de pinceau g´ en´ er´ es automatique- ment dans beaucoup de m´ ethodes de colorisation par l’exemple [ICOL05,

GCR^∗12,KCP15]. Comme elles

sont bas´ ees sur une optimisation via la luminance dans leur derni` ere ´ etape, ces m´ ethodes peinent ` a g´ e- rer des textures tr` es contrast´ ees o` u l’optimisation ne propage pas correctement les couleurs. Plus r´ ecem- ment, Jin et al. [JCT14] ont propos´ e un algorithme al´ eatoire pour mieux transf´ erer des distributions de couleurs entre r´ egions d´ efinies par l’utilisateur. Plus proche de notre approche, d’autres m´ ethodes se basent sur des information d’ordre sup´ erieur pour transf´ erer de la chrominance entre pixels ayant les mˆ emes sta- tistiques [WAM02,CHS08,BT12]. Cependant, ces m´ e- thodes produisent souvent des halos cr´ e´ es par la fe-

nˆ etre utilis´ ee dans le calcul des statistiques. De plus, ces m´ ethodes sont bas´ ees sur une minimisation d’´ ener- gie qui les rend typiquement lentes et difficiles ` a utili- ser sur de grandes images.

Analyse de textures. Beaucoup de descripteurs dif- f´ erents ont ´ et´ e utilis´ es pour manipuler des images en fonction de leur contenu texturel. Des m´ ethodes pr´ e- c´ edentes de colorisation automatique utilisent des des- cripteurs SURF, des filtres de Gabor ou des histo- grammes de gradients orient´ es (HoG) comme outils de base pour l’analyse des textures [CHS08,

GCR^∗12, KCP15]. Ces descripteurs sont connus pour ˆ

etre effi- caces et discriminants, mais aussi complexes ` a calcu- ler et ` a stocker ` a cause de leur grand nombre d’´ el´ e- ments. De mˆ eme, les descripteurs de texture bas´ es sur la forme introduits dans [XDG10,XHJF12], bien qu’ils poss` edent de nombreuses invariances, sont trop com- plexes pour une application en manipulation d’image o` u l’on souhaite obtenir des r´ esultats en un temps rai- sonnable pour des images de grande taille. Les ap- proches r´ ecentes propos´ ees dans [XYXJ12,

CLKL14]

s´ eparent pr´ ecis´ ement les textures de la structure mais leur descripteur (relative total variation) n’est pas as- sez pr´ ecis pour distinguer diff´ erentes textures entre elles. Enfin, Karacan et al. [KEE13] ont propos´ e d’uti- liser la covariance d’une r´ egion comme descripteur de texture pour lisser les images. Notre m´ ethode se base aussi sur une variante de ce descripteur compact et efficace pour d´ ecrire les propri´ et´ es texturelles. Un de ses d´ esavantages est que ce descripteur ` a tendance ` a ˆ etre peu pr´ ecis autour des contours de l’image et des transitions entre textures, en particulier quand il est estim´ e ` a partir d’un grand voisinage. Pour cette rai- son, des m´ ethodes de filtrage pr´ eservant les contours pouvant ˆ etre utilis´ ees pour r´ esoudre ce probl` eme sont aussi discut´ ees.

Les filtres pr´ eservant les contours sont cruciaux pour

respecter les structures d’une image lors d’un lissage,

d´ ebruitage, d’une accentuation des d´ etails, ou de l’ex-

traction des textures d’une image. Une approche po-

pulaire dans ce but est le filtre bilat´ eral [TM98], qui

lisse efficacement les images en pr´ eservant les contours

en fonction de leur luminance. Cependant, ce filtre

a tendance ` a introduire des halos et des inversions

de gradient autour des contours pouvant modifier les

informations texturelles. Le filtre guid´ e (guided fil-

ter) [HST13] offre une approche diff´ erente en utili-

sant une transformation lin´ eaire d’une image guide

pour filtrer une image d’entr´ ee, mais tend aussi ` a pro-

duire des halos autour des contours de l’image. La

diffusion anisotrope [PM90] ou le filtre bilat´ eral non-

normalis´ e [APH

^∗14] sont plus appropri´

es pour nos des-

cripteurs car ils ´ evitent halos et inversions de gradient

quand le lissage est n´ ecessaire ` a grande ´ echelle.

Entrée & Référence A. Descripteurs de texture préservant les contours 1. Descripteurs de textures 2. Descente de gradient 3. Filtrage

B. Cartes de similarité

C1. Transfert de couleurs local Entrée Référence Résultat

C2. Colorisation locale

Entrée Référence Résultat

Figure 2 :

Pipeline de notre m´ethode.

Des descripteurs pr´ eservant les contours sont d’abord calcul´ es pour d´ e- crire pr´ ecis´ ement le contenu texturel des images d’entr´ ee et de r´ ef´ erence (A). Ensuite ces descripteurs sont utilis´ es pour calculer des distances entre pixels et associer les r´ egions similaires, comme montr´ e ici pour la v´ eg´ etation (B).

Enfin ces cartes de distance sont utilis´ ees pour le transfert de couleur (C1) et la colorisation (C2), o` u les couleurs sont attribu´ ees en fonction de la similarit´ e entre pixels.

3. Notre approche

Notre approche pour ´ editer automatiquement les couleurs en se basant sur les textures est r´ esum´ ee dans la figure

2. D’abord, des descripteurs sont calcul´

es pour les images d’entr´ ee et de r´ ef´ erence en trois ´ etapes (A) : les matrices de covariance de plusieurs caract´ e- ristiques locales sont calcul´ ees ` a grande ´ echelle pour d´ efinir le contenu texturel de chaque r´ egion (A.1). Une descente de gradient multi-´ echelle d´ eplace ensuite ces descripteurs localement pour retrouver les contours des textures perdus lors de l’analyse ` a grande ´ echelle (A.2). Enfin, un filtrage pr´ eservant les contours est ap- pliqu´ e pour obtenir des descripteurs d´ ecrivant pr´ ecis´ e- ment des r´ egions de textures homog` enes, tout en pr´ e- servant le d´ etail des transitions entre textures (A.3).

Nos descripteurs permettent de calculer des simila- rit´ es entre pixels. Grˆ ace ` a ¸ ca, ils permettent de seg- menter les images de mani` ere douce, pr´ eservant les structures lisses ou nettes. Ceci est illustr´ e dans la figure

2

(B), o` u la v´ eg´ etation est isol´ ee automatique- ment dans les images d’entr´ ee et de r´ ef´ erence. Enfin, des cartes de similarit´ e contrˆ olent le transfert local de couleurs entre les images (C1) ou la colorisation en fonction des r´ egions textur´ ees de mani` ere similaires (C2). Le reste de cet article est organis´ e comme suit : les descripteurs sont d´ etaill´ es dans la section

4

et les algorithmes de manipulation de couleurs sont d´ ecrits dans la section

5. Des r´

esultats et comparaisons sont pr´ esent´ es en section

6

avant de conclure en section

7.

4. Descripteurs de texture pr´ eservant les contours

4.1. Descripteurs de texture locaux

Pour analyser la texture sous-jacente ` a chaque pixel de l’image d’entr´ ee et de r´ ef´ erence, nous avons choisi d’utiliser des matrices de covariances (region cova- riance) [TPM06,

KEE13]. En effet, c’est un moyen ef-

ficace et compact de d´ ecrire les r´ egions d’une image.

La covariance d’une r´ egion capture la texture sous- jacente en calculant un ensemble r´ eduit de statistiques de second ordre sur des caract´ eristiques sp´ ecifiques de l’image comme la luminance ou le gradient. Consid´ e- rons un pixel

p, d´

ecrit par un vecteur

z(p)

de carac- t´ eristiques de dimension

d. La covariance de la r´

egion correspondante est une matrice

d×d

d´ efinie comme suit :

Cr(p) = 1

W

∑

q∈Nr^p

(z(q)−µµµr)(z(q)−µµµr)^Twr(p,q),

o` u

Nr^p

est un voisinage carr´ e centr´ e sur

p

de taille

(2r+1)×(2r+1)

et

µµµr

est un vecteur contenant la

moyenne de chaque caract´ eristique ` a l’int´ erieur de

cette r´ egion. Contrairement ` a [TPM06], nous ajou-

tons une fonction de poids Gaussienne d’´ ecart-type

r/3

assurant que les descripteurs soient d´ efinis conti-

nˆ ument de pixel en pixel :

w_r(p,q) =exp(^−9kq−pk_2r2 ²)

.

Cette fonction de poids est aussi utilis´ ee pour calculer

Figure 3 :

Descripteurs de textures.

Des extraits de r´ egions diverses pris dans l’image de la figure

2

(en haut) et leurs descripteurs correspondants calcu- l´ es pour le pixel central de la r´ egion (en bas). Les ex- traits issus de r´ egions similaires ont des descripteurs similaires.

(a) Entr´ ee (b)

SSS₆

(c)

SSS₂₁

Figure 4 :

Descripteurs.

De petites ´ echelles cr´ eent des descripteurs bruit´ es (b). De grandes ´ echelles per- mettent d’obtenir de descripteurs plus homog` enes mais lissent les transitions nettes entre textures. Pour clari- fier la visualisation, seul le premier ´ el´ ement de

SSSr

est repr´ esent´ e (la premi` ere valeur de

L¹_r

) mais le reste de l’ensemble pr´ esente le mˆ eme comportement.

la moyenne des caract´ eristiques

µµµr

.

W

est un facteur de normalisation :

W=∑_q∈Nr^Pwr(p,q). Nous utilisons r∈[20,30]

et utilisons un vecteur

5D bas´

e sur des d´ e- riv´ ees de la luminance afin de capturer les textures d’images naturelles ` a grande ´ echelle :

z(p) =

"

L(p) ∂L(p)

∂x

∂L(p)

∂y

∂²L(p)

∂x²

∂²L(p)

∂y²

∂²L(p)

∂x∂y

# ,

o` u

L(p)

est la luminance du pixel

p. En pratique,

chaque caract´ eristique est d’abord normalis´ ee (divis´ ee par son ´ ecart-type) de mani` ere ` a ce que toutes contri- buent de la mˆ eme mani` ere ` a l’analyse.

Comme expliqu´ e dans [HCS

^∗09,KEE13], la cova-

riance d’une r´ egion ne d´ ecrit que des statistiques de deuxi` eme ordre, ce qui peut limiter la nature des textures descriptibles. De plus, calculer des distances entre matrices de covariance est complexe car elles ne sont pas dans un espace Euclidien. Pour ces deux rai- sons, nous adoptons la solution propos´ ee par Kara- can et al. [KEE13] qui utilisent une d´ ecomposition de Cholesky pour transformer les matrices de covariance en vecteurs pouvant facilement ˆ etre compar´ es et en- richis avec des statistiques de premier ordre. Notre

descripteur est repr´ esent´ e par :

S

S

Sr= L¹_r · · · L^d_r µµµr

,

(1)

o` u

Lⁱ_r

est la

i^eme

colonne de la matrice triangulaire in- f´ erieure

Lr

obtenue par la d´ ecomposition de Cholesky

Cr=LrL^T_r

` a l’´ echelle

r

et

µµµr

sont les moyennes des caract´ eristiques dans la r´ egion correspondante, c’est-

`

a-dire des statistiques de premier ordre.

Des visualisations de nos descripteurs sont pr´ esen- t´ ees dans la figure

3

o` u l’on peut voir que leurs va- leurs sont similaires dans des r´ egions de mˆ eme type.

Cela montre que notre descripteur distingue avec suc- c` es des r´ egions diff´ eremment textur´ ees. La figure

4

montre l’effet de l’´ echelle

r

sur les descripteurs. De pe- tites ´ echelles (b) pr´ eservent les contours mais cr´ eent des descripteurs tr` es bruit´ es. A l’oppos´ e, de grandes

´ echelles d´ ecrivent bien des r´ egions homog` enes textu- rellement mais ne pr´ eservent pas les transitions nettes entre textures qui peuvent apparaˆıtre dans les images.

Ceci est soulign´ e dans l’image (c) o` u la transition nette entre les arbres et le ciel est liss´ ee quand les descripteurs sont calcul´ es sur un gros voisinage. Ce ph´ enom` ene est parfaitement normal puisque pour ces pixels de transition, des caract´ eristiques du ciel et des arbres sont m´ elang´ ees lors du calcul du descrip- teur, ce qui tend ` a repr´ esenter ce m´ elange comme une troisi` eme texture. Cependant, ceci est probl´ ematique pour un transfert de couleur car ces descripteurs in- exacts ont tendance ` a produire des halos de couleur autour des contours. Notez qu’il n’est pas possible d’int´ egrer simplement la luminance dans la fonction de poids

wr

(comme dans le filtre bilat´ eral par exemple).

En effet, cela empˆ echerait les textures tr` es contras- t´ ee d’ˆ etre d´ ecrites correctement car elles seraient frag- ment´ ees en plusieurs morceaux de luminance similaire.

Pour notre application, nous devons satisfaire deux contraintes : des descripteurs homog` enes ` a l’int´ erieur des r´ egions textur´ ees, et la pr´ eservation des contours nets de l’image.

4.2. Descente de gradient multi-´ echelle

Pour ´ eviter que les transitions entre textures soient liss´ ees, nous utilisons une descente de gradient multi-

´ echelle. Intuitivement, cette descente de gradient pro- page les valeurs des descripteurs pertinents (calcul´ es sur des r´ egions homog` enes) pour remplacer celles de descripteurs inexacts (impact´ es par une transition).

Cette descente est guid´ ee par la variance des descrip- teurs qui est faible lorsque les descripteurs sont cal- cul´ es sur une r´ egion homog` ene et ´ elev´ ee autour des contours de l’image. Cette descente de gradient multi-

´ echelle remplace les descripteurs ayant une forte va-

riance par ceux calcul´ es sur des r´ egions uniformes.

(a) DescripteurSSS₂₁ (b) Descente (c) Descente standard multi-´echelle

Figure 5 :

Illustration de la descente de gra- dient.

(a) Un zoom sur la transition ciel/arbres de l’image en figure

4. (b) Une descente de gradient gui-

d´ ee par la variance du descripteur calcul´ e ` a grande

´

echelle a tendance ` a affiner les contours (en haut), mais peut conduire ` a des descripteurs mal associ´ es le long des transitions : le pixel rouge du ciel (en bas) est consid´ er´ e comme appartenant aux arbres dans cet exemple. (c) Une descente de gradient effectu´ ee pro- gressivement ` a plusieurs ´ echelles conserve mieux les transitions complexes entre textures. Le pixel rouge est maintenant bien associ´ e au ciel.

Concr` etement, la variance d’un pixel

p

est calcul´ ee comme suit :

Vr(p) =k1

W

∑

q∈Nr^p

(SSSr(q)−νννr)(SSSr(q)−νννr)^Twr(p,q)k,

(2) o` u

SSSr(p)

est le descripteur du pixel

p

et

νννr

la moyenne pond´ er´ ee des descripteurs appartenant au voisinage

Nr^p

.

La descente de gradient d´ eplace les descripteurs de chaque cˆ ot´ e de la variance (c.a.d des contours de tex- ture) et donc tend ` a affiner les contours des descrip- teurs. La figure

6

(en haut) montre le pseudo-code de la descente de gradient o` u la carte r´ esultante contient les coordonn´ ees o` u les descripteurs doivent ˆ etre pris pour chaque pixel. Le d´ eplacement r´ esultant est mon- tr´ e dans la ligne sup´ erieure de la figure

5

o` u les des- cripteurs initiaux (a) sont d´ eplac´ es vers les r´ egions ho- mog` enes en suivant le gradient de la variance (b). Le r´ esultat d´ epends bien sˆ ur de l’´ echelle ` a laquelle les des- cripteurs sont calcul´ es. A de larges ´ echelles, les transi- tions entre textures sont liss´ ees et en cons´ equence des descripteurs peuvent ˆ etre incorrectement attribu´ es ` a diff´ erentes r´ egions autour de ces transitions. Ce ph´ eno- m` ene est illustr´ e dans la ligne inf´ erieure de la figure

5

o` u le pixel rouge appartenant au ciel (a) est incor- rectement associ´ e ` a un descripteur d’arbres (b) apr` es

la descente de gradient. Notre solution pour pr´ eserver les changements de texture complexes avec des des- cripteurs ` a grande ´ echelle est d’utiliser une descente de gradient multi-´ echelle o` u l’´ echelle du descripteur et de sa variance est augment´ ee progressivement pour guider le d´ eplacement du descripteur initial (calcul´ e ` a grande ´ echelle).

La figure

6

(en bas) pr´ esente le pseudo-code de cette descente de gradient multi-´ echelle. L’id´ ee est d’appli- quer plusieurs descentes de gradient it´ erativement ` a des ´ echelles augmentant progressivement (de la plus fine ` a la plus large), afin de d´ eplacer les pixels dans des r´ egions homog` enes tout en pr´ eservant les transi- tions complexes entre textures. A de fines ´ echelles, la descente pr´ eserve bien les contours, mais arrive rapi- dement ` a des minima locaux. Augmenter progressi- vement l’´ echelle permet de s´ electionner petit ` a petit des pixels de plus en plus loin des transitions com- plexes, assurant que les descripteurs restent coh´ erents.

En pratique, le nombre d’it´ erations utilis´ e pour une

´ echelle donn´ ee est fix´ e ` a la taille du voisinage (de pe- tites et grandes ´ echelles permettent respectivement de petits et grands d´ eplacements). Il est utile de pr´ eciser que mˆ eme si des descripteurs ` a petite ´ echelle sont uti- lis´ es pour calculer la variance, les coordonn´ ees r´ esul- tantes apr` es descente sont uniquement utilis´ ees pour modifier des descripteurs calcul´ es ` a grande ´ echelle. Le d´ eplacement final est illustr´ e dans la figure

5

(c). Le descripteur finalement obtenu (en haut) pr´ eserve plus pr´ ecis´ ement les transitions complexes entre textures.

Le pixel rouge (en bas) se voit maintenant attribuer les valeurs d’un descripteur calcul´ e dans une r´ egion homog` ene du ciel.

4.3. Filtre bilat´ eral non-normalis´ e

La descente de gradient assure une capture fine des propri´ et´ es texturelles autour de chaque pixel, mˆ eme proche d’une transition entre textures. Cependant ces descripteurs peuvent toujours contenir des variations n’apparaissant pas dans l’image originale. Ces varia- tions apparaissent typiquement autour de transitions en forme de U (comme dans la partie gauche de la figure

5

(c)) ou quand une r´ egion ne peut pas ˆ etre cor- rectement d´ ecrite par son contenu texturel (comme des lignes fines sur un fond uniforme). Cela doit ˆ etre ´ evit´ e car toute variation dans les descripteurs peut cr´ eer des changements de couleur durant le transfert de couleur ou la colorisation. A cet effet, nous filtrons les des- cripteurs dans une derni` ere ´ etape ` a l’aide d’un filtre pr´ eservant les contours afin de coller parfaitement ` a la structure de l’image. Pour cela nous adaptons le filtre bilat´ eral non-normalis´ e [APH

^∗14] de mani`

ere ` a ce qu’il lisse it´ erativement les descripteurs en fonction des variations de luminance. Ce filtre est simple, effi- cace et introduit tr` es peu de halos autour des contours.

Cependant n’importe quel autre filtre pr´ eservant les

Descente de gradient

1:

Entr´ ee : carte de coordonn´ ees

M, carte de variance V

, nombre d’it´ erations

n

2:

for all pixels

p

do

3:

for

i=1

to

n

do

4: M(p)←M(p) +∇V(M(p)) 5:

end for

6:

end for

7:

Return

M

Descente de gradient multi-´ echelle

1:

Initialiser

M

avec les coordonn´ ees des pixels

2:

Calculer

SSSrmax

avec l’´ equation.

1

3:

for

r=1

to

rmax

do

4:

Calculer

Vr

avec l’´ equation.

2 5: M←

Descente de gradient(M,V

r,r) 6:

end for

7:

for all pixels

p

do

8: SSSrmax(p)← SSSrmax(M(p)) 9:

end for

Figure 6 : Algorithme de descente de gradient multi-

´ echelle.

contours pourrait ˆ etre utilis´ e [TM98,

HST13,PM90].

Concr` etement, nous utilisons le filtre bilat´ eral non- normalis´ e comme suit :

SSS^{ub f}(p) =SSS(p)+

∑

q∈N^p

G_σs(q−p)G_σl(L(q)−L(p))(SSS(q)− SSS(p)) p2πσ²_s ,

(3)

o` u

Gσ(x) =exp(^−kxk_2σ2²)

est un noyau Gaussien stan- dard.

σs

et

σ_l

contrˆ olent respectivement l’influence de la distance spatiale et de la variation de luminance.

En pratique, l’´ equation

3

est appliqu´ ee it´ erativement avec de faibles valeurs de

σs

et

σl

(g´ en´ eralement

2

et

0.05) afin de diffuser les descripteurs correctement sur

de larges voisinages. La figure

7

montre l’effet de ce filtrage sur une r´ egion probl´ ematique o` u les descrip- teurs ne suivent pas bien la fronti` ere de la palme (a).

Le filtre bilat´ eral non-normalis´ e recr´ ee pr´ ecis´ ement les bords de la palme, comme montr´ e en (b). La derni` ere image (c) montre le r´ esultat du filtrage appliqu´ e di- rectement aux descripteurs initiaux (sans descente de gradient). Dans ce cas, les halos sont propag´ es dans les r´ egions et impactent les descripteurs.

5. Edition locale de couleurs

Une fois des descripteurs fiables obtenus, nous pro- posons de les utiliser pour manipuler les couleurs loca- lement en d´ efinissant des fonctions de transfert bas´ ees

Entr´ ee (a) (b) (c)

Figure 7 :

Filtre bilat´eral non-normalis´e.

(a) Des- cripteur obtenu apr` es descente de gradient. (b) Le filtre bilat´ eral non-normalis´ e propage pr´ ecis´ ement les des- cripteurs en respectant les fronti` eres de luminance.

(c) Sans descente de gradient, les halos sont propag´ es

`

a l’int´ erieur des r´ egions et alt` erent les descripteurs.

Dans ces exemples, 2000 it´ erations sont utilis´ ees avec

σs=2

et

σl=0.05.

sur les pixels ayant des descripteurs similaires entre l’image d’entr´ ee et la r´ ef´ erence.

5.1. Similarit´ e entre pixels

Notre mesure de similarit´ e est bas´ ee sur la distance Euclidienne

L2

entre deux descripteurs :

Dσd(p,q) =

exp

−kSSS(p)− SSS(q)k² 2σ²_d

!

,

(4)

o` u

SSS(p)

et

SSS(q)

sont les descripteurs aux pixels

p

et

q

et

σd

est l’´ ecart-type contrˆ olant comment la dis- tance entre deux descripteurs contribue ` a la mesure de similarit´ e. D’autres m´ etriques auraient pu ˆ etre utili- s´ ees comme d´ etaill´ e dans [HCS

^∗09,KEE13], mais nous

n’avons pas remarqu´ e de diff´ erences significatives entre ces m´ etriques pour notre application. Des exemples de mesures de similarit´ es sont pr´ esent´ ees dans la figure

8,

o` u les pixels (b), (c) et (d) sont compar´ es ` a tous les autres pixels de l’image d’entr´ ee (a). On peut voir que les arbres, l’herbe et le ciel sont pr´ ecis´ ement s´ epar´ es dans ces r´ esultats.

5.2. Transfert de couleurs

Pour transf´ erer des couleurs entre images, nous

nous basons sur une modification d’histogramme lo-

cale entre les images d’entr´ ee et de r´ ef´ erence. La mo-

dification appliqu´ ee ` a chaque pixel est calcul´ ee ` a l’aide

des pixels similaires ` a celui-ci, c’est-` a-dire ayant une

mˆ eme texture sous-jacente. Le processus de transfert

est bas´ e sur une translation et un ´ etirement de la dis-

tribution de couleurs dans un espace de couleur d´ e-

corr´ el´ e, comme propos´ e initialement par Reinhard et

al. [RAGS01]. Les images d’entr´ ee et de r´ ef´ erence sont

donc transform´ ees dans l’espace de couleur d´ ecorr´ el´ e

(a) (b) (c) (d) Figure 8 :

Cartes de similarit´e.

(a) Luminance de l’image d’entr´ ee. Les pixels vert, jaune et rouge sont compar´ es ` a tous les autres ` a l’aide de l’´ equation

4

pour obtenir les cartes de similarit´ es (b), (c) et (d).

Cette mesure de similarit´ e permet de discriminer avec pr´ ecision les trois r´ egions d’arbres, de ciel et d’herbe.

Les similarit´ es ont ´ et´ e calcul´ ees avec

σ_d=1

dans ces exemples.

et perceptuellement uniforme CIE-Lab avant le trans- fert. La fonction de transfert suivante est ensuite ap- pliqu´ e ` a chaque canal

c∈ {L,a,b}

s´ epar´ ement :

Tσd(p) =std^{re f}(p) stdⁱⁿ(p)

cⁱⁿ(p)−µⁱⁿ(p)

+µ^{re f}(p),

(5) o` u les indices “in”, “re f ” r´ ef` erent aux images d’entr´ ee et de r´ ef´ erence respectivement. De leur cot´ e, “µ”, “std”

sont les moyennes et ´ ecart-types pond´ er´ es, calcul´ es comme suit en fonction des similarit´ es avec le pixel

p

de l’image d’entr´ ee :

µ^img(p) = 1 W

∑

q

c^img(q)Dσd(pⁱⁿ,q^img)

std^img(p) = s1

W

∑

q

(c^img(q)−µ^img(p))²Dσd(pⁱⁿ,q^img),

o` u

img∈ {in,re f}

et

W

est le facteur de normalisa- tion :

W=∑qD_σd(pⁱⁿ,q^img).

Un exemple de transfert est montr´ e en figure

9

(en haut) o` u l’on peut observer l’effet du param` etre

σd

. Quand

σd

est faible, les couleurs sont transf´ er´ ees uni- quement entre r´ egions tr` es similaires, comme entre les mers ou les cieux des images d’entr´ ee et de r´ ef´ erence.

Quand

σd

augmente, les r´ egions consid´ er´ ees sont de plus en plus larges, cr´ eant un r´ esultat de plus en plus proche d’un transfert global comme [RAGS01].

5.3. Colorisation

Les techniques de transfert d’histogramme ne peuvent pas ˆ etre utilis´ ees directement pour colori- ser des images qui ne contiennent pas de canaux de chrominance. Dans ce cas, nous assignons simplement

`

a chaque pixel de l’image d’entr´ ee la chrominance moyenne de l’image de r´ ef´ erence, pond´ er´ ee par notre

Entr´ee/R´ef´erence σ_d=1 σ_d=2 σ_d=4

Entr´ee/R´ef´erence σd=0.2 σd=1 σd=2

Figure 9 :

Impact de σd sur les fonctions de transfert.

En haut : exemple de transfert de couleur.

Quand

σd

augmente, de plus en plus de pixels sont consid´ er´ es comme similaires, r´ esultant en un transfert proche d’un transfert global d’histogramme. En bas : exemple de colorisation. Les couleurs ´ etant obtenues ` a partir de la moyenne des pixels similaires de l’image de r´ ef´ erence, augmenter

σd

a tendance ` a produire un r´ esultat de plus en plus monochrome.

mesure de similarit´ e :

Cσd(p) =∑qc^{re f}(q)Dσd(pⁱⁿ,q^{re f})

∑qD_σd(pⁱⁿ,q^{re f}) .

(6) Notez que cette fonction de transfert est appliqu´ ee uniquement sur les canaux de chrominance (a et

b),

bien que la luminance pourrait aussi ˆ etre modifi´ ee en fonction de l’application souhait´ ee. Un exemple de co- lorisation est pr´ esent´ e en figure

9

(en bas). De grandes valeurs de

σ_d

ont tendance ` a moyenner les couleurs sur de grandes r´ egions et ainsi cr´ eer des r´ esultats pales et monochromes. Pour contrer cet effet, nous utilisons des valeurs faibles de

σd

pour la colorisation afin de ne moyenner que les r´ egions de descripteurs tr` es simi- laires.

5.4. Impl´ ementation et performances

Nos fonctions de manipulation de couleurs sont in-

t´ egralement impl´ ement´ ees sur GPU en Cuda. Tous les

r´ esultats pr´ esent´ es dans cet article ont ´ et´ e obtenus

avec une carte NVIDIA Quadro 6000. En pratique,

nous pr´ ecalculons les descripteurs

SSS

pour les images

d’entr´ ee et de r´ ef´ erence avant d’appliquer un trans-

fert de couleur ou une colorisation. En fonction du

nombre d’it´ erations choisi pour le filtre bilat´ eral non-

normalis´ e, il faut entre 20 et 40 secondes pour obtenir

les descripteurs des deux images. N´ eanmoins, les ´ equa-

tions

5

et

6

n´ ecessitent d’it´ erer sur tous les pixels de

l’image d’entr´ ee et de calculer pour chacun d’eux les

τ=0, 20min τ=0.001, 40s τ=0.01, 10s τ=0.1,<1s

Figure 10 :

Effet de l’optimisation.

R´ esultats du transfert de couleur pour des valeurs de

τ

croissantes, pour des images de taille

512×512. Plusτ

est faible, plus l’algorithme est rapide et le risque d’obtenir des artefacts dus ` a la quantification augmente. Dans cet exemple,

τ=0.1

permet un transfert en temps r´ eel pou- vant ˆ etre utilis´ e pour explorer efficacement l’espace des r´ esultats possibles malgr´ e les artefacts visibles.

similarit´ es avec toute l’image de r´ ef´ erence afin d’obte- nir les moyennes et ´ ecart-types pond´ er´ es. Le nombre de calculs est donc cons´ equent et le transfert est lent, environ 20 minutes pour des images

512×512.

Pour obtenir des temps de calcul raisonnables, nous proposons de quantifier les similarit´ es ` a l’aide d’une distance

τ

d´ efinie par l’utilisateur, contrˆ olant en des- sous de quelle distance deux descripteurs sont consi- d´ er´ es comme ´ egaux. Si l’on consid` ere un pixel d’entr´ ee

p, tous les autres pixels pi

tels que

Dσd(p,pi)<τ

sont manipul´ es ` a l’aide de la mˆ eme fonction de transfert.

De cette fa¸ con, augmenter

τ

r´ eduit le nombre d’it´ e- rations n´ ecessaires pour obtenir le r´ esultat. L’effet de cette optimisation est visible dans la figure

10, o`

u l’on arrive ` a de gros gains de temps sans impact visuel sur le r´ esultat. De grandes valeurs de

τ

ont tendance

`

a produire des artefacts dus ` a la quantification, mais peuvent ˆ etre utilis´ ees pour explorer interactivement l’espace des r´ esultats possibles.

En r´ esum´ e, l’utilisateur peut jouer sur les para- m` etres suivants pour obtenir les r´ esultats qu’il sou- haite :

—

rmax

contrˆ ole la taille de la fenˆ etre sur laquelle les descripteurs sont calcul´ es et d´ efinit donc l’´ echelle

`

a laquelle les textures sont analys´ ees. En g´ en´ eral, nous avons remarqu´ e que

rmax=21

marche bien pour des images naturelles de taille

512×512.

—

σs

et

σl

contrˆ olent respectivement l’influence des distances spatiales et des variations de lu- minance lors du filtrage des descripteur avec le filtre bilat´ eral non-normalis´ e. Tous les r´ esultats de cet article ont ´ et´ e calcul´ es avec

σs=2

et

σl=0.05. Le nombre d’it´

erations utilis´ e pour ce filtrage d´ epend de la complexit´ e des transitions entre textures. Nous utilisons typiquement 500 it´ erations pour nos r´ esultats.

—

σd

contrˆ ole comment le poids entre deux pixels

Entr´ ee R´ ef´ erence Notre R´ esultat Figure 12 :

R´esultats de transfert et colorisa- tion.

Diff´ erentes couleurs sont associ´ ees ` a diff´ erentes r´ egions en fonction de leur contenu texturel.

est influenc´ e par leur distance dans l’espace des descripteurs. En pratique, nous utilisons

σd=1

et

σ_d=0.2

pour la plupart des r´ esultats de trans- fert de couleurs et de colorisation respective- ment.

—

τ

contrˆ ole le seuil de quantification. G´ en´ erale- ment, une valeur de

0.01

permet un transfert as- sez rapide, sans artefacts visibles.

6. R´ esultats

Les r´ esultats et les comparaisons pr´ esent´ ees dans cet article ainsi que les mat´ eriaux suppl´ ementaires ont tous ´ et´ e calcul´ es avec les param` etres par d´ efaut donn´ es dans la section pr´ ec´ edente.

6.1. R´ esultats du transfert de couleurs

La figure

11

(en haut) pr´ esente les r´ esultats de notre

transfert de couleurs compar´ e avec d’autres m´ ethodes

de l’´ etat de l’art. Les r´ esultats de [RAGS01,

XM06]

Entr´ ee R´ ef´ erence [RAGS01] [PKD07] [XM06] [PR11] [HLMCB15] Notre r´ esultat

Entr´ ee R´ ef´ erence [WAM02] [CHS08] [GCR

^∗12]

[BT12] Notre R´ esultat

Figure 11 :

Comparaison avec les m´ethodes pr´ec´edentes.

Le haut et le bas comparent nos r´ esultats de

transfert de couleur et de colorisation respectivement avec des m´ ethodes pr´ ec´ edentes de l’´ etat de l’art. Se r´ ef´ erer

au texte pour plus de d´ etails.

ont ´ et´ e calcul´ es avec notre impl´ ementation de leur m´ e- thode. Les r´ esultats de [PKD07,PR11] ont ´ et´ e produits avec le code disponible sur la page web des auteurs, nous avons utilis´ e 100% de ressemblance pour [PR11].

Les r´ esultats de [HLMCB15] ont ´ et´ e pris sur la page des auteurs et ont dirig´ e notre choix d’images.

Ces r´ esultats montrent en premier lieu que les ap- proches globales [RAGS01,

PKD07,XM06] ont ten-

dance ` a produire des couleurs satur´ ees dues ` a l’´ eti- rement de l’histogramme de couleur d’entr´ ee. De plus, ces transferts globaux ont tendance ` a mettre en cor- respondance les r´ egions de couleurs et luminance simi- laires, c’est pourquoi ils ne peuvent transf´ erer entre r´ e- gions de mˆ eme contenu texturel si elles ont des grosses diff´ erences de luminance ou de couleurs. Ceci est illus- tr´ e dans le dernier exemple o` u la couleur orang´ ee des bˆ atiments est transf´ er´ ee dans le ciel de l’image d’en- tr´ ee.

Les approches locales bas´ ees sur des informations de couleur [PR11,

HLMCB15] cr´

eent de meilleurs r´ e- sultats, mais n’arrivent pas non plus ` a mettre en cor- respondance les r´ egions de mˆ eme contenu texturel car elles d´ efinissent les r´ egions en fonction de leur distri- bution de couleurs. Notre approche mets ces r´ egions en correspondance avec succ` es, comme montr´ e dans le troisi` eme exemple o` u le jaune du champ de fleurs de la r´ ef´ erence est bien transf´ er´ e dans l’herbe de l’entr´ ee ; ou dans le quatri` eme exemple o` u les bˆ atiments sont bien mis en correspondance dans les deux images, transf´ e- rant le orange de la r´ ef´ erence dans ceux d’entr´ ee. La figure

12

montre deux exemples suppl´ ementaires o` u la mise en correspondance entre r´ egions est effectu´ ee avec succ` es grˆ ace ` a nos descripteurs.

6.2. R´ esultats de colorisation

La figure

11

(en bas) compare les r´ esultats de notre colorisation ` a d’autres m´ ethodes de l’´ etat de l’art. Les r´ esultats de [WAM02,

CHS08,GCR^∗12] ont ´

et´ e pris dans l’article [GCR

^∗12]. Les r´

esultats de [BT12] ont

´

et´ e calcul´ es ` a l’aide du code fourni par les auteurs, avec les param` etres par d´ efaut sugg´ er´ es dans leur code.

Ces r´ esultats montrent que la m´ ethode de [WAM02]

bas´ e sur la luminance ne marche pas quand les images d’entr´ ee sont trop complexes : plusieurs r´ egions avec la mˆ eme luminance se voient attribuer la mˆ eme cou- leur, comme le bˆ atiment et le ciel du premier exemple.

La m´ ethode de [CHS08] utilise des descripteurs SURF et des filtres de Gabor qui sont tr` es discriminants, permettant une bonne colorisation quand les images d’entr´ ee et de r´ ef´ erence ont un contenu identique ou tr` es similaire. Cependant, ils doivent couper les bords de l’image et ont tendance ` a cr´ eer des taches de cou- leurs dans leurs r´ esultats. La m´ ethode de [GCR

^∗12]

produit de meilleurs r´ esultats ` a l’aide de descripteurs plus robustes, toutefois ils ont du mal ` a distinguer entre des r´ egions intriqu´ ees comme le ciel et les nuages des premier et quatri` eme exemples, ou la rivi` ere et la terre dans le quatri` eme exemple. Enfin, la m´ ethode de [BT12] a tendance ` a cr´ eer des halos ` a cause de la fenˆ etre utilis´ ee dans le calcul des descripteurs.

Comme on peut le voir dans la derni` ere colonne, notre approche colorise avec succ` es les r´ egions de tex- tures similaires : les couleurs du ciel, des nuages, de la v´ eg´ etation, de la montagne ou des bˆ atiments des images de r´ ef´ erence sont transf´ er´ ees avec succ` es dans les images d’entr´ ee. La figure

12

pr´ esente deux r´ esul- tats suppl´ ementaires avec une s´ eparation claire entre les r´ egions de l’image d’entr´ ee et des associations de couleurs pertinentes avec l’image de r´ ef´ erence.

6.3. Combiner colorisation et transfert

Etant donn´ e que notre pipeline est le mˆ eme pour la colorisation et le transfert de couleur, nous pouvons fa- cilement combiner les deux avec une image en niveaux de gris en entr´ ee en y ajoutant de la chrominance via colorisation, tout en modifiant sa luminance avec un transfert de luminance uniquement. Les r´ esultats de cette approche sont pr´ esent´ es dans la figure

13

: cette combinaison peut produire un r´ esultat plus proche du style de la r´ ef´ erence qu’une colorisation classique avec une image en niveaux de gris en entr´ ee. Compar´ e au r´ esultat d’un transfert de couleur (transf´ erant aussi la luminance), on peut voir que le transfert de cou- leurs reste plus riche en couleurs car la chrominance de l’image d’entr´ ee est aussi utilis´ ee durant le trans- fert. Cependant ce transfert est plus restrictif car il n´ ecessite une image en couleurs en entr´ ee.

7. Discussion et travaux futurs

Dans cet article, nous avons pr´ esent´ e un pipeline g´ e- n´ erique pour effectuer du transfert de couleurs ou de la colorisation. Nos descripteurs pr´ eservant les contours caract´ erisent pr´ ecis´ ement les r´ egions de mˆ eme contenu texturel entre les images, tout en ´ etant robuste aux transitions entre textures. Il permet d’appliquer trans- fert de couleurs et colorisation localement entre r´ e- gions similaires texturellement entre les images d’en- tr´ ee et de r´ ef´ erence. Notre m´ ethode souffre de deux limitations principales d´ ecrites ci-dessous.

(1) Du cot´ e de la colorisation, les images d’entr´ ee et de

r´ ef´ erence doivent ˆ etre assez similaires pour produire

un r´ esultat coh´ erent. Si une r´ egion de l’image d’en-

tr´ ee n’a pas de correspondance dans l’image de r´ ef´ e-

rence, la fonction de similarit´ e (bas´ ee sur une distance

Gaussienne) ` a tendance ` a attribuer le mˆ eme poids ` a

tous les pixels, produisant un r´ esultat monochrome.

Figure 13 :

Combinaison de la colorisation et d’un transfert de luminance.

Notre algorithme per- met d’appliquer facilement une combinaison de colo- risation et transfert de luminance. Cette combinaison permet d’effectuer un transfert de style entre l’entr´ ee et la r´ ef´ erence plus pr´ ecis qu’une simple colorisation.

Bien qu’il soit moins color´ e qu’un transfert de cou- leur, ce r´ esultat ne n´ ecessite qu’une image en niveaux de gris en entr´ ee. Dans ces r´ esultats,

σd=0.5.

Ceci est ´ equivalent ` a augmenter

σd

pour cette r´ egion, comme illustr´ e dans la figure

9

(en bas ` a droite). Ce probl` eme a aussi lieu lors du transfert de couleurs mais il est beaucoup moins visible car la moyenne et l’´ ecart- type ne sont utilis´ es que pour modifier l’histogramme.

Pour ´ eviter cela, une possibilit´ e pourrait ˆ etre de d´ etec- ter automatiquement les r´ egions sans correspondances proches et demander ` a l’utilisateur d’aider le transfert en fournissant une image de r´ ef´ erence plus sp´ ecifique.

(2) Les descripteurs propos´ es permettent de caract´ e- riser efficacement les r´ egions textur´ ees ainsi que leurs transitions, mais ne sont pas capables de d´ etecter d’in- formation s´ emantique de plus haut niveau comme des visages, des objets manufactur´ es ou un arri` ere-plan et un premier plan. Nos descripteurs peuvent ˆ etre alt´ er´ es par ces types d’objets, impactant la qualit´ e des r´ esul- tats de transfert et de colorisation. Une fois de plus, ceci est plus visible dans les r´ esultats de colorisation comme pr´ esent´ e dans la figure

14. La couleur jaune ob-

tenue dans la partie sup´ erieure gauche de l’image est due aux cˆ ables ´ electriques qui sont associ´ es au pan- neau de signalisation pr´ esent dans la r´ ef´ erence. Les roues de la mobylette contiennent aussi de fines struc- tures associ´ ees ` a la casquette de la fille de la r´ ef´ erence, r´ esultant en une couleur bleut´ ee dans les roues alors

Entr´ ee R´ ef´ erence Notre R´ esultat Figure 14 :

Cas Probl´ematique.

L’information s´ e- mantique comme des objets manufactur´ es ou des vi- sages peut alt´ erer localement les descripteurs, entraˆı- nant une colorisation incoh´ erente. Par exemple, les roues de la mobylette sont color´ ees en bleu alors que le fond est principalement rouge. On s’attendrait ` a ce que les deux r´ egions re¸ coivent la mˆ eme couleur.

que le fond est rouge clair. Une solution pour diminuer ces probl` emes pourrait ˆ etre d’utiliser des descripteurs plus complexes, mais plus lents, contenant ` a la fois de l’information texturelle et s´ emantique.

Malgr´ e ces limitations, nous pensons que nos des- cripteurs pr´ esentent une bonne base qui pourrait ˆ etre utilisable dans d’autres applications comme le chan- gement de dynamique, la d´ ecomposition d’image tout en pr´ eservant les structures ou la modification des cou- leurs de s´ equences vid´ eo.

Remerciements

L’image d’entr´ ee utilis´ ee dans les figures

2,3,4,5,8, 10,13

et l’image de r´ ef´ erence contenant la maison dans la figure

9

proviennent du site

freebigpictures.com.

Les comparaisons du transfert de couleurs ont ´ et´ e faites avec les images de [HLMCB15]. Les comparai- sons de la colorisation ont ´ et´ e faites avec les images de [GCR

^∗12].

R´ ef´ erences

[AP10] An X., Pellacini F. : User-controllable color transfer. Computer Graphics Forum(2010). 3

[APH^∗14] Aubry M., Paris S., Hasinoff S. W., Kautz J., Durand F. : Fast local laplacian filters : Theory and applications. ACM Trans. Graph.. Vol. 33, Num. 5 (2014), 167 :1–167 :14. 3,6

[Bal06] Balas B. J.: Texture synthesis and perception : using computational models to study texture represen- tations in the human visual system. Vision Research.

Vol. 46, Num. 3 (2006), 299–309. 2

[BSPP13] Bonneel N., Sunkavalli K., Paris S., Pfis- ter H. : Example-based video color grading. ACM Trans. Graph.. Vol. 32, Num. 4 (2013), 39 :1–39 :12.

3

[BT12] Bugeau A., Ta V.-T.: Patch-based image co- lorization. In Pattern Recognition (ICPR), 2012 21st

International Conference on (2012), pp. 3058–3061. 3, 10,11

[CHS08] Charpiat G., Hofmann M., Sch¨olkopf B.: Automatic image colorization via multimodal predic- tions. InProc. ECCV (2008), pp. 126–139. 3,10,11 [CLKL14] Cho H., Lee H., Kang H., Lee S.: Bilateral

texture filtering. ACM Trans. Graph.. Vol. 33, Num. 4 (2014), 128 :1–128 :8. 3

[DX09] Dong Y., Xu D.: Interactive local color transfer based on coupled map lattices. InProc. Computer-Aided Design and Computer Graphics (Aug 2009), pp. 146–

149.3

[GCR^∗12] Gupta R. K., Chia A. Y.-S., Rajan D., Ng E. S., Zhiyong H. : Image colorization using similar images. InProc. ACM Int. Conference on Multimedia (2012), pp. 369–378.3,10,11,12

[HCS^∗09] Hong X., Chang H., Shan S., Chen X., Gao W.: Sigma set : A small second order statistical region descriptor. InProc. IEEE CVPR(2009), pp. 1802–1809.

5,7

[HLMCB15] Hristova H., Le Meur O., Cozot R., Bouatouch K.: Style-aware robust color transfer. In Proc. Computational Aesthetics (2015), pp. 67–77. 3, 10,11,12

[HST13] He K., Sun J., Tang X.: Guided image filte- ring.IEEE Trans. Pattern Analysis and Machine Intel- ligence. Vol. 35, Num. 6 (2013), 1397–1409.3,7 [ICOL05] Irony R., Cohen-Or D., Lischinski D.: Co-

lorization by example. InProc. EGSR(2005), pp. 201–

210.3

[JCT14] Jin S.-Y., Choi H.-J., Tai Y.-W.: A randomi- zed algorithm for natural object colorization.Computer Graphics Forum. Vol. 33, Num. 2 (2014), 205–214. 3 [KCP15] Kuzovkin D., Chamaret C., Pouli T. :

Descriptor-based image colorization and regulariza- tion. InProc. Computational Color Imaging Workshop (2015), pp. 59–68. 3

[KEE13] Karacan L., Erdem E., Erdem A.: Structure- preserving image smoothing via region covariances.

ACM Trans. Graph.. Vol. 32, Num. 6 (2013), 176 :1–

176 :11.3,4,5,7

[LLW04] Levin A., Lischinski D., Weiss Y.: Coloriza- tion using optimization. ACM Trans. Graph.. Vol. 23, Num. 3 (2004), 689–694. 3

[LSZ12] Liu S., Sun H., Zhang X. : Selective color transferring via ellipsoid color mixture map.Journal of Visual Communication and Image Representation. Vol.

23, Num. 1 (2012), 173 – 181.3

[PKD07] Piti´e F., Kokaram A. C., Dahyot R.: Au- tomated colour grading using colour distribution trans- fer. Comput. Vis. Image Underst.. Vol. 107, Num. 1-2 (2007), 123–137.2,10,11

[PM90] Perona P., Malik J. : Scale-space and edge detection using anisotropic diffusion. IEEE Trans. Pat- tern Analysis and Machine Intelligence. Vol. 12, Num.

7 (1990), 629–639.3,7

[PR11] Pouli T., Reinhard E.: Progressive color trans- fer for images of arbitrary dynamic range.Computers &

Graphics. Vol. 35, Num. 1 (2011), 67–80.3,10,11 [RAGS01] Reinhard E., Ashikhmin M., Gooch B.,

Shirley P.: Color transfer between images.IEEE Com- put. Graph. Appl.. Vol. 21, Num. 5 (2001), 34–41.2,7, 8,9,10,11

[TJT05] Tai Y.-W., Jia J., Tang C.-K.: Local color transfer via probabilistic segmentation by expectation- maximization. In Proc. IEEE CVPR (2005), vol. 1, pp. 747 – 754 vol. 1. 3

[TM98] Tomasi C., Manduchi R.: Bilateral filtering for gray and color images. InProc. ICCV (1998), pp. 839–.

3,7

[TPM06] Tuzel O., Porikli F., Meer P.: Region cova- riance : A fast descriptor for detection and classification.

InProc. ECCV (2006), pp. 589–600. 4

[WAM02] Welsh T., Ashikhmin M., Mueller K. : Transferring color to greyscale images. ACM Trans.

Graph.. Vol. 21, Num. 3 (2002), 277–280. 3,10,11 [XDG10] Xia G.-S., Delon J., Gousseau Y.: Shape-

based invariant texture indexing. International Journal of Computer Vision. Vol. 88, Num. 3 (2010), 382–403.

3

[XHJF12] Xu Y., Huang S., Ji H., Ferm¨uller C. : Scale-space texture description on sift-like textons.

Computer Vision and Image Understanding. Vol. 116, Num. 9 (2012), 999 – 1013. 3

[XM06] Xiao X., Ma L. : Color transfer in correlated color space. InProc. ACM Int. Conf. on Virtual Rea- lity Continuum and its Applications (VRCIA) (2006), pp. 305–309. 2,9,10,11

[XYXJ12] Xu L., Yan Q., Xia Y., Jia J. : Structure extraction from texture via relative total variation.ACM Trans. Graph.. Vol. 31, Num. 6 (2012), 139 :1–139 :10.

3

[YJ^∗93] Yellott Jr J. I., et al.: Implications of triple correlation uniqueness for texture statistics and the ju- lesz conjecture. JOSA A. Vol. 10, Num. 5 (1993), 777–

793. 2