Synth` ese de texture

L’“inpainting” par synth`ese de texture consiste en deux ´etapes :

1. Recherche du meilleur bloc correspondant `a la r´egion `a remplir en utilisant la similarit´e des textures.

2. Coller le bloc s´electionn´e dans la r´egion `a remplir `a une position pr´ecise.

Le probl`eme de ce type de m´ethode est que la recherche du bloc en plus d’ˆetre coˆuteuse en temps de calcul peut parfois induire des erreurs qui vont se propager aux r´egions voisines et le r´esultat sera inacceptable.

La recherche des r´egions peut ˆetre effectu´ee en cherchant dans toute l’image les blocs similaires avec une grande priorit´e aux isophotes [Criminisi 2004] afin de pr´ e-server les structures (mˆeme hypoth`ese que la m´ethode d’“inpainting” par diffusion

anisotropique dans le chapitre 2). La figure5.9 montre un exemple illustrant cette m´ethode.

Figure5.9 – Image de gauche montrant la recherche du bloc Ψ_p `a remplir dans les r´egions de l’image contenant des isophotes. Ψq⁰ et Ψq⁰⁰ sont deux blocs candidats et

`

a droite le r´esultat de l’“inpainting”

La s´election du bloc utilis´e est effectu´ee en mesurant une priorit´e pour chaque bloc de la fa¸con suivante :

P(p) =C(p)D(p) (5.4)

avec p la position du pixel central du bloc `a remplir et C(p) =

P

q∈Ψp∩ΩC(q)

|Ψ_p | (5.5)

est la confiance qui indique la fiabilit´e du bloc candidat,|Ψ_p|est l’aire du bloc Ψ_p, Ω la r´egion `a remplir.C(p) est initialis´e tel queC(p) = 0 dans les r´egions `a remplir etC(p) = 1 dans le reste de l’image.

D(p) = | 5I_p^⊥.n_p |

α (5.6)

est le terme des donn´ees qui donne la priorit´e aux isophotes, α un facteur de nor-malisation ´egal `a 255 pour une image en niveaux de gris 8 bits,np est la normale aux bordδΩ et5I_p^⊥ l’isophote comme le montre la figure 5.10.

Afin de r´eduire la zone de recherche l’auteur [2004] propose une m´ethode utili-sant les champs de Markov al´eatoire (MRF) permettant de limiter la recherche aux r´egions voisines.

Pour cela l’image est segment´ee en plusieurs r´egions en fonction de la similitude de texture des r´egions. L’auteur [Tang 2005] propose d’utiliser un algorithme du

“mean shift” [Comaniciu 2002]. Durant le processus d’“inpainting” la recherche est limit´ee aux r´egions qui intersectent avec le bloc `a remplir. Cet algorithme restaure bien les blocs qui appartiennent `a une seule r´egion de segmentation. Dans le cas contraire la restauration peut induire des erreurs.

Figure 5.10 – Direction des isophotes5I_p^⊥, Φ ´etant la zone de recherche Une mesure de coh´erence permet de s´electionner le meilleur bloc parmi tous les blocs candidats. Cette mesure utilise les pixels voisins les plus proches en les faisant voter comme nous allons le montrer.

Consid´erons, comme sur la figure 5.10, Φ la r´egion source. Nous mesurons la distance moyenne M D_Φ de la r´egion Φ comme suit :

M D_Φ = X

i∈[0,N]

||q_i, c_qi ||

N (5.7)

avec q_i un point de Φ, c_qi la position du bloc `a copier dans la r´egion source, N le nombre de pixels dans Φ et|| ∗ || la distance euclidienne.

D’un autre cˆot´e nous mesurons la distance moyenne de la r´egion `a remplir Ψ−Φ tel que :

M D_Ψp−Φ = X

i∈[0M]

||p_i, c_pi ||

M (5.8)

avec p_i∈Ψ−Φ et c_pi son correspondant dans le bloc candidat et M le nombre de point dans Ψ−Φ.

La confiance se calcule de la fa¸con suivante :

C_Ψp = 1

|M D_Φ−M D_Ψp−Φ | (5.9)

Nous s´electionnons donc le bloc qui maximise cette confiance :

argmax_ΨqC_Ψq (5.10)

Afin de r´eduire les discontinuit´es qui peuvent encore exister, les Graph-cut [Efros 2001,Kwatra 2003] peuvent ˆetre utilis´es afin de s´electionner le bloc qui pourra rejoindre les r´egions pr´ec´edemment remplies de la meilleure fa¸con.

La figure5.11 montre les r´esultats obtenus par cette m´ethode.

Dans le cas o`u nous avons acc`es `a une vid´eo l’information temporelle peut ˆetre tr`es utile. Nous allons pr´esenter, dans la suite, des m´ethodes utilisant une s´equence d’images afin de r´ecup´erer l’information manquante.

Figure5.11 – Premi`ere ligne : image originale (`a gauche), r´esultat de la segmenta-tion en r´egions ayant des textures similaires (au milieu) et r´esultat de l’“inpainting”

[Tang 2005] (`a droite). Deuxi`eme ligne : image originale (`a gauche) et r´esultat de l’“inpainting”.

5.3.4 “Inpainting” vid´eo

L’auteur [Patwardhan 2005] a propos´e une m´ethode utilisant une cam´era immo-bile, qui en supposant que la sc`ene est essentiellement constitu´ee de fond stationnaire et de quelques objets en mouvement, permet l’“inpainting” de r´egions appartenant au fond et cach´ees par les objets en mouvement. Une variante de cette m´ethode propos´ee par le mˆeme auteur permet de reconstruire des objets en mouvement par-tiellement cach´es en supposant que le mouvement est globalement consistant.

Pour cela, nous d´etectons d’abord si un pixel est en mouvement ou non `a l’aide du flot optique. Ceci va permettre d’´eliminer automatiquement les objets en mou-vement. Nous pouvons aussi sp´ecifier la zone `a remplir.

Les fonds stationnaires sont reconstruits dans un premier temps `a partir des r´egions non endommag´ees (pixels consid´er´es comme stationnaires) en les copiant dans les r´egions endommag´ees (pixels non stationnaires). Pour cela, la mesure de priorit´e [Criminisi 2004] que nous avons pr´esent´ee dans la section pr´ec´edente est utilis´ee. Toutefois, il reste des pixels endommag´es formant un trou dans toute les trames de la vid´eo. Ces pixels sont remplis en utilisant l’information spatiale `a l’aide de la mˆeme mesure de priorit´e des blocs pr´esent´ee dans [Criminisi 2004]. La figure5.12 montre le r´esultat obtenu sur 4 trames d’une vid´eo.

Dans la suite, nous allons pr´esenter le type d’approches s´electionn´e (EDP de diffusion). Deux m´ethodes plus ´evolu´ees que celles que nous avons vues dans cette section seront pr´esent´ees. La m´ethode la plus pertinente parmi ces deux m´ethodes a ´et´e retenue et adapt´ee `a notre probl`eme.

Figure5.12 – Premi`ere ligne : 4 trames contenant des objets en mouvement et des objets stationnaires. Les objets stationnaires et le corps humain en mouvement `a

´

eliminer sont encadr´es en rouge. Deuxi`eme ligne : r´esultat de l’“inpainting” [Pat-wardhan 2005].