Plusieurs champs d’applications sont ´etudi´es ici.
Environnement urbain
Nous verrons en seconde partie du m´emoire le processus de num´erisation de l’environ-nement urbain `a partir du sol. Celui-ci fait notamment appel `a des cam´eras (et t´el´em`etres laser) embarqu´es sur un v´ehicule en d´eplacement, les cam´eras ´etant orient´ees vers les
fa-¸cades. De ce point de vue, les s´equences vid´eos acquises par ces cam´eras comportent une succession de plans, 1er plan, 2e plan, ainsi de suite jusqu’`a l’arri`ere-plan (la fa¸cade ou le ciel) : plan de la chauss´ee, plan des arbres align´es, plans des pi´etons, plans des voitures, plan de la fa¸cade, etc. La figure 6(en introduction du m´emoire) donne un exemple d’une telle d´ecomposition. Celle-ci est permise par le mod`ele de couche retenu qui s’appuie sur le mod`ele projectif permettant d’associer une couche `a chacun de ces «plans».
111
Sec. 6.2. Applications Mettons l’accent sur une particularit´e importante de la sc`ene urbaine : elle regorge d’objets qui se chevauchent tels que les pi´etons derri`ere les arbres, les voitures qui se croisent, les occultations entre les plans, etc. Or, nous avons propos´e une mod´elisation des parties cach´ees des couches qui permet de consid´erer explicitement ces occultations de fa¸con naturelle. Connaissant les parties occult´ees pour chaque couche `a chaque ins-tant, nous sommes en mesure d’effectuer des traitements adapt´es pour la reconstruction tridimensionnelle. Le choix des textures des fa¸cades `a projeter sur les mod`eles tridimen-sionnels (fournis par le t´el´em`etre laser par exemple) ou le choix des r´egions `a apparier («masque de visibilit´e») dans le cadre de la st´er´eovision sont deux exemples qui montrent l’int´erˆet de notre mod´elisation. Nous voyons ci-dessous une autre application, notamment int´eressante pour la num´erisation de l’environnement urbain.
Compl´ etion de texture
Aussi appel´ee inpainting [17], cette technique consiste `a compl´eter les parties man-quantes (occult´ees ou d´etruites) des images et des s´equences vid´eos `a partir des intensit´es des parties visibles de l’image et/ou des autres images de la s´equence.
Dans le cadre urbain, les parties manquantes sont g´en´eralement les fa¸cades et les chauss´ees, occult´ees par les nombreux obstacles tels que les pi´etons, le mobilier urbain, les arbres, etc. Leurs d´eplacements ou le d´eplacement de la cam´era permettent g´en´era-lement de retrouver les parties manquantes des couches plus ´eloign´ees (les fa¸cades par exemple) via l’ensemble des images captur´ees par la cam´era. La compl´etion de texture permet une mod´elisation tridimensionnelle textur´ee et compl`ete de l’environnement ur-bain (notamment des fa¸cades, souvent occult´ees par les arbres, le mobilier urur-bain et les pi´etons). Elle permet de surcroˆıt la suppression d’objets ind´esirables tout au long de la s´equence : on souhaite, par exemple, pouvoir retirer la pr´esence d’un personnage ou d’un objet particulier dans un film. Il s’agit alors, une fois la r´egion concern´ee extraite, de la remplacer par les intensit´es des couches plus ´eloign´ees telles que l’arri`ere-plan, en utilisant les informations visuelles pr´esentes sur les autres images de la s´equence.
A cette fin, il existe deux cat´egories d’algorithme de compl´etion de textures :`
1. ceux qui propagent les parties visibles (notamment en bordure des masques de vi-sibilit´e) vers les parties cach´ees par interpolation/extrapolation. On peut citer les approches variationnelles [11,17,32,53], adapt´ees aux parties manquantes de petites tailles et lisses et les approches statistiques [51,52,85,123,138], notamment adap-t´ees `a la compl´etion de textures dites stochastiques (qui s’apparentent au bruit) ou quasi-stochastiques telles que les textures (anim´ees ou non) de la mer, des flammes, des fontaines, etc. On peut se r´ef´erer `a l’´etat de l’art dress´e par Bertalmio et al. [16] ; 2. ceux qui recherchent dans toute l’image des petits blocs d’image `a«copier/coller» vers les parties cach´ees (Igehy et Pereira [69], Komodakis [83], All`ene et Paragios [7]).
R´ecemment, Xiao et Shah ont utilis´e l’extraction en couches pour retrouver les textures manquantes [147].
Notre algorithme d’extraction des couches, visibles et cach´ees, est particuli`erement bien adapt´e `a cette seconde approche. Il permet en effet de d´eterminer :
– le masque des couches `a supprimer (par exemple, la couche d’une voiture) ;
Chap. 6. R´esultats et applications
– le masque des couches cach´ees, nous indiquant quelles couches sont occult´ees ainsi que les r´egions occult´ees ;
– les textures vraisemblables de ces parties cach´ees que l’on souhaite retrouver via la connaissance du mouvement de chaque couche. Celui-ci nous permet de d´etermi-ner d’´etablir une correspondance entre les parties visibles et cach´ees `a des instants diff´erents pour une mˆeme couche.
Cette approche est cependant confront´ee `a plusieurs difficult´es. Le mod`ele de mouve-ment projectif n’est pas toujours adapt´e au mouvemouve-ment r´eel des couches, induisant des d´eformations g´eom´etriques lors des projections. De surcroˆıt, dans la mesure o`u les parties visibles peuvent apparaˆıtre dans plusieurs images, nous devons les choisir (et ´eventuelle-ment les fusionner) de fa¸con judicieuse pour compl´eter les parties cach´ees. Les plus proches dans le temps auront vraisemblablement le moins de d´eformations g´eom´etriques mais, plus on s’´eloigne temporellement, plus les parties visibles «collables» dans les parties cach´ees auront une taille importante, ´evitant les art´efacts des collages successifs.
Compression vid´ eo : MPEG-4
L’id´ee d’utiliser la d´ecomposition en couches pour compresser une vid´eo n’est pas nouvelle. Citons notamment Wang et Adelson [135,137], Ke et Kanade [76]. Cette repr´e-sentation est en effet compacte : si l’on consid`ere que les informations visuelles propres
`a chaque couche sont constantes dans le temps, seules les textures et les mouvements de chaque couche sont n´ecessaires pour synth´etiser l’ensemble de la s´equence.
Nous avons vu dans ce chapitre les principaux r´esultats obtenus avec notre nouvel algorithme d’extraction de couches et ses applications potentielles. Le chapitre suivant pr´esente une discussion et propose quelques perspectives.
113
Sec. 6.2. Applications
Images originales Parties visibles et parties cach´ees
Figure 6.6 – R´esultats obtenus sur la s´equence Croisement sur les images 5 `a 10. `A gauche, les images originales (dont on superpose les bordures des couches visibles) ; au milieu, les parties visibles extraites ; `a droite, les parties cach´ees (superpos´ees).
Chap. 6. R´esultats et applications
Images originales Parties visibles et parties cach´ees
Figure 6.7 – R´esultats obtenus sur la s´equence Croisement sur les images 11 `a 15. `A gauche, les images originales (dont on superpose les bordures des couches visibles) ; au milieu, les parties visibles extraites ; `a droite, les parties cach´ees (superpos´ees).
115
Sec. 6.2. Applications
Images originales Parties visibles et parties cach´ees
Figure 6.8 – R´esultats obtenus sur la s´equence Flower Garden sur les images 1,3,5,7 et 9. `A gauche, les images originales (dont on superpose les bordures des couches visibles) ; au milieu, les parties visibles extraites ; `a droite les parties cach´ees.
Chapitre 7
Discussions sur la premi` ere partie
D’abord motiv´es par la reconstruction de l’environnement urbain, nous avons mis au point une technique fonctionnelle de segmentation des s´equences vid´eos de sc`enes urbaines pertinente dans ce cadre : les occultations sont en effet nombreuses etexplicitement prises en consid´eration par notre mod`ele de couche ainsi que notre algorithme qui les extrait.
Les r´esultats sont satisfaisants et prometteurs et montrent que notre m´ethode est robuste face aux nombreuses ambigu¨ıt´es rencontr´ees dans les s´equences vid´eos.
Ce chapitre discute les notions et m´ethodes introduites au cours de la premi`ere partie.
Sommaire du chapitre
7.1 Pertinence du choix du mod`ele projectif/affine . . . 118 7.2 Pertinence des statistiques de couleurs . . . 118 7.3 N´ecessit´e de consid´erer toute la s´equence . . . 119 7.4 Importance de l’´etiquette ”occult´e”. . . 119 7.5 Limitation des alpha-expansions possibles. . . 119 7.6 Param`etres de l’´energie . . . 120 7.7 Perspectives. . . 122
Sec. 7.1. Pertinence du choix du mod`ele projectif/affine
7.1 Pertinence du choix du mod` ele projectif/affine
La notion de couche repose essentiellement sur la mod´elisation du mouvement, pro-jectif ou affine, et c’est sur ce point qu’il convient de s’int´eresser tout particuli`erement.
Nous avons choisi un tel mod`ele de mouvement car il est `a la fois g´en´erique et simple `a estimer (en terme de robustesse, de rapidit´e d’estimation et de contrˆole de l’estimation).
Cependant, il fait preuve de rigidit´e car il ne permet pas de consid´erer les mouvements plus complexes :
– d´eformations de formes ; – non-plan´eit´e des objets.
D`es lors, une certaine tol´erance est d´efinie dans notre m´ethode d’extraction de couches via l’utilisation de l’estimateur robuste de Heaviside ou les contraintes spatiales et temporelles qui lissent les erreurs locales de mod´elisation. Mais il reste n´ecessaire de bien param´etrer l’´energie et il subsiste certaines difficult´es lorsque les mouvements des diff´erentes couches sont proches entre eux ou lorsque les plans sont proches de la cam´era (on rencontre ce probl`eme sur les s´equences carmap et croisement avec le v´ehicule du 1er plan).
Il existe d’autres mod´elisations du mouvement, g´en´eralement non param´etriques [141, 21,57]. Certaines approches proposent ainsi de combiner un mod`ele rigide de mouvement (projectif par exemple) `a un mod`ele non-param´etrique (comme le flot optique) permettant de prendre en compte les variations locales des mouvements mal mod´elis´ees (sous forme hi´erarchique ou non).