Perspectives

Sec. 7.1. Pertinence du choix du mod`ele projectif/affine

7.1

Pertinence du choix du mod`ele projectif/affine

La notion de couche repose essentiellement sur la mod´elisation du mouvement, pro- jectif ou affine, et c’est sur ce point qu’il convient de s’int´eresser tout particuli`erement. Nous avons choisi un tel mod`ele de mouvement car il est `a la fois g´en´erique et simple `a estimer (en terme de robustesse, de rapidit´e d’estimation et de contrˆole de l’estimation). Cependant, il fait preuve de rigidit´e car il ne permet pas de consid´erer les mouvements plus complexes :

– d´eformations de formes ;

– non-plan´eit´e des objets.

D`es lors, une certaine tol´erance est d´efinie dans notre m´ethode d’extraction de couches via l’utilisation de l’estimateur robuste de Heaviside ou les contraintes spatiales et temporelles qui lissent les erreurs locales de mod´elisation. Mais il reste n´ecessaire de bien param´etrer l’´energie et il subsiste certaines difficult´es lorsque les mouvements des diff´erentes couches sont proches entre eux ou lorsque les plans sont proches de la cam´era (on rencontre ce probl`eme sur les s´equences carmap et croisement avec le v´ehicule du 1er _plan).

Il existe d’autres mod´elisations du mouvement, g´en´eralement non param´etriques [141, 21,57]. Certaines approches proposent ainsi de combiner un mod`ele rigide de mouvement (projectif par exemple) `a un mod`ele non-param´etrique (comme le flot optique) permettant de prendre en compte les variations locales des mouvements mal mod´elis´ees (sous forme hi´erarchique ou non).

7.2

Pertinence des statistiques de couleurs

Le crit`ere de statistiques de couleurs a ´et´e utilis´e avec succ`es dans nos premiers tra- vaux [47, 48] pour relever certaines ambigu¨ıt´es li´ees `a la photoconsistance. Cependant, la param´etrisation est d´elicate et constitue le principal d´efaut du crit`ere. Les principaux param`etres sensibles sont :

– le nombre de gaussiennes : lors de nos exp´erimentations, il a ´et´e fix´e g´en´eralement `a 5. Il existe cependant des m´ethodes qui d´eterminent le nombre « optimal » de gaussiennes selon certains crit`eres (fusion en cas de similarit´e de couleurs ou crit`ere MDL). Si le nombre de gaussiennes est trop faible, certaines couleurs sont mal distingu´ees et la variance r´esultante pour chacune d’entre elles devient trop ´elev´ee.

`

A l’inverse, si le nombre de gaussiennes est trop ´elev´e, la discrimination entre les couleurs s’estompe et le crit`ere perd de son int´erˆet ;

– la m´etrique et le poids γ accord´e `a ce crit`ere : quelle importance accorder `a ce crit`ere ? Question commune `a la plupart des param`etres r´eglant une ´energie mais celui-ci est le plus d´elicat. Le param´etrage de ce crit`ere fut propre `a chacune de nos s´equences en raison de sa sensibilit´e. Si γ est trop ´elev´e, les statistiques de couleurs prennent le dessus ind´ependamment du mouvement. S’il est trop faible, les ambigu¨ıt´es ne sont pas relev´ees. De surcroˆıt, `a l’inverse du mouvement, la distinction entre pixel bien class´e et mal class´e est difficile `a ´etablir.

Chap. 7. Discussions sur la premi`ere partie

7.3

N´ecessit´e de consid´erer toute la s´equence

Nous avons vu que l’extraction des parties cach´ees des couches ne concernent que les parties qui disparaissent puis r´eapparaissent (section 4.3). La m´ethode d´ecrite consid`ere ainsi n´ecessairement toute la s´equence simultan´ement. Le stockage des donn´ees et du graphe des alpha-expansions en m´emoire peut poser probl`eme. Mais il est possible de travailler dans un cadre multi-´echelles puis sur une fenˆetre temporelle suffisamment grande pour r´eduire la m´emoire n´ecessaire.

7.4

Importance de l’´etiquette ∅

(bruit)

Tout au long des r´esultats, nous avons observ´e tr`es peu de pixels ´etiquet´es ∅V (pixels

sujets au bruit ou aberrants). Ceci est dˆu aux contraintes spatiotemporelles qui filtrent les petites r´egions et `a la valeur du param`etre ψindtr (´equation (3.4)) fix´e `a 3, valeur

tr`es proche de π. En effet, le bruit ou les variations locales de la vitesse qui ne sont pas correctement mod´elis´ees, sont g´en´eralement ponctuels ou occupent une faible surface. La figure 7.1 montre diff´erents r´esultats obtenus pour diff´erentes valeurs de ψindtr sur la

s´equence Croisement. Si ψindtr est faible, les roues et l’arri`ere-plan `a travers les vitres sont

class´es ∅V, i.e. occult´ees : les mouvements des roues ne sont pas mod´elis´es et l’arri`ere-plan

est occult´e par la carosserie des voitures `a la fois dans les images pr´ec´edente et suivante. De surcroˆıt, si pour l’estimation du mouvement dominant, l’extraction des pixels aber- rants permet d’am´eliorer les r´esultats (voir sous-section 2.3.4), on souhaite cependant, en segmentation, minimiser le nombre de pixels aberrants. Car ceux-ci ne permettent pas de d´efinir des contraintes temporelles. Ainsi, si les mouvements de la sc`ene sont peu com- plexes (c.-`a-d. repr´esentables par un mod`ele projectif) et si le bruit est faible, la couche des pixels aberrants peut ˆetre ignor´ee (gain d’une it´eration d’alpha-expansion). Dans le cas contraire, elle am´eliore la robustesse des r´esultats en r´eduisant l’influence des pixels aberrants sur la segmentation des autres couches.

7.5

Limitation des α-expansions possibles

Que ce soit l’alpha-expansion ou l’alpha-beta-swap, les deux algorithmes que nous avons utilis´es pour minimiser notre ´energie ont la mˆeme caract´eristique : `a chaque it´eration, ils modifient une seule ´etiquette `a la fois (voire deux ´etiquettes pour l’alpha-beta-swap). C’est leur principale restriction. En segmentation d’images, les cons´equences sont n´egligeables mais d`es lors que la dimension temporelle est consid´er´ee, on souhaite pouvoir modifier plusieurs ´etiquettes diff´erentes en mˆeme temps. En section 5.9, la figure 5.7 a montr´e un exemple d’une telle limitation de ces algorithmes. Pour minimiser une ´energie, il est parfois souhaitable de modifier plusieurs ´etiquettes diff´erentes simultan´ement car nous avons d´efini des contraintes temporelles entre une ´etiquette et une autre : une couche visible peut devenir cach´ee dans l’image suivante. En ne changeant une seule ´etiquette `a chaque it´eration, nous n’avons pas la garantie que l’´energie est minimisable pour atteindre la solution optimale.

Parmi les diverses expansions que nous avons impl´ement´ees (voir la section 5.9), les

Sec. 7.6. Param`etres de l’´energie

ψindtr = 2 ψindtr = 2.5

Figure 7.1 – Influence du param`etre ψindtr sur les r´esultats sur la s´equence Croisement.

Les lignes correspondent respectivement aux images 5, 9 et 13.

meilleurs r´esultats ont ´et´e obtenus avec la deuxi`eme approche (V-expansions suivies des H-expansions).

7.6

Param`etres de l’´energie

Nous discutons ici l’influence et la stabilit´e des param`etres sur les r´esultats. Notre m´ethode d’extraction de couches comporte une dizaine de param`etres qui ajustent l’in- fluence des contraintes spatiotemporelles ou qui adaptent les op´erateurs robustes (telle que la fonction de Heaviside pour le r´esidu li´e au mouvement) au niveau de bruit pr´esent dans les images. De mˆeme, l’estimation du mouvement est d´efinie par plusieurs param`etres qui sont notamment l’influence du lissage temporel des mouvements estim´es et le niveau de bruit pr´esent dans les images `a prendre en consid´eration.

Chap. 7. Discussions sur la premi`ere partie

p´erimentations ont montr´e que notre m´ethode est peu sensible aux faibles variations de ces param`etres et ces derniers sont simples `a r´egler et intuitifs. Grˆace `a l’estimateur de Heaviside, les valeurs du crit`ere de photoconsistance sont comprises entre 0 et π, faci- litant le r´eglage des contraintes spatiales et temporelles. Les principaux param`etres que nous avons ´et´e amen´e `a ajuster `a telle ou telle s´equence sont les trois suivants (par ordre d´ecroissant d’importance) :

1. la fr´equence des images retenues : les s´equences diff`erent notamment par l’am- plitude moyenne des mouvements des objets entre chaque image. Or celle-ci doit ˆetre suffisamment importante pour que l’attache aux donn´ees soit discriminante. On ne consid`ere ainsi, selon les s´equences, qu’une image sur deux, voire sur quatre ;

2. le param`etre des contraintes temporelles λD qui doit ˆetre adapt´e en fonction

de la qualit´e de l’estimation du mouvement. En effet, si le mod`ele projectif repr´esente de fa¸con impr´ecise le mouvement r´eel d’une couche, deux cons´equences ind´esirables peuvent alors survenir :

(a) les parties en bordures des couches sont mal d´efinies et se propagent d’image en image sans que le crit`ere de photoconsistance et le lissage spatial1 _{ne puissent}

les corriger ;

(b) certaines r´egions peuvent disparaˆıtre compl`etement ;

On adapte ainsi l’influence de ce crit`ere `a la qualit´e de l’estimation du mouvement de telle ou telle couche. Cette param´etrisation est manuelle mais peut parfaitement faire l’objet d’un processus automatique2_{. Les figures7.2et7.3 montrent l’influence}

de ce crit`ere sur les r´esultats selon diverses valeurs de λD : les contraintes temporelles

garantissent une coh´erence temporelle et am´eliorent la robustesse des r´esultats ;

3. le terme de sensibilit´e au bruit τ de l’op´erateur de Heaviside : il doit prendre en compte `a la fois le bruit pr´esent dans l’image et l’´eventuelle mauvaise mod´elisation du mouvement (mod`ele de mouvement inadapt´e ou mauvaise estimation). Nous avons vu, en sous-section 3.1.3, les effets d’un tel param`etre (figure 3.4).

Les autres param`etres sont en g´en´eral inchang´es d’une s´equence `a l’autre :

1. le param`etre des contraintes spatiales µV (parties visibles) d´epend des param`etres

ci-dessus et est g´en´eralement laiss´e inchang´e d’une s´equence `a l’autre ;

2. le param`etre des contraintes spatiales µH (parties cach´ees) est constant quelque soit

la s´equence consid´er´ee et permet d’homog´en´eiser spatialement les couches cach´ees : si les param`etres µV (contraintes spatiales des couches visibles) et λD (contraintes

temporelles) sont adapt´es `a la s´equence, il n’est pas n´ecessaire d’adapter µH;

3. les param`etres λV et λH ´evitent qu’une couche disparaisse et r´eapparaisse de fa¸con

spontan´ee et empˆechent les erreurs locales lorsque les contraintes spatiales n’ont pas permis de les ´eviter. Nous avons g´en´eralement fix´e une faible valeur (telle que 0.1) pour ces param`etres, suffisante pour ´eviter les erreurs locales ;

4. les param`etres li´es `a l’estimation du mouvement (pr´e-lissage gaussien des images, pr´ecision et lissage temporel des mouvements souhait´es, etc.) sont constants car le 1_{qui incite les bordures des couches `a suivre les discontinuit´es d’intensit´e de l’image}

2_{en fonction par exemple du r´esidu moyen propre `a telle ou telle couche}

Sec. 7.7. Perspectives jeu de param`etres que nous avons fix´e permet d’obtenir des r´esultats satisfaisants quelque soit les situations rencontr´ees.

λD = 0 λD = 0.2 λD = 0.5

Figure 7.2 – Influence du param`etre λD (contraintes temporelles) sur les r´esultats sur la

s´equence Carmap. Les lignes correspondent respectivement aux images 5, 13, 22 et 32.

7.7

Perspectives

Chap. 7. Discussions sur la premi`ere partie

Faire ´evoluer le mod`ele de couche

Une premi`ere possibilit´e d’´evolution consiste `a enrichir le mod`ele des couches cach´ees pour prendre en compte la transparence des objets. On ne consid`ere alors non plus un statut cach´e/visible mais partiellement cach´e/visible o`u l’espace d’´etiquetage est de la forme :

L = {[0, 1], false}n _(7.1)

o`u, en chaque pixel x, il est v´erifi´e :

n

X

i

1li(x)6=falseli(x) = 1 (7.2)

Notre mod`ele actuel serait alors un cas particulier o`u li(x) = 0 indique que la couche

est totalement cach´ee et li(x) = 1 indique que la couche est totalement visible, sans

valeur interm´ediaire possible. Outre la transparence, cette mod´elisation est adapt´ee au matting [145, 74] qui analyse les transitions des couleurs entre deux r´egions (un exemple classique est la transparence des cheveux).

Int´egrer des informations a priori sur la sc`ene

Des informations a priori sur la sc`ene (telles que les grammaires de ville [96]) peuvent ˆetre int´egr´ees. Nous avons vu que le champ des applications ne se limite pas `a la segmen- tation des sc`enes urbaines et inclut notamment la compression vid´eo ou la compl´etion de texture.

De surcroˆıt, pour mieux prendre en compte les sp´ecificit´es de l’environnement urbain ou pour ´elargir notre algorithme `a d’autres champs d’applications, nous pouvons consid´erer d’autres mod`eles de mouvement, param´etriques ou non param´etriques, tel qu’il a ´et´e propos´e en d´ebut de chapitre.

´

Etudier cette repr´esentation pour d’autres applications

Les applications de la repr´esentation en couches peuvent ˆetre davantage ´etudi´ees. Quelle est sa pertinence en compression vid´eo ? Comment adapter le mod`ele pour mieux r´epondre aux requis de la reconstruction tridimensionnelle de l’environnement urbain ?

La seconde partie de ce m´emoire pr´esente les m´ethodes de num´erisation de l’environne- ment urbain. Nous verrons aussi comment nous pouvons int´egrer les m´ethodes d´evelopp´ees en premi`ere partie (l’extraction de couches notamment) et quels sont leurs apports dans le cadre de la fusion des donn´ees photographiques et t´el´em´etriques pour obtenir des mod`eles tridimensionnels de qualit´e.

Sec. 7.7. Perspectives

λD = 0 λD = 0.2 λD = 0.5

Figure 7.3 – Influence du param`etre λD sur les r´esultats sur la s´equence Carmap

Deuxi`eme partie

Fusion des Approches T´el´em´etrique

Chapitre 8

Approches t´el´em´etrique et

photogramm´etrique : ´etat de l’art

Pour mod´eliser l’environnement urbain, il y a deux approches majeures que nous d´e- taillons `a travers ce chapitre : l’approche photogramm´etrique et l’approche t´el´em´etrique. Ce chapitre en dresse un ´etat de l’art illustr´e pour bien rendre compte des avanc´ees vi- suelles dans ce domaine. Nous voyons aussi en fin de chapitre que ces approches sont compl´ementaires et que leur fusion fait l’objet de nombreuses ´etudes, y compris la nˆotre, qui est d´etaill´ee en fin de ce chapitre et dans le chapitre suivant. L’approche photogram- m´etrique, la plus ancienne, est d’abord pr´esent´ee.

Sommaire du chapitre

8.1 Approche photogramm´etrique . . . 127

8.1.1 Introduction sur la st´er´eovision . . . 128

8.1.2 Reconstruction tridimensionnelle `a partir des photographies a´e- riennes. . . 129

8.1.3 G´en´eration de panoramas . . . 130

8.1.4 Reconstruction tridimensionnelle `a partir de photographies ter- restres . . . 132

8.1.5 Autres approches actives . . . 134

8.1.6 Industrialisation . . . 134