3.3 Reconstruction 3D d’objets non texturés
3.4.3 Évaluation sur des données réelles
Pour finir, nous replaçons ces travaux dans le contexte de la prise de vues réelles, en utilisant les images du buste de l’empereur Auguste [179] représentées sur la figure 3.8.
Figure 3.8 – Images utilisées dans les tests sur données réelles. À gauche : image de référence. À droite : quatre des n − 1 = 6 images témoins.
Figure3.9 – Comparaison des fonctions SAD (première ligne) et ZNCC (deuxième ligne) sur les images réelles de la figure3.8. De gauche à droite : régularisation par minimisation de la surface totale (λ = 0, ν = 10−5), régularisation par l’ombrage (λ = 5.10−3, ν = 0) et combinaison de ces deux types de régularisation (λ = 5.10−3, ν = 10−5).
3.4. RÉSULTATS EXPÉRIMENTAUX Nous utilisons le pipeline de photogrammétrie AliceVision [7] pour estimer les para- mètres de la caméra et une fonction de profondeur grossière relative à l’image de référence, à partir de laquelle sont évalués l’éclairage et la profondeur du plan fronto-parallèle initial. Cette fonction de profondeur grossière n’est plus utilisée par la suite (en particulier, elle n’est pas utilisée comme initialisation). Pour montrer que notre approche permet d’utili- ser différentes mesures de cohérence photométrique, nous présentons les résultats obtenus avec les transformées exponentielles de SAD (3.5) et de ZNCC (3.6). Parmi les reconstruc- tions 3D de la figure 3.9, la plus satisfaisante, du moins d’un point de vue qualitatif, est celle d’en bas à droite, qui est obtenue avec la transformée exponentielle ZNCC et une combinaison des deux types de régularisation.
Conclusion
Dans ce chapitre, nous avons présenté une méthode de résolution générique de la sté- réoscopie multi-vues régularisée, qui permet d’utiliser diverses mesures de cohérence photo- métrique. Grâce à un double découplage, cette méthode permet de minimiser des fonctions de coût non linéaires, non dérivables et/ou non convexes.
L’algorithme proposé peut être appliqué à tout terme de régularisation lisse et sépa- rable. L’ajout de termes de régularisation adéquats nous a permis de proposer une solution au problème de la reconstruction 3D d’objets peu ou pas texturés. Le terme de régulari- sation qui découle du SfS permet de recueillir des informations de hautes fréquences sur la profondeur. La régularisation par minimisation de la surface totale, qui est plus usuelle dans le cadre de la reconstruction 3D, permet d’éviter les erreurs de reconstruction ré- siduelles dues à l’ambiguïté concave/convexe et de rendre la méthode robuste au bruit. Notre approche présente également l’avantage de ne comporter que peu de paramètres à régler. En guise d’extension, elle pourrait être transformée en approche volumétrique, comme cela a été fait récemment dans [107], afin de retrouver un modèle 3D complet, et non pas seulement une fonction de profondeur relative à la vue de référence.
Les résultats sur données réelles valident notre approche. Cependant, comme dans le chapitre2, les hypothèses de sa mise en œuvre restent très fortes. En particulier, le terme de régularisation par l’ombrage nécessite de connaître l’albédo et l’éclairage de la scène. Aussi, nous allons maintenant nous attacher à estimer ces deux entités, afin de pouvoir employer l’algorithme proposé dans un cadre plus général.
Chapitre 4
Estimation de l’albédo
et de l’éclairage
Dans les chapitres précédents, nous avons montré comment estimer de manière précise le relief de la surface observée, grâce à une combinaison des techniques MVS et SfS, mais l’utilisation du SfS suppose l’albédo de la surface et l’éclairage connus. Nous montrons dans ce chapitre comment estimer ces entités à partir d’une connaissance grossière de la géométrie. Cette approche a déjà fait l’objet de plusieurs publications [113,114,115].
Dans le paragraphe4.1, nous étudions le caractère mal posé de l’estimation de l’albédo et de l’éclairage en étendant le modèle lambertien (2.38) au contexte multi-vues. Le para- graphe4.2 présente un panorama des solutions déjà proposées pour résoudre ce problème. Nous montrons dans le paragraphe4.3 pourquoi il faut choisir comme variables les points de l’image. Dans le paragraphe 4.4, ce choix nous permet de reformuler le problème sous la forme d’un problème d’inférence bayésienne avec des a priori relativement simples. Nous détaillons ensuite, dans le paragraphe 4.5, la résolution du problème variationnel associé, au moyen d’un schéma numérique de type majoration-minimisation alternée. Enfin, nous présentons dans le paragraphe 4.6quelques résultats obtenus avec cette approche.
4.1
Un problème d’estimation mal posé
Le processus de formation d’une image fait intervenir à la fois la géométrie de la surface, son albédo et l’éclairage incident. Si l’éclairage est connu, l’estimation de l’albédo est un problème mal posé en l’absence d’a priori sur la géométrie : le principe du trompe-l’œil repose sur cette ambiguïté. Cependant, le contexte multi-vues permet de réduire les ambi- guïtés, puisqu’il nous permet d’appliquer la technique du MVS décrite dans le chapitre 1, et par conséquent de disposer d’un a priori sur la géométrie. Nous supposons donc, dans ce chapitre, que la géométrie de la surface est connue, au moins de manière grossière.
En revanche, nous supposons que nous ne connaissons ni l’albédo, ni l’éclairage incident de chaque prise de vue, ce qui complique notablement le problème. En effet, la connais- sance du relief ne suffit pas à estimer conjointement l’albédo et l’éclairage, comme cela est illustré par la métaphore de l’atelier déjà mentionnée dans l’introduction : sur la figure 1, les deux explications (b) et (c) de l’image (a) correspondent au même relief plan. Pour lever cette ambiguïté sur le relief, il semble donc nécessaire de contraindre les variations spatiales de l’éclairage. Comme dans les chapitres précédents, nous continuons de modéliser l’éclairage par les harmoniques sphériques. Il est temps maintenant de revenir sur le modèle lambertien (2.38), afin de l’étendre au contexte multi-vues.
CHAPITRE 4. ESTIMATION DE L’ALBÉDO ET DE L’ÉCLAIRAGE
Nous autorisons dorénavant le vecteur d’éclairage à varier entre les prises de vue, ce qui nous amène à réécrire le modèle de formation de la ième image de la façon suivante :
Ii(πi(X)) = ρ(X) σ�i ν(X), i ∈ {1, . . . , n} (4.1) où ρ(X) > 0 est l’albédo de la surface au point 3D X ∈ S, πi(X) ∈ R2 est la projection de ce point dans la ième image, σ
i ∈ R9 est le vecteur d’éclairage associé à la ième prise de vue, et ν(X) ∈ R9 est le vecteur qui caractérise la géométrie de la surface au point X. En vertu de nos hypothèses, ce dernier vecteur est supposé connu : il se déduit de la géométrie grossière par la définition (2.37), la normale à la surface étant paramétrée dans un repère de référence, par exemple le repère caméra de la première pose.
L’estimation de l’albédo et de l’éclairage revient donc à estimer la fonction ρ(X), X ∈ S, et les vecteurs d’éclairage σi, i ∈ {1, . . . , n}. Or, la difficulté de ce problème n’est pas la même selon que l’éclairage dépend ou non de l’indice i de la prise de vue.