Éclairages coplanaires

Les données de nombreuses webcams sont aujourd’hui disponibles à la consultation sur Internet, quasiment en temps réel. Le projet AMOS (the Archive of Many Outdoor

Scenes) [135] totalisait, au moment où l’article [213] a été écrit, plus de 650 millions d’images acquises par près de 25000 caméras réparties en divers endroits du globe, par exemple au centre Pompidou à Paris, sous la Statue de la Liberté à New York (cf. figure 4.16) ou sur les étendues gelées de l’Antarctique. Chaque image est accompagnée des coordonnées GPS de la webcam, ainsi que de la date et de l’heure de prise de vue.

Figure 4.16 – Images de la Statue de la Liberté prises le 5 juillet 2014 entre 11h30 et 17h30 (source : projet AMOS). La course du soleil permet de fournir des images de la scène prises sous différents éclairages coplanaires, qui constituent les données d’un problème PS2.

Parmi les applications envisageables, il a été proposé dans [1, 3] d’utiliser ces im- menses bases de données pour calculer le relief et la réflectance des scènes observées. Dans ces articles, il est montré comment mettre en œuvre la stéréophotométrie, en uti- lisant les variations d’éclairage sur de très longues périodes (plusieurs saisons, voire plusieurs années). En effet, à partir des coordonnées GPS de la webcam, de la date et de l’heure de prise de vue, il est possible d’estimer précisément la position du soleil re-

4.4. APPLICATIONS lativement au référentiel terrestre [223]. La pose de la webcam peut être estimée, par exemple, en ajustant aux images les paramètres d’un modèle statistique décrivant le ciel [157]. Une fois ces étapes accomplies, les m directions d’éclairage si_{, i ∈ [1, m], sont}

parfaitement connues dans un repère lié à la caméra, mais cela n’est pas le cas des m intensités φi _{∈ R, qui dépendent de phénomènes météorologiques difficiles à prédire.}

L’estimation des inconnues n, ρ et φi_{, à partir d’images en niveaux de gris, est}

reformulée dans [1,3] comme un problème d’optimisation en moindres carrés pondérés :

min n: Ω→S2 ρ: Ω→R φi ∈R+ , i∈[1,m] X X (u,v)∈Ω m X i=1

wi(u, v)hIi_{(u, v) − ρ(u, v)φ}isi_{· n(u, v)}i2 _(4.57)

où les wi_{sont des poids permettant de filtrer les images « corrompues » par des conditions}

météorologiques non favorables, qui sont déterminés de façon heuristique en analysant par exemple la couleur du ciel. La minimisation est réalisée au moyen d’algorithmes génériques d’optimisation en moindres carrés non linéaires.

L’idée sous-jacente à ces méthodes est que les directions d’éclairage si _présentent

une variabilité suffisante pour garantir le caractère bien posé du problème. En pratique, un grand nombre d’images sont utilisées (plusieurs milliers), et la qualité des résultats obtenus force à reconnaître que cette approche de type big data est pertinente.

Nous pensons cependant qu’elle pourrait tirer bénéfice d’une étude plus approfondie du cas où les photographies ont toutes été prises le même jour, i.e. où toutes les directions d’éclairage sont coplanaires. La technique PS2 doit alors être appliquée puisque ce cas de figure est dégénéré. En effet, quel que soit m > 2, la matrice d’éclairage S est de rang 2, ce qui rend le problème (1.18) mal posé, même si l’albédo est connu. En théorie, comme le plan contenant la direction des rayons du soleil varie d’un jour à l’autre, le rang de

S est égal à 3 dès que ces images sont prises sur une période de plusieurs jours, mais la

matrice S correspondante est très mal conditionnée s’il s’agit d’une période trop courte. On comprend alors mieux pourquoi seuls des jeux d’images prises en différentes saisons sont utilisés dans [1,3] : cela permet de rendre le problème (1.18) à la fois bien posé et bien conditionné, sans introduire d’hypothèse supplémentaire sur la scène observée.

Cependant, il est parfois impossible d’utiliser des images prises en différentes saisons, par exemple si le relief de la scène est fixe à l’échelle d’une journée, mais susceptible d’évoluer notablement à l’échelle de plusieurs mois. Cela est le cas, par exemple, d’une webcam observant un glacier. Réaliser la reconstruction 3D à partir de séquences prises au cours d’une seule journée permettrait de relever quotidiennement le relief des glaciers, afin d’affiner les relevés stéréoscopiques [205]. L’approche proposée constitue un premier pas vers l’utilisation de la stéréophotométrie pour résoudre de tels problèmes. L’albédo

ρ doit être connu, ou du moins homogène, une hypothèse qui, justement, semble réaliste

Résolution numérique de la stéréophotométrie sous des éclairages coplanaires

A priori, il suffit, pour résoudre le problème de la stéréophotométrie à m > 2 éclai- rages coplanaires, d’adapter la méthode PS2 décrite dans le paragraphe4.3.5. Cependant, pour des photographies réelles prises en extérieur, les intensités φi _{sont a priori incon-}

nues. Nous pouvons donc modéliser ce nouveau problème sous la forme suivante (on rappelle que l’albédo est supposé connu, et nous supposons pour l’instant que les images sont en niveaux de gris) :

             min n,{φi_} X X (u,v)∈Ω m X i=1 h

Ii_{(u, v) − ρ(u, v)φ}isi_{· n(u, v)}i2

s.c.    kn(u, v)k = 1, ∀(u, v) ∈ Ω ∂ ∂v  −n1(u,v) n3(u,v)  −∂∂u  −n2(u,v) n3(u,v)  = 0, ∀(u, v) ∈ Ω (4.58)

Il faut donc déterminer la normale n en chaque point (u, v), et l’intensité lumineuse

φi pour chaque image, de façon à minimiser l’écart quadratique entre les données et les

images « reprojetées ». Parmi l’infinité de champs de normales permettant de minimiser ce critère, nous retenons le plus intégrable.

L’optimisation peut être effectuée itérativement, en alternant les estimations en n et en φi_{, à partir d’une solution initiale n}0 _{= [0, 0, 1]}⊤ _{(plan horizontal) et φ}i,0 _{= 1, i ∈}

[1, m] (éclairages de même intensité). La mise à jour des normales s’effectue au moyen de l’algorithme de résolution du problème PS2 décrit dans le paragraphe4.3.5. La condition d’optimalité du problème (4.58) vis-à-vis des variables φi _{s’écrit, pour i ∈ [1, m] :}

φi,k+1=

X X (u,v)∈Ω

Ii(u, v)ρ(u, v) si_{· n}k_{(u, v)}

X X (u,v)∈Ω h

ρ(u, v) si_{· n}k_{(u, v)}i2 (4.59)

Afin de vérifier expérimentalement si ce schéma converge, et si oui, à quelle vitesse, nous simulons les images du relief synthétique de la figure 4.6 sous m = 100 éclairages dont les directions sont contenues dans un plan vertical. L’angle de la direction d’éclairage avec la verticale varie uniformément entre −π/6 et π/6, c’est-à-dire que le soleil est au zénith à midi, afin de limiter les ombres, qui sont toutefois simulées en seuillant à zéro les valeurs négatives du niveau de gris. Les intensités lumineuses φi_{sont tirées aléatoirement}

selon une loi uniforme sur [0, 1].

Nous évaluons l’évolution de l’erreur de reprojection :

Er= v u u t 1 m|Ω| X X (u,v)∈Ω m X i=1 h

Ii_{(u, v) − ρ(u, v)φ}i_si_{· n(u, v)}i2 _(4.60)

et celle de l’erreur d’intégrabilité :

Ei = v u u t 1 |Ω| X X (u,v)∈Ω _∂ ∂v  −n_n1_{3(u, v)}(u, v)  −_∂∂ u  −n_n2_{3(u, v)}(u, v) 2 (4.61)

4.4. APPLICATIONS en fonction du nombre d’itérations k. Les résultats de la figure4.17montrent une conver- gence très rapide de ces deux critères.

0

5

10

0

0.005

0.01

0.015

k

E

E

Figure 4.17 – Première ligne : trois des m = 100 images simulées. Deuxième ligne : évolution de Er et Ei en fonction du nombre d’itérations k. Troisième ligne : relief

Éclairages colorés

Nous avons, pour simplifier, supposé dans le paragraphe4.4.3que les images étaient en niveaux de gris. Il est également possible d’utiliser des images RGB, en supposant que la couleur observée dépend uniquement du spectre incident, et non de la texture de l’objet. Toute notion de couleur est alors entendue relativement à la scène, qui est supposée uniformément blanche et définit le blanc de référence. Ceci restreint toutefois notre étude à des objets non texturés, le cas d’objets texturés étant laissé en perspective. Sous cette hypothèse, le nouveau modèle lambertien s’écrit :

h

I_Ri(u, v), I_Gi (u, v), I_Bi (u, v)i= ρ(u, v) si_{· n(u, v)}h_φi

R, φiG, φiB

i

(4.62) où φi

R, φiG et φiB désignent les intensités lumineuses des canaux R, G et B.

On peut ainsi retrouver l’évolution du spectre au cours de la journée, en même temps que la géométrie de la scène, car l’algorithme précédent s’adapte sans difficulté : l’estimation des intensités est effectuée canal par canal, et le système linéaire (1.18) devient un système de 3m équations correspondant aux trois canaux (l’estimation de n n’en est que plus robuste). Ceci est particulièrement utile dans le cas des webcams car, en général, la balance des blancs s’adapte automatiquement à la couleur de l’éclairage, i.e. les rapports φiR

φi G , φiR φi B et φiG φi B

sont susceptibles de varier avec i.

Un exemple de reconstruction 3D d’une partie de la Statue de la Liberté est montré sur la figure 4.18. Les intensités colorées estimées, relativement à la couleur de la statue, correspondent bien, du moins qualitativement, aux variations de couleur perceptibles sur les images (cf. la ligne du haut de la figure4.18). Par exemple, l’image I12 _comporte une ombre qui provoque une chute brutale des intensités. Sur cette image, la couleur dominante passe également du vert au bleu, ce qui a bien été retrouvé par notre méthode de résolution (cf. la courbe du bas de la figure 4.18).

4.5

Conclusion du chapitre

Dans ce chapitre, nous avons présenté une étude théorique du problème de la recons- truction 3D par stéréophotométrie dans le cas dégénéré où m = 2 images sont utilisées et où l’albédo est connu. Cette étude s’étend au cas de m > 3 éclairages coplanaires. Nous avons choisi la formulation non différentielle du problème PS2 pour effectuer sa résolution numérique : en chaque pixel, deux normales expliquent les niveaux de gris. Nous avons proposé une façon efficace de déterminer le champ de normales le plus inté- grable. Notre principale contribution consiste à avoir adapté l’algorithme de la coupure de graphe pour résoudre un problème combinatoire où le critère à optimiser est l’inté- grabilité, et à ajouter un terme d’Ising non stationnaire pour satisfaire la condition de régularité de l’énergie. Nous avons montré que cette approche permettait d’estimer la normale à partir d’une seule photographie RGB, et qu’elle permettait aussi d’estimer les intensités des éclairages colorés et la géométrie d’une scène à partir d’images en couleur prises par une webcam au cours d’une journée ensoleillée.

4.5. CONCLUSION DU CHAPITRE I1 I6 I12 11h30 14h00 14h30 17h00 0 0.5 1 1.5 2 φr φv φb

Figure 4.18 – Reconstruction 3D d’une partie de la Statue de la Liberté, de couleur uniforme, utilisant m = 12 images de taille 231 × 356, prises entre 10h30 et 17h00, le 5 juillet 2014. Première ligne : I1_{, I}6 _{et I}12_{. La couleur dominante varie beaucoup} d’une image à l’autre, à cause de l’effet combiné du changement de spectre lumineux au cours de la journée, de la balance automatique des blancs de la webcam, et de la présence de nuages. Ces effets peuvent être pris en compte en utilisant les trois canaux RGB. Deuxième ligne : reconstruction 3D obtenue, et gros plan sur les « plis » de la Statue de la Liberté (temps de calcul pour 5 itérations : moins d’une seconde sur un processeur I7 récent). Une telle reconstruction 3D pourrait servir à enrichir des modèles 3D grossiers. Par exemple, le modèle 3D de la Statue de la Liberté disponible dans Google Earth ne comporte aucun des détails très fins retrouvés ici. Troisième ligne : estimation des intensités lumineuses. Les variations d’intensité correspondent à des changements effectivement perceptibles sur les images.

Toutefois, nous avons supposé l’albédo connu, ou au moins uniforme, ce qui limite en pratique notre méthode à des données synthétiques, à des objets réels non texturés (exemple : les glaciers) ou à des scènes peintes (exemple : un visage maquillé). Une extension naturelle de ce travail consisterait à traiter le cas d’un albédo inconnu et non uniforme. Il faudra alors probablement utiliser un a priori sur la distribution de l’albédo, à la manière de ce qui est fait dans [9] pour résoudre les ambiguïtés de la stéréophotométrie non calibrée dans le cas d’éclairages non coplanaires (cf. chapitre 3). Nous avons également fait l’hypothèse d’un modèle de caméra orthographique. Une autre piste consiste à étendre ce travail à une caméra perspective, ce qui implique une relation légèrement différente entre normale et profondeur : il faudra alors adapter la définition du critère d’intégrabilité, comme cela a déjà été fait dans le cas de la stéréophotométrie non calibrée [197]. Une autre piste intéressante consiste à renforce la robustesse au bruit grâce à une régularisation du champ de normales. Ceci est toutefois plus difficile qu’il n’y paraît, à cause de la contrainte d’unitarité des normales : il faut dans ce cas résoudre un problème variationnel sur la sphère unité, qui est une variété riemanienne. Lellmann et al. ont montré récemment [161] comment résoudre ce problème difficile par des techniques de relaxation convexe. Les développements récents des algorithmes proximaux [262] et semi- quadratiques [29] constituent également une perspective intéressante pour la résolution de tels problèmes. L’autre piste, qui a été suivie dans [119], consiste à revenir à la formulation différentielle du problème PS2 : l’intégrabilité est implicitement garantie, et il est relativement aisé de régulariser la profondeur, qui est non contrainte.

Nous rejoignons donc les conclusions du chapitre 3 : à cause de la linéarité du mo- dèle, certains problèmes de stéréophotométrie, comme les problèmes UPS et PS2, sont mal posés. Pour réduire les ambiguïtés du problème du shape-from-shading, une solution consiste à utiliser une approche différentielle [87,82], ce qui permet d’imposer implicite- ment l’intégrabilité : nous étudierons dans la partie IV les avantages de cette approche dans le contexte de la stéréophotométrie.

Les deux premières parties de ce mémoire sont fondées sur les hypothèses suivantes : la surface est lambertienne et les éclairages sont directionnels. Ces hypothèses peuvent sembler excessivement réductrices, mais nous avons montré dans la partie I que la sim- plicité du modèle pouvait être compensée par la robustesse des méthodes numériques employées. Il semble toutefois nécessaire, à ce stade, de nous interroger sur l’intérêt d’uti- liser des modèles plus réalistes. Dans la prochaine partie, nous nous intéressons donc à des modèles plus généraux de réflectance et d’éclairage. Nous verrons que les modèles d’éclairage plus généraux sont assez faciles à prendre en compte, mais font explicite- ment intervenir l’inconnue z. Ceci constitue un argument supplémentaire en faveur de l’approche différentielle, sur laquelle nous reviendrons dans la partie IV. Au contraire, les méthodes numériques à employer pour les modèles de réflectance non lambertiens sont compliqués, ce qui tend à discréditer les approches fondées sur de tels modèles, en comparaison de l’efficacité des méthodes robustes appliquées au modèle lambertien linéaire.

Troisième partie

Utilisation de modèles réalistes

pour la stéréophotométrie

Avant-propos

Les deux premières parties de ce mémoire reposent explicitement sur le modèle de réflectance lambertienne et sur des éclairages directionnels. Nous avons proposé, dans la partie I, plusieurs façons d’étendre la méthode de résolution classique de la stéréo- photométrie à certains cas où ces hypothèses sont partiellement mises en défaut. Nous avons ensuite mis en évidence, dans la partie II, les limites du modèle lambertien li- néaire (1.18). Nous devons maintenant nous demander s’il est pertinent d’utiliser des modèles plus réalistes, que ce soit en termes de réflectance ou d’éclairages.

Dans le chapitre 5, nous analysons en détail un modèle de source lumineuse lam- bertienne que nous avons présenté initialement dans [212]. Nous dérivons plusieurs ver- sions approchées de ce modèle, qui nous permettent de retrouver le modèle d’éclairage directionnel utilisé jusqu’ici, le modèle de source ponctuelle et celui de source plane étendue [220]. Nous montrons également que la prise en compte des non linéarités dans le modèle d’éclairage est assez aisée du point de vue numérique, et que les méthodes robustes étudiées dans la partieI sont faciles à adapter, ce qui nous permet d’appliquer la stéréophotométrie dans des conditions opératoires très variées.

Nous nous intéressons ensuite, dans le chapitre 6, aux modèles de réflectance. Nous commençons par proposer une analyse d’une méthode de résolution de la stéréophoto- métrie due à Hertzmann et Seitz [122,121], qui ne repose sur aucun modèle explicite de réflectance : ceci est possible en « apprenant » la réflectance et les directions d’éclairage sur un objet de référence de relief connu. Nous avons montré dans [83] comment accélérer cette méthode et comment améliorer sa robustesse aux variations de réflectance et aux ombres portées. Aussi séduisante que paraisse cette idée, elle est cependant limitée par la nécessité de disposer d’un objet de référence, et ne peut pas s’étendre à des éclairages non directionnels. Dans le cas général, il est nécessaire d’utiliser un modèle explicite de réflectance. Nous nous intéressons particulièrement à deux modèles de réflectance non linéaires : le modèle d’Oren-Nayar et celui de Ward. Il apparaît que les méthodes simples déployées pour traiter le modèle lambertien deviennent nettement plus compliquées.

Chapitre 5

Modèles d’éclairage non

directionnels

Nous avons vu que l’extension de la formulation classique de la stéréophotométrie calibrée au cas d’une caméra perspective ne posait pas de difficulté particulière. Nous avons également montré comment appliquer cette technique à des surfaces régulières seulement par morceaux (cf. chapitre2). Nous verrons dans le chapitre6que son exten- sion à des modèles de réflectance non lambertienne est plus compliquée. Dans le présent chapitre, nous remettons en question l’hypothèse d’éclairages directionnels, pour nous intéresser à des modèles d’éclairage qui, tout en étant plus réalistes, se prêtent bien aux méthodes d’estimation robuste présentées dans la partieI.

En revenant à la définition d’une surface lambertienne, vue comme une source lu- mineuse primaire, nous montrons dans le paragraphe 5.1 comment établir les modèles d’éclairage directionnel, ponctuel ou étendu. Cette étude a été partiellement présentée dans [212], et le cas particulier des sources étendues a été traité dans [219, 220]. Avec ces modèles d’éclairage explicites, la dépendance de s vis-à-vis de la profondeur z peut devenir compliquée : pour parer à cette difficulté, nous introduisons un modèle plus gé- néral, dans lequel nous considérons s comme un champ vectoriel quelconque [216], ce qui nous permet de modéliser les trois cas particuliers précédents, ainsi que les réflexions mu- tuelles. Nous proposons ensuite, dans le paragraphe 5.2, des protocoles expérimentaux permettant d’étalonner les éclairages. Enfin, nous montrons dans le paragraphe5.3com- ment étendre les méthodes numériques déjà présentées dans la partie Ià des éclairages non directionnels.

5.1

Quelques modèles d’éclairage

La prise en compte d’éclairages non directionnels constitue un axe de recherche im- portant pour la reconstruction 3D photométrique. Le modèle de source ponctuelle proche (de la scène) a d’abord été étudié avec un certain succès dans les années 1990 [60,134]. Il a même été prouvé que ce modèle permettait de rendre le problème du shape-from-shading mieux posé [208]. Le cas d’une source étendue a également été étudié, principalement par Clark [61,62]. Ces deux modèles étant en apparence très différents, nous détaillons ci-après le raisonnement permettant d’obtenir la formulation explicite de l’éclairage en fonction des paramètres caractéristiques de la source. Cela nécessite de revenir à la dé- finition d’une source lambertienne, et de manipuler les concepts de luminance et de réflectance [78,189].