1.1 Limites de la stéréophotométrie classique
1.1.4 Sources d’écarts au modèle lambertien linéaire
Dans ce paragraphe, nous nous interrogeons sur les sources d’écarts au modèle lam- bertien linéaire (1.18), i.e. nous énumérons les différents types de données aberrantes.
Ombres propres et ombres portées
Comme nous l’avons déjà dit, le modèle lambertien linéaire (1.18) n’est valide que si le produit scalaire si· n(u, v) est positif, car un niveau de gris est forcément positif. On
définit l’ombre propre de l’éclairage si comme l’ensemble des points x(u, v) ∈ S tels que
si·n(u, v) < 0 (cf. figure1.3-a). Si la surface S est régulière, toute limite entre une partie
éclairée et une ombre propre, qui est constituée de points x(u, v) tels que n(u, v) · si = 0,
s’appelle un terminateur. La prise en compte des ombres propres dans (1.17) fait perdre au modèle lambertien son caractère linéaire, sur lequel repose l’estimation en moindres carrés qui a été décrite dans le paragraphe1.1.3.
Il n’est pas nécessaire que si · n(u, v) < 0 pour qu’un point x(u, v) ∈ S soit dans
l’ombre. Effectivement, il existe de nombreux points tels que si· n(u, v) > 0, mais qui ne
sont pas éclairés par si car la lumière qui devrait les atteindre est arrêtée par un obstacle
(cf. figure 1.3-b). Ces points constituent l’ombre portée de l’éclairage si. Contrairement
aux ombres propres, qui peuvent être caractérisées localement, les ombres portées ne peuvent être caractérisées que globalement (l’inégalité si · n(u, v) > 0 ne suffit pas à
les caractériser). En synthèse d’images, les ombres portées sont plus difficiles à calcu- ler que les ombres propres, car elles dépendent de la géométrie globale de la scène. 11. Certains systèmes de reconstruction 3D par stéréophotométrie sont néanmoins équipés de plusieurs milliers de sources lumineuses [258].
Mais la reconstruction 3D d’une scène, qui constitue le problème inverse de la syn- thèse d’images, accentue considérablement cette différence : comme le montre le modèle lambertien (1.16), il est possible de tenir compte explicitement des ombres propres en stéréophotométrie, alors que cela constitue encore un problème ouvert pour les ombres portées. Dans ce mémoire, nous nous contenterons donc de tenir les ombres portées pour des données aberrantes.
Alors que les ombres propres et les ombres portées sont d’origines très différentes, elles se traduisent de la même façon dans une image12, par un niveau de gris égal à 0 (en théorie du moins). Qui plus est, il arrive souvent qu’une zone d’ombre, c’est-à-dire une partie connexe de Ω de niveau de gris égal à 0, contienne à la fois les deux types d’ombre : sur l’exemple de la figure 1.3-b, l’attache de l’anse de la théière constitue effectivement une ligne de séparation entre ombre propre et ombre portée. Il semble donc difficile de distinguer ces deux types d’ombre. Or, comme les ombres propres s’expliquent par les caractéristiques locales du relief, contrairement aux ombres portées, le traitement réservé à chaque type d’ombre est différent : les ombres propres pourront être prises en compte explicitement (cf. paragraphe 1.3.5), tandis que les ombres portées restent des données aberrantes.
Reflets brillants
Le modèle lambertien est un modèle de réflectance qui caractérise bien les matériaux mats (« diffusants »). Bien entendu, aucun matériau réel n’est parfaitement lambertien, mais la plupart des matériaux mats sont plutôt bien modélisés par la loi de Lambert non linéaire (1.16). De nombreux autres modèles de réflectance ont néanmoins été proposés13, notamment pour modéliser l’aspect brillant de certains matériaux. Le modèle le plus connu de réflectance partiellement spéculaire est celui de Phong [206] (cf. figure1.3-b). Ce modèle superpose à la composante diffuse, caractéristique du modèle lambertien (1.16), une composante spéculaire censée modéliser les reflets brillants :
I(u, v) = ρ(u, v) max {0, s · n(u, v)}
| {z }
Composante diffuse
+ ρs(u, v) (max {0, r(u, v) · v(u, v)})α
| {z }
Composante spéculaire
(1.26) où v(u, v) est un vecteur unitaire pointant vers l’appareil photographique, r(u, v) indique la direction et le sens du faisceau lumineux après réflexion sur la surface selon la première loi de Descartes (cf. figure 1.4), et ρs(u, v) constitue une nouvelle inconnue. Enfin, le
paramètre α > 0 caractérise la taille des lobes spéculaires : lorsque ρ ≡ 0 et α → +∞, le modèle (1.26) décrit un miroir idéal, pour lequel la réflectance est une fonction de Dirac, tandis que la taille des lobes spéculaires croît lorsque α décroît.
Le modèle de Phong est certes empirique, mais il illustre bien le fait que le niveau de gris enregistré par l’appareil photographique peut être très supérieur à celui que prédit 12. On désigne indifféremment par « ombre » la zone non éclairée de l’espace 3D ou sa projection dans l’image.
13. Voir [179] pour une comparaison des modèles de réflectance les plus significatifs, et le chapitre6 pour un aperçu de l’utilisation de différents modèles de réflectance en stéréophotométrie.
1.1. LIMITES DE LA STÉRÉOPHOTOMÉTRIE CLASSIQUE
(a) (b)
Figure1.3 – (a) Valeur absolue de l’image d’une théière sous un éclairage directionnel, simulée en utilisant le modèle lambertien linéaire (1.18). Les niveaux de gris à l’intérieur de l’ombre propre sont négatifs. (b) Image de la même scène, simulée en utilisant le modèle de Phong (1.26) et en tenant compte à la fois des ombres propres et des ombres portées. Les trois premiers types d’écarts au modèle lambertien linéaire (ombres propres, ombres portées et reflets brillants) sont donc illustrés sur cette image.
s
n(u, v)
r(u, v) v(u, v) x(u, v)
Figure 1.4 – Signification des vecteurs intervenant dans le modèle de Phong (1.26).
le modèle lambertien. La figure 1.3-b illustre simultanément les trois types d’écarts au modèle lambertien linéaire déjà cités (ombres propres, ombres portées et reflets brillants) sur l’image de synthèse d’une théière. Chaque type d’écarts affecte une ou plusieurs zones très localisées de la théière. Par conséquent, une grande partie des niveaux de gris de la figure 1.3-b sont conformes au modèle lambertien linéaire. Les données aberrantes sont donc minoritaires, ce qui justifie l’utilisation de méthodes d’estimation robuste.
Arêtes et discontinuités de profondeur
Nous avons pour l’instant supposé que la surface observée était régulière, afin que la normale puisse être définie en tout point. Cependant, les scènes réelles comportent souvent des arêtes, voire des discontinuités de profondeur. En de tels points, la normale n’est pas définie puisque la profondeur est non différentiable, voire non continue. Néan- moins, la question se pose autrement pour les images numériques, où la notion de point est remplacée par celle de pixel. En particulier, un appareil photographique ne mesure pas la luminance émise par chaque point objet, mais la somme des luminances émises par l’ensemble des points objets conjugués d’un même pixel.
Or, comme un pixel est conjugué d’une région entière de la surface, et non d’un point objet unique, il ne peut être entièrement situé sur une partie non différentiable : tout au plus peut-il chevaucher une ligne C de non différentiabilité, qui coupe le pixel en deux parties d’aires A1 et A2, caractérisées par des normales n1 et n2 potentiellement très différentes (cf. figure 1.5). En un tel pixel (u, v), le niveau de gris I(u, v) sous l’éclairage
s est égal à la moyenne pondérée des niveaux de gris correspondant à chacune des
deux parties. En appliquant le modèle lambertien linéaire (1.18) et en supposant, pour simplifier le raisonnement, que l’albédo ρ0 est le même sur l’ensemble du pixel, le niveau de gris I(u, v) s’écrit donc :
I(u, v) = ρ0s · (π1n1+ π2n2) (1.27) où π1= A1/(A1+ A2) et π2= 1 − π1.
A2
A1
C
n1
n2
Figure1.5 – Exemple d’un pixel composé de deux parties d’aires A1et A2, caractérisées par des normales n1 et n2potentiellement très différentes. La ligne de séparation C peut correspondre à une arête ou, comme ici, à une discontinuité de profondeur.
En quoi le niveau de gris I(u, v) constitue-t-il un écart au modèle lambertien li- néaire (1.18), puisque son écriture en découle directement ? Pour comprendre d’où pro- vient cet écart, il nous faut préciser la notion de « normale » du pixel (u, v). La moyenne pondérée ¯n = π1n1+ π2n2 des normales n1 et n2 semble en donner une définition rai- sonnable, si ce n’est que ¯n n’est pas unitaire. En effet, il est facile de vérifier, grâce aux
1.1. LIMITES DE LA STÉRÉOPHOTOMÉTRIE CLASSIQUE égalités kn1k = 1, kn2k = 1 et π1 + π2 = 1, que k¯nk < 1 dès lors que π1 et π2 sont non nuls et que n1 et n2 ne sont pas colinéaires. Par conséquent, le vecteur ¯n doit être normalisé, ce qui donne comme définition de la « normale » en (u, v) :
n(u, v) = π1n1+ π2n2
kπ1n1+ π2n2k (1.28)
Le niveau de gris prédit par le modèle lambertien linéaire (1.18) s’écrit donc :
Iprédit(u, v) = ρ0s · π1n1+ π2n2
kπ1n1+ π2n2k (1.29) qui diffère effectivement de (1.27) à cause du facteur de normalisation k¯nk. En d’autres termes, le niveau de gris mesuré I(u, v) est strictement inférieur au niveau de gris
Iprédit(u, v) prédit par le modèle lambertien linéaire. Par exemple, pour un pixel divisé en deux parties égales par une arête à angle droit, les vecteurs n1 et n2 sont orthogo- naux, donc le rapport Iprédit(u, v)/I(u, v) est égal à √2. Le niveau de gris d’un tel pixel constitue donc bien une donnée aberrante, et ce quel que soit l’éclairage s.
Réflexions mutuelles
Les techniques photométriques sont bien adaptées à la reconstruction 3D de surfaces convexes. Les concavités sont plus difficiles à reconstruire, car chaque point de la surface se comporte lui-même comme une source lumineuse secondaire (par opposition à la source
primaire, qui émet le flux lumineux principal). Dans le cas où la surface présente des
concavités, ce flux secondaire éclaire d’autres points de la surface. Pour tenir compte de ces flux secondaires, le modèle (1.16) devrait donc être modifié de la façon suivante14 :
I(u, v) = ρ(u, v) max{0, s · n(u, v)}
| {z }
Contribution du flux primaire +X
x′
ρ(u, v) max{0, sx′(x) · n(u, v)}
| {z }
Contributions des flux secondaires
(1.30)
Le terme modélisant les flux secondaires devrait en fait prendre la forme d’une intégrale, mais la somme discrète est plus facile à interpéter. Elle sous-entend que : la surface est constituée d’un ensemble de facettes ; la somme porte sur les centres x′ des facettes visibles depuis x ; le vecteur sx′(x) caractérise l’éclairage au point x en provenance de
la facette de centre x′. Le modèle (1.30) semble malheureusement difficile à utiliser en stéréophotométrie, car les points x′ font partie des inconnues (une difficulté similaire a déjà été évoquée à propos des ombres portées).
En réalité, la facette de centre x éclaire à son tour les facettes de centres x′, ce qui explique pourquoi on parle de réflexions mutuelles. Le calcul exact de la luminance émise par chaque point de la surface S, après un nombre quelconque de « rebonds » successifs, est un problème délicat qui consiste à résoudre une équation de Fredholm [78], connue 14. Il faut prendre garde à ne pas inverser l’ordre de la somme et de l’opérateur max dans (1.30), car ce dernier est non linéaire.
en synthèse d’images sous le nom d’équation du rendu (rendering equation) ou équation
de radiosité.
En tout cas, comme les réflexions mutuelles sont négligées dans le modèle lambertien linéaire (1.18), on peut s’attendre à ce que les niveaux de gris mesurés soient supérieurs aux valeurs prédites par ce modèle, en particulier au voisinage des arêtes concaves, comme cela est illustré sur l’exemple de la figure 1.6.
Figure 1.6 – Cube concave uniformément blanc : le niveau de gris observé au voisi- nage des arêtes concaves est supérieur au niveau de gris attendu, à cause des réflexions mutuelles.
Si certains points éclairés peuvent paraître plus clairs que ne le prédit le modèle lambertien linéaire (1.18), à cause des réflexions mutuelles, cela peut également concerner des points situés dans l’ombre. On parle alors de phénomène de pénombre. Les réflexions mutuelles se traduisent donc, globalement, par un éclaircissement des images. Un tel effet est souvent modélisé de façon empirique en synthèse d’images, de manière à rendre les images « plus réalistes ». Il est une des causes de l’éclairage ambiant, un concept sur lequel nous reviendrons dans le paragraphe 1.3.1.
Éclairages non directionnels
D’autres écarts au modèle lambertien linéaire (1.18) peuvent provenir de l’éclairage, qui est censé être directionnel. En pratique, il est difficile de garantir le caractère pa- rallèle et uniforme d’un tel éclairage (à l’exception notable du soleil). Faute de mieux, on utilise soit une source ponctuelle, par exemple une diode électroluminescente (light-
emitting diode, notée LED), soit une source étendue, par exemple un tube fluorescent
(cf. figure1.7). Ces sources doivent être éloignées de la scène, afin de garantir au mieux l’hypothèse directionnelle, mais comme leur intensité lumineuse est inversement propor- tionnelle au carré de la distance, il convient de trouver un compromis pour suffisamment éclairer la scène. Dans le cas d’une source étendue, cela rend flous les contours des ombres portées (cf. figure 1.7-b). Cet effet, par lequel on passe progressivement, et non pas brutalement, de la partie éclairée à la partie sombre, est également appelé pénombre.
1.1. LIMITES DE LA STÉRÉOPHOTOMÉTRIE CLASSIQUE x2 x1 x3 s(x1) s(x3) x4 (a) (b)
Figure1.7 – Source ponctuelle et source étendue. (a) Lorsqu’une source ponctuelle est placée à proximité de la scène, l’éclairage varie d’un point à l’autre (s(x1) et s(x3) sont très différents), mais les ombres portées ont des contours nets (cf. figure1.8-b) : la source ponctuelle est soit totalement visible (par exemple, depuis x1 ou x3), soit totalement occultée (par exemple, depuis x2). (b) Avec une source étendue, la notion d’ombre doit être remplacée par celle de pénombre (cf. figure1.8-c) : vue depuis x4, la source étendue est partiellement occultée.
La figure1.8montre que les images simulées avec une source ponctuelle ou avec une source étendue sont très différentes de l’image simulée avec un éclairage directionnel. Ces écarts au modèle lambertien linéaire (1.18) ne constituent pas réellement des données aberrantes, mais plutôt un biais systématique du modèle, qui ne prend pas en compte le fait que la source est proche. Comme nous le verrons dans le chapitre 5, il est possible de modéliser explicitement l’éclairage provenant d’une source proche, mais cela nécessite d’utiliser des méthodes numériques spécifiques. Pour appliquer l’approche classique de la stéréophotométrie, il faut prétraiter les données pour compenser le caractère non directionnel de l’éclairage, comme nous le verrons dans le paragraphe1.2.
(a) (b) (c)
Figure1.8 – Trois images d’une théière en bois verni, simulées sous différents éclairages : (a) éclairage directionnel, (b) source ponctuelle et (c) source étendue. Sur cette dernière image, on observe un phénomène de pénombre, qui apparaît aux points de la surface pour lesquels une partie de la source étendue est occultée (cf. figure1.7-b).