Modèle de formation des images

Dans cette partie, nous nous intéressons à la modélisation la plus simple de la sté-réophotométrie, qui correspond au cas d’une surface régulière, lambertienne, éclairée successivement par m > 3 faisceaux lumineux parallèles (mêmes directions d’éclairage en tous points de la surface) et uniformes (mêmes intensités).

Projection orthographique et projection perspective

Soit S la surface observée, qui consiste en un ensemble de points x = [x, y, z]⊤ ∈ R³ dont les coordonnées sont définies relativement à un repère tridimensionnel direct Oxyz, ayant pour origine O le centre optique de l’appareil photographique, dont les axes Ox et Oy sont parallèles au plan image, et dont l’axe Oz est parallèle à l’axe optique (par convention, z < 0 pour un point placé à l’avant de l’appareil, cf. figure1.1). Par projection (orthographique ou perspective), chaque point visible de la surface est en bijection avec un point image (u, v) ∈ R2. Notons que les coordonnées (u, v) d’un point image sont définies dans un repère bidimensionnel dont les axes sont parallèles aux axes Ox et Oy, et dont l’origine sera précisée plus loin. Nous assimilons les pixels à des carrés, et choisissons comme unité de référence la distance euclidienne entre les centres de deux pixels voisins. On peut alors paramétrer la surface S sur un domaine Ω ⊂ R2, appelé domaine de reconstruction, défini comme la projection de la surface sur le plan image :

Centre optique O Axe optique Domaine de reconstruction Ω Point principal (u₀, v₀) x y z f u

Point image (u, v)

S z(u, v) v v(u, v) x(u, v) s(u, v) s(u, v) n(u, v) Ombre propre

Figure 1.1 – Sous l’hypothèse lambertienne, le niveau de gris I(u, v) en un point image (u, v) est proportionnel au produit scalaire de la normale n(u, v) au point x(u, v) ∈ S avec le vecteur s(u, v) = φ(x(u, v))s(x(u, v)), qui est colinéaire au vecteur unitaire s(x(u, v)) orienté vers la source lumineuse, et dont la norme φ(x(u, v)) représente l’in-tensité lumineuse. Si n(u, v) ·s(u, v) < 0, alors le point x(u, v) est dans l’ombre (propre), et le niveau de gris I(u, v) est nul. L’approche classique de la stéréophotométrie consiste à d’abord estimer n(u, v) en tout point image (u, v) ∈ Ω (domaine de reconstruction), puis à intégrer les normales estimées afin de retrouver la carte de profondeur z, qui caractérise le relief de la surface S.

Rappelons qu’avec le modèle de projection orthographique1 :

x(u, v) = [u − u0, v − v0, z(u, v)]^⊤ (1.2) où (u₀, v₀) sont les coordonnées du point principal de l’appareil photographique, qui se trouve à l’intersection de l’axe optique et du plan image (cf. figure1.1). On peut connaître u0 et v0 par étalonnage de l’appareil photographique, mais cela n’est pas indispensable sous l’hypothèse orthographique. En effet, en translatant de [u₀, v₀, 0]^⊤ l’ensemble des points x(u, v) définis par (1.2), on ne fait que translater la surface S « en bloc », ce qui ne lui cause aucune déformation. On peut donc simplifier l’écriture (1.2) sous la forme suivante :

x(u, v) = [u, v, z(u, v)]⊤ (1.3) sans qu’il soit nécessaire de positionner l’origine du repère 2D en un point particulier2. 1. Cette écriture est en fait celle de la projection orthogonale, qui est une version simplifiée de la projection orthographique lorsque le grandissement est égal à 1.

Cette simplification est impossible avec le modèle de projection perspective, pour laquelle (1.2) doit être remplacé par :

x(u, v) = z(u, v)^{u − u0} f ^, v − v0 f ^{, 1} _⊤ (1.4) car les deux premières coordonnées de x(u, v) dépendent de la profondeur z(u, v). Dans l’équation (1.4), f désigne la distance focale (image) de l’appareil photographique. Avec l’orientation de l’axe Oz indiquée sur la figure 1.1, f < 0.

Pour ces deux modèles de projection, la connaissance de z(u, v) permet donc de dé-terminer sans ambiguïté le point objet x(u, v) (sous réserve que les paramètres internes (u0, v₀, f ) de l’appareil photographique soient connus, dans le cas de la projection pers-pective), de telle sorte que la partie visible de la surface est entièrement décrite par le carreau de Monge :

M =ⁿ[u, v, z(u, v)]⊤, (u, v) ∈ Ω^o (1.5)

où z constitue la carte de profondeur3, qui associe à chaque point image (u, v) la troi-sième coordonnée cartésienne du point objet qui lui est conjugué. Le problème de la reconstruction 3D consiste à reconstituer ce carreau de Monge, i.e. à associer à chaque point image (u, v) une profondeur z(u, v).

Normale à la surface

Contrairement au shape-from-shading, il est plus facile de résoudre la stéréophoto-métrie en commençant par estimer les normales, puis en intégrant les normales estimées afin d’obtenir une carte de profondeur z, plutôt qu’en estimant z directement (bien que nous remettions cette affirmation en question dans la partieIV). Nous supposons donc, dans un premier temps, que z est une fonction différentiable sur Ω, afin de pouvoir dé-finir, en tout point x ∈ S, le vecteur normal à la surface, unitaire, sortant. En utilisant le paramétrage de la surface par les coordonnées image (u, v), le champ de normales est défini de la façon suivante sur le domaine de reconstruction Ω :

n: Ω ⊂ R²−→ S² ⊂ R³

(u, v) 7−→ n(u, v) = [n1(u, v), n2(u, v), n3(u, v)]⊤ (1.6) où S2 désigne la sphère unité de R3 (kn(u, v)k = 1, par définition). Signalons au passage que, pour une surface régulière, la normale n(u, v) au point x(u, v) s’écrit :

n(u, v) = ± ^{∂ux(u, v) × ∂vx(u, v)}

k∂ux(u, v) × ∂vx(u, v)k ^(1.7) de telle sorte que, d’après (1.3) et (1.4), ce vecteur est une fonction du gradient ∇z = [∂uz, ∂vz]^⊤ de la profondeur z. Cela explique pourquoi l’estimation de z, connaissant n, est un problème d’intégration (cf. chapitre2).

3. Le terme de « carte » est une traduction abusive, fréquemment utilisée en vision par ordinateur, de l’anglais map. On devrait lui préférer celui de « fonction ».

Vecteur d’éclairage

Nous décrivons l’éclairage incident au point x ∈ S par un vecteur s(x), de direction s(x) = s(x)

ks(x)k, et dont la norme φ(x) = ks(x)k représente l’intensité lumineuse4. Par convention, ce vecteur est orienté vers la source. Nous noterons abusivement s(u, v) = s(x(u, v)) :

s: Ω ⊂ R2 −→ R³

(u, v) 7−→ s(u, v) = φ(x(u, v))s(x(u, v)) (1.8) En supposant la source lumineuse infiniment distante de la scène, l’éclairage est directionnel, i.e. son intensité et sa direction sont les mêmes en tout point de la surface :

s(u, v) = s (1.9)

Notons que s(u, v) dépend a priori de la fréquence lumineuse. Nous supposons dans un premier temps que la source est « blanche », i.e. nous négligeons cette dépendance spectrale (nous reviendrons sur ce point dans le paragraphe 1.5).

Surface lambertienne

Comme cela est montré dans [78], un appareil photographique photométriquement étalonné peut servir d’instrument de mesure de la luminance. En effet, si l’on a corrigé les effets de vignetage et d’assombrissement de l’image « en cos4α » de l’appareil pho-tographique [5, 78, 127], l’éclairement E_i(u, v) au point image (u, v) est proportionnel à la luminance émise par le point x(u, v) dans la direction d’observation v(u, v)5 (cf. figure 1.1) :

E_i(u, v) ∝ L(x(u, v), v(u, v)) (1.10)

De plus, après correction des non linéarités de la courbe de réponse du capteur photo-sensible, le niveau de gris est proportionnel à l’éclairement :

I(u, v) ∝ Ei(u, v) (1.11)

Une surface lambertienne est une surface pour laquelle la luminance émise ne dépend pas de la direction d’observation v(u, v). On peut montrer dans ce cas que :

L(x(u, v)) = ^{ρ(x(u, v))}

π ^{E(x(u, v))} (1.12)

Dans cette écriture, l’albédo ρ(x(u, v)) mesure la proportion d’énergie lumineuse réémise par la surface au point x(u, v) : il s’agit donc d’une grandeur sans unité comprise entre 0 et 1. D’autre part, E(x(u, v)) désigne l’éclairement reçu par la surface au point x(u, v), qui ne doit pas être confondu avec l’éclairement E_i(u, v) reçu par l’image au point (u, v).

4. En réalité, le terme exact pour désigner φ(x) est la densité de flux lumineux.

5. Du moins, tant que le photosite n’est pas saturé. Dans la suite de ce mémoire, les phénomènes de saturation seront traités comme des données aberrantes.

Si l’éclairage, supposé directionnel, est caractérisé par le vecteur s, alors cet éclairement s’écrit :

E(x(u, v)) = s · n(u, v) (1.13)

On déduit de (1.10), (1.11), (1.12) et (1.13) :

I(u, v)∝ ρ(u, v) s · n(u, v) (1.14) en utilisant la notation abusive ρ(u, v) ≡ ρ(x(u, v)).

Comme le niveau de gris fourni par un appareil photographique est positif, la relation de proportionnalité (1.14) n’est en fait valide que si n(u, v) · s > 0, i.e. si le point x(u, v) ne se situe pas dans une ombre propre. Nous devons donc remplacer (1.14) par :

I(u, v) ∝ ρ(u, v) max {0, s · n(u, v)} ^(1.15) Dorénavant, nous écrirons la relation (1.15) sous forme d’égalité :

I(u, v) = ρ(u, v) max{0, s · n(u, v)} ^(1.16) tout en sachant qu’il s’agit en fait d’une relation de proportionnalité. Cela a comme conséquence que ρ(u, v) représente dorénavant le produit de l’albédo par le coefficient de la relation de proportionnalité (1.15) : dans la suite de ce mémoire, ρ(u, v) ne sera donc plus tenu à être compris entre 0 et 1, mais nous continuerons à l’appeler albédo.

De même que pour l’éclairage, l’albédo d’une surface est généralement fonction de la longueur d’onde. L’albédo devrait donc être défini par une courbe de réponse, ou au moins par un ensemble de valeurs échantillonnées sur le spectre visible. Nous supposons d’abord, dans un souci de simplicité, que l’appareil photographique mesure des niveaux de gris et que l’albédo est un scalaire (positif ou nul).

À partir de m images en niveaux de gris I1, . . ., Im prises sous m éclairages direc-tionnels s1, . . ., sm, la première étape de l’approche classique de la stéréophotométrie consiste à résoudre un système de m équations correspondant au modèle (1.16) :

      

I¹(u, v) = ρ(u, v) max{0, s1· n(u, v)} ...

Im(u, v) = ρ(u, v) max{0, sm· n(u, v)}

(1.17)

Dans ce système, les niveaux de gris Ii(u, v), i ∈ [1, m], constituent les données, tandis que les inconnues n(u, v) sont caractéristiques du relief de la surface observée. L’albédo ρ(u, v), qui caractérise la réflectance d’un matériau lambertien, est en général également inconnu : contrairement au SFS, la stéréophotométrie permet effectivement d’estimer l’albédo de la surface observée. Enfin, les vecteurs si sont souvent supposés connus (sté-réophotométrie calibrée), mais nous verrons dans le chapitre3comment traiter le cas où les éclairages sont inconnus (stéréophotométrie non calibrée).