Shape from polarization

(1)

Shape from polarization

Samia AINOUZ

samia.ainouz@insa-rouen.fr

(2)

2

Motivation

Imagerie polarimétrique Définition

Applications

Stéréovision Calibrage

Mise en correspondance

Triangulation : reconstruction 3D

Application : véhicule, robotique, médecine Lacunes

Vision omnidirectionnelle Adaptation

Application Lacunes

(3)

3

Plan

Acquisition - Propriétés Application à la Stéréovision

Calcul des paramètres de polarisation Calcul des normales à la surface

Calcul de la profondeur de l’objet Avantages et Inconvénients

(4)

Polarization of Light: Basics to Instruments

4

Introduction

Part I: Different polarization states of light Part II: Stokes parameters, Mueller matrices Part III: Optical components for polarimetry Part IV: Polarimetric imaging

(5)

5

Part I: Different polarization states of light Light as an electromagnetic wave

Mathematical and graphical descriptions of polarization

Linear, circular, elliptical light Polarized, unpolarized light

(6)

6

Light as an electromagnetic wave

Light is a transverse wave, an electromagnetic wave

Part I: Polarization states

(7)

7

Mathematical description of the EM wave

Light wave that propagates in the z direction:

y ) t

- kz cos(

E )

t z, ( E

x t) -

kz cos(

E )

t z, ( E

0y y

0x

x !

!

! !

ε ω

ω

+

=

(8)

8

Graphical representation of the EM wave (I)

One can go from:

to the equation of an ellipse ^(using

trigonometric identities, squaring, adding):

ε

ε ²

0y y 0x

x 2

0y y 2

0x

x cos sin

E E E

2 E E

E E

E − =

⎟⎟

⎠

⎞

⎜⎜

⎝ + ⎛

⎟⎟⎠

⎞

⎜⎜⎝

⎛

y ) t

- kz cos(

E )

t z, ( E

x t) -

kz cos(

E )

t z, ( E

0y y

0x

x !

!

! !

ε ω

ω +

=

(9)

9

Graphical representation of the EM wave (II)

An ellipse can be represented by 4 quantities:

1.  size of minor axis 2.  size of major axis 3.  orientation (angle) 4.  sense

Light can be represented by 4 quantities...

(10)

10

Vertically polarized light

If there is no amplitude in x (E_0x = 0), there is only one component, in y (vertical).

y ) t

- kz cos(

E )

t z, ( E

x t) -

kz cos(

E )

t z, ( E

0y y

0x

x !

!

! !

ε ω

ω +

=

Part I: Polarization states, linear polarization

(11)

11

Polarization at 45º (I)

If there is no phase difference ( =0) and E_0x = E_0y, then E_x = E_y

y ) t

- kz cos(

E )

t z, ( E

x t) -

kz cos(

E )

t z, ( E

0y y

0x

x !

!

! !

ε ω

ω +

=

(12)

12

Polarization at 45º (II)

(13)

13

Circular polarization (I)

If the phase difference is = 90º and E_0x = E_0y then: E_x / E_0x = cos Θ , E_y / E_0y = sin Θ

and we get the equation of a circle:

1 sin

E cos E E

E ² ₂ ₂

0y y 2

0x

x = Θ + Θ =

⎟⎟

⎠

⎞

⎜⎜

⎝ + ⎛

⎟⎟⎠

⎞

⎜⎜⎝

⎛

y ) t

- kz cos(

E )

t z, ( E

x t) -

kz cos(

E )

t z, ( E

0y y

0x

x !

!

! !

ε ω

ω +

=

Part I: Polarization states, circular polarization

(14)

14

Circular polarization (II)

(15)

15

Circular polarization (III)

(16)

16

Circular polarization (IV)

Part I: Polarization states, circular polarization... see it now?

(17)

17

Elliptical polarization

Part I: Polarization states, elliptical polarization

•  Linear + circular polarization = elliptical polarization

(18)

18

Unpolarized light

(natural light)

Part I: Polarization states, unpolarized light

(19)

19

Stokes parameters

A tiny itsy-bitsy little bit of history...

•  1669: Bartholinus discovers double refraction in calcite

•  17^th – 19^th centuries: Huygens, Malus, Brewster, Biot, Fresnel and Arago, Nicol...

•  19^th century: unsuccessful attempts to describe unpolarized light in terms of amplitudes

•  1852: Sir George Gabriel Stokes took a very different approach and discovered that polarization can be described in terms of observables using an experimental definition

Part II: Stokes parameters

(20)

20

Stokes parameters (I)

The polarization ellipse is only valid at a given instant of time (function of time):

ε sin ε

(t) cos E

(t) E

(t) 2 E

(t) E

(t)

E ₂

0y y 0x

x 2

0y y 2

0x

x ⎟⎟ − =

⎠

⎞

⎜⎜

⎝ + ⎛

⎟⎟⎠

⎞

⎜⎜⎝

⎛

To get the Stokes parameters, do a time average (integral over time) and a little bit of algebra...

(21)

21

Stokes parameters (II)

described in terms of the electric field

(

^E^0x² ⁺ ^E^0y²

) (

² ⁻ ^E²^0x ⁻ ^E²^0y

)

² ⁻

(

²^E^0x^E^0y^cos ^ε

) (

² ⁼ ²^E^0x^E^0y^sin ^ε

)

²

The 4 Stokes parameters are:

ε sin E

E 2 V

ε cos E

E 2 U

E E

Q

E E

I

0y 0x

3

0y 0x

2

2 0y 2

0x 1

2 0y 2

0x 0

=

−

=

+

=

S S S S

(22)

22

Stokes parameters (III)

described in geometrical terms

⎟ ⎟

⎟

⎠

⎞

⎜ ⎜

⎜

⎝

⎛

=

⎟⎟

⎟ ⎟

⎟

⎠

⎞

⎜⎜

⎜ ⎜

⎜

⎝

⎛

β

φ β

2 sin

2 sin 2

cos

2 cos 2

cos V

U Q I

2 2

2

a a

a

(23)

23

Stokes vector

The Stokes parameters can be arranged in a Stokes vector:

( ) ( ) ( ) ( ) ( ) ( )

^⎟⎟

⎟⎟

⎟

⎠

⎞

⎜⎜

⎜

⎝

⎛

−

°

−

°

−

= °

⎟⎟

⎟

⎠

⎞

⎜⎜

⎜

⎝

⎛

− +

=

⎟⎟

⎟

⎠

⎞

⎜⎜

⎜

⎝

⎛

LCP I

RCP I

135 I

45 I

90 I

0 I

intensity

ε sin E

E 2

ε cos E

E 2

E E

V U Q I

0y 0x

2 0y 2

0x

2 0y 2

0x

•  Linear polarization

•  Circular polarization

•  Fully polarized light

•  Partially polarized light

•  Unpolarized light

0 V

U Q

V U

Q I

V U

Q I

0 V

0, U

0, Q

0 V

0, U

0, Q

2 2

=

+ +

>

+ +

=

≠

=

≠

Part II: Stokes parameters, Stokes vectors

(24)

24

Pictorial representation of the Stokes parameters

(25)

25

Stokes vectors for linearly polarized light

LHP light

⎟⎟

⎟ ⎟

⎟

⎠

⎞

⎜⎜

⎜ ⎜

⎜

⎝

⎛

0 0 1 1 I

₀

LVP light +45º light -45º light

⎟⎟

⎟ ⎟

⎟

⎠

⎞

⎜⎜

⎜ ⎜

⎜

⎝

⎛

− 0 0

1 1 I

₀

⎟⎟

⎟ ⎟

⎟

⎠

⎞

⎜⎜

⎜ ⎜

⎜

⎝

⎛

0 1 0 1 I

₀

⎟⎟

⎟ ⎟

⎟

⎠

⎞

⎜⎜

⎜ ⎜

⎜

⎝

⎛

− 0

1 0 1 I

₀

Part II: Stokes parameters, examples

N. Manset / CFHT

(26)

26

Images polarimétriques : vecteur de Stokes

L’onde réfléchie par un objet possède un

caractère aléatoire

Quantités mesurables:

Intensités

Polarisation de l’onde : vecteur de Stokes

Condition d’admissibilité physique

2 3 2

2 2

1 2

0

0 0,

S S

S

+ +

≥

>

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

− +

=

⎟⎟

⎟

⎠

⎞

⎜⎜

⎜

⎝

⎛

=

∗

y x

y y x

x

y y x

x

E E

E E E

E

E E E

E

S S S S S

Im 2

Re 2

3 2 1 0

calcul des

covariances des composantes du champ électrique traitement

(27)

27

Images polarimétrique : matrice de Mueller

Scène

L’action d’un système sur une onde incidente de vecteur de Stokes se traduit par un opérateur linéaire nommé : Matrice de Mueller⁴×⁴

Vecteur de Stokes à la sortie

=

0 1 2 3 i

i i i

s s s s

⎛ ⎞

⎜ ⎟

⎝ ⎠

0 1 2 3 o

o o o

s s s s

⎛ ⎞

⎜ ⎟

⎝ ⎠

M

Vecteur de Stokes à l’incidence

Matrice de Mueller- admissibilité physique

Si

Source Camera

(28)

28

Mueller matrices

If light is represented by Stokes vectors, optical components are then described with Mueller matrices:

[output light] = [Muller matrix] [input light]

⎟⎟

⎟

⎠

⎞

⎜⎜

⎜

⎝

⎛

⎟⎟

⎟

⎠

⎞

⎜⎜

⎜

⎝

⎛

=

⎟⎟

⎟

⎠

⎞

⎜⎜

⎜

⎝

⎛

V U Q I

V' U' Q' I'

44 43

42 41

34 33

32 31

24 23

22 21

14 13

12 11

m m

Part II: Stokes parameters, Mueller matrices

(29)

29

Images multidimensionnelles de polarisation

  La mesure des vecteurs de Stokes attachés à chaque pixel d’une scène : Dimension 4

Imagerie de Mueller

  La mesure des matrices de Mueller attachées à chaque pixel d’une scène : Dimension 16

Imagerie de Stokes

(30)

30

scène

1 état incident × 4 états d’analyse =4 images

Lame ¼ onde

Acquisition des images de Stokes

Source (laser)

Polariseur Polariseur

Lame ¼ onde

filtre

caméra I

(31)

31

0 1 2 3

S S S S

⎛ ⎞

⎜ ⎟

= ⎜ ⎟

⎜ ⎟

⎝ ⎠ S

2

0 1 2 3

cos (2 ) 1sin(4 ) sin(2 ) , 1,4

i i 2 i i

I = S − θ S − θ S + θ S i =

32 22

12 02

0 0

S S

, S

+ +

≥

>

(

^,

)

^S

A

I = θ ψ

2 3 2

2 2

1 2

0 S S S

S = + +

0 = 0 S

2 0

3 2

2 2

1 2

0 > S + S + S >

S

Onde totalement polarisée Onde non polarisée

Onde partiellement polarisée

(32)

32

0 1 2 3

S S S S

⎛ ⎞

⎜ ⎟

= ⎜ ⎟

⎜ ⎟

⎝ ⎠

S ²

2 3 2 2

2 1 0

0 0

S S

, S

+ +

≥

>

(33)

11/12/17 33

(34)

34

Image fournie par Antonello De Martino

S0 S¹

S2 ^S₃

Coupe histologique d’un os (650nm)

(35)

35

0

2 3 2

2 2

1

S

S S

S + + ρ =

Quelques propriétés

1 1 2

5

0 S

tan S

. ⁻

λ =

(

1 2

)

arg S +iS ϕ =

degré de polarisation angle de polarisation

orientation

(36)

36

Propriétés

1 0 1 0

2 0 2

3 0 3

1 1 / /

/ / S S S S S S

S S S S S S

⎛ ⎞

⎜ ⎟

= = ⎜ ⎟ = ⎜ ⎟

⎜ ⎟

⎝ ⎠ ⎝ ⎠

Sphère de Poincaré

0

2 3 2

2 2

1

S

S S

S + + ρ =

1 1 2

5

0 S

tan S

. ⁻

λ =

(

1 2

)

arg S +iS ϕ =

(37)

Polarimetric parameters ^11/12/17

37

(38)

38

scène

Lame ¼ onde

Acquisition des images de Mueller

Source (laser)

Polariseur Polariseur

Lame ¼ onde

filtre

caméra I

M

( ^θ ^, ^θ ^, ^ψ ) ^M ^G ( ^θ ^, ^θ ^, ^ψ )

A

I = ʹ ʹ

(39)

39

(40)

40

Coupe histologique d’un os (650nm)

(41)

41

Applications : diagnostic

Matrice de Mueller d’une biopsie de la peau de porc irradiée à 15 Gy

(42)

42

Applications : diagnostic

Imagerie de Stokes d’une conisation à 550nm

(43)

43

Applications : Contrôle qualité

Analyse croisée pour distinguer les défauts de type rayures des particules de poussières sur une pièce métallique

(44)

44

Applications : Contrôle qualité

Paramètres de polarisation et reconstruction 3D

(45)

11/12/17 45

(46)

11/12/17 46

(47)

47

Propriétés

• Imagerie physique

• Information bidimensionnelle multi composante

• Modèle d’observation simple

• Richesse du contenu comparé à l’imagerie « classique »

• Informations directionnelles sur la lumière utilisées dans plusieurs applications

• Interprétation d’images par leur contenu physique

• Reconstruction 3D d’objets transparents, fortement réfléchissants,…

(48)

48

Plan

Acquisition - Propriétés Application à la Stéréovision

Calcul des paramètres de polarisation Calcul des normales à la surface

Calcul de la profondeur de l’objet Avantages et Inconvénients

(49)

49

Application à la Stéréovision

But

1.  Reconstruire la surface 3D d’un objet en utilisant l’imagerie polarimétrique

2.  Utiliser l’information polarimétrique pour estimer la normale en tout point de la surface (Miyazaki et al)

3.  Remonter à la profondeur par intégration des champs de normales (Frankot-Chellappa)

et dans le cas de la vision omnidirectionnelle

1.  Calibrer les capteurs omnidirectionnels (méthode non paramétrique)

2.  Mise en correspondance automatique

3.  Triangulation combinée avec le principe de Peter Sturm

(50)

50

Application à la Stéréovision

Intérêt :

Extraire l’information 3D des objets 1.  Translucides

2.  Fortement réfléchissants

(51)

51

Shape from polarization

Principe physique : [Wolf & Boult 1991]

Après réflexion, une onde non polarisée devient partiellement linéairement polarisée.

Les normales en tout point de la surface sont liées aux paramètres de polarisation

• Paramètres de polarisation

• Normales en tout point de la surface

• Surface calculée par intégration

• Reconstruction de surfaces diélectriques (Mizayaki et al 2004)

• Reconstruction de surfaces spéculaires (Morel et al, 2005)

Besoins

(52)

52

Paramètres de polarisation : dispositif passif

Mesure des paramètres de polarisation d’une onde :

• Cas d’une onde partiellement polarisée

•  Intensité

•  Degré de polarisation

•  Angle de polarisation

I

ρ ϕ

(53)

53

( )

^α

Soit la matrice de Mueller du polariseur M

alors

Paramètres de polarisation

(54)

54

Exemple d’une sphère éclairée par une lumière diffuse:

Paramètres de polarisation :

(55)

55

Coefficient de Fresnel + Lois de Snell-Descartes :

Normale à la surface en chaque point : Principe :

(56)

56

Normale à la surface en chaque point :

Surface diélectriques :

Surfaces métalliques :

(57)

57

Surfaces métalliques :

(58)

58

La lumière réfléchie est partiellement linéairement polarisée orthogonale au plan d’incidence

(59)

59

Calcul de la profondeur :

Toute surface lisse est définie par une fonction f de classe C²

La profondeur z peut être définie par :

La surface en tout point (x,y,z) est donnée par :

(60)

60

Calcul de la profondeur : Intégration des champs de gradients

Intégration

Méthodes locales, méthodes globales, méthode de relaxation, méthode de Jacobi, Méthode Gauss Seidel,……..

Exemple : Relaxation

(61)

61

Calcul de la profondeur : Intégration des champs de gradients

Exemple :

(62)

62

Exemple expérimental

Objet à inspecter

Dispositif expérimental

(63)

63

Software : Labview

(64)

64

Software : Labview

Z

(65)

65

Reconstruction d’un objet transparent

(66)

66

Avantages

• Reconstruction 3D d’objets fortement réfléchissants, transparents,…

• Implémentation facile

• Sensible aux gradients de la surface

Contraintes

• Dispositif expérimental indispensable

• La surface doit être lisse à cause du processus d’intégration (fct C²)

(67)

67

I

( ) ( )

( ) ( )θ φ (ρ ϕ)

φ θ

,

~ sin

tg q

cos tg

p n

⎟⎟

⎟

⎠

⎞

⎜⎜

⎜

⎝

⎛

=

1

!

• La normale en tout point est

• La surface obtenue par intégration des champs de normales (Frankot & Chellapa 1988)

( )

₂ ₂

v u

qˆ jv pˆ

v ju u, fˆ

*

+

−

= −

Principe physique : [Wolf & Boult 1991]

Après réflexion, une onde non polarisée devient partiellement linéairement polarisée. Les normales en tout point de la surface sont liées aux paramètres de polarisation

(68)

68

Application à la vision omnidirectionnelle

(

C

)

C

R x T K

u = −

Acquisition

Capteur omnidirectionnel

miroir

Plan image

(69)

69

Acquisition

(70)

70

Objectif

Développer la chaîne complète : de l’acquisition à la reconstruction 3D

(71)

71

Objectif

(72)

72

Objectif

(73)

73

Objectif

(74)

74

Contraintes utilisées pour le calibrage

Apport de la polarisation

•  Forme du miroir connue

•  Alignement parfait

•  Modèle de projection paramétrique

• Aucune connaissance a priori sur la forme du miroir

•  Lâche la condition de l’alignement parfait

•  Modèle non paramétrique

(75)

75

( ) ( ) ( ) ( )

⎟⎟

⎟

⎠

⎞

⎜⎜

⎜

⎝

⎛

=

1

φ θ

sin tg

q

cos tg

p

n!

( )

^θ^,^φ ^?

Angle de polarisation Degré de polarisation

φ ϕ ⇒

θ ρ ⇒

(76)

76

( )

²₂ ₂ ₂

nˆ sin

tan

sin tan

n

+

= θ θ

θ θ θ

ρ

φ ρ

Lien entre la normale et les paramètres de polarisation

Degré de polarisation vers θ

Angle de polarisation vers ϕ

2 ϕ π

φ = ±

Image obtenue après levée d’ambiguïté [Morel et al, 2007]

(77)

77

Calcul de la profondeur

Surface 3D obtenue par intégration du champ de normales (Frankot &

Chellappa 1988)

• Exemple de reconstruction d’un miroir hyperbolique

A

( )

₂ ₂

v u

qˆ jv pˆ

v ju u, fˆ

*

+

−

= −

(78)

78

Erreurs de reconstruction

• Faible déplacement du capteur

• Triangulation directe

• On a pas d’information sur :

• Impact du bruit sur la reconstruction

• Mesure de l’ erreur de reconstruction

• Automatisation de la mise en correspondance

(79)

79

Ligne horizontale section d’une courbe (forme du miroir) Ligne verticale section d’une radiale

Voisinage carré ?

Vers l’automatisation du procédé de reconstruction

(80)

80

Automatisation

(

C

)

C

CR X T

K −

u =

(81)

81

Automatisation : idée

Paramétrisation judicieuse de la surface du miroir utilisé

Projection du voisinage du point sur le miroir moyennant cette paramétrisation

( )

^t^,^θ

f

( ) ( )

( )^⎟

⎟⎟

⎠

⎞

⎜⎜

⎜

⎝

⎛

=

θ θ θ , , , t f

t y

t x

X ( ( ) ) ( )

( )^⎟⎟_⎠

⎞

⎜⎜⎝

=⎛

−

⎟⎟ =

⎠

⎞

⎜⎜⎝

⎛

θ θ θ

, , ,

t v

t T u

t X R v K

u

C C

C

Exemple : miroir paraboloïde

f y f x

z 4

2 2 + +

−

=

Paramétrisation

( ) ² ( ) ( ¹)

2 = = × −

= f t cos , y f t sin , z f t

x θ θ ^θ ^∈[^0,²^π[ ^t^∈[ ]⁰^,^h

(82)

82

Automatisation

⎟⎠

⎜ ⎞

⎝

⎛ + +

=

⎟⎠

⎜ ⎞

⎝

⎛ + +

=

2 2 2 2

0 0

θ π σ

sin t v

v

cos t

u u

v u

Deux pixels voisins sont sur : le même cercle de rayon

ou sur la même radiale d’angle

2 0 2

0

2

2 ⎟⎟

⎠

⎞

⎜⎜

⎝ +⎛ −

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛ −

v u

v v u

u

σ σ

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛

−

− −

0 1 0

u u

v tg v

v u

σ σ

Γ ℑ

(83)

83

Automatisation

Avec le nouveau voisinage :

•  La dérivation dans l’image

•  La détection de primitives

•  La convolution

•  La fenêtre de corrélation

•  La mise en correspondance automatique

Modèle paramétrique

(84)

84

Automatisation

ϕ

q  Apport de la polarisation

ρ

q  Modélisation de la surface du miroir

q Paramétrisation de chaque point sur le miroir q Méthode paramétrique

q  Calcul des paramètres de la polarisation

q Méthode non paramétrique ^ϕ ρ

q  Voisinage adapté q  Traitement

(85)

85

détection classique détection adaptée

Automatisation : détection de primitives

(86)

86

Harris classique Harris adaptée

Automatisation : détection de primitives

(87)

87

Méthode classique

Méthode adaptée

Automatisation : Appariement

( ) ( ) ( )

( )^u ^neigh( )^v

neigh

v neigh u

neigh v

u NSSD

− 2

, = Normalized Sum of Squared Differences

(88)

88

Conclusion & perspective

Conclusion

•  Utilisation de l’information polarimétrique pour la reconstruction 3D et le calibrage des capteurs catadioptriques (méthode non

paramétrique)

•  Utilisation du principe générique de Sturm pour la triangulation

•  Reconstruction 3D éparse (mise en correspondance manuelle)

•  Automatisation de la mise en correspondance (adaptation au plan catadioptrique)

•  Perspectives

•  Généralisation au cas perspectif (polarisation + focal )

•  Application à la reconstruction de scènes en omni

(89)

89

Références

Frankot, R. & Chellapa, R. (1988)

A method for enforcing integrability in shape from shading algorithms IEEE Trans. Pattern Analysis and Machine intelligence. 10(4). 439-451 Miyazaki, D., Kagesawa. M., & Ikeuchi, K. (2004)

Transparent surface modeling from a pair of polarization images IEEE Trans. Pattern Analysis and Machine intelligence. 26(1). 73-82 O.Morel et Al (2006)

Active lighting applied to 3d reconstruction of specular metallic surfaces by polarization imaging Applied Optics 45(17), 4062-4068

Sturm, P., (2005)

Multiview geometry for general camera models

IEEE Coputer vision and Pattern Recongnition. Vol 1, pp 206-212 Ainouz, S., Morel, O., & Fofi, D.(2008)

Mirror-adapted matching of catadioptric images In ICIP 2008

Sturm, P., & Ramalingam, S. (2004) A generic concept for camera calibration

ECCV. Vol 2, pp 1-13, Prague, Czech republic : Springer

Slide 1à 26 faits par N. Manset / CFHT