Au-delà de l'imagerie traditionnelle: Intégration optique et informatique

(1)

HAL Id: hal-01923098

https://hal.inria.fr/hal-01923098

Submitted on 14 Nov 2018

HAL is a multi-disciplinary open access

archive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Au-delà de l’imagerie traditionnelle: Intégration optique et informatique

Xavier Granier

To cite this version:

Xavier Granier. Au-delà de l’imagerie traditionnelle: Intégration optique et informatique. J-FIG 2018 - Journées Françaises d’Informatique Graphique, Nov 2018, Poitiers, France. pp.1-120. �hal-01923098�

(2)

Au-delà de

l’imagerie traditionnelle

Intégration optique et informatique

xavier.granier@institutoptique.fr

(3)

2 JFIG JFIG 13/11/20813/11/208 Un immense merci ! Brett Ridel Patrick Reuter Antoine Lucat Thomas Crespel Adrian Travis Romain Pacanowski Ivo Ihrke Pascal Guitton

(4)

3

JFIG

JFIG 13/11/20813/11/208 Plan

1. Introduction

2. L’exemple de la réalité augmentée spatiale

3. Vers des grandeurs physiques : HDR

4. Calibrer et optique non-conventionelle

5. Vers le plénoptique

(5)

4

JFIG 13/11/208

Introduction

(6)

(7)

6

JFIG

JFIG 13/11/20813/11/208

Quelles sont les compétences mises en jeu ? Curiosité Physique Optique Arts Biologie Informatique Observation Informatique Graphique Informatique Graphique Sciences humaines Mathématiques Electronique

(8)

7

JFIG

JFIG 13/11/20813/11/208 Autre vision du problème

● On observe / mesure / affiche une combinaison

– _{Influence de la forme ? La lumière ? La matière ?} – _{Une infinité de manière d’arriver au même résultats}

(9)

8

JFIG

JFIG 13/11/20813/11/208 Autre vision du problème

● _{On observe / mesure / affiche une combinaison}

– _{Influence de la forme ? La lumière ? La matière ?}

– _{Une infinité de manière d’arriver au même résultats}

● _{Indépendance → processus faiblement optimisée}

– _{Ex1: mesures / modèles trop complexes pour être utilisés}

– _{Ex2: simulation / affichage de détails invisibles}

● _{Besoin : approche globale mais spécialisée}

– _{Un seul objectif, le signal observé}

– _{Objectif : faciliter la communication réel - virtuel}

(10)

9

JFIG 13/11/208

Exemple de la réalité augmentée spatiale

2

(11)

10

JFIG

JFIG 13/11/20813/11/208 Réalité augmentée spatiale

● Monde réel = afficheur

– _Projection – _{Suivi de geste} A C M J O C C H 2 0 1 4 A C M J O C C H 2 0 1 4

(12)

11

JFIG

JFIG 13/11/20813/11/208 Réalité augmentée spatiale

● Monde réel = afficheur

– _Projection – _{Suivi de geste} A C M J O C C H 2 0 1 4 A C M J O C C H 2 0 1 4 ● Installations muséales

(13)

12

JFIG

JFIG 13/11/20813/11/208 Limitations

● Pas vraiment applicable pour de grandes installations

– _{Une seule personne peut interagir}

– _{Même vue pour tous}

● Les besoins

– _{Plusieurs usagers}

(14)

13

JFIG

JFIG 13/11/20813/11/208 EgoSAR - Proposition de 2 scenarii

Usagers actifs Usagers passifs

IE E E I S M A R 2 0 1 6 IE E E I S M A R 2 0 1 6

(15)

(16)

(17)

16

JFIG

JFIG 13/11/20813/11/208

1er prototype : film rétroréfléchissant perforé

(18)

17

JFIG

JFIG 13/11/20813/11/208 2nd prototype : rétroréflexion indirecte

Rétroréflexion Lame semi-transparent

Augmentation personnalisée et dépendante du point de vue

(19)

18

JFIG

JFIG 13/11/20813/11/208

(20)

19

JFIG 13/11/208

Vers des grandeurs physiques : HDR

3

(21)

20 P a u l D e b e ve c’ s S IG G R A P H C o u rse

(22)

21 P a u l D e b e ve c’ s S IG G R A P H C o u rs e

(23)

(24)

(25)

(26)

(27)

(28)

27

JFIG

JFIG 13/11/20813/11/208 HDR : un peu d’histoire

● 1850 ~ Gustav Le Gray – combinaison de négatifs

● 1940 ~ Charles Wyckoff – Photos d’explosion nucléaire

● 1980 ~ Usage propriétaire dans l’industrie du film

● 1985 : Premier format HDR par Gregory Ward (Radiance)

● 1997 : reconstruction HDR à partir de photographie par Debevec

– _{The Campanile movie}

● Premier programme d’édition d’images: HDRShop par Devebec

● 2004: Valve Software utilise le rendu HDR dans Half life 2

(29)

28

JFIG

JFIG 13/11/20813/11/208 Capteur : processus physique

● Première action d’un capteur d’image

– _{Énergie reçue → volt (~linéaire)}

● Seconde action d’un capteur

– _{Volt → valeurs relatives encodées sur X bits}

– _{Filtrage, réduction de bruit, interpolations (e.g., Bayer), ….}

–

(30)

29

JFIG

JFIG 13/11/20813/11/208

log exposition = log (éclairement * t) Valeur

d’un pixel

Compte le nombre de photons

Courbe de réponse du système

(31)

30

JFIG

JFIG 13/11/20813/11/208

2 approches de la calibration du capteur

1) Approximation des mesures par un courbe de réponse pré-définie

– _{Demande l’accès à des outils de radiométrie/photométrie}

● Ex : luminance mètre

– _{Des sources de lumières variées et contrôlable souhaitable}

● Ex : sources calibrées, pièce noire, ...

2) Retrouver une courbe de réponse dans une base de fonctions

– _{Multiplier les expositions d’une scène complexe} – _{Nécessité d’une scène avec de forts contrastes}

(32)

31

JFIG

JFIG 13/11/20813/11/208 Conclusion

● Appareils photographiques classiques

– _{Pas des outils de radiométrie !!!!}

– _{Mais traitement numérique + calibration → de vrai valeur radiométriques}

● Limitations originelles

– _{Dynamique limitée (avec un seuil de saturation)} – _{Courbe de réponse pas nécessairement connue}

● Besoin d’une première calibration

– _{Précision limitée}

● Solution proposée

(33)

32

JFIG

JFIG 13/11/20813/11/208

Comment obtenir une carte d’éclairement ?

● Solution matérielle dédiée

– _{Toujours un limitation intrinsèque}

● Solution mixte logicielle et matérielle – _{Combinaison de multiples images}

● Avec un variation de l’exposition

E _p≃

∑

k w(Z _pk)

∑

_k w(Z _pk) f−1(Z _pk) Δ t_k

(34)

33 JFIG JFIG 13/11/20813/11/208 • • 33 • • 11 • • 22 t = 1 sec • • 33 • • 11 • • 22 t = 1/16 sec • • 33 • • 11 • • 22 t = 4 sec • • 33 • • 11 • • 22 t = 1/64 sec

Ex: Algorithme de Debevec et Malik (1997)

Un séquence d’images avec différent temps d’exposition

• • 33 • • 11 • • 22 t = 1/4 sec © Alyosha Efros Z _pk=f (E _p Δ t_k)

(35)

34

JFIG

JFIG 13/11/20813/11/208 log exposition

Ajuster les valeurs de E_p pour obtenir une courbe monotone

Z p 3 3 1 1 2 2 log exposition Z p

Trouver la courbe de réponse intrinsèque

(36)

35

JFIG

JFIG 13/11/20813/11/208 Problème d’optimisation

● _g(z)

– _{Logarithme de l’inverse de la courbe de réponse}

– _{Tabulée (base constante par morceau)}

● _{Mise en place du problème}

Fonction d’objectif

Erreur Quadratique Lissage / régularisation

g

(

Z _pk

)

=log E _p+log Δ_k

∑

k

∑

p

[

log E _p+log Δ t_k−g( Z _pk)

]

2+λ

∑

z=Zmin−1 Z_max+1 ∂_zz2 g( z )2

(37)

36

JFIG

JFIG 13/11/20813/11/208 Résultat sur un Kodak DCS460

Courbe de réponse estimée

log Exposition Z Z p Temps d’exposition de 1/30 à 30 sec © Alyosha Efros

(38)

37

JFIG

JFIG 13/11/20813/11/208 Carte d’irradiances relatives

Attention, valeurs à mettre à l’échelle pour des mesures radiométriques !!!

(39)

38

JFIG

JFIG 13/11/20813/11/208 Attention à la couleur

3 capteurs vs. 1 capteur : qualité vs. coût

http://www.cooldictionary.com/words/Bayer-filter.wikipedia

(40)

39

JFIG

JFIG 13/11/20813/11/208 Courbe de réponse par couleur

Red Green

RGB

Blue

(41)

40

JFIG

JFIG 13/11/20813/11/208 Extension : Robertson et al. 2003

● Même principe, mais

– _{Prise en compte du bruit par pixel}

– _{Utilisation d’une fonction d’objectif pondérée}

∑

k

∑

p w_kp

|

E _pΔ t_k−f −1( Z _pk )

|

2+λ

∑

z=Z_min−1 Zmax+1 ∂_zz2 f−1( z )2 w_kp

(42)

41

JFIG

JFIG 13/11/20813/11/208 Autre approche : Mitsunaga 1999

Images: k = 1,2,….K , Pixels: p = 1, 2, …..P Rapport d’expositions _R_{k , k}₊₁₌ Δ tk Δ t_k₊₁= E_pΔ t_k E_pΔ t_k₊₁= f−1(Z_{p , k}) f−1(Z_{p , k}₊₁) R_{k , k}₊₁=

∑

n= 0 N c_n Zn_{p , k}

∑

n=0 N c_nZn_{p , k}₊₁ Base polynomiale ϵ=

∑

k=1 K−1

∑

p=1 P

|

∑

n=0 N c_n Z n_{p , k}−R_{k , k}₊₁

∑

n=0 N c_nZ n_{p , q}₊₁

|

2 Fonction d’objectif Problème à résoudre

(43)

42 JFIG JFIG 13/11/20813/11/208 Impact de la diffraction ©Antoine LUCAT Temps d’exposition Reconstruction HDR Image HDR Dynamique Diffraction M A M 2 0 1 7 M A M 2 0 1 7

(44)

(45)

44 JFIG JFIG 13/11/20813/11/208 Estimer la PSF ©Antoine LUCAT M A M 2 0 1 7 M A M 2 0 1 7

● L’image finale est une convolution

● Modèle du diaphragme

● Polygone à arêtes courbes ● Solution exacte

(46)

45

JFIG

JFIG 13/11/20813/11/208

Classification des pixels

● Déconvolution ?

● Erreur difficile à estimer ● Perte de résolution

● Solution proposée

● _{Élimination des pixels dans une tache de diffraction} ● Principe : double diffraction (physique puis simulée)

● Si aucun changement → en dehors de la tâche ● ~Ajustement des poids

©Antoine LUCAT M A M 2 0 1 7 M A M 2 0 1 7

(47)

46

JFIG

JFIG 13/11/20813/11/208 Limitations

● Variation des temps d’exposition

– _{Scènes dynamiques → correspondance manquantes entre pixels} – _{Besoin d’un système stable → pas de mouvement entre les captures}

● Finalisation de la calibration

– _{Valeurs relatives :}

● Avoir une valeur de référence – _{Bruit d’acquisition}

– _{Comment assurer une fonction bijective ?} – _…

(48)

(49)

48

JFIG

JFIG 13/11/20813/11/208 Toward HDR video camera

(50)

(51)

50

JFIG

JFIG 13/11/20813/11/208

Encoding Bits / pixel Dynamic Range Quant. Step

sRGB 24 1.6 (1.0:0.025) Variable Pixar Log 33 3.8 (25.0:0.004) 0.4% RGBE XYZE 32 76 (1038:10-38) 1% LogLuv 24 24 4.8 (15.9:0.00025) 1.1% LogLuv 32 32 _{38 (1019:10-20)} 0.3% EXR 48 10.7 (65000:0.0000012) 0.1% scRGB 48 3.5 (7.5:0.0023) Variable scRGB-nl scYCC-nl 36 3.2 (6.2:0.0039) Variable

Quelques mots sur les formats

(52)

51

JFIG

JFIG 13/11/20813/11/208 _{©Tomáš Masařík} Qualité d’encodage (moyenne sur les images)

(53)

52

JFIG

JFIG 13/11/20813/11/208 Corriger pour pouvoir afficher

E s th é ti q u e

Perception Motivated Hybrid Approach to Tone Mapping, Martin Čadík, cadikm@fel.cvut.cz

WSCG’07, Pilsen, Czech Republic, 31. 1.2007

[Cadik et al. 06] P e rce p tu e l C o g n it if

(54)

53

JFIG

JFIG 13/11/20813/11/208 Est-ce réaliste ?

Réaction classique _{Le photographe}

Pour moi, cela ne me semble pas naturel. Cela ressemble

plus à une peinture qu’une photographie

Cela correspond exactement à ce que

j’avais vu.

Conclusion : Les images corrigées par opérateur de correction de ton

sont en général plus proche de la réalité perçue. Cependant, nous sommes toujours encore trop habitués à des images de basse dynamique et donc surpis par les résultats d’une telle approche.

(55)

54

JFIG

JFIG 13/11/20813/11/208

Autres solutions, aller vers des écrans HDR ● 1 pixel = 3 LED ? – _Existe – _Coût ● Énergie ● Implantation ● Maintenance

(56)

55

JFIG

JFIG 13/11/20813/11/208

Autres solutions, aller vers des écrans HDR ● Principe : augmenter le taux de contraste

– _{Afficheurs en cascade}

● Afficheur 1 : taux de contraste c1:1 ● Afficheur 2 : taux de contraste c2:1 ● Taux de contraste total c1*c2:1

(57)

56

JFIG

JFIG 13/11/20813/11/208 HDR Display : prototype 1 (2002)

(58)

57 JFIG JFIG 13/11/20813/11/208 Écran HDR : prototype 1 L √L r−1₁ (√L) projecteur p₁∘√L L p₁∘√L r2 −1

(

L p₁∘√L

)

LCD

(59)

58

JFIG

JFIG 13/11/20813/11/208

Écran HDR: prototype 2 (Dolby Digital - 2003)

(60)

59 JFIG JFIG 13/11/20813/11/208 HDR Display: prototype 2 L √L r−1₁ (√L) LEDs p₁∘√L L p₁∘√L r2 −1

(

L p₁∘√L

)

LCD

(61)

60

JFIG

JFIG 13/11/20813/11/208 Recommendation ITU-R BT.2100

● Prochaine génération d’écran

– _{Résolutions : 4K (3840 x 2160) ou 8K (7680 x 4320) en 16:9} – _{Taux de rafraichissement : ce 23.976p à 120p}

– _{Précision : 10 ou 12 bits par canal} – _{Pic de luminance à 1000 cd/m²} – _{Noir à 0.005 cd/m²}

(62)

61

JFIG 13/11/208

Calibrer et optique non-conventionnelle

4

(63)

62

JFIG

JFIG 13/11/20813/11/208

Bilan intermédiaire

● Importance de la calibration

– _{Aller vers des problèmes inverses (ex : couleur → luminance)}

● Importance du modèle numérique

– _{Modéliser précisément un système (ex : calcul de la PSF)}

● Combinaison optique est numérique

– _{Corriger les défauts intrinsèques d’un système optique} – _{Réduire les coûts}

(64)

63

JFIG

JFIG 13/11/20813/11/208

Premier exemple : écran sphérique tactile

(65)

(66)

(67)

(68)

(69)

(70)

(71)

(72)

(73)

(74)

(75)

(76)

(77)

76

JFIG

JFIG 13/11/20813/11/208

« Wedge Camera » – Caméra pour espace confinée

Avec l’IFAO – temple de Medamoud – Egypte

(78)

(79)

78

JFIG

JFIG 13/11/20813/11/208 Calibration et correction logicielle

Aberrations Perspective ~

(80)

79

JFIG

JFIG 13/11/20813/11/208 Corrections en-ligne

(81)

80

JFIG 13/11/208

Vers le plénoptique

(82)

(83)

(84)

(85)

(86)

(87)

86

JFIG

JFIG 13/11/20813/11/208

Imagerie à ouverture codée [Levin et al 2007]

Objectif

● Control de la PSF

(88)

87 JFIG JFIG 13/11/20813/11/208 Lentille Capteur Point spread function

Image d'une source ponctuelle

Point hors focus

Plan focal

(89)

88

JFIG

JFIG 13/11/20813/11/208

Objet

Point hors focus

Lens’ aperture

Lentille Capteur

Plan focal

[Levin et al 2007]

Point spread function

(90)

89

JFIG

JFIG 13/11/20813/11/208 Utilisation d'une ouverture codée

Lens with coded aperture

Objet Lentille Capteur

Plan focal

Point spread function

(91)

90

Entrée

(92)

91

Déconvoluée

(93)

(94)

93

JFIG

JFIG 13/11/20813/11/208

Champ lumineux / Light-Field - définitions ● Tous les rayons lumineux

– _{Émis par tout point d'une surface} – _{Émis dans toutes les directions}

(95)

94

JFIG

JFIG 13/11/20813/11/208 Notion de champ lumineux

Eurographics 2012: Davis, Levoy & Durand

● _Light-Field

– _{Lumière émise de toutes les positions et toutes les directions} – _{Dimensions :}

● _{4D pour des surfaces (2D x 2D pour les directions)}

● _{En général, pour chaque point de la scène : 5D}

Fonction plénoptique

● _{Applications :}

– _{Extension de la stéréographie (TV 3D & Co)} – _Microscopie

(96)

(97)

96

JFIG

JFIG 13/11/20813/11/208

Kodak 16-megapixel sensor

Grille de microlentilles

(98)

(99)

98

JFIG

JFIG 13/11/20813/11/208

(100)

99

JFIG

JFIG 13/11/20813/11/208

(101)

(102)

(103)

(104)

(105)

(106)

105 JFIG JFIG 13/11/20813/11/208 Image obtenue M an ak o v e t al . – S IG G R A P H 2 0 1 3

(107)

106

JFIG

JFIG 13/11/20813/11/208 Application 3: Light field

M an ak o v e t al . – S IG G R A P H 2 0 1 3

(108)

107

JFIG

JFIG 13/11/20813/11/208 Prototype actuel

Camera Filtres Kaleidoscope Diffuseur Objectif

(109)

(110)

(111)

(112)

(113)

(114)

113 JFIG JFIG 13/11/20813/11/208 Application 1: Imagerie HDR M an ak o v e t al . – S IG G R A P H 2 0 1 3

(115)

(116)

115

JFIG

JFIG 13/11/20813/11/208 Application 2: Imagerie « spectrale »

(117)

116

JFIG 13/11/208 - 116

Conclusion

6

(118)

117

JFIG

JFIG 13/11/20813/11/208 Résumé : les principaux concepts

● Plus qu’une simple couleur dans pixel

– _{Luminance le long de rayons (champ lumineux)}

– _{Étendu avec la notion de phase, temps, polarisation, spectre, …}

● Principes généraux

– _{Concevoir le système optique pour faciliter le problème inverse} – _{Multiple images avec différents}

● filtres, point de vue, ouverture, ….

– _{Reconstruction du champ de luminance}

(119)

118

JFIG

JFIG 13/11/20813/11/208

(120)

119

JFIG

JFIG 13/11/20813/11/208

Représentation unique : optique et numérique

(121)

Au-delà de l'imagerie traditionnelle: Intégration optique et informatique

Au-delà de

l’imagerie traditionnelle

Intégration optique et informatique

1.

Introduction

2.

L’exemple de la réalité augmentée spatiale

3.

Vers des grandeurs physiques : HDR

4.

Calibrer et optique non-conventionelle

5.

Vers le plénoptique

Introduction

Exemple de la réalité augmentée spatiale

2

Vers des grandeurs physiques : HDR

3

∑

∑

(

)

∑

∑

[

]

∑

∑

∑

|

|

∑

∑

∑

∑

∑

|

∑

∑

|

(

)

(

)

Calibrer et optique non-conventionnelle

4

Vers le plénoptique

Entrée

Déconvoluée

Conclusion

6

MERCI