Utilisation d’une pupille cod´ee pour favoriser l’estimation de profondeur

2.1.1.1 Etat de l’art´

Le terme de pupille cod´ee d´esigne l’ajout d’un masque binaire sur le trajet du faisceau lumineux. Ce masque pr´esente un ensemble de trous qui codent la forme de la FEP. Cette solution optique a ´et´e propos´ee dans la litt´erature pour diff´erentes applications et en parti- culier pour favoriser l’estimation de profondeur.

L’utilisation d’un masque cod´e a initialement ´et´e propos´ee pour l’imagerie utilisant des rayons X et gamma dans les domaines de l’astrophysique ou de l’imagerie m´edicale. En effet, la d´eviation des rayons pour ces longueurs d’onde est difficile avec les mat´eriaux tradition- nels tels que le verre ou le plastique, et il n’est donc pas possible de focaliser les faisceaux. Les premi`eres solutions pour ce type d’imagerie reposent donc sur l’utilisation d’un st´enop´e. L’ajout d’un masque cod´e `a la place de l’ouverture ponctuelle a ´et´e propos´e afin d’am´e- liorer le rapport signal `a bruit de l’image. Le traitement classique consiste `a effectuer une corr´elation de l’image acquise par le masque lui-mˆeme [Ables, 1968; Dicke, 1968]. En parti- culier, [Gottesman et Fenimore, 1989] d´eveloppent le syst`eme MURA (Modified Uniformly Redundant Arrays) dans lequel le masque est optimis´e pour avoir un large spectre ce qui permet de maximiser le contenu haute fr´equence de l’image restaur´ee.

Depuis quelques ann´ees, les pupilles cod´ees sont utilis´ees ´egalement en photographie pour des applications d’estimation de profondeur ou d’extension de profondeur de champ.

La pupille cod´ee a d’abord ´et´e propos´ee dans un contexte multi-images (MA-DFD). Dans [Hiura et Matsuyama, 1998] les auteurs utilisent une ouverture `a deux ou quatre trous

2.1 Pr´esentation des deux solutions optiques

rectangulaires et une s´erie d’images acquises avec diff´erentes positions du plan de mise au point. Dans [Zhou et Nayar, 2009a] est d´ecrit un crit`ere d’´evaluation de la performance d’estimation de profondeur pour deux pupilles, qui est d´eriv´e de l’expression du maximum a posteriori (MAP). [Farid et Simoncelli, 1998] proposent d’estimer la profondeur `a partir de deux acquisitions avec des pupilles ayant une variation continue de transmission. La premi`ere pupille a une intensit´e gaussienne et la seconde est la d´eriv´ee d’une gaussienne. Farid montre que le rapport entre la d´eriv´ee de l’image acquise avec la premi`ere pupille et l’image acquise avec la deuxi`eme pupille est proportionnelle `a la profondeur.

Comme discut´e dans le chapitre1`a la section1.1.2.6, les techniques issues du MA-DFD n´ecessitent l’acquisition de plusieurs images, donc une sc`ene statique ou l’utilisation de dispositifs particuliers qui augmentent l’encombrement de l’imageur. C’est pourquoi nous nous int´eressons dans la suite plutˆot au cas d’une seule acquisition, soit le cas SA-DFD.

Dans un contexte de SA-DFD, plusieurs articles utilisent une pupille cod´ee pour am´e- liorer la qualit´e de la reconstruction d’une image de grande profondeur de champ. Ainsi, [Veeraraghavan et al., 2007] proposent un masque ayant un spectre large bande afin de conserver le maximum d’information sur la sc`ene et am´eliorer le r´esultat de d´econvolution du flou de d´efocalisation. Par ailleurs, [Zhou et Nayar, 2009b] d´eveloppent un crit`ere d’opti- misation de la forme d’une pupille cod´ee qui minimise l’erreur de d´econvolution. D’un autre cˆot´e la pupille cod´ee est ´egalement utilis´ee pour favoriser l’estimation pr´ecise de la profon- deur dans le cas mono-image. Contrairement aux r´ef´erences pr´ec´edentes, l’objectif n’est plus d’´etendre le spectre du flou de d´efocalisation vers les hautes fr´equences mais de renforcer sa variation avec la profondeur. Dans [Levin et al., 2007b], le principe est de consid´erer qu’une modification de la profondeur de l’objet correspond `a un changement d’´echelle de la FEP de d´efocalisation, dans laquelle on retrouve la forme du masque cod´e plac´e au niveau de la pupille. Si la pupille est choisie pour que la FTM associ´ee poss`ede des z´eros, alors un changement de profondeur se traduit par un d´eplacement de la position de ces z´eros dans la FTM et ainsi, une position des z´eros devient caract´eristique d’une profondeur. Si la pr´esence de z´eros dans la FTM induit une perte d’information sur la sc`ene, elle permet une estimation plus pr´ecise du flou de d´efocalisation. Dans [Levin et al., 2007b] la pupille est optimis´ee en maximisant la distance de Kullback entre les FEP `a diff´erentes ´echelles et des comparaisons qualitatives sont fournies entre les images restaur´ees avec ou sans pupille co- d´ee. Levin ne donne cependant pas la pr´ecision d’estimation de profondeur obtenue avec ce type de pupille. Par ailleurs, dans [Morrison, 2011] une pupille cod´ee est construite `a partir d’un r´eseau zon´e de Fresnel en amplitude. Cette pupille est choisie en particulier car elle poss`ede diff´erents plans de focalisation ce qui permet `a la fois d’avoir une FEP variable avec la profondeur, grˆace aux plans de focalisation proches, mais de conserver une information haute fr´equence de la sc`ene, grˆace aux plans de focalisation ´eloign´es. Les pupilles associ´ees aux articles cit´es pr´ec´edemment sont pr´esent´ees `a la figure 2.1.

Dans les r´ef´erences pr´ec´edentes, les pupilles sont test´ees sur des images r´eelles mais la pr´ecision d’estimation de profondeur n’est pas souvent ´evalu´ee par rapport `a une v´erit´e terrain. Par contre, dans [Martinello et Favaro, 2011b] plusieurs des pupilles de la figure2.1 sont compar´ees en termes d’estimation de profondeur et de restauration d’image de grande profondeur de champ. Ces comparaisons sont conduites avec des FEP calibr´ees mais sur des images simul´ees et la pupille propos´ee par [Levin et al., 2007b] fait partie de celles permettant d’obtenir les meilleurs performances.

(a) (b) (c) (d) (e)

(f) (g) (h) (i) (j)

Fig. 2.1: Exemples de pupilles propos´ees dans la litt´erature :(a) [Gottesman et

Fenimore, 1989],(b) et (c)[Hiura et Matsuyama, 1998], (d) et (e)[Zhou et Nayar, 2009a], (f)[Veeraraghavan et al., 2007] , (g) et (h)[Zhou et Nayar, 2009b] pour deux niveaux de bruit diff´erents, (i)[Levin et al., 2007b], (j)[Morrison, 2011].

2.1.1.2 Limitations th´eoriques

Dans les r´ef´erences traitant de l’estimation de profondeur avec une pupille cod´ee dans le cas SA-DFD, tous les objets visibles de la sc`ene sont plac´es soit avant soit apr`es le plan de mise au point de l’imageur. En effet, il existe une ambigu¨ıt´e sur la valeur de la profondeur pour une taille de flou donn´ee. Cette ambigu¨ıt´e est illustr´ee `a la figure 2.2 qui repr´esente le module de la taille g´eom´etrique de la FEP, d´efinie dans l’´equation 1 de l’introduction rappel´ee ici : ǫ = 2Rddet  1 f − 1 p− 1 ddet  , (2.1) = f 2<sub>p</sub> 0 F<sub>/#</sub>(p0− f)  1 p0 − 1 p  (2.2) o`u p0 est la position du plan de mise au point dans l’espace objet, et F/# le nombre

d’ouverture. Cette figure illustre que pour une mˆeme taille de flou, il existe deux positions potentielles de l’objet. Ainsi, si un objet est plac´e avant le plan de mise au point et que le calibrage des FEP a ´et´e r´ealis´e de l’autre cˆot´e de ce plan, la profondeur estim´ee de cet objet sera aberrante. La figure2.3illustre ce ph´enom`ene. Cette image a ´et´e prise avec un appareil photographique num´erique dot´e d’une ouverture classique. La famille de FEP potentielles est constitu´ee de gaussiennes d’´ecart-type variant entre 0.1 et 3. Sur l’image, le plan de mise au point est situ´e sur l’objet plac´e au deuxi`eme plan et le deux objets du premier et dernier plan sont flous. Sur la carte de profondeur, l’objet du plan interm´ediaire pr´esente bien le flou le plus faible, mais l’objet du premier plan apparait comme l’objet ayant le flou le plus ´elev´e, donc pourrait ˆetre interpr´et´e comme l’objet le plus ´eloign´e.

Une solution pour r´esoudre cette ambigu¨ıt´e consiste `a utiliser une ouverture non sy- m´etrique, afin que la FEP ait une forme diff´erente de part et d’autre du plan de mise au point. Ceci permet d’agrandir la r´egion de l’espace o`u la profondeur peut ˆetre estim´ee. Cependant, dans [Levin et al., 2007b], il est montr´e qu’une pupille sym´etrique permet une meilleure discrimination de la profondeur.

2.1 Pr´esentation des deux solutions optiques Profondeur en m |ǫ | en p ix el 1 1.5 2 2.5 3 3.5 4 4.5 5 0 5 10 15 Profondeur en m |ǫ | en p ix el 1 1.5 2 2.5 3 3.5 4 4.5 5 0 5 10 15 (a) (b)

Fig. 2.2:Taille g´eom´etrique_{|ǫ| de la FEP en pixel pour un imageur de distance}

focale 20 mm, de nombre d’ouverture 3 et de pixels de 7 µm, pour une mise au

point `a 2 m. (a) Illustration de l’ambigu¨ıt´e sur l’estimation de profondeur. (b)

Illustration de la profondeur de la r´egion de l’espace o`u la profondeur ne peut ˆetre

estim´ee pr´ecis´ement. La r´egion en rouge correspond `a la zone o`u la variation de

la FEP n’est plus observable.

(a) _(b) 3 2 1 Inv 2.5 1.5 0.5

Fig. 2.3: Illustration d’une erreur d’estimation de profondeur li´ee `a l’ambigu¨ıt´e

du flou de d´efocalisation de part et d’autre du plan de mise au point. L’´echelle

de couleur correspond `a la largeur de l’´ecart-type des gaussiennes constituant la

famille de FEP.

Par ailleurs, il existe une r´egion de l’espace dans laquelle la variation de la FEP n’est pas observable. Cette r´egion correspond `a la profondeur de champ, o`u la dimension de la FEP est inf´erieure `a un pixel. Ainsi, la localisation pr´ecise d’un objet dans cette r´egion est impossible comme illustr´e `a la figure2.2(b). Notons que la courbe de taille de FEP pr´esent´ee correspond `a la taille g´eom´etrique et ne tient pas compte de la diffraction. Ainsi, la taille de la FEP dans cette r´egion ne s’annule pas, contrairement `a ce qu’indiquent les courbes de la figure2.2. N´eanmoins, comme la r´esolution de l’imageur est limit´ee par le d´etecteur, lorsque la taille de la FEP reste inf´erieure `a la taille du pixel sa variation avec la profondeur n’est pas mesurable.

Il existe donc deux limitations `a l’estimation de profondeur mono-image par pupille cod´ee, l’ambigu¨ıt´e de part et d’autre du plan de mise au point et une r´egion proche du plan

de mise au point, dans laquelle l’estimation est impr´ecise. Dans la section suivante, nous verrons que le chromatisme permet de r´esoudre ces limitations.