Restauration de l’image RVB

Le deuxi`eme point n´eglig´e dans l’analyse men´ee dans ce chapitre concerne la qualit´e des images RVB produites par l’imageur. En effet, l’accentuation du chromatisme, ou simple- ment sa non correction, r´eduit la qualit´e de l’image couleur car chaque canal poss`ede son propre plan de mise au point. Pour restaurer l’image nette, une piste de travail est d’utiliser la m´ethode d’extension de profondeur de champ propos´ee dans [Guichard et al., 2009]. Le principe est de transf´erer les informations hautes fr´equences du canal le plus net vers les canaux les plus flous. Pour cela, les auteurs d´eterminent le canal le plus net par un crit`ere de nettet´e de la forme :

Mi(m0, n0) = |∇yi

(m, n)_{− ∇y}i(m0, n0)|

∇yi(m0, n0)

, (2.33)

o`u i renvoie au canal R,V ou B. Le transfert de fr´equence est r´ealis´e par une op´eration du type :

yi,out = yi,in+ ai,RHPi,R(yR) + ai,VHPi,V(yV) + ai,BHPi,B(yB), (2.34)

o`u HPi,j correspond `a un filtre passe haut appliqu´e sur le canal j et ajout´e au canal i. Dans

[Guichard et al., 2009] les coefficients ai,j et les filtres HPi,j sont d´etermin´es par calibrage

en fonction de param`etres tels que la position dans l’image, la profondeur ou l’illumination. Nous avons test´e la m´ethode du transfert de fr´equence sur les images obtenues avec l’imageur chromatique. Cependant, nous fixons les poids sur chaque canal en utilisant la carte de profondeur obtenue avec l’algorithme SAC-GLDFD. De plus, le filtrage haute fr´equence est identique dans les trois canaux. Ainsi, l’´equation (2.34) devient :

yi,out= yi,in+ ap,RHP(yR) + ap,VHP(yV) + ap,BHP(yB). (2.35)

Les coefficients ap,i sont choisis de mani`ere tr`es simple en fonction de la valeur de la profon-

deur p de la carte de profondeur. Ainsi, ap,i est ´elev´e lorsque p est proche du plan de mise

au point du canal i, puis d´ecroit par morceaux lorsque p s’´eloigne de ce plan. La figure2.37 illustre les valeurs des coefficients choisis.

La figure 2.38 pr´esente les r´esultats obtenus en utilisant les cartes de profondeur pr´e- sent´ees dans le chapitre 2 page 89. Il existe une nette am´elioration de l’image RVB apr`es un transfert de fr´equence, mˆeme avec un choix tr`es basique des coefficients ad,B sans ca-

librage. Une ´etude plus approfondie du choix de ces coefficients permettrait certainement d’am´eliorer encore la r´esolution de l’image restaur´ee. Nous pouvons toutefois remarquer que la restauration de l’image pr´esente des discontinuit´es locales qui sont li´ees aux variations locale de la carte de profondeur. Une r´egularisation de cette carte permettrait de r´eduire ces discontinuit´es.

Le transfert de fr´equence est donc une piste int´eressante pour am´eliorer la qualit´e de l’image RVB. Cette m´ethode est tr`es rapide et nous avons obtenu un gain apparent de la qualit´e de l’image, mˆeme avec une impl´ementation tr`es basique de cette m´ethode. Un

Distance en m (a) Distance en m (b) Distance en m (c) 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 0 0.2 0.4 0.6 0.8 1 0 0.2 0.4 0.6 0.8 1 0 0.2 0.4 0.6 0.8 1

Fig. 2.37:Variation des coefficients (a) ap,B, (b) ap,V et (c) ap,V avec la profon-

deur.

(a) (b)

Fig. 2.38: (a) Image RVB non corrig´ee. (b) Image RVB apr`es transfert de fr´e-

quence suivant l’´equation (2.35).

choix plus fin des coefficients de pond´erations lors du transfert de fr´equence, ainsi qu’une r´egularisation de la carte de profondeur sont deux aspects `a d´evelopper pour am´eliorer encore la qualit´e de l’image couleur.

Il faut toutefois noter qu’il existe des profondeurs pour lesquelles les trois canaux sont flous. C’est le cas notamment pour des profondeurs tr`es proches ou tr`es ´eloign´ees de l’ima- geur. Dans ce cas, le transfert de fr´equence ne sera pas performant et il faut alors envisager un traitement de d´econvolution. Grˆace `a l’estimation pr´ealable de la profondeur et donc de la FEP, cette d´econvolution n’est pas aveugle, ce qui facilite grandement la restaura- tion. Une m´ethode de restauration d’image couleur issue d’un d´etecteur couleur pr´esentant un filtre de Bayer, comme celle propos´ee dans [Soulez et Thi´ebaut, 2009], peut alors ˆetre envisag´ee.

2.5 Conclusion

2.5

Conclusion

Dans ce chapitre nous avons ´evalu´e exp´erimentalement deux prototypes d’imageur as- sociant nos algorithmes et des optiques favorisant l’estimation de profondeur. Une premi`ere contribution est la caract´erisation des performances d’estimation de profondeur d’un ima- geur muni d’une pupille cod´ee sur des images r´eelles et des cartes de profondeurs compar´ees `

a une v´erit´e terrain. Avec notre prototype, la pupille cod´ee propos´ee dans [Levin et al., 2007b] am´eliore la pr´ecision d’estimation de profondeur par rapport `a un imageur classique, et l’´ecart-type exp´erimental varie entre 5 cm `a 1.8 m et 10 cm `a 2.8 m.

Mais la contribution principale de ce chapitre est le d´eveloppement d’un imageur 3D exploitant le chromatisme. Cette solution avait ´et´e propos´ee dans la litt´erature, mais n’avait `

a notre connaissance abouti `a aucune r´ealisation exp´erimentale d´emontr´ee sur des images r´eelles couleurs. Pour ce faire, nous avons ´etendu l’algorithme GLDFD tout d’abord dans le cas d’acquisitions multiples ce qui a donn´e lieu `a l’algorithme MA-GLDFD, puis dans le cas du traitement d’images produites par un imageur chromatique, ce qui a donn´e lieu `

a l’algorithme SAC-GLDFD. La diff´erence principale entre ces deux extensions concerne la prise en compte de la corr´elation partielle des sc`enes `a l’origine des images RVB dans le cas SAC-DFD. L’algorithme SAC-GLDFD a ´et´e valid´e sur des images simul´ees puis sur des images r´eelles produites par un prototype d’imageur chromatique d´evelopp´e en collaboration avec l’IOGS. Ces tests ont permis d’obtenir un ´ecart-type d’estimation de profondeur sur l’axe inf´erieur `a 5 cm autour de 1 m et de 10 cm `a 3 m. L’estimation de profondeur fonctionne aussi bien pour des sc`enes couleurs que pour des sc`enes en noir et blanc, et pour diff´erents types de texture, ce qui illustre la robustesse de l’algorithme SAC-GLDFD.

L’objectif de ce chapitre n’´etait pas de comparer directement les pr´ecisions obtenues avec les deux solutions optiques, car les caract´eristiques des deux prototypes utilis´es sont tr`es diff´erentes en termes de distance focale, d’ouverture et de qualit´e image et il est d´elicat de faire une comparaison qui puisse ˆetre juste. L’objectif principal de ce chapitre ´etait de valider des concepts optiques propos´es dans la litt´erature. Cependant, nous pouvons toute- fois remarquer que l’imageur chromatique a permis d’obtenir une pr´ecision acceptable sur une plus large plage de profondeur et pour une vari´et´e plus importante de sc`enes que l’ima- geur `a pupille cod´ee. De plus, l’imageur chromatique est moins encombrant que l’imageur `

a pupille cod´ee, compos´e d’un appareil photographique num´erique.

Dans ce chapitre a ´et´e r´ealis´ee une ´evaluation exp´erimentale des performances d’esti- mation de profondeur de deux prototypes de nature diff´erente. Cependant, pour concevoir un imageur `a capacit´e 3D, des comparaisons empiriques entre de nombreuses configura- tions exp´erimentales sont difficilement envisageables. Un outil th´eorique de mod´elisation de la pr´ecision d’un imageur est nettement pr´ef´erable, si il permet de pr´edire `a moindre coˆut et avec une bonne fiabilit´e la pr´ecision d’un imageur monovoie passif achromatique ou chromatique, pour diff´erentes configurations. Le travail de mod´elisation de la performance d’estimation de profondeur fait l’objet du chapitre3.

3

Mod´elisation de la pr´ecision d’estimation de

profondeur d’un imageur monovoie passif

Dans le chapitre2, nous avons ´etudi´e les performances d’estimation de profondeur em- piriques de deux prototypes, `a savoir un imageur classique muni d’une ouverture cod´ee et un imageur chromatique. Les mesures de la pr´ecision empirique ont ´et´e effectu´ees dans une configuration donn´ee de chaque imageur, or pour faire de la co-conception nous avons besoin de pouvoir comparer les performances d’imageurs en faisant varier librement des param`etres tels que la mise au point, le nombre d’ouverture ou la forme de la pupille. Une ´etude empirique de chaque configuration n’est donc pas envisageable. C’est pourquoi nous avons d´evelopp´e un mod`ele de performance qui permet de caract´eriser la pr´ecision d’estima- tionde profondeur th´eorique d’une large famille d’imageurs. Ce mod`ele est pr´esent´e dans ce chapitre. Il repose sur un calcul original de la borne de Cram´er Rao (BCR) associ´ee `a l’esti- mation de la profondeur en DFD dans le cadre d´efini au chapitre1. Ce mod`ele est pr´esent´e pour le cas d’une seule acquisition (SA-DFD), de multiples acquisitions de la mˆeme sc`ene (MA-DFD) ou d’une acquisition produite par un imageur chromatique (SAC-DFD). Tout au long du chapitre nous pr´esentons des exp´erimentations `a l’appui des r´esultats th´eoriques, afin de v´erifier le caract`ere pr´edictif de notre mod`ele au-del`a du mod`ele a priori gaussien, sur des sc`enes naturelles. Nous montrons alors que si la borne th´eorique n’est pas atteinte, les configurations les plus favorables selon la th´eorie correspondent effectivement `a celles qui obtiennent la meilleure pr´ecision exp´erimentale. Ces r´esultats nous incitent `a utiliser notre mod`ele de performance dans une phase de conception d’un imageur pour des comparaisons entre plusieurs configurations ou r´eglages. Nous pr´esentons deux comparaisons de ce type en fin de chapitre, illustrant le potentiel de la SAC-DFD.

Organisation du chapitre

Dans la premi`ere partie de ce chapitre, nous pr´esentons les approches d´evelopp´ees dans la litt´erature pour mod´eliser la performance des syst`emes estimant la profondeur `a partir du flou de d´efocalisation. Ces approches ont pour d´efauts qu’elles ne permettent pas de mod´eliser des cas tels que l’utilisation d’une pupille cod´ee ou le cas d’un imageur chro- matique et qu’elles ne prennent pas en compte les aspects algorithmiques de l’estimation. Nous proposons ensuite plusieurs m´ethodes de calcul de la BCR dans le cas SA-DFD et puis nous utilisons cette borne pour interpr´eter la pr´ecision d’estimation de profondeur d’un

imageur conventionnel. Les pr´evisions de performance th´eoriques sont ensuite compar´ees `a l’´ecart-type exp´erimental obtenu avec l’algorithme GLDFD, d´ecrit dans le chapitre 1, sur des images simul´ees puis sur des images r´eelles produites par un imageur conventionnel. Nous ´etudions ´egalement, d’un point de vue th´eorique et exp´erimental, la pr´ecision d’esti- mation de profondeur obtenue avec un imageur muni d’une pupille cod´ee. Nous ´etendons ensuite la mod´elisation de la pr´ecision d´evelopp´ee dans le cas SA-DFD aux cas MA-DFD puis SAC-DFD, en comparant, dans la mesure du possible, les valeurs de l’´ecart-type mi- nimal th´eorique donn´e par la BCR avec celles de l’´ecart-type empirique obtenues par les algorithmes MA-GLDFD et SAC-GLDFD sur des images simul´ees et r´eelles. Certains com- pl´ements permettant d’affiner le calcul de la BCR sont pr´esent´es ensuite, et nous montrons que leur effet peut ˆetre n´eglig´e dans une premi`ere analyse. La derni`ere partie de ce chapitre aborde la comparaison th´eorique de la performance d’estimation de profondeur de plusieurs imageurs qui souligne l’int´erˆet de l’estimation par SAC-DFD.

3.1

Etat de l’art´

Dans cet ´etat de l’art sont cit´es les articles pr´esentant des mod`eles de la pr´ecision d’es- timation de profondeur des m´ethodes reposant sur l’estimation du flou de d´efocalisation. Les mod`eles informationnels tels que ceux utilis´es dans [Martinello et Favaro, 2011b; Levin et al., 2007b; Zhou et Nayar, 2009a] ne sont pas consid´er´es ici car si ils permettent de com- parer la performance de diff´erents syst`emes, il ne s’agit pas de crit`eres objectifs caract´erisant la pr´ecision d’estimation de profondeur.