Mosaïque de filtres et démosaïçage

Nous introduisons les notions ayant amené à l’utilisation de mosaïques de filtres pour l’acquisition de l’image couleur d’une scène. Puis, nous présentons l’influence et la modé-lisation d’une telle mosaïque disposée sur un capteur d’image monochrome. Enfin, nous abordons la notion de démosaïçage.

Acquisition d’image couleur

La perception humaine des couleurs est obtenue à partir de cellules rétiniennes, appe-lées cônes, qui ont différentes sensibilités spectrales. Chez l’Homme, il y a trois types de cônes, qui ont permis d’introduire la notion de vision humaine des couleurs (trichromie). Chaque type de cône se différencie des autres par une absorption spectrale différente des rayons lumineux reçus et est classé selon la longueur d’onde correspondant à son maximum d’absorption. Il y a des cônes L, M et S, respectivement associés à des longueurs d’ondes dites Long, Medium et Short. Dans de faibles conditions d’éclairage, ce sont d’autres ré-cepteurs, appelés bâtonnets, qui prennent le relais pour permettre la perception d’une image en niveau de gris de la scène considérée. La figure suivante illustre les absorptions spectrales des cônes et bâtonnets dans la gamme des longueurs d’ondes dites visibles � [400nm; 700nm].

Fig 2.3: Absorption spectrale des cônes (courbes L, M et S) et des bâtonnets (courbe R) chez l’Homme. Image Wikipédia et courbes issues des mesures de Bowmaker et Dartnall [13].

Pour construire l’image couleur d’une scène, l’œil humain collecte les rayons lumineux provenant de celle-ci, à partir d’une répartition en mosaïque de ces différents types de cônes sur la rétine. Ceux-ci génèrent ensuite des signaux nerveux transmis par les nerfs optiques vers le cerveau qui effectue un traitement complexe de ces signaux afin de

consti-tuer une image couleur perçue de la scène considérée.

Pour enregistrer une image couleur, la majorité des systèmes d’imagerie existants effectuent un traitement algorithmique sur l’image acquise à partir de trois types de photorécepteurs répartis en mosaïque et sensibles à trois couleurs primaires : rouge, vert et bleu (RGB). Cette mosaïque de photorécepteurs RGB est généralement obtenue en disposant une mosaïque de filtres colorés R, G et B sur un capteur d’image monochrome. La figure suivante illustre une mosaïque de filtres, dite de Bayer, disposée sur un capteur et classiquement utilisée pour acquérir l’image couleur d’une scène.

Fig 2.4: Mosaïque de filtres dite de Bayer disposée sur un capteur d’image monochrome. Cette figure est empruntée à [22]

Ce dispositif permet d’acquérir une image, dite mosaïque, de la scène considérée, sur laquelle est appliqué un algorithme dit de démosaïçage, inspiré des traitements effectués par le cerveau, dont le rôle est de reconstituer trois images correspondant aux trois filtres colorés R, G et B utilisés dans cette mosaïque. Ce sont ces trois images qui peuvent ensuite être projetées, à partir d’un écran d’affichage RGB, afin de visualiser l’image en couleur acquise, de la scène considérée.

Pour garantir une acquisition fidèle de ces images RGB, la disposition et les réponses spectrales des filtres utilisés dans la mosaïque peuvent être optimisées à la manière de

Par-mar et Reeves [81] ou de Sadeghipoor et al. [94], en minimisant la différence entre l’image

couleur qui serait perçue à partir des images RGB acquises par le système d’imagerie considéré et celle qui serait directement perçue par un observateur humain de référence.

Il existe plusieurs techniques pour déposer une mosaïque de filtres colorés sur un cap-teur d’image monochrome. Nous détaillons dans l’annexe A.1 une technique, dite de dépôt de filtres couches minces optiques, qui est une des compétences technologiques du labora-toire CEA-Leti. Cette dernière peut permettre de constituer une mosaïque de filtres non conventionnelle, comme nous le souhaitons.

Nous décrivons maintenant l’influence d’une mosaïque de filtres sur l’image acquise par un capteur monochrome.

Modèle de mosaïque

Dans cette partie, nous illustrons et modélisons l’influence d’une mosaïque de filtres disposée sur un capteur d’image monochrome. Pour ce faire, on considère que les filtres spectraux utilisés ont des transmissions indépendantes de l’angle des rayons qui les tra-versent. Dans le cas d’un filtre fj(λ) entièrement réparti sur le capteur monochrome consi-déré, on peut exprimer l’image dite filtrée ifj(n, m) qui serait acquise par ce capteur, à partir de l’équation suivante :

i_fj(n, m) =^� f_j(λ).qe(λ).ig(n, m, λ)dλ + η(n, m) (2.5)

La réponse du filtre utilisé est simplement multipliée à la sensibilité spectrale du cap-teur.

La répartition des différents filtres colorés utilisés dans une mosaïque de filtres est gé-néralement constituée par répétition d’un même arrangement de filtres, appelé superpixel. La figure suivante illustre un exemple de capteur d’image revêtu d’une mosaïque obtenue à partir d’un superpixel constitué de six filtres colorés différents.

Fig 2.5: Capteur d’image revêtu d’une mosaïque de filtres définie par répétition d’un même superpixel.

En modifiant la réponse ou la position de chaque filtre dans le superpixel considéré, on peut ajuster la résolution spatiale et la gamme de couleurs accessibles par le capteur d’image revêtu de la mosaïque de filtres correspondante. D’où, par exemple, les publi-cations de Hirakawa et Wolfe [51], Parmar et Reeves [81] et Sadeghipoor et al. [94], qui visent à déterminer le superpixel permettant de reconstituer, par un algorithme dit de démosaïçage, la meilleure image couleur d’une scène.

Pour modéliser l’influence d’une mosaïque de filtres, nous introduisons le terme cfaq,r(n, m) qui permet de prendre en compte la position spatiale de chaque filtre coloré fq,r utilisé.

Ce terme est similaire à celui introduit par Alleysson et al. [3] pour modéliser la mosaïque de Bayer illustrée figure 2.4.

Ainsi, l’image mosaïque acquise peut s’exprimer comme suit :

s(n, m) = N_fq−1 � q=0 N�_fr−1 r=0 cf aq,r(n, m).^� fq,r(λ).qe(λ).ig(n, m, λ)dλ � �� � i_fq,r(n,m) + η(n, m) (2.6)

avec (q, r) les coordonnées discrètes d’un des filtres, dans le superpixel considéré. cfaq,r(n, m) est une image binaire discrète qui ne vaut 1 que pour les coordonnées (n, m) des pixels positionnés sous le filtre fq,r correspondant. Par application d’une somme discrète selon

q de 1 à Nfq et selon r de 1 à Nfr, on prend en compte la mosaïque de filtres entière. Nfq

et Nfr étant le nombre de filtres utilisés suivant chacune des dimensions du superpixel considéré.

Afin d’interpréter l’influence d’une mosaïque de filtres disposée sur le capteur, nous avons mis en évidence l’expression de l’image filtrée ifq,r(n, m), dans l’équation 2.6. Celle-ci représente l’image qui serait enregistrée si l’on positionnait le filtre de transmission spec-trale fq,r(λ) sur la surface entière du capteur d’image considéré. Notons que l’ensemble des images filtrées, qui sont dans notre cas au nombre de Nfq.Nfr, sont les images qu’un algorithme dit de démosaïçage cherche à estimer à partir de l’image mosaïque s(n, m) acquise.

Dans le cas d’une mosaïque de filtres composée à partir d’un superpixel carré de 3 × 3 pixels (Nfq = 3, Nfr = 3), on peut obtenir une formulation simple de cfaq,r(n, m).

cf a_q,r(n, m) = ¹₉^�1 + 2 cos^�2.π₃ (q − n)^{�� �}1 + 2 cos^�2.π₃ (r − m)^�� (2.7) Il est intéressant d’observer l’expression de cfaq,r(n, m) dans l’espace de Fourier, car celle-ci fait apparaître des Dirac centrés sur différentes fréquences spatiales. (Cf. dévelop-pement similaire effectué par Alleysson et al. [3], dans le cas d’une mosaïque de Bayer.)

� cf a_q,r(fn, fm) = ¹₉ ^�1 g=−1 h=−1 δ � fn+^g₃, fm+ ^h₃ � e^j2π3 (qg+rh) (2.8)

Dans cet espace, la multiplication spatiale cfaq,r(n, m).ifq,r(n, m) équation 2.6, devient une convolution par _{cf a}�_q,r(fn, fm) selon (fn, fm).

ˆs(fn, fm) est donc donnée par la sommation de neuf répliques, différemment déphasées en fréquence, des images filtrées ˆifq,r(fn, fm).

ˆs(fn, fm) = ^�2 q=0 r=0 � cf a_q,r(fn, fm) ⊗fn,fmˆifq,r(fn, fm) + ˆη(fn, fm) = ¹₉^�2 q=0 r=0 1 � g=−1 h=−1 ˆi_fq,r^�fn+ ^g₃, fm+ ^h₃ � .e^j2π3 (qg+rh) + ˆη(fn, fm) (2.9)

Une mosaïque étant généralement utilisée pour déterminer une estimation des images filtrées ifq,r(n, m), à partir d’un algorithme dit de démosaïçage, dont le principe est décrit dans la partie suivante, il est important de tenir compte des repliements spectraux qui peuvent être induits par celle-ci. En effet, dans le cas d’images filtrées ayant une répartition fréquentielle |ˆifq,r(fn, fm)| schématisée comme suit, la répartition fréquentielle |ˆs(fn, fm)| de l’image mosaïque correspondante est répartie selon le schéma figure 2.7.

Fig 2.6: Schéma de la répartition fréquentielle ˆifq,r(fn, fm) d’un exemple d’image filtrée.

Dans cet exemple, on considère que les images filtrées, correspondant aux filtres utili-sés, ont la même répartition fréquentielle. Dans celle-ci, les fréquences limites fln et flm

sont critiques, puisqu’elles conditionnent les recouvrements ou les non-recouvrements de spectre qui peuvent avoir lieu dans l’image |ˆs(fn, fm)|.

Fig 2.7: Répartition fréquentielle de l’image mosaïque ˆs(fn, fm) correspondante, pour un superpixel de 3 × 3 filtres.

Dans le cas d’un superpixel 3×3 la fréquence limite de recouvrement est flnr = 1 6 selon les fréquences horizontales fn. Il en est de même pour les fréquences verticales flmr = 1

6. Dans le cas où fln > flnr ou flm > flmr, un algorithme de démosaïçage introduira des artéfacts dans les images filtrées estimées. Un tel algorithme doit donc prendre en compte ces limites fréquentielles afin d’estimer au mieux les images filtrées ifq,r(n, m), tout en produisant le moins d’artéfacts possible.

Cette partie est inspirée de la publication de Alleysson et al. [4], qui traite le problème d’un démosaïçage appliqué à une image acquise à partir d’une mosaïque de Bayer (repré-sentée figure 2.4). Dans cette publication, il est montré que les composantes fréquentielles ˆi_fq,r(fn, fm) des images filtrées R, G et B correspondantes se répartissent comme suit.

Fig 2.8: Répartition fréquentielle d’une image mosaïque acquise dans le cas d’une mosaïque de Bayer. Cette figure est empruntée à [3]

Pour retrouver au mieux les images RGB complètes, une méthode de démosaïçage est proposée par Alleysson et al. [3],[4]. Celle-ci est basée sur la détermination de filtres fré-quentiels à appliquer sur l’image mosaïque, dont le but est de récupérer dans le spectre de ˆs(fn, f_m) les données fréquentielles contenant de l’information sur les différentes images filtrées à reconstruire.

Dans notre cas, nous devons utiliser un algorithme de démosaïçage pouvant prendre en compte n’importe quel type de superpixel. La mosaïque de filtres que nous souhaitons utiliser étant non conventionnelle (différente d’une mosaïque de Bayer classique). Celui-ci est décrit dans la partie suivante.

Démosaïçage

Comme nous l’avons vu, une mosaïque de filtres a pour conséquence de créer des repliements, qui dépendent du superpixel utilisé, dans le spectre fréquentiel de l’image mosaïque acquise. Le but d’un algorithme de démosaïçage est donc d’utiliser le contenu fréquentiel dans ces repliements, de manière à reconstituer au mieux les images filtrées

ifq,r(n, m) correspondant à chacun des filtres du superpixel considéré. Un état de l’art des algorithmes de démosaïçage publiés jusqu’en 2005 est présenté par Alleysson [22].

Dans notre cas, nous avons utilisé la méthode de démosaïçage de De Lavarene et

al. [23], initialement établie pour une mosaïque RGB de Bayer. Nous avons choisi cette

méthode, car elle est efficace et ajustable à n’importe quel type de mosaïque. Ce qui est pour nous un grand avantage puisque nous considérons un système d’imagerie utilisant une mosaïque non conventionnelle, composée de Nf filtres spectraux à définir.

Cette méthode utilise un modèle matriciel linéaire pour simuler le processus de forma-tion d’une image mosaïque à partir des images filtrées correspondantes et pour déterminer un filtre linéaire de démosaïçage GDem.

Fig 2.9: Formalisme matriciel utilisé par De Lavarene et al. [23], pour déterminer le filtre linéaire de démosaïçage GDem. Cette figure est empruntée à [23]

avec X la matrice contenant l’image mosaïque obtenue à partir d’une multiplication entre la matrice Y contenant les images filtrées RGB et une matrice de sélection binaire P r. Cette dernière permet de prendre en compte la position spatiale de chaque filtre dans la mosaïque considérée, comme l’image notée cfa dans l’équation 2.6.

En considérant ce formalisme, le rôle d’un algorithme de démosaïçage est d’effectuer une estimation Yest de Y à partir des valeurs de l’image mosaïque acquise contenues dans

X. Pour effectuer cette estimation, De Lavarene et al. [23] considèrent l’existence d’une matrice de démosaïçage GDem qui permet d’effectuer l’opération suivante :

Yest = GDem.X (2.10)

où GDemest une matrice de démosaïçage multipliée à X pour calculer Yest. Cette dernière étant composée d’une estimation des images filtrées RGB souhaitées.

Cependant, pour obtenir Yest, il faut disposer de GDem. Cette matrice est donc calculée, dans un premier temps, en minimisant l’erreur quadratique Q suivante :

Q= E Y � �Y − Yest�^2� = E Y � �Y − GDem.X�^2� (2.11)

où l’espérance mathématique E permet de prendre en compte des images filtrées RGB et des images mosaïques issues d’une base de données de référence.

Q étant strictement convexe en fonction de GDem, son minimum est donné pour

∂Q

∂GDem = 0. Ce calcul de dérivation permet d’obtenir l’expression matricielle de GDem

aux moindres carrés, à partir de matrices X et Y issues des images de la base de données utilisée. Le choix de cette base est important puisque les formes des filtres de démosaï-çage, contenus dans GDem, sont adaptées à la répartition fréquentielle des images qui la composent.

GDem =^�_E^�Y X^{T�� �}E^�XX^T��−1 (2.12)

Dans le cas du formalisme figure 2.9, la matrice GDem peut être décomposée en douze sous-matrices. Chacune d’elles étant associée à un filtre numérique appliqué sur l’image mosaïque, par l’intermédiaire du calcul équation 2.10, afin d’estimer les valeurs des pixels

de couleur manquants dans l’image mosaïque. La figure suivante illustre la réponse fré-quentielle de huit de ces filtres qui composent GDem.

Fig 2.10: Filtres contenus dans la matrice GDem, déterminée aux moindres carrés dans le cas d’une mosaïque de Bayer. Cette figure est empruntée à [23]

Par exemple on voit dans la figure 2.10 (a) que, pour estimer à la position 1 (qui cor-respond à un filtre rouge figure 2.9) la valeur des pixels vert et bleu manquants, les filtres numériques correspondants dans GDem vont directement utiliser des zones fréquentielles contenant de l’information sur ces couleurs manquantes, comme illustré figure 2.8.

La partie suivante définit les calculs effectués pour simuler la réponse impulsionnelle d’un système optique, en prenant en compte les phénomènes de diffraction. Ces simu-lations prennent aussi en compte l’échantillonnage capteur, en fournissant la réponse impulsionnelle discrétisée, selon les pixels du capteur d’image considéré.