Processus d’inversion simplifié

Il est complexe de déterminer un espace dans lequel l’écriture matricielle de notre modèle équation 4.2 favorise le calcul de MAP équation 4.13. Une des solutions facilitant ce calcul consiste généralement à exprimer l’équation de notre modèle système dans l’espace de Fourier, afin de profiter de la transformation des produits de convolution utilisés dans l’espace image en produits terme à terme. Cette transformation est utilisée dans bon nombre de méthodes classiques de déconvolution, comme celle présentée par Levin et al. [54], pour simplifier les calculs d’inverses matriciels nécessaires. Cependant, dans notre cas, quel que soit l’espace image ou de Fourier dans lequel nous exprimons notre modèle, il y a toujours un produit de convolution respectivement appliqué par la réponse impulsionnelle du système optique considéré ou par la transformée de Fourier du terme de mosaïçage

cfaq,r(n, m). Or, dans ces deux espaces, les matrices en jeu sont trop grandes pour pouvoir appliquer directement le processus d’inversion matriciel général équation 4.13.

C’est pourquoi nous avons déterminé le processus d’inversion simplifié présenté dans cette partie. Celui-ci utilise les mêmes données en entrée et en sortie que le processus général, mais est constitué d’un algorithme de démosaïçage appliqué avant l’exécution d’un calcul de MAP simplifié. Ce qui lui permet d’avoir les mêmes données d’entrée et de sortie que le processus général précédent, tout en nécessitant l’exécution de calculs matriciels plus simples.

Dans ce nouveau processus, nous proposons donc d’appliquer au préalable un algo-rithme de démosaïçage, afin de compenser le filtrage effectué par l’élément cfaq,r(n, m). On obtient ainsi des estimations de Nf images dites filtrées, que l’on peut considérer indé-pendantes du terme de mosaïçage cfaq,r(n, m). Puis, en transposant celles-ci dans l’espace de Fourier, on obtient des images fréquentielles dont les expressions ne contiennent plus de produit de convolution. C’est ce qui nous a permis, en utilisant de nouvelles hypothèses statistiques du bruit, d’effectuer un nouveau calcul de MAP défini à partir de matrices bien moins complexes que celles utilisées dans le processus général.

Dans la partie suivante, nous illustrons l’influence d’une mosaïque de filtres disposée sur capteur d’image et décrivons le principe des algorithmes de démosaïçage.

Influence spatiale d’une mosaïque et rôle du démosaïçage

Comme nous l’avons présenté dans la partie 2.1.2, une image dite mosaïque est acquise à partir d’un système d’imagerie utilisant un capteur d’image revêtu d’une mosaïque de filtres. L’expression de celle-ci, en fonction des paramètres du système d’imagerie et de la scène considérés, est la suivante.

s^D(n, m) = N_fq−1 N�_fr−1 q=0 r=0 cf aq,r(n, m)^�Nλ l=1 fq,r(l) qe (l) PSFD SOCL(n, m, l) �n,mig(n, m, l) � �� � iD fq,r(n,m) + η (n, m) (4.15) Dans cette équation, l’influence de la mosaïque de filtres utilisée est modélisée à partir des éléments cfaq,r(n, m) et fq,r(l). fq,r(l) est la transmission spectrale du filtre (q, r) considéré. Et cfaq,r(n, m) une image binaire qui ne vaut 1 que pour les pixels au-dessus desquels un filtre fq,r(l) est disposé, selon la mosaïque de filtres considérée. Celle-ci effectue donc un sous-échantillonnage de l’image dite filtrée iD

fq,r(n, m).

L’image mosaïque résultante sD(n, m) est donc un sous-échantillonnage de l’ensemble des images filtrées iD

fq,r(n, m) obtenues pour q ∈^�1; Nfq �

et r ∈ [1; Nfr].

Ainsi, à partir de sD(n, m), le rôle d’un algorithme de démosaïçage est de compenser au mieux l’influence des images cfaq,r(n, m), afin d’estimer l’ensemble des images filtrées

iD

fq,r(n, m) correspondantes, et ce, pour chaque q ∈^�1; Nfq �

et r ∈ [1; Nfr].

Pour ce faire, il existe de nombreuses méthodes de démosaïçage. Elles ont été décrites jusqu’en 2005 par Alleysson [22]. Celles-ci vont de l’interpolation bilinéaire des valeurs de l’image mosaïque acquise, à la prise en compte des formes et teintes dominantes dans les images filtrées à estimer, en passant par l’utilisation de filtres linéaires dits de démo-saïçage. Ces derniers sont généralement calculés par la minimisation d’un critère de coût établi à partir d’un modèle de formation d’image [23] ou par une sélection adaptée de fréquences spatiales [4]. Les plus récentes publications, [51], [63], [81], [106] [19] et [94], proposent des méthodes pour déterminer conjointement la mosaïque de filtres et les filtres de démosaïçage permettant d’estimer de manière optimale les images iD

fq,r(n, m), à partir d’une image mosaïque sD(n, m).

Pour mettre en évidence le fonctionnement d’un algorithme de démosaïçage, nous avons réalisé des études fréquentielles similaires à celles effectuées par Alleysson et al. [4]. Dans cette publication a été définie une procédure permettant de déterminer et d’interpré-ter la répartition fréquentielle théorique d’une image mosaïque, en fonction du superpixel utilisé et de la scène considérée.

Influence fréquentielle d’une mosaïque

À partir de cette procédure et de l’équation 4.15 de notre modèle système, nous avons pu déterminer la répartition fréquentielle théorique d’une image mosaïque sD(n, m) dans l’exemple d’un superpixel 3 × 3. Celle-ci est notée ˆsD(fn, fm) et obtenue en effectuant la transformée de Fourier de notre équation système 4.15, dans laquelle est intégré le terme de mosaïçage suivant : cf aq,r(n, m) = ¹ 9 � 1 + 2 cos^�2.π 3 (q − n)^{�� �}1 + 2 cos^�2.π 3 (r − m)^�� (4.16) Ce terme a été établi dans la partie 2.1.2. Il correspond au sous-échantillonnage ef-fectué par un superpixel 3 × 3. Avec (q, r) ∈ {0; 1; 2} qui sont les coordonnées dans le superpixel considéré.

En calculant la transformée de Fourier de l’équation 4.15, on obtient l’expression suivante : ˆsD(fn, fm) = ¹ 9 1 � g=−1 h=−1 2 � q=0 r=0 ˆiD fq,r � fn+ ^g 3^{, f}m+^h 3 � .e^j2π3 (qg+rh) � �� � ˆsD g,h(fn,fm) + ˆη(fn, fm) (4.17)

Cette expression est donnée pour des fréquences spatiales normalisées entre^�₋¹₂;¹₂^�. La répartition fréquentielle d’une image mosaïque acquise à partir d’un superpixel 3 × 3 est donc donnée par l’addition de neuf répliques fréquentielles, chacune notée ˆsD

g,h(fn, fm). Avec (g, h) ∈ {−1; 0; 1} les coordonnées qui définissent les fréquences nor-malisées (g/3, h/3) autour desquelles chacune de ces répliques est centrée. Notons que celles-ci sont directement issues du sous-échantillonnage spatial des images filtrées à esti-mer.

La figure suivante illustre les répartitions fréquentielles d’images mosaïques obtenues pour des superpixels et des systèmes optiques différents, ainsi que pour une scène composée d’un objet plan simulé à différentes distances.

Fig 4.5: Module normalisé de la transformée de Fourier d’images mosaïques obtenues pour deux superpixels différents, dans le cas d’un système d’imagerie "Pinhole" et d’un système d’imagerie utilisant un SOCL. Pour ce dernier, un objet plan a été simulé à trois profondeurs différentes.

Dans la première colonne un système d’imagerie "Pinhole" est considéré. Dans ce cas, les images obtenues ont une profondeur de champ étendue et sont indépendantes de la dis-tance des objets considérés. Les trois colonnes suivantes représentent des données obtenues dans le cas d’un système d’imagerie utilisant un SOCL, pour un objet plan respectivement à 1m, 1, 5m et 2m du centre optique. Notons que le SOCL considéré est ouvert à f�� 5 et focalise à D = 1m pour λ = 400nm et à environ D = 2m pour λ = 750nm. La première ligne représente les images couleur obtenues pour les paramètres correspondant à la co-lonne considérée. Les deux dernières lignes représentent les répartitions fréquentielles des images mosaïques obtenues à partir de ces différents paramètres, pour deux superpixels différents. La deuxième ligne correspond à un superpixel de Bayer et la troisième à un superpixel composé de 3×3 filtres différents. Notons que ces simulations ont été effectuées sans bruit ˆη(fm, fn) = 0.

Les résultats illustrés pour un superpixel 3 × 3 confirment l’équation de répartition fréquentielle 4.17 déterminée précédemment. Il y a bien neuf répliques fréquentielles for-mées à partir des images filtrées correspondantes. Dans le cas d’un système d’imagerie

"Pinhole", ces images ont une répartition fréquentielle étendue qui justifie le

recouvre-ment entre les différentes répliques. Par contre, dans le cas d’un SOCL, les images filtrées obtenues résultent d’un filtrage spectral mais aussi d’un filtrage passe-bas spatial

propor-tionel à la profondeur objet. Ce qui explique qu’elles aient un contenu fréquentiel moins important et dépendant de la profondeur de l’objet considéré. Les répliques fréquentielles obtenues dans ce cas sont donc moins étendues et se recouvrent moins. Par contre, elles dépendent de la profondeur objet, ce qui peut justifier une prise en compte de celle-ci lors de l’optimisation des filtres de démosaïçage à utiliser.

On peut aussi remarquer que la réplique centrale est de plus grande largeur de bande que les huit autres répliques fréquentielles. Ceci confirme l’idée que l’image de luminance qui correspond à cette réplique centrale, occupe une plus grande place dans la représen-tation fréquentielle d’une image mosaïque.

Des interprétations similaires peuvent être effectuées dans le cas d’un superpixel de Bayer. Les répartitions fréquentielles des images mosaïques obtenues, illustrées dans cette figure, sont décrites de manière théorique par Alleysson et al. [4].

Dans la partie suivante, nous décrivons l’algorithme de démosaïçage utilisé pour esti-mer les images filtrées souhaitées.

Méthode de démosaïçage utilisée

Le rôle d’un algorithme de démosaïçage est d’exploiter le contenu des différentes ré-pliques fréquentielles de l’image mosaïque utilisée, pour estimer les images filtrées corres-pondantes. Dans certaines conditions, celles-ci peuvent être parfaitement reconstituées. Effectivement, si le spectre fréquentiel de l’image mosaïque considérée est constitué de dif-férentes répliques qui ne se recouvrent pas et que le bruit capteur est nul ˆη(fm, fn) = 0, alors ces différentes répliques peuvent être utilisées comme autant observations différentes du spectre fréquentiel des images filtrées à estimer. Chaque réplique étant théoriquement le résultat d’une sommation pondérée différente du spectre de chacune de ces images, comme le montre l’équation 4.17.

Par contre, s’il y a maintenant du recouvrement fréquentiel entre ces différentes ré-pliques, il devient plus complexe d’obtenir de bonnes estimations dans les hautes fré-quences spatiales. En effet, si l’algorithme de démosaïçage utilisé cherche récupérer de l’information dans une zone de recouvrement, les images filtrées estimées vont conte-nir des interférences proportionnelles aux fréquences de recouvrement correspondantes, comme l’expliquent Alleysson et al. [4]. L’ensemble des zones de recouvrement forment donc des limites fréquentielles d’estimation pour un algorithme de démosaïçage.

De plus, si l’image mosaïque utilisée contient du bruit capteur ˆη(fm, fn) �= 0, il faut prendre également en compte, en plus de cette limite de recouvrement, le niveau de celui-ci par rapport à celui du signal image à estimer. Si l’algorithme de démosaïçage considéré utilise de l’information du spectre fréquentiel de l’image mosaïque considérée à des fré-quences pour lesquelles ˆsD(fn, fm) � ˆη(fm, fn), le bruit est susceptible d’être amplifié. Ce qui peut détériorer les estimations obtenues. C’est pourquoi nous avons souhaité uti-liser un algorithme permettant de prendre facilement en compte différents paramètres de bruit capteur et/ou différents niveaux d’intensité image. Dans ces conditions, l’algorithme de démosaïçage simple et flexible, décrit par De Lavarene et al. [23] est particulièrement adapté. Celui-ci est présenté dans la partie 2.1.2 du chapitre 2.

Nous avons appliqué préalablement cet algorithme afin de passer d’un espace image mosaïque à un espace d’images filtrées proche de l’espace SOCLf réel représenté figure 4.1. Celui-ci présente l’avantage de s’appliquer par la simple multiplication d’une matrice dite de démosaïçage GDem sur une matrice SD

V V. Cette dernière étant formée à partir de valeurs provenant de différents voisinages prélevés dans l’image mosaïque sD(n, m). GDem, laquelle est composée de filtres linéaires qui permettent de compenser spécifiquement l’élé-ment cfaq,r(n, m) dans l’équation système 4.1 qui simule l’influence de la matrice de filtres spectraux utilisée.

dans la figure suivante. Dans celle-ci, nous avons noté les images filtrées utilisées iD

fk(n, m), avec k l’indice du filtre spectral considéré. Chaque indice k étant associé à l’unique filtre utilisé à la position q, r dans le superpixel. Dans nos simulations, nous avons considéré l’utilisation d’autant de filtres spectraux que d’éléments dans le superpixel considéré. Ainsi

k ∈ [1; Nf] avec Nf = NfqN_fr.

Fig 4.6: Opération matricielle considérée ID

fV V = GDemSD

V V pour effectuer le démosaïçage de sD(n, m). Cas d’un SuperPixel 2 × 2 (NSP = 4) composé de Nf = 4 filtres différents.

Dans cette figure, ID

fV V et SD

V V sont deux matrices formées à partir de valeurs pro-venant respectivement des images iD

fk(n, m) filtrées par des filtres spectraux d’indices

k ∈ [1; Nf] et de voisinage de taille V × V prélevés dans l’image mosaïque sD(n, m) cor-respondante. Chaque ligne de GDem contient quatre filtres linéaires de démosaïçage notés

�

GDem1→{k,j}GDem2→{k,j}GDem3→{k,j}GDem4→{k,j} �

. Où GDem_l→{k,j} est le filtre de taille 1 × V V appliqué sur les valeurs du voisinage prélevées dans sD(n, m). Celui-ci est centré autour de l’indice l et associé à une unique position dans chaque superpixel image. Tous les filtres contenus dans cette ligne permettent donc d’estimer les valeurs de l’image filtrée iD

f_k(n, m) aux positions d’indice j, dans chaque superpixel image.

GDem à compenser l’influence de cfaq,r(n, m). Dans la méthode de De Lavarene et al. [23],

GDem est obtenue par minimisation du critère de coût quadratique QDem suivant.

QDem= E^���_�ID f_{V V} − GDemS_{V V}^{D ��}�² � (4.18) avec GDemSD V V = ID f_{V V est} l’estimation de ID fV V.

Ce critère prend en compte une variété d’images de référence, à l’aide d’un calcul d’espérance mathématique effectué suivant les matrices ID

f_{V V} et SD

V V construites à partir de ces images. En minimisant celui-ci selon le paramètre matriciel GDem, on obtient aux moindres carrés l’expression matricielle suivante :

GDem= E^�I_f^D_{V V}S_{V V}^{D T� �}E^�S_{V V}^D S_{V V}^{D T��−1} (4.19) Dans cette expression, l’espérance mathématique est calculée selon une pluralité d’images de référence. L’intérêt étant que la matrice de démosaïçage GDemcalculée à partir de celles-ci soit robuste vis-à-vis de la répartition spatio-chromatique des différentes images filtrées susceptibles d’être estimées. C’est pourquoi l’ensemble des images de référence utilisées doit être représentatif de celui des images qui pourraient être acquises avec le système d’imagerie considéré.

En résumé, pour appliquer l’algorithme de démosaïçage de De Lavarene et al. [23], il faut calculer GDem à partir d’images filtrées et d’images mosaïques de référence. Puis multiplier celle-ci par une seconde, notée SD

V V. Cette dernière étant formée à partir de l’image mosaïque test sur laquelle le démosaïçage doit être appliqué.

Dans cet algorithme, les images de référence utilisées sont considérées acquises avec un système d’imagerie "Pinhole" (cf. 2.1.1), c’est-à-dire qu’elles ont une profondeur de champ étendue (EDOF). Dans ce cas ID

fV V et SD

V V sont donc générés selon notre modèle matriciel, à partir des images respectivement déroulées dans les vecteurs F Ig et MCFAF Ig suivants.

I_g étant le vecteur contenant les valeurs des images multispectrales EDOF utilisées. MCFA

et F sont des matrices permettant de simuler l’influence des éléments cfaq,r(n, m) et

fk(l) qe (l) sur Ig, comme équation 4.1. Notons que les images de référence et de tests utilisées doivent être indépendantes.

Résultats de démosaïçage obtenus

Les résultats présentés dans cette partie ont été obtenus avec des images simulées à partir d’images multispectrales de la base de Foster et al. [37]. Notons que chaque matrice de démosaïçage GDem utilisée a été calculée à partir d’images de référence indépendantes de l’image test sur laquelle elle est appliquée. Pour ce faire, ces images de référence ont été simulées à partir de l’ensemble des images multispectrales de la base de Foster et al. [37], excepté celle qui a été utilisée pour simuler l’image test considérée (méthode

"Leave-one-out" présentée par Fukunaga et Hummels [39]). En appliquant ce principe, nous avons

pu calculer, pour l’ensemble des images de la base utilisée, la moyenne et la variance des PSNR obtenus par démosaïçage.

Dans l’illustration 4.6, ID

f_{V V est} et SD

V V sont générées à partir d’images de référence

iD

f_k(n, m) et sD(n, m) dont les expressions équation 4.15 ne correspondent pas à celles des images utilisées par De Lavarene et al. [23]. Effectivement, dans notre cas ces images de référence sont simulées en prenant en compte la réponse impulsionnelle PSFD

SOCL ainsi que le bruit capteur η (n, m) considérés. Ce qui n’est pas le cas dans la méthode de De

Lavarene et al. [23]. C’est pourquoi nous avons cherché la méthode de calcul de GDem la plus efficace, en testant les quatre combinaisons possibles définies selon l’utilisation ou la non-utilisation des paramètres PDt et Nb pour calculer GDem. Chacune de ces combinai-sons a été testée sur des images tests issues des images multispectrales de Foster et al. [37]. Nous verrons que celles-ci donnent des résultats pouvant varier de manière significative.

Pour pouvoir effectuer ces tests, il faut aussi définir une taille de voisinage V × V et un superpixel. Cependant, il existe aussi une multitude de tailles et de répartitions utilisables. La taille de voisinage a été choisie parmi les quatre suivantes testées 5 × 5, 7 × 7, 9 × 9 et 11 × 11 pixels, en retenant celle qui permet d’obtenir les meilleurs résultats de démosaïçage.

Il reste maintenant à définir un superpixel. Ce choix est moins évident à faire, c’est pourquoi celui-ci a été effectué à partir de certaines hypothèses présentées dans ce qui suit.

Détermination des Superpixels "optimaux"

Rappelons que la procédure d’estimation 2D+Z utilisée, représentée figure 4.4, doit être appliquée sur une image mosaïque acquise à partir d’un système d’imagerie spécifique. En effet, celui-ci doit être composé d’un SOCL ainsi que d’un capteur d’image revêtu d’une mosaïque de filtres personnalisée. Celle-ci est constituée par assemblage d’un même superpixel composé de Nq× Nr filtres différents (Nf = NqN_r).

L’idée principale de cette procédure est d’inverser successivement les différents filtrages effectués par le système d’imagerie utilisé, à partir d’un modèle système et d’hypothèses émises sur la profondeur de l’objet à estimer. Pour chacune de ces hypothèses, une image

multispectrale EDOF est estimée et comparée à l’image mosaïque acquise, par l’intermé-diaire d’un critère de coût spécifique. C’est en retenant les profondeurs pour lesquelles ce critère est minimum que les estimations définitives de la carte de profondeur et de l’image multispectrale EDOF de la scène considérée sont reconstituées. Pour améliorer ces estima-tions, il faut donc que le paramètre ajusté augmente la convergence de ce critère de coût. Comme nous l’avons évoqué précédemment, c’est majoritairement la dispersion spectrale de la PSF du SOCL utilisé qui permet d’estimer la profondeur objet. Néanmoins, pour effectuer cette estimation, il faut analyser l’information spectrale provenant du SOCL. Dans ce cas, c’est la mosaïque de filtres disposée sur le capteur d’image utilisé qui permet d’estimer l’information multispectrale souhaitée. Il faut donc que celle-ci ait une réparti-tion favorable à ce genre d’estimaréparti-tion.

Or, comme nous l’avons présenté dans la partie 2.2.2, pour estimer la composition mul-tispectrale d’une source ig(l) donnée, une des méthodes possibles, selon Pratt et Mancill [89], consiste à estimer celle-ci à partir de différentes observations. Chaque observation ifk

étant donnée par l’intégration, à travers un filtre spectral fk(l), du paramètre multispec-tral à estimer ig(l).

ifk =^�Nλ

l=1

fk(l) ig(l) + ηk (4.20)

Pour qu’une telle méthode soit efficace, il est recommandé, selon les calculs de Pratt

et Mancill [89] et Yasuma et al. [106], d’utiliser des filtres spectraux dont les

transmis-sions sont régulièrement réparties sur la gamme spectrale d’estimation considérée. De plus, selon Pratt et Mancill [89], sept observations, soit sept filtres spectraux différents permettent d’effectuer une bonne estimation spectrale.

Les systèmes d’imagerie couleur classiques utilisent encore majoritairement une mo-saïque de filtres de Bayer 2.1.2, composée de trois filtres spectraux correspondant chacun aux couleurs rouge, verte et bleue à reconstituer. À la différence de ce type de système, le nôtre doit permettre d’estimer l’information multispectrale de la scène considérée. C’est pourquoi nous avons pris en compte l’utilisation de mosaïques de filtres recomposées à partir de superpixels contenant plus de trois filtres spectraux différents. Cependant, face aux multiples répartitions possibles, nous avons dû restreindre nos tests à trois tailles de superpixels 2 × 2, 2 × 3 et 3 × 3 données. De plus, nous avons contraint les réponses des filtres utilisés dans un même superpixel, à des transmissions gaussiennes régulièrement réparties sur la gamme spectrale d’estimation et de largeurs de bande fixes. En utilisant ces contraintes, on réduit significativement le nombre de superpixels possibles. Cependant, il existe encore 9! = 362880 répartitions possibles, dans le cas d’un superpixel 3 × 3. Ce

qui est toujours trop important pour tester les différentes combinaisons de paramètres à utiliser pour calculer GDem. C’est pourquoi nous avons encore cherché à réduire ces possi-bilités en considérant qu’il existe une unique répartition de filtres optimale parmi toutes les répartitions possibles pour chaque taille de superpixel considérée.

Dans le cadre du processus d’inversion simplifié utilisé dans cette procédure, nous avons considéré que l’optimalité des estimations 2D+Z effectuées peut être obtenue en