Module fréquentiel

Une fois la conversion RGB-XYZ réalisée nous allons utiliser la transformée de Fourier 2D pour passer dans le domaine fréquentiel. Ainsi une représentation fréquentielle de l’image sur les axes X, Y et Z est obtenue.

FIG. 5.9 – image représentant les pixels avec une forte corrélation avec les basses fréquences verticales

5.2.3.1 Transformée de Fourier

Ce qui va nous intéresser dans la transformée de Fourier 2D (décrite en annexe 7) c’est qu’elle va permettre de passer dans le domaine fréquentiel. A partir de là, on va pouvoir travailler sur les fréquences spatiales de l’image. Pour celà on va décomposer l’espace de Fourier obtenu en différentes zones de fré- quences différentes. Cette décomposition inspiré par le modèle de Daly [81] va nous permettre d’isoler une certaine bande de fréquence (comme les hautes fréquences par exemple) afin de visualiser son in- fluence dans l’image. Pour celà, on va se servir du caractère inversible et sans perte de la transformée de Fourier pour rebasculer dans le domaine de l’image.

La figure 5.10 montre un exemple d’application de la transformée de Fourier. Ici l’image originale est transformée dans le domaine fréquentiel. Les basses fréquence de l’image ne vont pas être gardées (pour une application de compression par exemple) et la transformée de Fourier inverse va être appliquée pour

5.2. Modèle proposé 77

obtenir une image résultat. Cette image a perdu ses informations concernant les hautes fréquences ce qui atténue les contours.

FIG. 5.10 – Exemple d’utilisation de la trasformée de Fourier

5.2.3.2 Décomposition de Daly

Ce qui nous intéresse, c’est de savoir si le pixel considéré dans l’image originale se trouve dans une zone de haute ou de basse fréquences et de pouvoir quantifier cette dernière 5.11(A). L’inconvénient de la transformée de Fourrier c’est que l’on perd toute référence géométrique. Les points de l’image "trans- formée" représentent une fréquence et donc plusieurs pixels de l’image originale.

Pour obtenir la fréquence d’un pixel il faudrait regarder tous les points du spectre obtenus et voir com- ment ils influencent ce pixel. Mais cette solution serait trop lourde et demanderait enormément de temps de calcul et de ressource mémoire.

C’est pourquoi nous avons choisi d’effectuer une décomposition grossière de l’espace de Fourrier. Dé- composition qui va permettre d’extraire des zônes de l’image originale. Ces zones seront caractérisées par une fréquence moyenne ainsi qu’une orientation. La décomposition envisagée est celle de la figure 5.11(B). Cette décomposition est inspiré du modèle de Daly [81] et la première décomposition choisie a été celle des basses, moyennes et hautes fréquence spatiales.

5.2.3.3 Calcul des coefficients

Une fois ces décompositions effectuées, l’influence des zones sur les pixels va être récupérée. Ainsi on va regarder,pour chaque zone, la valeur que possède le pixel considéré. Si un pixel est for- tement représenté dans la zone 1, par exemple, il aura une forte corrélation avec les basses fréquences verticales. L’image 5.12 montre l’application de la transformée de Fourier inverse sur 4 zones différentes de l’image de Lena.

Afin d’obtenir une fréquence, il ne nous reste plus qu’à moyenner les influences de chaque zone sur le pixel puis à normaliser. Ce qui revient finalement à l’équations suivantes :

Fx(i,j)= Pk<9 k=1Vx(i,j)k × MBF + Pk<17 k=9 Vx(i,j)k × MHF Pk<17 k=1 Vx(i,j)k (5.4)

Ici FX(i,j)désigne la fréquence sur X du pixel (i,j) et V_x(i,j)k représente la valeur du pixel (i,j) sur

78 CHAP 5 - AMÉLIORATION DU RENDU

(A) (B)

FIG. 5.11 – (A) : Décomposition de l’espace de Fourier. 1 : Composante continue (moyenne de l’image sur le pixel du centre). 2 : Basses fréquences (proche du centre de l’image). 3 : Hautes fréquences (loin du centre de l’image). (B) : Décomposition envisagée.

(A) (B) (C) (D)

FIG. 5.12 – Image représentant les pixels ayant une forte corrélation avec (A) :les basses fréquences verticales.(B) :les basses fréquences horizontales.(C) :les hautes fréquences horizontales.(D) :les hautes fréquences diagonales.

basses fréquences ayant pour moyenne MBF, les 8 suivantes les zones de hautes fréquences ayant pour

moyenne fréquentielle MHF. Ces deux moyennes sont calculées à partir de la taille de l’image ainsi que

la distance observateur-écran.

Finalement la fréquence du pixel (i,j), F(i,j)est calculée comme étant la moyenne des fréquences sur

les trois axes X, Y et Z.

F_(i,j)= Fx(i,j)+ Fy(i,j)+ Fz(i,j)

3 (5.5)

D’autres décompositions ont été testées. C’est à dire que pour affiner le modèle, plutôt que d’avoir 2 moyennes (une pour les hautes et une pour les basses fréquences), l’espace de Fourier peut être dé- composé en plusieurs cercles pour chacun desquels une moyenne est calculée. Si une décomposition avec un niveau de détail supplémentaire (un cercle en plus) est choisie, on se retrouve avec une moyenne pour les basses fréquences, une moyenne pour les moyennes fréquences et une moyenne pour les hautes fréquences ainsi que 8 zones supplémentaires. Cependant, plus le nombre de décompositions augmente, plus le temps de calcul augmente.

Sur les trois décompositions testées, les changements sont relativement peu visibles sur les 15 images de la base KODAK testées. C’est pourquoi nous préférons utiliser la plus petite décomposition (à savoir hautes et basses fréquences) même si l’algorithme permet de choisir son niveau de décomposition.

5.2.4 Inversibilité

Une fois ces étapes réalisées, tous les paramètres perceptuels du pixel considéré sont obtenus. Il ne reste plus qu’à utiliser le modèle S-CIECAM dans l’autre sens pour récupérer la couleur en XYZ et enfin la reconvertir en RGB. La figure 5.13 montre l’utilisation du modèle en sens inverse. On peut,

5.3. Expérimentations 79

là aussi, changer les conditions d’observations comme le blanc de référence ou les données concernant l’environnement.

C’est ici à cette étape que nous allons changer la fréquence d’observation du pixel. Comme on a calculé attributs d’apparences perceptuels du pixel pour une fréquence nulle, on va calculer à l’aide du S-CIECAM02 la couleur que l’on verrai pour la fréquence dans laquelle se trouve le pixel dans l’image, réhaussant ainsi le contraste.

FIG. 5.13 – Utilisation de la réversibilité du modèle

5.3

Expérimentations

Une fois le modèle établi, deux grandes applications en sont ressorties :

– Une application de rendu d’image à l’aide d’un réhaussement de contraste couleur (cf. figure 5.13) – Une application en modèle de constance de couleur. En effet, en utilisant la capacité du CAM à changer d’environnement, on va pouvoir utiliser notre modèle pour visualiser l’image dans d’autres conditions d’observations (cf. figure 5.18)

Ce sont les résultats de ces deux applications qui vont être décrits dans les sections suivantes.

5.3.1 Modèle de rendu

Les figures 5.14 et 5.15 montrent 2 exemples de résultats obtenus par notre modèle. Sur ces résultats on voit bien que les images nous paraissent plus claires et on observe un réhaussement du contraste couleur. La majorité des observateurs nous on fait la remarque que les images de rendu semblaient plus "naturelles" que les images originales.

5.3.1.1 Paramètres

Plusieurs paramètres ont bien entendu été testés, mais beaucoup n’influencaient pas ou peu notre modèle. Parmis ceux là :

– Le choix de la décomposition de l’espace de Fourier. C’est a dire la taille des zones et leur nombre. – La taille du masque pour l’arrière plan.

– Le choix du calcul de l’arrière plan.

5.3.1.2 Comparaison originale/image de rendu

Plusieurs mesures ont été réalisées pour mesurer l’écart entre l’image de rendu et l’image originale. Pour prouver que notre modèle ne consiste pas seulement en une augmentation de la clarté, la moyenne des changements des composantes perceptuelles a été calculées.Sur les quinzes images du test nous obtenons les moyennes représentés par le tableau 5.1.

80 CHAP 5 - AMÉLIORATION DU RENDU

(A) (B)

FIG. 5.14 – Exemple de résultat de rendu

(A) (B)

FIG. 5.15 – Exemple de résultat de rendu

Ensuite nous avons effectué le calcul du SSIM [83]. Cette mesure de similarité entre deux images numériques a été développée pour mesurer la qualité visuelle d’une image, par rapport à l’image origi- nale (souvent utilisé dans le domaine de la compression). Sur toutes les images testées, les écarts sur les trois composantes R, G et B ne variaient pas de plus de 3%. Ce test prouve que les deux images, malgré une amélioration du contraste couleur, restent sensiblement proches.

Enfin, c’est une mesure du δ E 2000 [30] qui a été réalisée. Cette mesure, basée sur le modèle d’apparence CIELAB et un filtre spatial utilisant la CSF permet de mesurer une distance perceptuelle. La figure 5.16 montre un exemple de résultat obtenu en comparant une image originale et une image du modèle de rendu. On peut y voir que c’est surtout les hautes fréquences de l’images qui ont changé. En effet, c’est au niveau de l’interieur du bateau que l’on a le plus de hautes fréquences et l’on peut constater que c’est surtout cette zone qui est modifiée. Ensuite arrivent les vagues auxquelles une modifications moyenne de la couleur peut être constatée. Ceci rejoint les constatations réalisées par le S-CIECAM02 au chapitre précédent qui montrent que plus la fréquence augmente plus la différence perçue est grande. Afin de tester notre modèle, une étude comparative a été menée. Le test réalisé demandait aux obser- vateurs de faire un choix entre l’image originale et l’image modifiée par notre modèle. La base d’image choisie reste la base d’image de KODAK dans laquelle nous avons selectionné 15 images aléatoirement. Le test bénéficie de 3 répétitions pour voir si l’observateur répond toujours la même chose. Enfin, ce test s’effectue bien sûr dans un environnement normalisé et la vision des observateurs a été contrôlée.

Clarté Chroma Teinte 5.7 2.7 0.4

5.3. Expérimentations 81

(A) (B)

(C) (D)

FIG. 5.16 – A :Carte des différence perceptuelles obtenus à l’aide du δE2000 entre une image originale et une image traitée par le modèle.B :Echelle.C :Image originale.D :Image traitée

Dans 75% des cas, c’est l’image de rendu de notre modèle qui est le plus apréciée et il est rare qu’un observateur change d’avis au cours des répétitions (cf. figure 5.17).

FIG. 5.17 – Pourcentage de choix de l’image rendu par notre modèle par rapport à l’originale.

5.3.2 Changement d’éclairage

Cette fois, nous allons utiliser notre modèle comme modèle de constance de couleur. En effet, nous allons considérer l’image d’origine regardé dans certaines conditions d’éclairage pour changer ces condi- tions et obtenir une nouvelle image. Cette fois la fréquence du pixel reste inchangée et on n’a pas de rendu améliorant le contraste couleur de l’image.

La figure 5.18 montre un exemple d’utilisation de notre modèle en tant que modèle de constance de couleur.

82 CHAP 5 - AMÉLIORATION DU RENDU

FIG. 5.18 – Utilisation du modèle en tant que modèle de constance de couleur

(A) (B)

(C)

FIG. 5.19 – Résultats obtenus pour un changements d’illuminant en passant d’un éclairage au tungstène à un éclairage D65.A : Image de référence. B : Image générée par le S-CIECAM02 sans rendu via le module spatial. C : Image générée par le S-CIECAM02 avec un réhaussement du contraste couleur

5.3.3 Résultats

La plupart des images choisies ont un éclairage plutôt jaune (Lampe à incandescence au tungstène) mais certaines sont prises en sous éclairage. On veut obtenir l’image qui serait vue pour des conditions bien éclairées en extérieur (illuminant D65). On applique donc le modèle avec les valeurs de ces envi- ronnements pour obtenir l’image résultat. Le modèle de rendu peut bien sûr être utilisé en changeant la fréquence en même temps que l’éclairage. Ce sont ces résultats qui sont décrits par la figure 5.19.

5.3.3.1 Etude comparative

Afin de valider notre modèle, il nous fallait bien sûr réaliser une comparaison avec quelques mo- dèles existants. Ce sont les modèles bayésien bien connus de color constancy [31] ainsi que le modèle

5.3. Expérimentations 83

RETINEX qui ont été choisi comme modèle de comparaison. Iil faut remarquer que les deux modèles utilisé pour la comparaison estiment eux même les illuminants de départ de l’image contrairement à notre modèle pour lequel cet illuminant est entré par l’utilisateur. L’ajout d’un module calculant la couleur de l’illuminant est une perspective immédiate de notre travail.

Un test de choix par ordonancement a été réalisé, demandant à l’observateur de classer les images traitées par ordre de préférence décroissant. La figure 5.20 montre une capture d’écran de ce test.

FIG. 5.20 – Capture d’écran du test de comparaison des modèles

Au centre, on retrouve l’image originale. C’est cette image dont on veut changer les conditions d’ob- servation afin de voir ce qu’un observateur percevrait sous une lumière du jour. Les 4 images résultats sont disposées aléatoirement autour de cette image. Il s’agit de l’image traitée par le RETINEX, par le modèle de constance de couleur bayesien, par notre modèle sans rehaussement de contraste, et enfin par notre modèle avec réhaussement de contraste. L’observateur n’a donc plus qu’à choisir l’image qu’il préfere qui disparaît laissant le choix entre les images restantes.

Cette fois encore 15 observateurs ont été choisis pour passer ce test dans l’environnement normalisé décrit dans le chapitre précédent.

Avec trois répétitions, les résultats montrent que les choix des observateurs sont plutôt stables et aucun utilisateur n’est rejeté via le test de Kurtosis. Les résultats montrent que c’est le modèle RETINEX ainsi que le S-CIECAM02 avec adaptation fréquentielle qui sont choisis le plus souvent en premier avec 37% des votes. En seconde place on trouve le S-CIECAM02 sans adaptation fréquentielle (48%) suivi de près par le S-CIECAM02 avec adaptation fréquentielle(39%). Le RETINEX lui n’est choisi 2 ieme que dans 2% des cas. Enfin le modèle bayesien de color constancy n’obtient pas de très bons résultats.

La figure 5.21 montre les pourcentages de choix de placement des modèle. Une autre constatation de ce test c’est que pour les 9 images sous un éclarage au tungstène, c’est notre modèle avec adaptation fréquentielle qui est préféré, alors que pour les images prises sous un environnement sombre, les obser-

84 CHAP 5 - AMÉLIORATION DU RENDU

vateurs ont une prédilection pour le RETINEX. En effet, le S-CIECAM02 a tendance à réhausser un peu trop la couleur donnant des images trop lumineuses.

FIG. 5.21 – Histogrammes de résultats obtenus par le test. On peut y voir le pourcentage de cas où chaque modèle est choisi en première, deuxième, troisième et quatrième position