en pigments à base de chlorophylle ˆC estimée.
Étant données les courbes de la figure 3.5., la régression des données fournit un modèle mathématique qui lie les paramètres colorimétriques des images originales à la concentration estimée en chlorophylle
ˆ C :
ˆ
C = 11 × e−6.33×(IB−IR)− 0, 12 (3.6)
Cette équation permet dans le cadre de notre étude, de fournir une estimation des coefficients spec- traux d’atténuation suffisamment corrects et réalistes pour obtenir une correction des images par inver- sion du modèle de propagation de la lumière à partir de la seule connaissance des images. L’Eq.(3.6) ne consitue pas un système de mesure réelle de la concentration en chlorophylle dans les eaux naturelles. Elle fournit cependant une estimation a priori permettant de fixer automatiquement les paramètres d’en- trée de l’algorithme. Cependant, cette mesure de concentration revêt un caractère subjectif du fait de sa dépendance au choix des images de l’ensemble d’apprentissage et de l’appréciation de l’observateur lors de la correction. En revanche, dans le cadre d’une application plus spécifique, il serait envisagable de fournir une base d’apprentissage caractéristique des conditions de cette application. Par exemple, si les images doivent être acquise dans une zone géographique particulière de l’océan dont les eaux possèdent une composition donnée.
FIG. 3.5 – Différence entre intensité rouge et intensité bleu en fonction de l’estimation de la concentration en chlorophylle et régression exponentielle des données (en rouge).
À partir des Eq.(1.13), Eq.(1.14) et Eq.(3.6) le coefficient d’atténuationcλqui est requis pour inverser
le modèle de propagation de la lumière, peut désormais être déterminé : l’estimation du coefficient d’at- ténuation est alors réalisée en utilisant uniquement les propriétés colorimétriques de l’image originale. Dans la section suivante, nous allons exploiter ce résultat pour proposer un algorithme non-supervisé de correction d’images sous-marines.
3.5
Méthode non-supervisée de correction d’images sous-marines
La correction manuelle des images et l’étude des paramètres a montré qu’il existe un lien entre les propriétés colorimétriques de l’image et le paramètre de concentrationC. À partir de ce lien, nous pro-
posons maintenant un nouvel algorithme de correction d’images sous-marines. Étant donnée l’Eq.(3.6), un algorithme de correction utilisant une version simplifiée de l’équation de propagation de la lumière peut être proposé. En fait, le coefficient de diffusionbλpeut être omis car il n’est pas possible d’estimer
l’illumination. Toutefois, les corrections obtenues avec ce modèle simplifié demeurent en accord avec notre objectif initial. Une équation inverse partielle peut alors être définie par :
I′(k, l, λ) = ecˆλxˆ× I(k, l, λ), (3.7)
oùI′(k, l, λ) représente les pixels de l’image corrigée et I(k, l, λ) ceux de l’image originale pour
3.5. Méthode non-supervisée de correction d’images sous-marines 35
FIG. 3.6 – Schématique de l’algorithme non-supervisé.
timation des deux paramètrescˆλ etx. En effet, l’illumination de la scène observée est inconnue. Ainsi,ˆ
l’estimation de la rétrodiffusion vers l’observateur n’est pas possible à partir des éléments dont nous dis- posons. Ce choix s’explique par le souhait de développer une méthode complétement non-supervisée : prendre en compte la rétrodiffusion impliquerait de fixer manuellement une estimation de la valeur d’illu- mination. La distancex est estimée par un processus itératif décrit plus loin dans la section 3.5.3. Ainsi,
un algorithme en deux étapes représenté sur la figure 3.6. est proposé :
La première étape constite à estimercλ à partir des Eq.(1.13) et Eq.(3.6) en utilisant les propriétés
colorimétriques deI. La deuxième étape consiste à estimer la distance x. Dans les sections qui suivent,
un critère permettant une estimation automatique de la distance est proposé.
3.5.1 Estimation du coefficient d’atténuation ˆcλ
Disposant de la concentration en chlorophylle estimée ˆC grâce à l’Eq.(3.6) et en utilisant les coef-
ficients spécifiques d’atténuation c1λ, c2λ et cx2λ donnés dans [56], nous pouvons calculer le coefficient d’atténuation total estiméˆcλen reprenant les équations du modèle bio-optique :
ˆ ccλ = c1λ× ˆC, ˆC < 1. (3.8a) ˆ ccλ = cx2λ + c2λ× ˆC, ˆC > 1. (3.8b) ˆ ccλ = cx2λ + c2λ, ˆC = 1. (3.8c) et : ˆ cλ= cwλ + ˆccλ, (3.9) oùcw
λ est le coefficient d’eau pure etˆccλ notre coefficient spécifique d’atténuation estimé à partir de
la concentration en chlorophylle.
3.5.2 Estimation de la distance
Ne disposant d’aucune information sur les conditions d’acquisition des images, nous n’avons aucune connaissance sur la géométrie de la scène. La distance correspond, comme nous l’avons vu précedem- ment, à l’épaisseur de la colonne d’eau qui attenue la lumière provenant de cette scène. Afin de réaliser une correction adéquate, il est nécessaire de s’approcher au mieux de la distance réelle. Afin d’étudier l’influence du paramètre de distance sur le rendu de la correction, nous augmentons progressivement la distancex nécessaire pour résoudre l’équation d’inversion. À chaque itération l’image corrigée estˆ
générée. Nous pouvons voir, par exemple sur la figure 3.7., qu’une distance de l’ordre de 1.0 mètres correspond à une bonne correction : l’apparence grise des requins est retrouvée, tandis que l’arrière-plan conserve une couleur bleue conforme à ce que nous pouvons attendre. Le problème de détermination de
image originale x = 50cmˆ x = 1, 0mˆ
ˆ
x = 1, 5m x = 2mˆ xd = 2, 5mˆ
FIG. 3.7 – Correction colorimétrique d’une image à différentes distances.
la distance est, ici encore, très subjectif car il dépend de l’appréciation visuelle humaine. Par ailleurs, nous ne disposons d’aucune vérité terrain. Cependant, il est possible de constater en fin de traitement que la balance des couleurs semble être plus conforme à ce que l’on pourrait escompter en terme d’appa- rence, et que les contrastes sont réhaussés. Si l’image est encore voilée, on peut dire que la distance est trop courte. Si une prédominance rouge dans l’image apparaît, la distance est probablement trop grande (figure 3.7.). De plus, tous les objets présents dans l’image ne se trouvent pas à même distance du capteur. Nous nous sommes restreint à un traitement global de l’image en ne fixant qu’une distance moyenne de correction pour l’ensemble des objets, en pretant une attention plus particulière à ceux de l’avant-plan. Ces objets sont les objets d’intêret principal. Ce sont donc ces derniers qui nécessitent d’être détectés et identifiés. Notre objectif est donc de trouver un critère permettant de déterminer l’arrêt d’un traitement itératif consistant à augmenter progressivement la taille de la colonne d’eau à compenser.
3.5.3 Définition d’un critère d’estimation de la distance
Notre objectif est de trouver un critère permettant de déterminer itérativement la distance optimale de correction. Il existe des critères mathématiques permettant d’apprécier la qualité d’une image. Cependant de tels critères nécessitent de disposer d’une référence pour calculer une métrique donnée avec le résultat obtenu. Toutefois, pour estimer l’effet global de la correction, nous proposons d’étudier l’évolution de l’erreur quadratique moyenne entre les images corrigées obtenues successivement au cours des itérations faisant évoluer le paramètre de distance. Ainsi, l’erreurǫiobtenue à l’itérationi est définie par :
εi = 1 N × M N X k=1 M X l=1 (Ix(i)′ (k, l) − Ix′(i−1)(k, l))2. (3.10) La figure 3.9. montre une variation type de la mesure d’erreur quadratique moyenne (courbe noire). Cette courbe montre la variation de l’évolution de l’erreur εi où εi est l’erreur quadratique moyenne
(Eq.(3.10)) entre l’image corrigéeI′
x(i)obtenue à l’itérationi pour une distance x(i), et l’image corrigée
3.5. Méthode non-supervisée de correction d’images sous-marines 37
image originale correction distance trop élévée
(monde bleu) (couleurs équilibrées) (monde rouge)
FIG. 3.8 – Passage du “monde bleu” au “monde rouge”.
FIG. 3.9 – Exemple de variation de l’erreur quadratique (rouge) et de la saturation (bleu) et détermination de la distance par recherche du point d’inflexion sur l’approximation (jaune).
déterminer le point de correction optimal. Après de nombreux de tests, nous avons établi que la distance optimale semble correspondre au moment où la variation de l’erreur est la plus importante (figure 3.9.), c’est à dire le moment ou l’image "bascule du bleu au rouge". La figure 3.8. illustre ce phénomène.
Si nous considèrons maintenant la représentation des images dans un espace colorimétrique de type Teinte-Luminance-Saturation, nous constatons lors du traitement que la luminance moyenne est stricte- ment croissante car on rajoute de la lumière sur chacun des canaux pour compenser l’atténuation. De la
même manière, la teinte moyenne varie progressivement en se déplaçant des teintes bleues/vertes vers les teintes rouges. Nous travaillons sur les valeurs moyennes des composantes car il s’agit d’un traitement global de l’image : il s’agit d’étudier la variation générale de l’image entre deux itérations du traitement.
Dans cet espace, seule la saturation moyenne donne réellement une information exploitable sur l’im- pact de la distance x sur le traitement. En fait, initialement les images sont fortement saturées en bleu.ˆ
Progressivement, au cours du traitement itératif cette forte sensation de bleuté va disparaître et la satu- ration globale de l’image, en terme numérique, va dimininuer. Par contre, une fois la distance réelle de la scène par rapport à l’observateur dépassée, le rouge va progressivement se renforcer dans l’image et prédominer à son tour. L’exemple du requin de la figure 3.7. illustre ce phénomène : l’aspect grisâtre du poisson est de plus en plus renforcé. Une fois la distance appropriée dépassée, l’arrière-plan tend vers le rouge.
Nous proposons donc de considérer le point de saturation minimum comme critère définissant la distance optimale de traitement. Ce point de saturation minimum correspond assez précisement au point de plus forte variation de l’erreur quadratique. Ce point peut être caractérisé par un point d’inflexion de la courbe représentant l’erreur quadratique en fonction de la distance. Notre critère pour calculer la distance estiméex correspondant au premier point d’inflexion de la courbe peut alors s’écrire :ˆ
ˆ x = arg min ε(i) n ε(i) \∂ε 2 i ∂2i = 0 o . (3.11)
L’image à l’itération précédente sert de référence dans le calcul ainsi effectué. Cette mesure a révélée avoir un comportement caractéristique commun à l’ensemble des images. Nous avons pu constater sur l’ensemble des corrections effectuées que l’image corrigée correspondante à ce critère de distance est l’image visuellement la plus satisfaisante. Par ailleurs, nous avons aussi étudier le comportement de l’erreur ∆E2000 [1] qui prend en compte l’aspect perceptuel. En fait, cette erreur suit une variation
équivalente à l’erreur quadratique moyenne. Notons que seule la variation de l’erreur nous intéresse et non l’aspect numérique de l’erreur. Comme cette erreur perceptuelle étant beaucoup plus coûteuse en terme de temps de calcul, nous avons donc opté pour le calcul plus simple et plus rapide de l’erreur quadratique moyenne qui fournit une estimation de la distance.
3.5.4 Post-traitements
Cette méthode de correction automatique a été expérimentée sur les images de notre base de données et fournit de bons résultats. La figure 3.12. donne une comparaison entre la correction manuelle et la correction automatique. Les résultats obtenus sont assez proches de ceux obtenus avec la méthode su- pervisée. Cependant, cette méthode automatique échoue pour certaines images. La figure 3.10 illustre un cas d’échec du traitement. L’erreur de correction se caractérise par l’apparition de pixels violacés dans l’image résultante.
Ce problème peut être liés à plusieurs facteurs :
– des facteurs liés aux paramètres : une concentration mal estimée au départ, une distance calculée un peu longue, une diffusion entrante trop forte pour être négligeable.
– d’autres facteurs liés aux images : réhaussement préalable des images par le système d’acquisition par l’intermédiaire des fonctions intégrées à la caméra, réhaussement effectué par un utilisateur avec un logiciel...
3.5. Méthode non-supervisée de correction d’images sous-marines 39
FIG. 3.10 – Apparition de pixels violacés en fin traitement
De plus, des réhaussements automatiques ou manuels des couleurs ont pu être réalisés pendant l’ac- quisition affectant ainsi l’effet de l’atténuation. Ce phénomène peut aussi s’expliquer par l’omission de la diffusion entrante dans la méthode automatique qui n’exploite que partiellement le modèle de pro- pagation (Eq.(3.7)). Une autre origine peut aussi être la nature du système d’acquisition utilisé et les phénomènes optiques qui l’affectent.
Afin de s’affranchir de ce phénomène caractérisé par l’apparition de pixels violacés, un post-traitement est proposé : celui-ci consiste à quantifier le nombre de pixels défectueux et à ajuster les paramètres de propagation afin de compenser l’effet violacé. Cette solution a été choisie pour réaliser un traitement automatique et global des images car l’origine exacte du phénomène ne peut être connue : ici encore les conditions d’acquisition et le pré-traitement réalisé sont inconnus.
Détection des pixels défectueux
Les pixels que nous appelons défectueux sont caractérisés grâce à leur aspect violacé. Nous propo- sons de détecter ces pixels par un seuillage dans l’espace colorimétrique L*a*b*. Le seuillage est réalisé de telle manière que les points du plana ∗ b∗ situé dans la gamme des couleurs violettes soient identifiés. Les valeurs de seuillage ont été définies expérimentalement sur les images de notre base où le traitement échoue. En fait, ce phénomène apparaît majoritairement pour des images ou la composante bleue est très importante. Les images présentant un arrière-plan où l’on ne voit que de l’eau sont d’ailleurs les plus problématiques. SoitΓ l’ensemble des points “défecteux” de l’image corrigée. Pour chaque pixel I′(k, l)
de l’imageI′dans l’espaceL ∗ a ∗ b∗, nous notons L∗, a∗ et b∗ les valeurs de chacune des composantes de l’espace. L’ensembleΓ est alors défini par :
Γ =nI′(k, l) \ L∗ > 0.2, a∗ > 0.0, b∗ < 0.3o, (3.12) où les coordonnées L*a*b* sont normalisées dans[0, 1] pour L∗ et dans [−1, 1] pour a∗ et b∗.
(a) (b)
(c) (d)
FIG. 3.11 – Post-traitement : (a) Image originale (b) correction sans ajustement (c) points défecteux extraits
(d) correction avec ajustement
Correction des pixels défectueux
L’existence de pixels violacés est principalement due à la diffusion de la lumière incidente. En fait, quand la sensation de brouillard est forte en un point, la luminance du pixel est forte en raison de la diffusion de la lumière incidente. Quand l’inversion de l’atténuation est réalisée, les valeurs du canal rouge sont fortement augmentées tandis que la luminance additionelle due à la diffusion entrante n’est pas retranchée. Afin de supprimer cet aspect violacé des images corrigées, la valeur de tous les pixels de
Γ est ajustée en ajoutant à la correction l’effet de la luminance et du coefficient de diffusion rouge dans
la propagation. Cette procédure est appliquée par le biais d’un processus itératif visant à succesivement réduire et minimiser le nombre de pixels défectueux détectés. L’algorithme employé est basé sur une méthode des moindres carrés [33] en cherchant à minimiser le cardinalΓ. À chaque itération, la valeur
3.6. Résultats et analyse 41
deI′(k, l) est modifiée en augmentant la luminance de façon constante pour chaque pixel de l’image, et
le coefficient de diffusion rouge en utilisant l’Eq.(3.4). Ainsi, nous complétons le modèle de correction partiel de l’Eq.(3.7) en rajoutant la composante de rétrodiffusion du modèle complet prenant en compte la diffusion de la lumière incidente. Cet algorithme de fitting minimise le nombre de pixels de l’ensembleΓ.
À la fin du traitement, la qualité visuelle de la correction est nettement améliorée. Nous pouvons voir sur la figure 3.11. que l’aspect bleuté du fond est bien restitué tout en conservant la restitution des couleurs du plongeur. À partir de cette correction, une estimation partielle de la diffusion entrante est réalisée. Ainsi, l’inversion de la propagation est plus précise et tend à se rapprocher d’une inversion complète du modèle.
3.6
Résultats et analyse
3.6.1 Analyse qualitative
La définition de critères permettant d’estimer, à partir de la seule connaissance des images, les pa- ramètrescˆλ etx ainsi que la méthode proposée de correction des pixels violacés fournit une méthodeˆ
complétement automatique de correction des images sous-marines. Cette correction automatique donne des résultats satisfaisants. Comme l’illustrent les images de la figure 3.12., les objets de l’avant-plan sont bien restaurés : les poissons, les rochers, l’apparence des plongeurs est bien restituée en terme de couleur. Le contraste des objets est plus important et se détache nettement mieux du reste de l’image. Certains objets difficilement visibles en arrière-plan des images réapparaissent et l’effet de voile est estompé. Les images sont ainsi beaucoup plus nettes. En ce qui concerne la restauration des couleurs, nous obtenons avec cette méthode de meilleurs résultats qu’avec un algorithme de constance couleur. Notre comparai- son a été effectuée avec les deux algorithmes de constance couleur que nous avons décrits antérieurement dans le chapitre 2 : le Multi-Scale Retinex [41, 28, 39, 40] et ACE [13, 42]. Ces algorithmes permettent une correction non-supervisée mais reposent sur un ajustement chromatique qui ne prend pas en compte la nature physique des dégradations. Par contre, ces derniers permettent un réhaussement plus important des contrastes notamment de l’arrière-plan de l’image.
Par ailleurs, la diffusion entrante de la lumière n’est pas encore prise en compte lors du traitement auto- matique. Pour cette raison, nous pouvons observer une suppression de l’effet de voile nettement moins bonne que lors d’une correction effectuée par un utilisateur. Malheureusement, il est difficile de caracté- riser l’effet de voile et de le mesurer pour permettre d’estimer le paramètre d’intensité de l’illumination. De simples mesures de contraste ne sont pas suffisantes. L’ajout de cette fonctionnalité au traitement améliorerait probablement de façon sensible le traitement. De plus, le réglage de la diffusion peut influer sur la détermination de la distance. En effet, la diffusion en soustrayant de l’intensité lumineuse, limite en partie la compensation de l’atténuation et par voie de conséquence l’erreur entre deux itérations du traitement.
3.6.2 Analyse quantitative : validation de la méthode
Afin de valider l’efficacité et la pertinence de notre méthode de façon quantitative, une simulation des dégradations dues à l’interaction entre la lumière et l’eau au cours de l’acquisition d’image sous- marines a été réalisée. Cette étude est effectuée sur un nouvel ensemble d’images afin de pouvoir mettre à l’épreuve le modèle d’estimation de paramètres défini dans notre méthode de correction. Cette en- semble est constitué d’images de références, d’images dégradées artificiellement et d’images “dégradées
corrigées”. Nous sommes alors en mesure de calculer une métrique pour valider notre méthode ainsi que d’effectuer une comparaison avec d’autres méthodes disponibles dans la littérature.
Création d’un ensemble d’images de référence par simulation de l’atténuation
Un nouvel ensemble d’images sous-marines est consistué : les images choisies n’appartiennent pas à l’ensemble d’apprentissage consistué précédemment dans la section 3.3.2. Afin de simuler les dégra- dations, seules des images claires disposant d’une bonne qualité visuelle ont été choisies : les images sont bien illuminées, la distance entre la scène et le capteur est faible, et la turbidité de l’eau est très faiblement prononcée. Trois de ces images sont présentées sur la figure 3.14. De telles images peuvent être assimilées à ce que l’on pourrait observer à l’air libre. Ainsi, ces images ne souffrent que très peu du phénomène d’atténuation tout en représentant une scène océanique réelle. À partir de ces images il est possible d’appliquer l’atténuation à l’aide de la loi de Beer-Lambert (Eq.(1.9)) et du modèle bio-optique pour simuler l’intéraction d’une colonne d’eau avec la lumière perçue de la scène. Ces images simulées sont calculées en ajoutant artificiellement une colonne d’eau de différentes épaisseurs x à la scène en
utilisant plusieurs niveaux de concentration en chlorophylleC. L’ensemble des combinaisons de valeurs
dex = {1m, 3m, 5m} et de C = {0, 2, 4, 6, 8, 10}mg/m3 a été utilisé pour la simulation. Nous dis- posons ainsi d’une série d’images dégradées présentant une teinte dominante allant du bleu au vert en fonction de la concentration en chlorophylle et subissant une atténuation de différente force en fonction de la distance, caractérisée par une luminosité plus ou moins forte. Une illustration de la simulation est donnée par la figure 3.13. Les images sous-marines originales et les images dégradées par simulation
3.6. Résultats et analyse 43
FIG. 3.12 – Résultats : (à gauche) Images originales (au centre) corrections manuelles (à droite) correc- tions automatiques
forment un ensemble de référence permettant la validation de la méthode en appliquant le traitement aux images dégradées.
Image originale x = 1m − C = 2mg/m3 x = 1m − C = 6mg/m3
x = 3m − C = 2mg/m3 x = 3m − C = 6mg/m3 x = 5m − C = 2mg/m3
FIG. 3.13 – Simulation : image originale et images dégradées pour différentes valeurs dex et C
Une métrique pour l’évaluation
La plupart des méthodes de calcul de distances usuelles possèdent le défaut de ne pas prendre en