HAL Id: inria-00386668
https://hal.inria.fr/inria-00386668
Submitted on 22 May 2009HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come from
L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de
Agrégation d’estimateurs pour le débruitage d’image
Joseph Salmon, Erwan Le Pennec
To cite this version:
Joseph Salmon, Erwan Le Pennec. Agrégation d’estimateurs pour le débruitage d’image. 41èmes Journées de Statistique, SFdS, Bordeaux, 2009, Bordeaux, France, France. �inria-00386668�
Agr´
egation d’estimateurs pour le d´
ebruitage
d’image
Joseph Salmon & Erwan Le Pennec
Laboratoire de Probabilit´e et Mod`eles Al´eatoires, CNRS-UMR 7599, Universit´e Paris 7-Diderot
175 rue du Chevaleret 75013 Paris
MOTS CLEFS: Mod`eles semi et non param´etriques, Statistique math´ematique, Agr´egation, NL-Means, Diffusion.
R´ESUM´E: Dans ce travail sur le d´ebruitage d’image, nous pr´esentons un nouveau type d’estimateur par patchs inspir´e de la m´ethode NL-Means propos´ee par Buades, Coll et Morel (2005) et des techniques PAC-Bay´esienne ´etudi´ees par Dalalyan et Tsybakov (2007). Nous pr´esentons le cadre th´eorique adapt´e pour ces estimateurs, leur impl´ementation ainsi que leurs performances th´eoriques et pratiques.
ABSTRACT: In this work on image denoising, we present a novel type of patch base estimator inspired by the Non Local Means proposed by Buades, Coll et Morel and the PAC-Bayesian techniques studied by Dalalyan and Tsybakov. We present the theo-retical framework adapted to these estimators and deal with both theotheo-retical and pratical performances of these estimators.
Le d´ebruitage d’images num´eriques, l’estimation d’images corrompues par un bruit, est un th`eme classique `a la fronti`ere du traitement du signal et des statistiques. Inspir´es par les travaux de Buades, Coll et Morel (2005) sur les Non Local Means (NL-means) et les techniques PAC-Bay´esienne ´etudi´e par Dalalyan et Tsybakov (2007), nous proposons un nouveau type d’estimateur utilisant des patchs qui repose sur des techniques d’agr´egation d’estimateurs.
Le mod`ele consid´er´e est le mod`ele classique de r´egression sur une grille fixe: pour chaque pixel i d’une image de taille n × n, on observe
Yi = f (i) + εi ,
o`u f (i) est la vraie valeur et εi, une suite i.i.d. de gaussienne centr´ee de variance σ2connue.
Vectoriellement, Y = f + ε. On recherche alors des bons estimateurs de f en tout point de la grille `a partir de l’observation de Y , la perte ´etant mesur´ee par la norme ℓ2. De
nombreux estimateurs ont ´et´e propos´es dans ce cadre: estimateurs `a noyaux, seuillage dans des bases d’ondelettes ou des repr´esentations g´eom´etriques... Nous ´etudions ici une classe d’estimateurs diff´erente : celle des estimateurs bas´es sur des moyennes de patchs voisins.
Le premier estimateur de ce type a ´et´e propos´e par Buades, Coll et Morel en 2005 sous le nom de NL-Means. Il est construit de la mani`ere suivante. On place autour d’un pixel i0 une petite fenˆetre (que l’on choisira en pratique de taille 5 × 5), et l’on appelle
patch bruit´e Pi0 la restriction de Y `a celle-ci. On consid`ere ´egalement dans un voisinage
de ce pixel, M patchs P (i0, 1), . . . , P (i0, M ) de mˆeme forme. On cherche alors `a estimer
la restriction de f `a la fenˆetre centr´ee autour de i0 par une combinaison lin´eaire ˆP (i0) des
patchs voisins, ˆ P (i0) = M X j=1 λ(i0, j)P (i0, j) ,
o`u les poids λ(i0, j) d´ependent de la similarit´e du patch correspondant `a P (i0, j) avec le
patch central. De mani`ere plus pr´ecise, les poids associ´es `a la m´ethode des NL-means sont proportionnels `a des exponentielles en la distance ℓ2 des patchs et somment `a 1:
λ(i0, j) = exp (−β −1kP i0 − P (i0, j)k 2) PM k=1exp (−β−1kPi0 − P (i0, k)k 2) .
Le param`etre β, dit param`etre de temp´erature, permet de r´egler la mesure de similarit´e et joue le rˆole de la fenˆetre dans les m´ethodes `a noyaux. Il contrˆole donc le niveau de lissage. Cette m´ethode simple donne de tr`es bon r´esultats pratiques mais il n’existe pas de preuve th´eorique de son efficacit´e.
Dans le travail de Dalalyan et Tsybakov (2007) sur l’agr´egation d’estimateurs on voit apparaˆıtre une construction similaire pour laquelle ils obtiennent des r´esultats th´eoriques. Dans le mˆeme mod`ele statistique, ils se donnent une famille P (1), . . . , P (M ) de pr´e-estimateurs et cherche `a estimer f `a partir d’une combinaison lin´eaire Pλ de ceux-ci
Pλ = M
X
i=1
λ(i)P (i) .
Pour cela, ils fixent une loi a priori π sur RM et d´efinissent l’estimateur PAC-Bay´esien
associ´e ˆfπ par ˆ fπ = R RM Pλexp (−β−1kY − Pλk2) π(dλ) R RM exp (−β−1kY − Pλk2) π(dλ) .
La similarit´e entre cette formule et celle des NL-Means est frappante. De mani`ere plus pr´ecise, on retrouve exactement les NL-Means en restreignant l’estimation au voisinage autour de i0, en choisissant pour pr´e-estimateurs les patchs voisins P (i) = P (i0, i) et pour
π la loi discr`ete uniforme sur les pr´e-estimateurs, soit π = 1/MPMi=1δei o`u e1, . . . , eM
est la base canonique de RM, et δ
ei est la mesure de Dirac associ´ee. Lorsque les
pr´e-estimateurs sont ind´ependants de Y , ils d´emontrent que si β ≥ 4σ2 alors
Ekf − ˆfπk2 ≤ inf p
Z
o`u p parcours l’ensemble des probabilit´es sur RM et K(p, π) est la divergence de
Kullback-Leibler entre p et π. Le risque de l’estimateur est plus petit que le risque de toute com-binaison des estimateurs Pλ `a un terme pr`es mesurant la distance entre ces combinaisons
et l’a priori utilis´e. L’hypoth`ese d’ind´ependance n’est pas v´erifi´ee dans le cas d’utilisation des patchs mais des travaux en cours sugg`erent qu’une in´egalit´e de la forme
Ekf − ˆfπk2 ≤ inf p
Z
kf − fλk2+ σ2|λ|2p(dλ) + βK(p, π) ,
est v´erifi´ee. Celle-ci signifie que le risque de l’estimateur est major´ee par toute le risque de toute combinaison d’estimateur `a noyaux `a un terme mesurant la distance entre l’a priori et cette combinaison pr`es; on fait “aussi bien” que le meilleur des noyaux possibles au terme de divergence pr`es.
Deux questions se posent alors: Comment choisir l’a priori π pour assurer que le membre de droite de l’in´egalit´e pr´ec´edente soit proche du minimum sans le terme de divergence? Comment calculer en pratique cet estimateur?
L’efficacit´e de la m´ethode repose en grande partie sur le choix de l’a priori sur les pr´e-estimateurs. L’avantage des NL-means est la simplicit´e de leur calculs. Le choix d’un a priori uniforme sur les valeurs P (i0, 1), . . . , P (i0, M ) permet de ne pas avoir d’int´egrale
`a calculer. Dalalyan et Tsybakov ont montr´e l’int´erˆet d’un a priori sym´etrique `a queue lourde (par exemple une loi 3-Student) lorsque le meilleur estimateur est une combinaison parcimonieuse des pr´e-estimateurs. Dans le cadre du d´ebruitage, une approche “noyau” conduit `a regarder un a priori gaussien, ou un m´elange gaussien.
Dalalyan et Tsybakov (2009) sugg`erent une m´ethode de type Langevin-Monte Carlo, analogue continu des m´ethodes MCMC classiques, pour le calcul de l’estimateur. Cette m´ethode est bas´ee sur le faite que si V est une fonction suffisamment r´eguli`ere (et sous quelques conditions techniques), la solution L de la diffusion r´egie par l’´equation de Langevin,
dLt= ∇V (Lt)dt +
√
2 dW t , L0 = λ0 , t ≥ 0 ,
avec λ0 ∈ RM, Wtun mouvement Brownien M -dimensionnel, a pour distribution
station-naire pV(λ) ∝ eV (λ), λ ∈ RM. En prenant
V (λ) = −β−1kY − f
λk2n− log (π(λ)) ,
la diffusion converge vers la distribution apparaissant dans les estimateurs PAC-Bay´esien. L’int´egrale RRM λpV(dλ) s’obtient alors comme limite des int´egrales le long d’une
trajec-toire ¯LT = T1
RT 0 Ltdt.
Cette int´egrale est approch´ee num´eriquement grˆace `a la r´esolution d’un sch´ema d’Euler discret `a pas constant associ´e `a la diffusion. On d´efinit LE
0 = λ0 et pour k = 1, . . . , [T /h]−
1,
o`u W1, W2, . . . sont des gaussiennes standardis´ees et i.i.d de RM. On approche alors naturellement ¯LT par: ˆ LET,h = 1 [T /h] [T /h]−1X k=0 LEk.
Cette m´ethode permet de calculer un estimateur proche de l’estimateur th´eorique. Nous avons comparer les diff´erents a priori sur des images usuelles et nous montrerons les variations de performances selon le type d’a priori choisi.
Bibliographie
[1] A. Buades, B. Coll, and J-M. Morel (2005) ”A review of image denoising algorithms, with a new one”, Multiscale Model.Simul., vol. 4, no. 2, pp. 490-530.
[2] A. Dalalyan and A. Tsybakov (2007) ”Aggregation by exponential weighting, sharp oracle inequalities and sparsity” in COLT, pp. 97-111.
[3] A. Dalalyan and A. Tsybakov (2009) ”PAC-Bayesian bounds for the expected error of aggregation by exponential weigths” to appear.
