7.2.1 Mod `ele g ´en ´eratif lin ´eaire
Dans un premier temps, on se donne un mod `ele d ´eterministe de formation des donn ´ees, ou mod `ele g ´en ´eratif. Dans la pratique, un mod `ele lin ´eaire s’av `ere souvent suffisant et on ´ecrira cette relation (en variables discr `etes) :
p=Rf. (7.2.1)
La forme de la matriceR, connue, d ´epend de l’application trait ´ee. Dans le cas de la re-construction d’image, les donn ´eespet l’image inconnue,f, sont arrang ´ees sous forme de vecteurs par ordonnancement lexicographique. Le vecteur p peut ˆetre vu comme une somme des colonnes de la matrice R, chacune ´etant pond ´er ´ee par la valeur du pixel de f correspondant. On comprend ainsi que chaque colonne de R repr ´esente la fonction d’ ´etalement d’un point de l’espace objet (en anglais Point Spread Function
ou PSF). Ce mod `ele s’applique par exemple au cas de la reconstruction tomogra-phique, o `u la PSF est diff ´erente pour chaque point. Cela peut ´egalement ˆetre le cas en d ´econvolution mais, la plupart du temps, la PSF est consid ´er ´ee spatialement inva-riante. Dans le cas du d ´ebruitage, la matriceR est simplement ´egale `a l’identit ´e.
En ce qui concerne l’analyse d’images, prenons l’exemple de la r ´egression qua-dratique. On dispose d’une liste de coordonn ´ees {xi, yi}i=1···N de points d’int ´er ˆet, ex-traits d’une image par un d ´etecteur, et que l’on suppose align ´es selon une courbe. Une relation sous-jacente de la forme y = a +bx + cx2 est v ´erifi ´ee pour chaque couple de coordonn ´ees. La relation (7.2.1) s’ ´ecrit donc en collectant les ordonn ´ees
{yi}dans le vecteurp. Les inconnues,a,b etcforment le vecteur f et la matriceR est form ´ee d’un vecteur-colonne de 1, du vecteur des abscisses {xi}, et du vecteur des mon ˆomes de degr ´e deux {x2
i}. Ce mod `ele peut ais ´ement ˆetre ´etendu `a des combinai-sons lin ´eaires d’autres fonctions que les mon ˆomes. On peut ainsi mod ´eliser des rela-tions non lin ´eaires entre les coordonn ´ees, mais le mod `ele g ´en ´eratif (7.2.1) demeure lin ´eaire par rapport `af.
Le mod `ele (7.2.1) r ´esume la partie d ´eterministe de la connaissance que l’on peut avoir du processus de formation des donn ´ees. Il est cependant incomplet, car il ne tient
7.2 Le mod `ele quadratique et ses limites 145 pas compte de la nature des perturbations al ´eatoires sur l’observation, ou bruit. Tr `es souvent, celui-ci est consid ´er ´e additif et ind ´ependant def et (7.2.1) devient alors :
p=Rf +n. (7.2.2)
Dans le cadre de l’estimation bayesienne, on adjoint `a ce mod `ele des informations de nature statistique, sur les diff ´erentes variables qui interviennent.
7.2.2 Structure probabiliste et estimation bayesienne
Une premi `ere densit ´e de probabilit ´e int ´eressante traduit le caract `ere al ´eatoire des mesures : P(p|f). Elle quantifie la vraisemblance d’une observation connaissant les valeurs des param `etres. Il s’agit en fait de la densit ´e de probabilit ´e du bruit, n = p−
Rf. Une hypoth `ese tr `es classique consid `ere que le bruit est additif, gaussien, centr ´e, isotrope, ind ´ependant et identiquement distribu ´e (iid). Dans ce cas :
P(p|f)∝exp µ − 1 2σ2kp−Rfk2 ¶ . (7.2.3)
On peut rechercher les param `etres rendant la plus plausible l’observation en maximi-sant la vraisemblance. Dans le cas gaussien, on retrouve l’estimateur classique des moindres carr ´es :
ˆ
f =arg min
f
1
2σ2kp−Rfk2. (7.2.4) L’estimateur du maximum de vraisemblance (MV) pr ´esente de bonnes propri ´et ´es sta-tistiques [Kay93]. Il consid `ere cependant la variablef comme un param `etre d ´eterminis-te. Au contraire, l’approche bayesienne consid `eref comme une variable al ´eatoire dont la distributionP(f)traduit la connaissancea priori sur la solution recherch ´ee. Dans ce cadre, la probabilit ´e associ ´ee `a pest obtenue en int ´egrant par rapport `a f la vraisem-blance conjointe : P(p) = Z P(p, f)df = Z P(p|f)P(f)df. (7.2.5) Cependant, cette int ´egrale est souvent inexploitable analytiquement et on a recours `a une estimation ponctuelle qui correspond implicitement `a une approximation classique en inf ´erence bayesienne. Elle consid `ere que la distribution conjointe est suffisamment “piqu ´ee” pour qu’on puisse approcher son int ´egrale par la hauteur du pic multipli ´ee par sa “largeur”, σpic :P(p) ' σpic maxfP(p, f) ∝ P(p|fˆ)P( ˆf), o `u l’estim ´ee fˆest donn ´ee par :
ˆ
f =arg max
f
P(p|f)P(f). (7.2.6) La distribution maximis ´ee ´etant proportionnelle `a la loi a posterioriP(f|p), cet estima-teur est appel ´e maximum a posteriori (MAP). Les connaissances a priori surf prises en compte par le MAP peuvent s’av ´erer tr `es utiles dans des probl `emes d’estimation comme la r ´egression, par exemple. On peut ainsi limiter la sensibilit ´e aux bruits, l’in-fluence des forts degr ´es ou bien contraindre les coefficients de la courbe autour d’une valeur connue ou pr ´edite, notamment dans le cas d’un algorithme de suivi. Pour cela, on impose `af une densit ´e de probabilit ´e, par exemple gaussienne,N( ¯f ,Σ):
P(f)∝exp µ −1 2(f −f¯) TΣ−1(f −f¯) ¶ . (7.2.7)
En reconstruction d’image, introduire une information a priori est non seulement utile, mais absolument n ´ecessaire. En effet, les probl `emes inverses rencontr ´es sont en g ´en ´eral mal pos ´es et la r ´esolution au sens des moindres carr ´es est instable. Une tech-nique classique, la r ´egularisation de Tikhonov, p ´enalise la norme def ou, plus souvent, celle de son gradient. Cela revient ´egalement `a introduire una priori gaussien :
P(f)∝exp µ − 1 2σ2k∇fk2 ¶ . (7.2.8)
Dans le cas de distributions gaussiennes, en passant au logarithme dans (7.2.6), on retrouve l’estimateur des moindres carr ´es p ´enalis ´es. Soit, dans l’exemple ci-dessus, en collectant les constantes :
ˆ
f =arg min
f
kp−Rfk2+λ2k∇fk2. (7.2.9) Lorsque la contrainte porte surf et non sur son gradient, on retrouve le filtre classique de Wiener. Notons que l’estimation au sens du MV peut ˆetre vue comme le cas limite du MAP o `uP(f)est uniforme.
7.2.3 Limites des estimateurs gaussiens
Les densit ´es de probabilit ´e (pdf selon l’abr ´eviation anglaise) mises en jeu dans le cadre de l’estimation bayesienne sont souvent de forme gaussienne :
P(u)∝exp à −1 2 N X i=1 u2i ! , (7.2.10)
o `u la variable muetteuipeut repr ´esenter soit un r ´esiduni = (p−Rf)i (cas de l’estima-tion) soit la valeur d’un pixelfi, d’une composante ou de la norme du gradient :(∇xf)i, (∇yf)i ou(|∇f|)i(cas de la r ´egularisation, cf.§7.4.3). MaximiserP(u)est ´equivalent `a minimiser une forme quadratique :
J(f) = 1 2 N X i=1 u2 i. (7.2.11)
Malheureusement, ce type de mod `ele est notoirement sensible aux fortes d ´eviations
ui. Prenons l’exemple de la r ´egression lin ´eaire (cf. figure 7.1). La pr ´esence d’une seule donn ´ee erron ´ee suffit `a cr ´eer une valeur forte de r ´esidu. L’algorithme charg ´e de mini-miser J(f) a tendance `a limiter en priorit ´e ce r ´esidu de la seule fac¸on possible, c’est-`a-dire en agissant sur les coefficients f du mod `ele. On dit que le point de rupture de cet estimateur est de 0 : une seule donn ´ee erron ´ee suffit `a modifier le r ´esultat de l’estimation.
Dans le cas de la r ´egularisation, la fonction quadratique s’oppose `a la cr ´eation de forts gradients dans la solution. Celle-ci aura donc un aspect trop lisse (cf. fig. 7.7(e) ou 7.8(c)). On souhaiterait, au contraire, obtenir une solution form ´ee de r ´egions lisses, s ´epar ´ees par des bords francs.
Le probl `eme inh ´erent au mod `ele gaussien est qu’il ne consid `ere qu’un seul type de donn ´ees alors qu’il y en a deux, en r ´ealit ´e. Dans le cas de la r ´egression, on distingue les donn ´ees conformes au mod `ele (ou “inlier”) qui correspondent aux r ´esidus faibles tandis que les donn ´ees erron ´ees (ou “outlier”) entraˆınent de fortes d ´eviations. Il s’agit