Théorie semi-quadratique, régularisation et estimation robuste

(1)

1

Chapitre 1

Th ´eorie semi-quadratique,

r ´egularisation et estimation robuste

Pierre Charbonnier, Jean-Philippe Tarel Sio-Song Teng

1.1 Introduction

Les images num ériques ont de plus en plus de domaines d’application de nos jours. Il convient d’ailleurs de prendre le mot “image” au sens large de cartographie d’une propri ét é physique, éventuellement complexe ou vectorielle, en tout cas non limit ée à l’intensit é photom étrique. Ces images doivent souvent être obtenues par le calcul, à partir de donn ées issues de capteurs, voire à partir d’autres images. Les images optiques elle-m êmes sont issues de syst èmes imageurs qui peuvent introduire du flou ou des perturbations al éatoires – le bruit – dont il convient de les d ébarrasser pour les rendre exploitables. On peut parler, de mani ère g én érique, de reconstruction d’image. Le terme vision par ordinateur, quant à lui, regroupe les techniques visant à ana-lyser automatiquement les images afin d’en ressortir des informations utilisables par des syst èmes de d étection, de commande ou de reconnaissance. L’approche clas-sique consiste à extraire dans les images des primitives g éom étriques qui sont ensuite abstraites, gr âce à l’utilisation de mod èles math ématiques. Il s’agit alors d’estimer les param ètres permettant d’ajuster au mieux un mod èle aux donn ées observ ées. Plus r écemment, on a vu apparaˆıtre des m éthodes, rendues accessibles par la mont ée en puissance des ordinateurs, qui utilisent l’ensemble des valeurs de l’image. Elles capturent l’apparence globale des objets à travers des mod èles statistiques. L’analyse d’une image implique, l à encore, un ajustement de param ètres.

Ces deux types d’applications, reconstruction et analyse d’images, peuvent sembler tr ès diff érents. Dans les deux cas, cependant, on peut consid érer que les donn ées p auxquelles nous avons acc ès sont une r éalisation bruit ée d’une relation fonctionnelle R(f) dont on souhaite estimer les paramètres f. Pour résoudre ce problème inverse, il est n écessaire d’introduire des connaissances sur le bruit. De plus, il est souvent sou-haitable – et parfois n écessaire – d’introduire une connaissance a priori sur la nature de la solution recherch ée, on parle alors de r égularisation. Le cadre bayesien est le plus g én érique pour sp écifier ces informations de nature statistique.

(2)

Le paragraphe 1.2 est consacr é à la description du mod èle et des principaux es-timateurs associ és. Nous verrons également que les hypoth èses gaussiennes classi-quement utilis ées sont inadapt ées. Ainsi, dans le cas de l’estimation de param ètres, elles ne permettent pas de g érer correctement la pr ésence de donn ées erron ées. En reconstruction d’image, elles entraˆınent un lissage excessif des contours. Nous propo-sons au paragraphe 1.3 une pr ésentation unifi ée de mod èles bas és sur des densit és de probabilit é non gaussiennes (ou d’ énergies non quadratiques). Ces mod èles per-mettent de rel âcher le comportement gaussien lorsque cela devient n écessaire. La th éorie semi-quadratique pr écise les conditions à imposer aux fonctions employ ées pour autoriser un tel comportement. On montre que cela revient à introduire une va-riable auxiliaire dont le r ôle est à la fois de “marquer” les donn ées et de lin éariser le probl ème, simplifiant ainsi l’algorithmique associ ée. Nous illustrons au paragraphe 1.4 deux applications d’estimation robuste de param ètres dans le cadre de la d étection automatique de la signalisation routi ère. Nous montrons également le gain de qualit é obtenu en reconstruction d’image r égularis ée.

1.2 Le mod `ele classique et ses limites

1.2.1 Mod èle g én ératif lin éaire

Dans un premier temps, on se donne un mod èle d éterministe de formation des donn ées, ou mod èle g én ératif. Dans la pratique, un mod èle lin éaire s’av ère souvent suffisant et on écrira cette relation (en variables discr ètes) :

p = Rf. (1.2.1)

La forme de la matrice R, connue, d épend de l’application trait ée. Dans le cas de la re-construction d’image, les donn éesp et l’image inconnue, f , sont arrang ées sous forme de vecteurs par ordonnancement lexicographique. Le vecteur p peut être vu comme une somme des colonnes de la matrice R, chacune étant pond ér ée par la valeur du pixel de f correspondant. On comprend ainsi que chaque colonne de R repr ésente la fonction d’ étalement d’un point de l’espace objet (en anglais Point Spread Function ou PSF). Ce mod èle s’applique par exemple au cas de la tomographie, o ù la PSF est diff érente pour chaque point. Cela peut également être le cas en d éconvolution mais, la plupart du temps, la PSF est invariante spatialement. Dans le cas du d ébruitage, la matriceR est simplement égale à l’identit é.

En ce qui concerne l’analyse d’images, prenons l’exemple de la r égression quadra-tique. On dispose d’une liste de coordonn ées _{xi, yi}i=1···N de points d’int ér êt, extraits

d’une image par un d étecteur, et que l’on suppose align és selon une courbe. Une re-lation sous-jacente de la forme y = a + bx + cx2 _{est v érifi ée pour chaque couple de}

coordonn ées. La relation (1.2.1) s’ écrit donc en collectant les ordonn ées _{yi} dans

le vecteur p. Les inconnues, a, b et c forment le vecteur f et la matrice R est form ée d’un vecteur de 1, du vecteur des abscisses_{xi}, et du vecteur des monômes de degré

deux_{x2_i_{}. Ce modèle peut aisément être étendu à des combinaisons linéaires d’autres} fonctions que les mon ômes. On peut ainsi mod éliser des relations non lin éaires entre les coordonn ées, mais le mod èle g én ératif (1.2.1) demeure lin éaire par rapport àf .

Le mod èle (1.2.1) r ésume la partie d éterministe de la connaissance que l’on peut avoir du processus de formation des donn ées. Il est cependant incomplet, car il ne tient pas compte de la nature des perturbations al éatoires sur l’observation, ou bruit. Tr ès

(3)

1.2 Le mod `ele classique et ses limites 3

souvent, celui-ci est consid ér é additif et ind épendant def et (1.2.1) devient alors :

p = Rf + n. (1.2.2)

Dans le cadre de l’estimation bayesienne, on adjoint à ce mod èle des informations de nature statistique, sur les diff érentes variables qui interviennent.

1.2.2 Structure probabiliste et estimation bayesienne

Une premi ère densit é de probabilit é int éressante traduit le caract ère al éatoire des mesures : _{P(p|f). Elle quantifie la vraisemblance d’une observation connaissant les} valeurs des param ètres. Il s’agit en fait de la densit é de probabilit é du bruit, n = p − Rf . Une hypoth èse tr ès classique consid ère que le bruit est additif, gaussien, centr é, isotrope, ind épendant et identiquement distribu é (iid). Dans ce cas :

P(p|f) ∝ exp − 1 2σ2kp − Rfk 2 . (1.2.3)

On peut rechercher les param `etres rendant la plus plausible l’observation en maximi-sant la vraisemblance. Dans le cas gaussien, on retrouve l’estimateur classique des moindres carr ´es :

ˆ f = arg min f 1 2σ2kp − Rfk 2_. _(1.2.4)

L’estimateur du maximum de vraisemblance (MV) a de bonnes propri ét és statistiques [Kay93]. Cependant, il consid ère la variablef comme un param ètre d éterministe. Au contraire,

l’approche bayesienne consid ère f comme une variable al éatoire dont la distribution P(f) traduit la connaissance a priori sur la solution recherchée. Dans ce cadre, la probabilit é associ ée à p est obtenue en int égrant par rapport à f la vraisemblance conjointe : P(p) = Z P(p, f) df = Z P(p|f) P(f) df. (1.2.5)

Cependant, cette int égrale est souvent inexploitable analytiquement et on a recours à une estimation ponctuelle qui correspond implicitement à une approximation classique en inf érence bayesienne. Elle consid ère que la distribution conjointe est suffisamment “piqu ée” pour qu’on puisse approcher son int égrale par la hauteur du pic multipli ée par sa “largeur”, σpic : P(p) ≃ σpic maxfP(p, f) ∝ P(p| ˆf ) P( ˆf ), o ù l’estim ée ˆf est donn ée

par :

ˆ

f = arg max

f P(p|f) P(f).

(1.2.6) La distribution maximis ée étant proportionnelle à la loi a posteriori _{P(f|p), cet} estima-teur est appel é maximum a posteriori (MAP). Les connaissances a priori sur f prises en compte par le MAP peuvent s’av érer tr ès utiles dans des probl èmes d’estimation comme la r égression, par exemple. On peut ainsi limiter la sensibilit é aux bruits, l’in-fluence des forts degr és ou bien contraindre les coefficients de la courbe autour d’une valeur connue ou pr édite, notamment dans le cas d’un algorithme de suivi. Pour cela, on impose àf une densit é de probabilit é, par exemple gaussienne, N ( ¯f , Σ) :

P(f) ∝ exp −1 2(f − ¯f ) T Σ−1(f − ¯f ) . (1.2.7)

(4)

En reconstruction d’image, introduire une information a priori est non seulement utile, mais absolument n écessaire. En effet, les probl èmes inverses rencontr és sont en g én éral mal pos és et la r ésolution au sens des moindres carr és est instable. Une tech-nique classique, la r égularisation de Tikhonov, p énalise la norme def ou, plus souvent, celle de son gradient. Cela revient également à introduire un a priori gaussien :

P(f) ∝ exp

−_2σ1₂k∇fk2

. (1.2.8)

Dans le cas de distributions gaussiennes, en passant au logarithme dans (1.2.6), on retrouve l’estimateur des moindres carr és p énalis és. Soit, dans l’exemple ci-dessus, en collectant les constantes :

ˆ

f = arg min

f |p − Rfk

2_{+ λ}2_k∇fk2_. _(1.2.9)

Lorsque la contrainte porte sur f et non sur son gradient, on retrouve le filtre classique de Wiener. Notons que l’estimation au sens du MV peut ˆetre vue comme le cas limite du MAP o `u_{P(f) est uniforme.}

1.2.3 Limites des estimateurs gaussiens

Les densit ´es de probabilit ´e mises en jeu dans le cadre de l’estimation bayesienne sont souvent de forme gaussienne :

P(u) ∝ exp −1 2 N X i=1 u2 i ! , (1.2.10)

o ù la variable muetteuipeut repr ésenter soit un r ésiduni = (p− Rf)i (cas de

l’estima-tion) soit la valeur d’un pixelfi, d’une composante ou de la norme du gradient :(∇xf )i,

(_∇yf )i ou(|∇f|)i(cas de la r égularisation, cf.§1.4.3). Maximiser P(u) est équivalent à

minimiser une forme quadratique :

J(u) = 1 2 N X i=1 u2_i. (1.2.11)

Malheureusement, ce type de mod èle est notoirement sensible aux fortes d éviations ui. Prenons l’exemple de la r égression lin éaire (cf. figure 1.1). La pr ésence d’une seule

donn ée erron ée suffit à cr éer une valeur forte de r ésidu. L’algorithme charg é de mini-miser J(u) a tendance à limiter en priorit é ce r ésidu de la seule façon possible, c’est-à-dire en agissant sur les coefficients f du mod èle. On dit que le point de rupture de cet estimateur est de 0 : une seule donn ée erron ée suffit à modifier le r ésultat de l’estimation.

Dans le cas de la r égularisation, la fonction quadratique s’oppose à la cr éation de forts gradients dans la solution. Celle-ci aura donc un aspect trop lisse (cf. fig. 1.4.3(e) ou 1.8(c)). On souhaiterait, au contraire, obtenir une solution form ée de r égions lisses, s épar ées par des bords francs.

Le probl ème inh érent au mod èle gaussien est qu’il ne consid ère qu’un seul type de donn ées alors qu’il y en a deux, en r éalit é. Dans le cas de la r égression, on distingue les donn ées conformes au mod èle (ou “inlier”) qui correspondent aux r ésidus faibles tandis que les donn ées erron ées (ou “outlier”) entraˆınent de fortes d éviations. Il s’agit

(5)

1.3 Th ´eorie semi-quadratique 5 0 5 10 15 20 0 5 10 15 20 y=0.36 x + 5.84 y=0.51 x + 4.96

FIGURE1.1 – Influence d’une donn ée erron ée sur l’estimation de param ètres au sens des moindres carr és : la droite de r égression en pointill és correspond à la s érie marqu ées par des points, celle en trait plein correspond à la s érie marqu ée par des cercles.

de trouver un moyen de limiter l’influence des donn ées erron ées sur l’estimation. Dans le cas de la r égularisation par le gradient, les valeurs faibles du gradient correspondent au bruit, qu’il convient de lisser, tandis que les grandes valeurs correspondent aux dis-continuit és ou contours pr ésents dans les images, que l’on souhaite en fait pr éserver.

1.3 Th ´eorie semi-quadratique

Intuitivement, on peut envisager deux façons de sortir du comportement quadra-tique. La premi ère consiste à utiliser une fonctionnelle de la forme :

J(f ) = 1 2 N X i=1 ϕ(ui). (1.3.1)

Cette formulation est connue sous le nom de M-estimateur [Hub81] en estimation ro-buste (ϕ est souvent not ée ρ dans ce cadre) et de mod èle à phi-fonction en r égularisation. Toute la question r éside alors dans le choix de la fonction ϕ. Prenons l’exemple de la quadratique tronqu ée min(u2_{, 1). Pour une faible valeur de u}

i, cette fonction garde le

comportement quadratique habituel. Par contre, `a partir de ui = 1, la valeur de la

fonction ne change plus et ce, quelle que soit la valeur deui. L’algorithme de

minimisa-tion n’a donc pas particuli èrement int ér êt à modifier cette valeur en agissant sur f . La forte d éviation perd ainsi toute influence sur le r ésultat. L’inconv énient de cette fonction est qu’elle pr ésente un point anguleux en 1, ce qui est une source potentielle d’in-stabilit é. Une fonction continue serait pr éf érable. Mais l’asymptote horizontale est-elle n écessaire ? Du point de vue de l’optimisation, une fonction convexe serait pr éf érable. De fait, de nombreuses fonctions ont ét é propos ées dans la litt érature (voir un état de l’art dans [Cha94] pour la r égularisation). Quelques exemples sont donn és dans le tableau 1.1.

La seconde approche consiste à utiliser une variable auxiliaire pour “marquer” ex-plicitement les donn ées [GG84]. Consid érant une variable binaire bi ∈ {0, 1}, on peut

d éfinir le crit ère augment é suivant : J∗(f, b) = 1 2 N X i=1 bi(ui)2+ (1− bi). (1.3.2)

(6)

La variableb est appel ée “processus de ligne” en reconstruction r égularis ée. Le second terme de cette fonctionnelle est un co ût associ é à la d étection d’une forte d éviation permettant d’ éviter le minimum d ég én ér é o ù tous les bi seraient nuls. L’int ér êt de cette

formulation est que le crit ère est quadratique lorsqu’on fixe b (d’o ù l’appellation “semi-quadratique”) : c’est celui des moindres carr és pond ér és.

Nom ϕ(u) ϕ′_(u)/2u _{( 1.3.4-1.3.6)} _{Convexit ´e}

Quadratique Q u2 ₁ _non _oui

Hyper-surfaces HS 2√1 + u2_{− 2} _1/√_{1 + u}2 _oui _oui

Cauchy ou Hebert &

Leahy HL log(1 + u

2₎ _{1/(1 + u}2₎ _oui _non

Geman & McClure

GM u

2_{/1 + u}2 _{1/(1 + u}2₎2 _oui _non

TABLE1.1 – Exemples de fonctions ϕ propos ´ees dans la litt ´erature (voir fig. 1.2).

Naturellement se pose la question de l’estimation des valeurs de b. En l’absence d’information suppl émentaire, cela doit se faire à partir des donn ées, donc deu. Consid érons l’optimisation par rapport àb de J∗_{(u, b) [BZ87]. La fonction quadratique étant inf érieure}

à 1 sur [0, 1], le minimum est r éalis é pour bi = 1 si ui < 1 et bi = 0 sinon. On remarque

alors l’ équivalence entre ce mod èle et le pr éc édent. De m ême que pr éc édemment, un comportement moins “binaire” serait cependant souhaitable. Peut-on g én éraliser cette technique à une variable auxiliaire à valeurs r éelles ?

La th éorie semi-quadratique r épond à ces questions en d éfinissant une famille de fonctions ϕ qui assure le comportement souhait é. Elle montre l’ équivalence entre ce mod èle et un mod èle o ù la prise en compte de la nature des donn ées est explicite, gr âce à une variable auxiliaire r éelle. En cela, elle étend à la fois les travaux de Hu-ber [Hub81] en estimation robuste et de Geman et al. [GR92, GY95] en r égularisation.

1.3.1 Propri ´et ´es des fonctions ϕ

Les fonctions de potentiel ϕ propos ées dans la litt érature semblent d’allures tr ès diff érentes (voir figure 1.2). Leur étude a ét é propos ée dans le cas de la r égularisation dans [Cha94] et dans [BFCAB95]. Elle se base sur un examen des équations normales li ées à l’optimisation du crit ère. En estimation robuste, les fonctions consid ér ées étant paires, on peut écrire le crit ère (1.3.1) pour ui = |ni|, où n = p − Rf est le résidu.

Le minimum de J est atteint lorsque sa d ériv ée est nulle, soit (puisque sign(x) = _|x|x ) lorsque : 1 2 N X i=1 ϕ′_(|n i|)sign(ni)∂ni ∂fj = 1 2 N X i=1 ϕ′₍_|n i|) 2_|ni| | {z } P ondération. . 2ni ∂ni ∂fj | {z } Cas quadratique = 0, ∀j = 1 . . . D. (1.3.3) On voit que si ϕ′(|ni|)

2|ni| tend vers 0, la donn ée correspondante n’entre pas en jeu dans la somme, ce qui est souhaitable pour les forts r ésidus. Par contre, cette pond ération doit tendre vers 1 pour que la donn ée soit totalement prise en compte, comme dans le cas de faible r ésidus. En r ésum é, les conditions à v érifier pour obtenir un comportement

(7)

1.3 Th ´eorie semi-quadratique 7 0 1 2 3 4 5 0 1 2 3 4 5 Q HS HL GM 0 0.2 0.4 0.6 0.8 1 0 0.2 0.4 0.6 0.8 1 GM HL HS

FIGURE1.2 – A gauche : exemples de fonctions ϕ(u) ; `a droite : fonctions de pond ´eration ϕ′(u)

2u (avec un

cœfficient d’ ´echelle arbitraire sur u [Cha94]).

diff érenci é selon les valeurs deu sont les suivantes : limu→0 ϕ ′_(u) 2u = 1 (1.3.4) limu→∞ ϕ ′_(u) 2u = 0 (1.3.5) ϕ′_(u) 2u strictement d écroissante. (1.3.6)

Ces conditions comparent les comportements de la fonctionϕ et de la quadratique, en termes de d ériv ées. Les deux fonctions évoluent de la m ême façon pr ès de 0 (1.3.4), mais la fonctionϕ est sous-quadratique à l’infini (1.3.5). La condition (1.3.6) assure la coh érence du mod èle. De fait, on constate sur les exemples de la figure 1.2 que les fonctions ϕ ont des fonctions de pond ération au comportement similaire.

1.3.2 Extensions semi-quadratiques

On peut montrer que les fonctions r éellesϕ paires, croissantes, v érifiant les condi-tions (1.3.4-1.3.6) et quelques autres hypoth èses “techniques”, sont telles que :

ϕ(u) = min b∈[0,1] bu 2_{+ Ψ(b)}_, ∀u et binf = ϕ′_(u) 2u , (1.3.7)

o ù Ψ est une fonction strictement convexe d éfinie à partir de ϕ et b est la variable auxiliaire. On parle d’extension multiplicative. Ce r ésultat g én éralise un th éor ème in-troduit dans [GR92], initialement limit é aux fonctions à asymptote horizontale. On a

´egalement, sous les m ˆemes conditions, une extension additive : ϕ(u) = min b∈R+ (b− u) 2_{+ ξ(b)}_, ∀u et binf = 1₋ ϕ ′_(u) 2u u, (1.3.8)

o ùξ est une fonction strictement convexe d éfinie à partir de ϕ. Ce r ésultat est bas é sur les travaux de [GY95].

(8)

1.3.3 Algorithmique

En reportant les équations (1.3.7) et (1.3.8) dans (1.3.1), on obtient respectivement les crit ères augment és suivants :

J∗(f, b) = 1 2 N X i=1 bi(ui)2 + Ψ(bi) = 1 2kuk 2 B+ 1 2 N X i=1 Ψ(bi), (1.3.9) avecB = diag(bi) et : J#(f, b) = 1 2 N X i=1 (bi− ui)2+ ξ(bi) = 1 2ku − bk 2₊ 1 2 N X i=1 ξ(bi). (1.3.10)

Ces crit ères augment és d’une variable sont en fait plus simples à minimiser que le crit ère original. En effet, la minimisation de J conduit à des équations normales non lin éaires. Par contre, à b fix ée, les crit ères augment és sont quadratiques et conduisent donc à la r ésolution d’ équations normales lin éaires, de la forme Af = c. Notons que dans cette minimisation, les fonctions Ψ et ξ n’interviennent pas (il n’existe d’ailleurs pas d’expression explicite de ξ). D’autre part, lorsque la variable f est fix ée le crit ère augment é est convexe enb et la valeur du minimum est donn ée dans (1.3.7) et (1.3.8). Cette valeur d épend de la fonction de pond ération et d’apr ès (1.3.4) et (1.3.5), il est clair que la variable auxiliaire b joue le r ôle de “marqueur” de donn ées (“inlier/outlier”, “bruit/discontinuit é” dans nos applications).

Bien que des algorithmes stochastiques existent [GR92, Jal01], les propri ét és semi-quadratiques sont, la plupart du temps, exploit ées sous forme d’algorithmes d éterministes op érant par minimisations altern ées par rapport à chacune des variables. En g én éral, on positionne initialement tous lesbi à 1, ce qui revient à commencer par un algorithme

des moindres carr és classique. Dans le cadre de l’estimation robuste, on retrouve pour la forme multiplicative l’algorithme des moindres carr és (re-)pond ér és it ératifs (Itera-tive Reweighted Least Squares ou IRLS) et pour la forme addi(Itera-tive l’algorithme des moindres carr és avec remise à jour des r ésidus, propos é dans [Hub81]. Dans le cas de la r égularisation, les algorithmes sont nomm és ARTUR [CBFAB97] pour la forme multiplicative et LEGEND pour la forme additive [Cha94]. Ces algorithmes convergent dans le cas des fonctionsϕ convexes. Dans le cas non-convexe, ils convergent vers un minimum local à condition que les points critiques de la fonctionnelle soient isol és. No-tons que la convergence est g én éralement plus lente dans le cas de la seconde forme semi-quadratique, mais que celle-ci permet d’obtenir des algorithmes moins calcula-toires (seul le second membre des équations normales est modifi é à chaque étape). Le compromis peut donc être int éressant dans le cas d’algorithmes de reconstruction d’image, par exemple. Pour une synth èse et des r ésultats r écents concernant la vi-tesse de convergence des algorithmes semi-quadratique, le lecteur pourra se r éf érer

`a [All02].

Enfin, pour am éliorer la convergence des algorithmes, on peut adopter une strat égie de continuation, dans la philosophie du GNC (Graduated Non Convexity) de [BZ87]. Cela consiste à utiliser d’abord une fonction convexe (ex. ϕHS), puis à repartir du

(9)

1.4 Applications 9

1.3.4 Approche Lagrangienne

Il existe plusieurs pr ésentations de la th éorie semi-quadratique et des algorithmes associ és, chacune apportant un éclairage particulier. Il est cependant important de remarquer qu’elles reposent toutes sur la convexit é des fonctions : _−ϕ(√u) = _−φ(u) pour la forme multiplicative et 1₂(u2_{− ϕ(u)) pour la forme additive. Ces conditions sont}

acquises d `es lors que ϕ respecte les conditions (1.3.4-1.3.6).

Nous avons r écemment propos é une relecture de la th éorie semi-quadratique dans le cadre de l’optimisation sous contrainte [TIC02]. En introduisant la fonction φ(u2

i) en

place deϕ(ui) dans (1.3.1), la pond ´eration s’ ´ecrit φ′(u2i) et les conditions d’applications

traduites sur _{φ, d ´efinie sur R}+_{, sont qu’elle doit ˆetre strictement croissante et concave.}

Ces conditions sont suffisantes pour pouvoir poser et r ésoudre le probl ème d’optimi-sation en passant par un d éveloppement lagrangien qui permet d’interpr éter (1.3.9) comme un probl ème dual. Cette relecture est également possible pour la version ad-ditive. On aboutit dans les deux cas aux m êmes algorithmes. Une telle m éthodologie a l’avantage de faciliter la preuve de convergence, en la replacant dans le cadre clas-sique du th éor ème de Khun et Tucker. Ainsi, elle s’ étend assez naturellement au cas de l’estimation simultan ée des param ètres de plusieurs instances du mod èle [TIC05].

1.3.5 Hyper-param `etres

Dans ce qui pr éc ède nous avons, par souci de simplicit é, élud é le param ètre d’ échelle. Dans (1.3.1), la variable ui doit, en r éalit é, être divis ée par un facteur δ qui ajuste le

comportement de la fonction à la dynamique des donn ées. D’autre part, lorsque le crit ère est r égularis é, un coefficient λ2 _{permet de pond érer les termes de}

vraisem-blance et d’a priori. Ces hyper-param ètres sont en g én éral laiss és au choix de l’utili-sateur. Il est cependant possible de les fixer de mani ère plus automatique (voir [Ien04] pour l’estimation robuste et [Jal01] dans le cas de la reconstruction r égularis ée).

1.4 Applications

Nous illustrons maintenant quelques applications de la th éorie semi-quadratique en analyse d’images, puis en reconstruction r égularis ée.

1.4.1 R ´egression robuste pour la d ´etection et le suivi des marquages routiers

Nous nous int éressons ici à la d étection et au suivi des marquages routiers à partir d’images num ériques. Dans des applications telles que l’aide à la conduite, la robus-tesse des traitements aux perturbations est d’une importance cruciale.

Le principe du syst ème d évelopp é [Ien04] (cf. fig. 1.3) consiste à effectuer dans un premier temps une d étection des centres suppos és des marquages, puis à les approcher par ajustement de courbes. Le fonctionnement du d étecteur est d étaill é dans [Ien04]. Il se base sur des techniques simples de seuillage et exploite des in-formations g éom étriques a priori sur la largeur des marquages, ce qui rend l’algo-rithme relativement moins sensible à certaines variations d’intensit é que les d étecteurs de contours classiques. Cependant, les cartes de d étection demeurent relativement bruit ées et la r égression semi-quadratique trouve ici un champ d’application naturel.

(10)

(a) (b)

(c) (d)

FIGURE1.3 – (a) Image de route. (b) Centres de marquages extraits (

·

) : on note la pr ´esence de

nom-breuses fausses alarmes. Ajustement (c) gaussien, (d) robuste : en blanc, degr é 1 ; en gris, degr é 2 ; en noir, degr é 3.

Dans cette application, la relation sous-jacente entre les coordonn ´ees images(x, y) des points de marquage est choisie de type polynomial :

y =

D

X

j=0

Xj(x)fj, (1.4.1)

o `u Xj(x) repr ´esente la valeur en x d’une fonction de base. Selon l’angle de prise de

vues, on peut utiliser diff érentes formes de polyn ômes (cf. tableau 1.2). En collectant les équations correspondant aux N points de mesure, on obtient un syst ème de la forme (1.2.2). Un mod èle original de bruit, appel é famille exponentielle liss ée, a ét é propos é dans [TIC02] et se base sur la fonction de potentiel suivante :

ϕα(u) =

1

α (1 + u

2₎α

− 1. (1.4.2)

Cette famille param étr ée par α s’av ère bien adapt ée à la mod élisation des r ésidus dans notre application. D’autre part, en faisant varier α, elle permet une transition continue entre les diff érents mod èles de bruit classiques (de Gauss pour α = 1 à Geman & McClure pour α =−1, en passant par Cauchy pour α = 0.5). Un algorithme semi-quadratique est obtenu à partir de l’approche lagrangienne d écrite au paragraphe 1.3.4. La figure 1.3 montre un exemple d’application de cet algorithme pour la d étection d’une ligne de marquage dans des conditions d’illumination difficiles.

Il est possible d’int égrer à la fonctionnelle un terme de r égularisation quadratique permettant de contr ôler le degr é de la courbe obtenue, voire de tenir compte des corr élations existant entre les fonctions de base. Il est également possible de tenir compte dans l’a priori d’un r ésultat d’ajustement pr éc édent. L’estimateur s’int ègre donc

(11)

(a) (c) (e)

(b) (d) (f)

FIGURE1.4 – (a) Image originale de la grille d’ ´etalonnage. (b) Centres de marquages extraits (

·

). (c) Ini-tialisation de 10 lignes pour l’ajustement des marquages verticaux. (d) Lignes ajust ées dans l’hypoth èse de distribution gaussienne pour le bruit. (e) Initialisation de 12 lignes. (f) ajustement robuste simultan é des marquages, potentiel ϕα, α= 0.1.

naturellement dans un algorithme de suivi par filtrage de Kalman [TIC02]. Cela pose le probl ème de la d éfinition de la matrice de covariance de l’estim ée, laquelle ne peut être qu’approch ée dans le cas de l’estimation robuste. Plusieurs formes de matrice ont ét é compar ées [Ien04]. L’algorithme de suivi a ét é test é avec succ ès à bord de v éhicules

équip és pour l’aide à la conduite au LIVIC [Ien04].

Une extension à l’ajustement simultan é de plusieurs courbes a ét é propos ée r écemment [TIC05] à partir du cadre lagrangien. La figure 1.4 en donne un exemple d’application. Il s’agit

de d étecter simultan ément toutes les lignes longitudinales d’une grille de marquage utilis ée pour l’ étalonnage de cam éras. On peut constater qu’en utilisant un mod èle gaussien, l’algorithme produit un r ésultat erron é malgr é une initialisation manuelle tr ès proche de la solution. Au contraire, l’algorithme produit de tr ès bon r ésultats, à par-tir d’une initialisation pourtant plus éloign ée, lorsqu’on utilise un mod èle robuste de vraisemblance.

Polyn ˆome Prise de vue Expression

Usuel Verticale y =PD_j=0fjxj Hyperbolique Perspective y = f0x + f1 + PD_j=2_(x−xfj h)j (xh=ligne d’horizon) Fractionnaire Perspective y =PD j=0fjx( j D)

TABLE1.2 – Types de polyn ˆome en fonction de l’angle de prise de vue. Les polyn ˆomes fractionnaires ne

(12)

p

P(p|B)

...

B

FIGURE1.5 – Principe de l’algorithme de d ´etection.

1.4.2 Mod `eles d’apparence pour la d ´etection et la reconnaissance de la signa-lisation verticale

La d étection d’objets dans des images est un sujet difficile qui a fait l’objet de nom-breux travaux par le pass é. Les approches par mod èles d’apparence, notamment, ren-contrent un succ ès certain depuis le d ébut des ann ées 90 [TP91]. Elle permettent la repr ésentation de classes d’objets et l’apprentissage de variations de forme, d’orien-tation ou d’illumination. Nous en pr ésentons ici une application à la d étection et à la reconnaissance de la signalisation verticale dans les sc ènes routi ères [Dah01].

Dans cette approche, toute image est repr ésent ée par un vecteur dont chaque com-posante est la valeur de niveau de gris d’un pixel. Une telle repr ésentation, globale, de l’apparence est évidemment peu parcimonieuse : c’est pourquoi on a en g én éral recours à des techniques de r éduction de dimension. Nous utilisons pour notre part l’analyse en composantes principales (ACP). Elle permet de mod éliser une base _B d’images d’apprentissage à l’aide d’une image moyenne µ et d’un nombre r éduit de vecteurs propres uj, repr ésentant les axes principaux de variation du nuage de points.

Dans notre mod èle, toute image peut se d écomposer comme une combinaison lin éaire de ces vecteurs de base, à une erreur w pr ès :

p = µ +

J

X

j=1

fjuj+ w. (1.4.3)

Nous retrouvons un mod èle g én ératif lin éaire similaire à (1.2.2). L’int ér êt de ce type de mod èle est que J est relativement faible (typiquement, quelques dizaines de co-efficients, à comparer aux centaines de milliers de pixels des images trait ées). Les comparaisons n écessaires à la d étection et à la reconnaissance s’en trouvent donc fortement simplifi ées.

Le principe de l’algorithme de d étection d’objets d’int ér êt dans une sc ène est illustr é figure 1.5. En chaque position de l’image, on extrait un vecteur d’observation p dont on évalue la vraisemblance P(p|B), par rapport au modèle appris sur la base B. Cette valeur est affect ée à la position de l’extrait. Lorsque toute la sc ène a ét é parcourue, on dispose d’une carte de vraisemblance. La position des objets d’int ér êt éventuellement pr ésents dans la sc ène est alors obtenue par seuillage. La vraisemblance de l’obser-vation, _{P(p|B), est donnée par :}

P(p|B) ∝ P(p| ˆf ,_{B) P( ˆ}f_|B), (1.4.4)

(13)

(a) (b) (c)

(d) (e) (f) (g)

FIGURE1.6 – Ligne du haut : exp érience de d étection. (a) Image analys ée. Cartes de vraisemblance pour des hypoth èses de bruit et d’a priori (respectivement) : (b) gaussien-gaussien et (c) robuste-non gaussien. Les plus fortes vraisemblances apparaissent en clair. Ligne du bas : exp érience de recon-naissance. (d) image analys ée. (e) images reconstruite. (f) carte des donn ées erron ées, b. (g) panneau reconnu.

Nous avons montr é [DCH04] que l’association d’un mod èle robuste de distribution du bruit, _{P(p|f, B), et d’un modèle a priori, P(f|B), bien adapté permet d’améliorer} de mani ère significative les performances des syst èmes de d étection existant. La fi-gure 1.6 illustre cela sur un exemple synth étique. La base d’images d’apprentissage contient 43 signaux de danger, sous 36 angles de rotation chacun. On ne retient que 30 vecteurs propres. La m éthode faisant r éf érence jusqu’ à pr ésent, utilisant des hy-poth èses gaussiennes [MP97], est mise en d éfaut sur cette image. Une meilleure dis-crimination est obtenue en associant l’estimation robuste à une mod élisation a priori adapt ée aux donn ées. Dans cet exemple, on connaˆıt la forme analytique de cette derni ère distribution, mais nous avons également propos é une m éthode, bas ée sur l’algorithme mean shift [Che95], permettant de g érer des formes arbitraires de distri-butions [VHC03].

La reconnaissance, quant à elle, est effectu ée en comparant les coordonn ées dans l’espace propre estim ées, ˆf , à celles des panneaux d’apprentissage. Ici encore, l’utili-sation d’un estimateur robuste am éliore les performances du syst ème [Dah01], comme le montre la figure 1.6. Dans cette exp érience, le panneau est en partie cach é par une inscription jaune. Le panneau reconnu à partir de l’estim ée au sens du MV gaussien est le panneau temporaire à fond jaune, alors que le panneau reconnu dans le cas robuste est correct.

1.4.3 Reconstruction r ´egularis ´ee

Nous nous int éressons ici aux probl èmes de reconstruction sous le mod èle g én ératif lin éaire. Il s’agit d’un probl ème inverse mal pos é. Existence et unicit é de la solution peuvent être obtenues respectivement en calculant la solution au sens des moindres carr és et en prenant la solution de norme minimale : on parle alors d’inversion g én éralis ée. En d écomposant R en valeurs singuli ères, R = UDVT_{, on obtient :}

ˆ

f+ = R+p o `u R+= V D+UT_, _(1.4.5)

D+ _{´etant la matrice diagonale contenant l’inverse des valeurs singuli `eres non nulles de}

(14)

(a) (b) (c)

(d) (e) (f)

FIGURE1.7 – (a) Image originale “cameraman”. (b) Image floue (d éfocalisation de rayon 2 pixels) et bruit ée. (c) Inverse g én éralis ée (1.4.5). (d) Algorithme de Landweber, 100 it érations (1.4.6), SN Rvar =

15, 7dB. (e) R ´egularisation de Tikhonov (1.4.7), λ = 2, SN Rvar = 14, 9dB. (f) R ´egularisation

semi-quadratique ICM-DCT, λ= 2, δ = 15, 100 it ´erations, SN Rvar= 18, 4dB.

de l’inversion de (1.2.1) mais pas celui de la stabilit é en pr ésence de bruit (1.2.2). En effet la matriceR est toujours mal conditionn ée et l’inversion de ses valeurs singuli ères faibles conduit à une amplification des hautes fr équences du bruit, qui peuvent m ême dominer la solution (cf. figure 1.4.3). Il est possible d’y rem édier en éliminant les va-leurs singuli ères faibles ou bien en calculant l’inverse g én éralis ée par une descente de gradient sur le crit ère des moindres carr és (algorithme de Landweber) :

ˆ

f_LW(k+1) = ˆf_LW(k) + γRT_(p

− R ˆf_LW(k)), (1.4.6)

et en arr êtant la solution apr ès un nombre fini d’it érations. La r égularisation de Tikho-nov, évoqu ée au paragraphe 1.2.2, consiste à ajouter une contrainte quadratique sur la solution ou ses d ériv ées. Dans le cas d’une r égularisation sur le gradient, la solution v érifie les équations normales :

(RTR_{− λ}2∆) ˆfT = RTp, (1.4.7)

o ù ∆ est l’op érateur Laplacien. On peut montrer que ces 3 solutions correspondent chacune à une façon de filtrer les valeurs singuli ères faibles. On parle de r égularisation lin éaire. Son d éfaut est d’agir globalement sur les images et de ne pas respecter les fortes variations locales, correspondant aux contours (cf. figure 1.4.3).

Afin de pr éserver les discontinuit és, on remplace le terme quadratique de r égularisation par un terme de la forme (1.3.1). En variables continues, le crit ère r égularis é s’ écrit alors :

J(f ) =kp − Rfk2_{+ λ}2

Z

Ω

ϕ(|∇f|) (1.4.8)

(15)

1.5 Conclusion 15

étude en variables continues en lien avec la th éorie des équations aux d ériv ées par-tielles (EDP). Nous utiliserons ici, comme dans [Cha94], une formulation discr ète s éparable :

J(f ) =_{kp − Rfk}2+ λ2X i ϕ ((Dxf )j) + λ2 X i ϕ ((Dyf )j) . (1.4.9)

Par rapport à la formulation continue, ce crit ère a le d éfaut de ne pas être isotrope. Par contre, l’aspect s éparable peut être int éressant pour l’implantation. Le crit èreJ est étendu à deux variables selon l’un ou l’autre des d éveloppements semi-quadratiques et une strat égie d éterministe de minimisations altern ées par rapport à chaque variable est mise en œuvre. Chaque étape de l’algorithme comprend donc le calcul des variables auxiliaires b(k+1)x et b(k+1)y selon les expressions (1.3.7) et (1.3.8) et la r ésolution des

équations normales. Dans le cas multiplicatif (algorithme ARTUR), elles s’ écrivent : (RT_R − λ2∆(k+1)_A ) ˆf_A(k+1)= RT_p, _(1.4.10) o ù : ∆(k+1)A =−D T xBx(k+1)Dx− DTyBy(k+1)Dy,

avec B(k+1)x = diag(b(k+1)x ) et By(k+1) = diag(b(k+1)y ). Dans le cas additif (algorithme

LEGEND), on r ´esout : (RT_R − λ2∆) ˆf_L(k+1) = RT_{p + λ}2_DT xb (k+1) x + λ 2_DT yb (k+1) y (1.4.11)

La premi ère forme converge en g én éral plus rapidement que la seconde, en nombre d’it érations. Par contre, cette derni ère est int éressante car le premier terme ne varie pas au cours des it érations k. On peut, par exemple, le factoriser par l’algorithme de Cholesky pour faciliter ensuite les calculs [Cha94]. Dans le cas de la d éconvolution, avec conditions aux bords circulaires, la transform ée de Fourier permet de diagonali-ser ce terme. On peut cependant lui pr éf érer la transform ée en cosinus discret lorsque la PSF est sym étrique. Cela sous-entend des conditions aux bords sym étriques, cor-respondant aux conditions de Neumann associ ées aux équations normales. On obtient ainsi l’algorithme ICM-DCT [Jal01].

Les figures 1.4.3 et 1.8 pr ésentent les r ésultats obtenus en d éconvolution à l’aide de l’algorithme ICM-DCT, en comparaison d’estimateurs classiques. Le gain en qualit é, évident visuellement, est confirm é en termes de rapport signal-sur-bruit (SNR). Celui-ci est mesur é à partir des variances de l’image de r éf érence, connue, f et de l’image reconstruite ˆf : SNRV AR = 10 log10(σ2f/σ_f2_{− ˆ}_f). Les filtres utilis és ici mod élisent un flou

de d ´efocalisation dans le premier cas et un boug ´e dans le second.

La r égularisation semi-quadratique a ét é appliqu ée avec succ ès à de nombreux probl èmes de reconstruction comme, entre autres, la st ér éovision, l’estimation de mou-vement, la tomographie ou encore l’imagerie micro-ondes (diffraction inverse) [BF00].

1.5 Conclusion

L’hypoth èse classique de distribution gaussienne (correspondant à une énergie qua-dratique) s’av ère inadapt ée dans de nombreux probl èmes r éels o ù les donn ées se composent en r éalit é de deux cat égories (”inlier/outlier”), n écessitant chacune un trai-tement adapt é. On fait alors appel à l’estimation robuste combin ée à la r égularisation lorsque le probl ème est mal pos é. Nous avons pr ésent é un cadre g én éral, la th éorie

(16)

(a) (b) (c)

(d) (e) (f)

FIGURE1.8 – (a) Image originale “ecodyn”. (b) Image floue (boug é horizontal de 12 pixels) et bruit ée. (c) R égularisation de Tikhonov, λ= 1, SN Rvar = 14, 5dB. (d-e) Discontinuit és entre lignes, bxet entre

colonnes by (visualisation en log). (f) Reconstruction r ´egularis ´ee semi-quadratique par ICM-DCT, λ =

1, δ = 7, 100 it érations, SN Rvar= 18, 1dB, o ù la plaque min éralogique est de nouveau lisible.

semi-quadratique, permettant de sortir du comportement purement quadratique, soit par l’introduction d’une fonction bien choisie qui att énue l’influence des fortes d éviations, soit par l’introduction directe de variables auxiliaires et d’un terme de p énalit é énerg étique associ é. La th éorie semi-quadratique permet d’ établir le lien entre ces deux approches et pr écise les conditions de choix possibles, en termes simples. De plus, ceci conduit le plus souvent à des algorithmes simples. Cette th éorie se situe à la confluence des statistiques robustes [Hub81], des champs markoviens [GG84], des approches varia-tionnelles [AK02], et de l’analyse convexe. C’est ce qui en fait son succ ès, m ême si elle n’est pas toujours identifi ée en tant que telle. Elle permet en effet de poser et de r ésoudre de multiples probl èmes pratiques, comme nous l’avons illustr é par des exemples : la d étection et le suivi des marquages routiers, la reconnaissance des pan-neaux, et l’am élioration de la qualit é d’image.

(17)

BIBLIOGRAPHIE 17

Bibliographie

[AK02] G. Aubert and P. Kornprobst. Mathematical Problems in Image

Proces-sing : Partial Differential Equations and the Calculus of Variations, volume

147 of Applied Mathematical Sciences. Springer-Verlag, 2002.

[All02] M. Allain. Approche p énalis ée en tomographie h élico¨ıdale en vue de

l’ap-plication à la conception d’une proth èse personnalis ée du genou. PhD

thesis, Universit ´e Paris Sud - Paris XI, France, 2002.

[BF00] L. Blanc-F éraud. Sur quelques Probl èmes Inverses en Traitement d’Image. Habilitation à diriger des recherches, Universit é de Nice-Sophia Antipolis, France, July 2000.

[BFCAB95] L. Blanc-F ´eraud, P. Charbonnier, G. Aubert, and M. Barlaud. Nonlinear image processing : Modeling and fast algorithm for regularization with edge detection. In Proc. IEEE International Conference on Image Processing

(ICIP), volume I, pages 474–477, Washington D.C., USA, September 1995.

[BZ87] A. Blake and A. Zisserman. Visual Reconstruction. MIT Press, Cambridge, MA, 1987.

[CBFAB97] P. Charbonnier, L. Blanc-F ´eraud, G. Aubert, and M. Barlaud. Deterministic edge-preserving regularization in computed imaging. IEEE Transactions

on Image Processing, 6(2) :298–311, February 1997. Prix IEEE 1998 du

meilleur article de jeune auteur, section “Image and Multidimensional Si-gnal Processing”.

[Cha94] P. Charbonnier. Reconstruction d’image : r égularisation avec prise en compte des discontinuit és. PhD thesis, Universit é de Nice-Sophia

Anti-polis, France, 1994.

[Che95] Y. Cheng. Mean shift, mode seeking, and clustering. IEEE Trans. Pattern

Anal. Machine Intell., 17(8) :790–799, August 1995.

[Dah01] R. Dahyot. Analyse d’images s équentielles de sc ènes routi ères par mod èles d’apparence pour la gestion du r éseau routier. PhD thesis,

Uni-versit ´e Paris VI, France, 2001.

[DCH04] R. Dahyot, P. Charbonnier, and F. Heitz. Robust Bayesian detection using appearance-based models. Pattern Analysis and Applications, 7 :317– 332, 2004. On-line, http ://www.springerlink.com.

[GG84] S. Geman and D. Geman. Stochastic relaxation, gibbs distributions and the Bayesian restoration of images. IEEE Trans. Pattern Anal. Machine

Intell., 6(6) :721–741, November 1984.

[GR92] S. Geman and G. Reynolds. Constrained restoration and the recovery of discontinuities. IEEE Trans. Pattern Anal. Machine Intell., 14(3) :367–383, March 1992.

(18)

[GY95] D. Geman and C. Yang. Nonlinear image recovery with half-quadratic regu-larization and FFT’s. IEEE Transactions on Image Processing, 4(7) :932– 946, July 1995.

[Hub81] P.J. Huber. Robust statistics. John Wiley and Sons, New York, 1981. [Ien04] S. S. Ieng. M ´ethodes robustes pour la d ´etection et le suivi des marquages.

PhD thesis, Universit ´e Paris VI, France, 2004.

[Jal01] A. Jalobeanu. Mod èles, estimation bayesienne et algorithmes pour la d éconvolution d’images a ériennes et satellitaires. PhD thesis, Universit é

de Nice-Sophia Antipolis, France, 2001.

[Kay93] S. M. Kay. Fundamentals of Statistical signal processing - Estimation Theory. Prentice Hall International Editions, 1993.

[MP97] B. Moghaddam and A. Pentland. Probabilistic visual learning for object representation. IEEE Trans. Pattern Anal. Machine Intell., 19(7) :696–710, July 1997.

[TIC02] J.P. Tarel, S.S. Ieng, and P. Charbonnier. Using robust estimation algo-rithms for tracking explicit curves. In Springer, editor, 6th European

Confe-rence on Computer Vision (ECCV), Lecture Notes in Computer Science,

volume 2350, pages 492–407, Copenhague, Danemark, May 2002. [TIC05] J.P. Tarel, S.S. Ieng, and P. Charbonnier. 2005. soumis `a 9th European

Conference on Computer Vision (ECCV), blind review.

[TP91] M. Turk and A. Pentland. Eigenfaces for recognition. Journal of Cognitive

Neuroscience, 3(1) :71–86, 1991.

[VHC03] T. Vik, F. Heitz, and P. Charbonnier. Mean shift-based Bayesian image re-construction into visual subspace. In Proceedings of the 2003 IEEE

Inter-national Conference on Image Processing (ICIP 2003), Barcelona, Spain,