Th ´eorie semi-quadratique

0 5 10 15 20 0 5 10 15 20 y=0.36 x + 5.84 y=0.51 x + 4.96

FIG. 7.1 – Influence d’une donn ´ee erron ´ee sur l’estimation de param `etres au sens des moindres carr ´es : la droite de r ´egression en pointill ´es correspond `a la s ´erie marqu ´ees par des ´etoiles, celle en trait plein correspond `a la s ´erie marqu ´ee par des cercles.

de trouver un moyen de limiter l’influence des donn ´ees erron ´ees sur l’estimation. Dans le cas de la r ´egularisation par le gradient, les valeurs faibles du gradient correspondent au bruit, qu’il convient de lisser, tandis que les grandes valeurs correspondent aux dis-continuit ´es ou contours pr ´esents dans les images, que l’on souhaite en fait pr ´eserver.

7.3 Th ´eorie semi-quadratique

Intuitivement, on peut envisager deux fac¸ons de sortir du comportement quadra-tique. La premi `ere consiste `a utiliser une fonctionnelle de la forme :

J(f) = ¹ 2 N X i=1 ϕ(ui). (7.3.1) Cette formulation est connue sous le nom de M-estimateur [Hub81] en estimation ro-buste (ϕest souvent not ´eeρdans ce cadre) ou de mod `ele `a phi-fonction en r ´egularisa-tion. Toute la question r ´eside alors dans le choix de la fonctionϕ. Prenons l’exemple de la quadratique tronqu ´ee min(u2,1). Pour une faible valeur de u_i, cette fonction garde le comportement quadratique habituel. Par contre, `a partir de u<sub>i</sub> = 1, la valeur de la fonction ne change plus et ce, quelle que soit la valeur deu<sub>i</sub>. L’algorithme de minimisa-tion n’a donc pas particuli `erement int ´er ˆet `a modifier cette valeur en agissant sur f. La forte d ´eviation perd ainsi toute influence sur le r ´esultat. L’inconv ´enient de cette fonction est qu’elle pr ´esente un point anguleux en 1, ce qui est une source potentielle d’in-stabilit ´e. Une fonction continue serait pr ´ef ´erable. Mais l’asymptote horizontale est-elle n ´ecessaire ? Du point de vue de l’optimisation, une fonction convexe serait pr ´ef ´erable. De fait, de nombreuses fonctions ont ´et ´e propos ´ees dans la litt ´erature (voir un ´etat

de l’art dans [Cha94] pour la r ´egularisation). Quelques exemples sont donn ´es dans le tableau 7.1.

La seconde approche consiste `a utiliser une variable auxiliaire pour “marquer” ex-plicitement les donn ´ees [GG84]. Consid ´erant une variable binaire bi ∈ {0,1}, on peut d ´efinir le crit `ereaugment ´esuivant :

J∗(f, b) = ¹ 2 N X i=1 b_i(u_i)2+ (1−b_i). (7.3.2) La variablebest appel ´ee “processus de ligne” en reconstruction r ´egularis ´ee. Le second terme de cette fonctionnelle est un co ˆut associ ´e `a la d ´etection d’une forte d ´eviation permettant d’ ´eviter le minimum d ´eg ´en ´er ´e o `u tous les b_i seraient nuls. L’int ´er ˆet de cette formulation est que le crit `ere est quadratique lorsqu’on fixe b (d’o `u l’appellation “semi-quadratique”) : c’est celui des moindres carr ´es pond ´er ´es.

Pdf deu Fonction Abr ´ev. ϕ(u) ϕ0(u)/2u ( 7.3.4-7.3.6) Convexit ´e

Gauss Quadratique Q u2 1 non oui

Quasi-Laplace Hyper-surfaces HS 2^√1 +u2−2 √1

1+u2 oui oui Cauchy (Lorentz) Hebert & Leahy HL log(1 +u2) 1

(1+u2) oui non - Geman & McClure GM u²

1+u2 1

(1+u2)2 oui non

TAB. 7.1 – Exemples de fonctionsϕpropos ´ees dans la litt ´erature et leurs d ´enominations les plus usuelles dans les approches d ´eterministe et probabiliste. Leurs trac ´es sont donn ´es fig. 7.2.

Naturellement se pose la question de l’estimation des valeurs de b. En l’absence d’information suppl ´ementaire, cela doit se faire `a partir des donn ´ees, donc deu. Consi-d ´erons l’optimisation par rapport `a b de J∗(u, b) [BZ87]. La fonction quadratique ´etant inf ´erieure `a 1 sur [0,1], le minimum est r ´ealis ´e pour b<sub>i</sub> = 1 si u<sub>i</sub> < 1 et b<sub>i</sub> = 0 si-non. On remarque alors l’ ´equivalence entre ce mod `ele et le pr ´ec ´edent. De m ˆeme que pr ´ec ´edemment, un comportement moins “binaire” serait cependant souhaitable. Peut-on g ´en ´eraliser cette technique `a une variable auxiliaire `a valeurs r ´eelles ?

La th ´eorie semi-quadratique r ´epond `a ces questions en d ´efinissant une famille de fonctions ϕ qui assure le comportement souhait ´e. Elle montre l’ ´equivalence entre ce mod `ele et un mod `ele o `u la prise en compte de la nature des donn ´ees est explicite, gr ˆace `a une variable auxiliaire r ´eelle. En cela, elle ´etend `a la fois les travaux de Hu-ber [Hub81] en estimation robuste et de Geman et al. [GR92, GY95] en r ´egularisation.

7.3.1 Propri ´et ´es des fonctions ϕ

Les fonctions de potentiel ϕ propos ´ees dans la litt ´erature semblent d’allures tr `es diff ´erentes (voir figure 7.2). Leur ´etude a ´et ´e propos ´ee dans le cas de la r ´egularisation dans [Cha94] et dans [BFCAB95]. Elle se base sur un examen des ´equations normales li ´ees `a l’optimisation du crit `ere. En estimation robuste, les fonctions consid ´er ´ees ´etant paires, on peut ´ecrire le crit `ere (7.3.1) pour u_i = |n_i|, o `u n = p−Rf est le r ´esidu. Le minimum de J est atteint lorsque sa d ´eriv ´ee est nulle, soit (puisque sign(x) = x

|x|) lorsque,∀j = 1. . . D : 1 2 N X i=1 ϕ0(|n_i|)sign(n_i)^∂ni ∂f_j ⁼ 1 2 N X i=1 ϕ0(|n_i|) 2|n_i| | {z } P ond´eration. × 2n_i^∂ni ∂f_j | {z } Cas quadratique = 0. (7.3.3)

7.3 Th ´eorie semi-quadratique 149 0 1 2 3 4 5 0 1 2 3 4 5 Q HS HL GM 0 0.2 0.4 0.6 0.8 1 0 0.2 0.4 0.6 0.8 1 GM HL HS

FIG. 7.2 – A gauche : exemples de fonctionsϕ(u); `a droite : fonctions de pond ´eration ^ϕ0_2u^(u) (avec un coefficient d’ ´echelle arbitraire suru[Cha94]).

On voit que si ^ϕ0₂⁽_|^|_nⁿ_i|^i|) tend vers 0, la donn ´ee correspondante n’entre pas en jeu dans la somme, ce qui est souhaitable pour les forts r ´esidus. Par contre, cette pond ´eration doit tendre vers 1 pour que la donn ´ee soit totalement prise en compte, comme dans le cas des faibles r ´esidus. En r ´esum ´e, les conditions `a v ´erifier pour obtenir un comportement diff ´erenci ´e selon les valeurs deusont les suivantes :

lim u→0 ϕ0(u) 2u ^{=M, 0< M <+∞ (7.3.4)} lim u→∞ ϕ0(u) 2u ^{= 0 (7.3.5)} ϕ0(u) 2u ^{strictement d ´ecroissante. (7.3.6)}

En g ´en ´eral, M est choisi ´egal `a 1. Ces conditions comparent les comportements de la fonction ϕet de la quadratique, en termes de d ´eriv ´ees. Les deux fonctions ´evoluent de la m ˆeme fac¸on pr `es de 0 (7.3.4), mais la fonction ϕ est sous-quadratique `a l’in-fini (7.3.5). La condition (7.3.6) assure la coh ´erence du mod `ele. De fait, on constate sur les exemples de la figure 7.2 que les fonctions ϕont des fonctions de pond ´eration au comportement similaire.

7.3.2 Extensions semi-quadratiques

On peut montrer que les fonctions r ´eellesϕpaires, croissantes, v ´erifiant les condi-tions (7.3.4-7.3.6) et quelques autres hypoth `eses “techniques”, sont telles que :

ϕ(u) = min

b∈[0,1] ¡

bu2+ Ψ(b)^¢,∀u et b_inf = ^ϕ0(u)

2u ^{, (7.3.7)}

o `u Ψ est une fonction strictement convexe d ´efinie `a partir de ϕ et b est la variable auxiliaire. On parle d’extension multiplicative. Ce r ´esultat g ´en ´eralise un th ´eor `eme

in-troduit dans [GR92], initialement limit ´e aux fonctions `a asymptote horizontale. On a ´egalement, sous les m ˆemes conditions, une extension additive :

ϕ(u) = min b∈R+ ¡ (b−u)2+ξ(b)^¢,∀u et b_inf = µ 1− ^ϕ 0(u) 2u ¶ u, (7.3.8) o `uξest une fonction strictement convexe d ´efinie `a partir deϕ. Ce r ´esultat est bas ´e sur les travaux de [GY95].

7.3.3 Algorithmique

En reportant les ´equations (7.3.7) et (7.3.8) dans (7.3.1), on obtient respectivement les crit `eres augment ´es suivants :

J^∗(f, b) = ¹ 2 N X i=1 bi(ui)²+ Ψ(bi) = ¹ 2^kuk 2 B+¹ 2 N X i=1 Ψ(bi), (7.3.9) avecB =diag(b_i)et : J#(f, b) = ¹ 2 N X i=1 (b_i−u_i)2+ξ(b_i) = ¹ 2^ku−bk 2+ ¹ 2 N X i=1 ξ(b_i). (7.3.10) Ces crit `eres augment ´es d’une variable sont, en fait, plus simples `a minimiser que le crit `ere original. En effet, la minimisation directe de J conduit `a des ´equations non lin ´eaires. Par contre, `abfix ´ee, les crit `eres augment ´es sont quadratiques et conduisent donc `a la r ´esolution d’ ´equations normales lin ´eaires, de la forme Af = c. Notons que dans cette minimisation, les fonctions Ψ et ξ n’interviennent pas (il n’existe d’ailleurs pas d’expression analytique simple de ξ). De plus, lorsque la variable f est fix ´ee le crit `ere augment ´e est convexe en b et la valeur du minimum est donn ´ee dans (7.3.7) et (7.3.8). Cette valeur d ´epend de la fonction de pond ´eration et d’apr `es (7.3.4) et (7.3.5), il est clair que la variable auxiliaire b joue le r ˆole de “marqueur” de donn ´ees (“inlier/outlier”, “bruit/discontinuit ´e” dans nos applications).

Bien que des algorithmes stochastiques existent [GR92, Jal01], les propri ´et ´es semi-quadratiques sont, la plupart du temps, exploit ´ees sous forme d’algorithmes d ´etermi-nistes op ´erant par minimisations altern ´ees par rapport `a chacune des variables. En g ´en ´eral, on positionne initialement tous lesb<sub>i</sub> `a 1, ce qui revient `a commencer par un algorithme des moindres carr ´es classique. Dans le cadre de l’estimation robuste, on retrouve pour la forme multiplicative l’algorithme des moindres carr ´es (re-)pond ´er ´es it ´eratifs (Iterative Reweighted Least Squares ou IRLS) et pour la forme additive l’al-gorithme des moindres carr ´es avec remise `a jour des r ´esidus, propos ´e dans [Hub81]. Dans le cas de la r ´egularisation, les algorithmes sont nomm ´es ARTUR [CBFAB97] pour la forme multiplicative et LEGEND pour la forme additive [Cha94]. Ces algo-rithmes convergent dans le cas des fonctions ϕconvexes. Dans le cas non-convexe, ils convergent vers un minimum local `a condition que les points critiques de la fonc-tionnelle soient isol ´es. Notons que la convergence est g ´en ´eralement plus lente dans le cas de la seconde forme semi-quadratique, mais que celle-ci permet d’obtenir des algorithmes moins calculatoires lorsque f est de grande dimension (seul le second membre des ´equations normales est modifi ´e `a chaque ´etape). Le compromis peut donc ˆetre int ´eressant dans le cas d’algorithmes de reconstruction d’image, par exemple.

7.3 Th ´eorie semi-quadratique 151 Pour une synth `ese et des r ´esultats r ´ecents concernant la vitesse de convergence des algorithmes semi-quadratique, le lecteur pourra se r ´ef ´erer `a [All02].

Enfin, pour am ´eliorer la convergence des algorithmes, on peut adopter une strat ´egie de continuation, dans la philosophie du GNC (Graduated Non Convexity) de [BZ87]. Cela consiste `a utiliser d’abord une fonction convexe (ex. ϕ<sub>HS</sub>), puis `a repartir du r ´esultat obtenu en employant une fonction non convexe “peu s ´ev `ere” (ex.ϕ_HL), etc.

7.3.4 Approche Lagrangienne

Il y a plusieurs fac¸on de pr ´esenter la th ´eorie semi-quadratique et les algorithmes associ ´es, chacune apportant un ´eclairage particulier.

Nous en avons r ´ecemment [TIC02, TIC07b] propos ´e une reformulation dont l’objectif est de montrer plus directement le lien avec la th ´eorie de l’optimisation. En effet, en introduisant la fonction φ(u2

i) en place de ϕ(u_i) dans (7.3.1), nous montrons qu’il est possible de reformuler le probl `eme sous la forme d’une optimisation sous contrainte en introduisant la variable auxiliaire w_i = u2

i. Les pond ´erations b_i = φ0(u2

i) s’interpr `etent alors comme les valeurs des multiplicateurs de Lagrange associ ´es aux contraintes. M ˆeme si cela n’est pas requis pour la d ´erivation des algorithmes, on peut ´egalement interpr ´eter (7.3.9) comme une forme duale. De nouvelles conditions suffisantes sont alors obtenues sur φpour pouvoir poser et r ´esoudre cette reformulation :

– H0:φest d ´efinie surR+ ainsi que ses d ´eriv ´ees premi `ere et seconde, – H1:φest croissante, φ0(t)>0,

– H2:φest concave,φ00(t)<0.

La reformulation lagrangienne est ´egalement possible pour la version additive, mais en ajoutant une hypoth `ese surφ:φ0(t)≤1.

L’ ´etude de ces conditions met en lumi `ere le r ˆole central que jouent les propri ´et ´es de convexit ´e et de monotonie dans la th ´eorie semi-quadratique : la forme multiplicative repose sur la convexit ´e et la d ´ecroissance de la fonction −ϕ(^√u) = −φ(u); la forme additive repose sur la convexit ´e et la croissance de la fonction u2−ϕ(u) =u2−φ(u2). Il est alors int ´eressant de noter que les conditions (7.3.4-7.3.6) sont suffisantes, aussi bien pour la forme multiplicative que pour la forme additive.

La reformulation lagrangienne aboutit aux m ˆemes algorithmes que le d ´eveloppe-ment semi-quadratique d ´ecrit dans les section pr ´ec ´edentes. Une telle m ´ethodologie a cependant l’avantage de faciliter la preuve de convergence, en la replacant dans le cadre classique de la th ´eorie de l’optimisation autour du th ´eor `eme de Khun et Tucker. Elle permet assez naturellement des extensions `a de nouveaux types de probl `emes, comme : l’estimation simultan ´ee des param `etres de plusieurs instances d’un mod `ele lin ´eaire [TCI07, TIC07b] qui d ´emontre des liens int ´eressant avec l’approche Estimation Maximisation (EM) [DLR77], le recalage entre deux jeux de donn ´ees lorsque la mise en correspondance est inconnue et la transformation `a estimer est affine [TIC07a], la r ´egression d’un mod `ele de r ´egion param ´etr ´e sur des donn ´ees images [BT07].

7.3.5 Hyper-param `etres

Dans ce qui pr ´ec `ede nous avons, par souci de simplicit ´e, ´elud ´e le param `etre d’ ´echelle. Dans (7.3.1), la variable ui doit, en r ´ealit ´e, ˆetre divis ´ee par un facteur δ

qui ajuste le comportement de la fonction `a la dynamique des donn ´ees. D’autre part, lorsque le crit `ere est r ´egularis ´e, un coefficient λ2 permet de pond ´erer les termes de

vraisemblance et d’a priori. Ces hyper-param `etres sont en g ´en ´eral laiss ´es au choix de l’utilisateur. Il est cependant possible de les fixer de mani `ere plus automatique (voir [Ien04] pour l’estimation robuste et [Jal01] dans le cas de la reconstruction r ´egularis ´ee).