Mod`eles convexes et algorithmes d’optimisation en imagerie.

Mod` eles convexes et algorithmes d’optimisation en imagerie.

Pierre Weiss.

April 21, 2011

III.1/ Th´eorie de la complexit´e en optimisation convexe.

Applications ` a l’imagerie.

Plan de la partie

1. El´ ements d’analyse convexe dans

.

2. Quelques r´ esultats en th´ eorie de la complexit´ e.

3. Algorithmes efficaces optimaux dans le cas diff´ erentiable et

non diff´ erentiable.

Quelques r´ ef´ erences

1. T. Rockafellar Convex Analysis 1970.

2. B. Polyak Introduction to optimization, 1987.

3. D. Bertsekas Nonlinear Programming, 1999.

4. Y. Nesterov Introductory lectures on optimization, 2003.

5. A. Juditsky, cours en ligne optimisation, (ENSIMAG).

6. Bonnans, Gilbert, Lemar´ echal, Sagastiz` abal, Numerical

optimization, 2006.

Elements d’analyse convexe

Notations :

On travaille dans

, n ∈

avec :

•

Un produit scalaire h·, ·i. A moins que ce ne soit sp´ ecifi´ e, il correspond au produit scalaire usuel.

•

On munit l’espace d’une norme : kxk =

hx, xi.

Elements d’analyse convexe

Dans tout l’expos´ e, nous nous int´ eressons ` a des fonctions : f :

→

∪ {+∞}.

D´ efinition (domaine d’une fonction) :

dom(f ) := {x ∈

, f (x) < +∞}.

On suppose syst´ ematiquement que dom(f ) 6= ∅.

Int´ erˆ et (l’un d’eux) :

x∈

inf

f (x) = inf

x∈dom(f)

f (x)

Les probl` emes contraints s’´ ecrivent indiff´ eremment des

probl` emes non contraints.

Elements d’analyse convexe

D´ efinition (fonction convexe) : f est dite convexe si :

1. dom(f) est convexe.

2. f est convexe sur dom(f), ∀(x

, x

) ∈

×

, ∀α ∈ [0, 1], f(αx

+ (1 − α)x

) ≤ αf(x

) + (1 − α)f (x

).

Th´ eor` eme :

Toute fonction f convexe en dimension finie est continue sur

int(dom(f)).

Elements d’analyse convexe

D´ efinition (´ epigraphe) :

epi(f) = {(x, t) ∈ dom(f ) ×

≥ f (x)}.

Th´ eor` eme :

f est convexe si et seulement si son ´ epigraphe est convexe.

(Sch´ ema ?)

Elements d’analyse convexe

Un probl` eme :

Bien qu’une fonction convexe soit continue sur int(dom(f )), elle peut avoir un comportement complexe sur le bord.

Exemple :

f (x, y) =







0 si x

+ y

< 1 φ(x, y) ≥ 0 si x

+ y

= 1 +∞ si x

+ y

> 1

Minimisation : On suppose g continue sur

et on veut trouver :

(x,y)∈

min

f (x, y) + g(x, y)

Si g n’atteint pas son minimum sur le disque, il n’y a pas

d’autre choix que d’explorer exhaustivement l’ensemble

{(x, y) ∈

, x

+ y

= 1} !

Elements d’analyse convexe

D´ efinition (fonction convexe ferm´ ee) :

Une fonction convexe est dite ferm´ ee ou semi-continue inf´ erieurement (s.c.i.) si epi(f ) est ferm´ e.

Exemples 1D :

Voir tableau...

Elements d’analyse convexe

D´ efinition (sous-diff´ erentiel) : Soit f :

→

∪ {+∞}

convexe s.c.i. Le sous-diff´ erentiel de f en x ∈ dom(f ) est d´ efini par :

∂f(x) = {η ∈

, ∀y ∈

, f (y) ≥ f (x) + hη, y − xi}.

Figure: Sous-diff´erentiel.

Elements d’analyse convexe

Propri´ et´ e 1 : Si f est diff´ erentiable en x

, alors

∂f(x

) = {∇f(x

)}.

Propri´ et´ e 2 : Le sous-diff´ erentiel est non vide, convexe, ferm´ e sur int(dom(f )).

Mais il peut ˆ etre vide sur le bord du domaine.

Exemple :

f (x) = − √ x est convexe s.c.i. sur [0, +∞[.

Et on a lim

f

(x) = −∞ et −∞ ∈ /

!

Elements d’analyse convexe

On consid` ere le probl` eme :

Trouver x

∈ Arg min

x∈Rⁿ

f (x) o` u f est convexe s.c.i.

Th´ eor` eme (fondamental) :

x

est minimiseur de f si et seulement si 0 ∈ ∂f(x

).

Une r` egle de calcul utile :

Soit g(x) = f (Ax) o` u A est un op´ erateur lin´ eaire, alors :

∂g(x) = A

∂f(Ax)

o` u A

est l’op´ erateur adjoint de A.

Algorithme : descente de sous-gradient (Polyak ∼ 1980)

Probl` eme :

Trouver x

∈ Arg min

x∈X

f (x)

•

f : X →

est convexe, s.c.i.

•

X est un ensemble convexe ferm´ e.

Algorithme :

1. Choisir x

∈ X et une suite r´ eelle de pas (h

)

telle que :

• hk≥0, ∀k∈N.

• limk→+∞hk = 0.

• P+∞

k=0h_k = +∞.

2.

x

= Π

x

− h

η(x

) kη(x

)k

, η(x

) ∈ ∂f(x

)

Algorithme : descente de sous-gradient (Polyak ∼ 1980)

R´ esultat :

Si f est L-Lipschitz sur B = {x ∈

, kx

− x

k ≤ R}, alors : f

− f

≤ L R

+

i=0

h

2

i=0

h

En particulier, si h

=

k+1

(optimal) : f

− f

≤ LR

√ k + 1 avec : f

= min(f(x

), f (x

), ...f(x

)).

Ce taux est ajust´ e.

Algorithme : descente de sous-gradient

Note importante :

En supposant L = R = 1, et si on souhaite : f

− f

≤ 10

Dans un sc´ enario au pire des cas, il faut 10

it´ erations ! Conclusion :

•

Les descentes de sous-gradient avec pas d´ ecroissant ne doivent pas ˆ etre utilis´ ees en g´ en´ eral.

•

Elles peuvent pr´ esenter un int´ erˆ et pour coder rapidement des approximations grossi` eres des solutions avec des pas pr´ ecalcul´ es (10-20 it´ erations).

•

Note : les constantes L et R peuvent d´ ependre

implicitement de la dimension n !

Optimisation convexe non diff´ erentiable : complexit´ e

Soit M l’ensemble des m´ ethodes de sous-gradient de la forme : x

∈ x

+ vect(η(x

), ..., η(x

)), o` u η(x

) ∈ ∂f(x

).

Th´ eor` eme : Pour tout k ≤ n − 1, pour toute m´ ethode m ∈ M, il existe une fonction f :

→

•

convexe ferm´ ee.

•

L-Lipschitz sur une boule de rayon R autour d’un minimiseur x

.

telle que :

f(x

) − f

≥ M R 1 + √

k + 1

Corollaire : Les m´ ethodes de sous-gradient avec pas en O

√1 k

sont optimales.

Optimisation convexe non diff´ erentiable : complexit´ e

Id´ ee :

La fonction f

: x 7→ max

1≤i≤k

x(k) + 1

2 kxk

est difficile ` a minimiser pour toutes les m´ ethodes de sous-gradient.

El´ ements de preuve :

La descente de sous-gradient avec x

= 0, assure que : x

∈

:= {x ∈

, x(i) = 0, ∀i > k}

(on ajoute qu’une coordonn´ ee ` a chaque it´ eration).

On a de plus :

x∈

min

f (x) − f

≥ O

1

√ k

.

Optimisation convexe diff´ erentiable : complexit´ e

La classe des fonctions convexes non diff´ erentiables est trop vaste pour esp´ erer avoir des sch´ emas g´ en´ eriques efficaces.

Complexit´ e de la classe des fonctions convexes diff´ erentiables.

Soit C, la classe des fonctions f telles que :

•

f est convexe, diff´ erentiable.

•

∇f est L-Lipschitz (r´ egularit´ e indispensable).

Classe de m´ ethodes :

On consid` ere les m´ ethodes qui g´ en` erent des it´ er´ ees du type x

∈ x

+ vect(∇f (x

), ..., ∇f(x

)).

Exemples : descentes de gradient, gradient conjugu´ e.

Optimisation convexe diff´ erentiable : complexit´ e

Th´ eor` eme : Pour tout k ≤

et x

∈

il existe une fonction f ∈ C telle que :

f (x

) − f

≥ 3Lkx

− x

k

32(k + 1)

et

kx

− x

k

≥ 1

8 kx

− x

k

. Cons´ equence :

•

En g´ en´ eral, on ne peut rien dire sur la distance au minimiseur !

•

Les taux de convergence lin´ eaires (vus en cours)

(kx

− x

k ≤ α

kx

− x

k, α < 1) sont hors de port´ ee en g´ en´ eral.

•

Le taux en O

n’est pas si d´ ecourageant.

Optimisation convexe diff´ erentiable : complexit´ e

El´ ements de preuve : on exhibe la fonction la pire au monde :

f

(x) = L

4 (hA

x, xi − x(1)) o` u :

A

=



















2 −1 0 0 . . . 0

−1 2 −1 0 . . . 0

0 −1 2 −1 . . . 0

.. . .. . .. . .. . .. . .. . 0 0 0 . . . 2 0

0

0



















Probl` eme : Discr´ etisation d’un laplacien tronqu´ e en 1D : ce

n’est rien d’autre qu’une r´ egularisation H

!

Optimisation convexe diff´ erentiable : complexit´ e

El´ ements de preuve : 1. On pose x

= 0.

2. On remarque que ∇f (x

) ∈

. 3. D’o` u x

∈

.

4. Pour x ∈

, on montre :

• f(x)−f^∗≥O_Lkx

0−x^∗k² k²

et

• kx−x^∗k²≥ ¹₈kx0−x^∗k².

Optimisation convexe diff´ erentiable : descente de gradient

On consid` ere :

x∈

min

f (x), o` u ∇f est L − Lipschitz.

Et la descente de gradient :

x

= x

− τ ∇f (x

) Preuve de convergence :

On a ∀(x, y) ∈

×

(in´ egalit´ e boom boom !):

f (y) ≤ f (x) + h∇f(x), y − xi + L

2 ky − xk

| {z }

ψ(y,x)

(1)

= f (x) + L 2 ky −

x − ∇f (x) L

k

− k∇f (x)k

2L (2)

Optimisation convexe diff´ erentiable : descente de gradient

En posant :

x

= arg min

x∈Rⁿ

ψ(x, x

) (3)

= x

− ∇f (x

)

L , (4)

on assure que :

f (x

) ≤ f (x

) − k∇f (x

)k

2L .

On peut ensuite sommer ces in´ egalit´ es de k = 0 ` a N : f (x

) − f (x

) ≤ −

N

X

k=0

k∇f (x

)k

2L (5)

≤ − N 2L min

1≤k≤N

k∇f (x

)k

(6)

Optimisation convexe diff´ erentiable : descente de gradient

On a donc :

1≤k≤N

min k∇f(x

)k

≤ 2L

N · (f (x

) − f

)

En utilisant de plus la convexit´ e de f (in´ egalit´ e boom boom 2 !):

f(x

) ≥ f (x

) + h∇f (x

), x

− x

i et donc :

f (x

) − f (x

) ≤ k∇f (x

)k · kx

− x

k

Optimisation convexe diff´ erentiable : descente de gradient

R´ esultat de convergence (relaxation):

Si f a un gradient L-Lipschitz, la descente de gradient assure que :

1≤k≤N

min k∇f(x

)k

≤ 2L

N · (f (x

) − f

) si de plus f est convexe :

f(x

) − f

≤ O

Lkx

− x

k

k

Ce taux de convergence est ajust´ e.

La m´ ethode de gradient est sous-optimale !

Optimisation convexe diff´ erentiable : m´ ethodes optimales

M´ ethodes optimales : propos´ ees en 1983 par Y. Nesterov.

Id´ ee g´ en´ erale.

Les m´ ethodes d’optimisation ` a un pas ne permettent pas d’obtenir des taux de convergence optimaux ! Il faut aller au del` a des principes de relaxation.

⇒

•

Utiliser vect ({∇f (x

), ∇f (x

), ..., ∇f (x

)}) pour calculer x

.

•

Si f est convexe, ∇f apporte une information sur la topologie globale de f !

•

Imp´ eratif informatique : ne pas stocker tous les gradients.

Optimisation convexe diff´ erentiable : m´ ethodes optimales

Figure: Sous-diff´erentiel.

Optimisation convexe diff´ erentiable : m´ ethodes optimales

Ancˆ etres : les m´ ethodes “heavy-ball” (B. Polyak).

Descente de gradient oscillantes : ajouter de l’inertie ! R´ esoudre l’´ equation diff´ erentielle :

¨

x + a x ˙ + b∇f (x) = 0

(Solide soumis ` a une force de gravit´ e et de friction) Discr´ etisation :

−x

+ 2x

− x

∆t + a (x

− x

)

∆t + b∇f (x

) = 0 Soit encore :

x

= x

− a

∇f(x

) + b

(x

− x

)

(Preuve dans le cas fortement convexe ` a venir...)

Optimisation convexe diff´ erentiable : m´ ethodes optimales

Id´ ee g´ en´ erale Outils :

•

Une suite minimisante (x

).

•

Une suite de coefficients A

= 0, A

= A

+ a

, avec a

> 0.

•

Une suite de fonctions (ψ

) approchant A

f de la forme : ψ

(x) =

k

X

i=1

a

(f (x

) + h∇f (x

), x − x

i) + 1

2 kx − x

k

Optimisation convexe diff´ erentiable : m´ ethodes optimales

Maintenir les in´ egalit´ es :

A

f (x

) ≤ min

ψ

(x)

ψ

(x) ≤ A

f (x) +

kx − x

k

∀x ∈

Ainsi, en prenant x = x

, on obtient :

f (x

) − f(x

) ≤ kx

− x

k

A

La rapidit´ e de croissance de (A

) d´ etermine la rapidit´ e de convergence du sch´ ema.

Non trivial !

Optimisation convexe diff´ erentiable : m´ ethodes

optimales

Sch´ ema multi-pas [Nesterov 83].

•

In: Nombre d’ it´ erations N , point initial x

∈

.

•

Out: x

une estim´ ee de x

.

•

Init: Poser t

= 1, y

= x

. Pour k allant de 0 ` a N :

•

Poser x

= y

−

.

•

Calculer t

=

√

1+4t²_k

2

.

•

Poser y

= x

+

tk−1 tk+1

(x

− x

).

Sch´ ema multi-pas [Nesterov 83].

R´ esultat de convergence L’algorithme assure que :

f(x

) − f (x

) ≤ L||x

− x

||

k

C’est un taux de convergence optimal !

Distance au minimiseur.

Impossible d’obtenir des certificats sur la distance au minimiseur sous la seule hypoth` ese de convexit´ e.

D´ efinition (forte convexit´ e).

Une fonction f est dite fortement convexe si elle est convexe et qu’il existe µ > 0 tel que :

∀(x, y) ∈ dom(f )

, ∀η ∈ ∂f (x), f (y) ≥ f (x)+hη, y−xi+ µ

2 ky−xk

Distance au minimiseur. Une fonction fortement convexe admet un unique minimiseur x

et

f (x) ≥ f (x

) + µ

2 kx − x

k

Proposition. Une fonction C

est µ-fortement convexe ssi

λ

(H

(x)) ≥ µ, ∀x ∈ dom(f ).

Forte convexit´ e et conditionnement.

Propri´ et´ e. Soient f et g deux fonctions fortement convexes de param` etre µ

≥ 0 et µ

≥ 0, alors :

∀(α, β) ∈

, x 7→ αf(x) + βg(x) est fortement convexe de module αµ

+ βµ

. G´ en´ eralisation du conditionnement.

Soit f (x) =

kAx − bk

Ainsi : ∇f (x) = A

(Ax − b).

•

Constante de Lipschitz du gradient L = λ

(A

A).

•

Param` etre de forte convexit´ e µ = λ

(A

A).

•

Le conditionnement du syst` eme lin´ eaire est : κ(A

A) = λ

λ

= L

µ = κ(f).

Forte convexit´ e.

Quelques exemples de fonctions fortement convexes

•

f (x) =

kx − x

k

(µ = 1).

•

f (x) = g(x) +

kx − x

k

o` u g est convexe (µ = 1).

•

f (x) =

kAx − bk

, (µ = λ

(A

A)).

• Adoit ˆetre de rang plein.

Notes :

• La notion peut-ˆetre ´etendue `a un cadre non hilbertien.

• Il peut ˆetre int´eressant de changer les m´etriques pour faire varier ces constantes (pr´econditionnement).

Convergence des m´ ethodes de gradient dans le cas fortement convexe.

Soit f une fonction µ-fortement convexe, ` a gradient L-Lipschitz et κ =

.

Th´ eor` eme 1 : La descente de gradient x

= x

−

∇f (x

) assure que :

kx

− x

k ≤

κ − 1 κ + 1

k

kx

− x

k.

(Arguments de point fixe).

Th´ eor` eme 2 : Les sch´ emas multi-pas avec une modification mineure du calcul des coefficients a

assurent que :

kx

− x

k ≤ √

κ − 1

√ κ + 1

kx

− x

k.

L’acc´ el´ eration est automatique pour les sch´ emas simples !

Preuve de convergence.

Descente de gradient (contraction).

On a :

kx − τ ∇f (x) − (y − τ ∇f (y))k

= k(I − τ ∇f )(x − y)k

≤ k

t=0

(I − τ ∇

f (x + t(y − x)))(y − x)k

| {z }

f⁰(x)−f⁰(y)=Rx y f⁰⁰(t)dt

≤ sup

z∈Rⁿ

|||I − τ ∇

f (z)||| · kx − yk

| {z }

T h.Ch.G.N.

Or

sp(I − τ ∇

f (z)) = 1 − τ sp(∇

f (z))

⇒ sup

z∈Rⁿ

|||I − τ ∇

f (z)||| = max(|1 − τ µ|, |1 − τ L|)

Preuve de convergence.

Descente de gradient.

En prenant

τ = min

τ

max(|1 − τ µ|, |1 − τ L|) = 2 µ + L , on obtient :

k(I − τ ∇f )(x − y)k ≤

κ − 1 κ + 1

kx − yk

Ainsi :

kx

− x

k

= kx

− τ ∇f(x

) − (x

− τ ∇f(x

))k

≤

κ − 1 κ + 1

kx

− x

k

Preuve de convergence sch´ ema acc´ el´ er´ e.

Id´ ee : ´ etudier kx

− x

k

+ kx

− x

k

x

− x

x

− x

=

x

− α

∇f(x

) + β

(x

− x

) − x

x

− x

=

(1 + β

)I −β

I

I 0

x

− x

x

− x

− α

∇f(x

) 0

≤ sup

z∈Rⁿ

(1 + β

)I − α

∇

f (z) −β

I

I 0

·

x

− x

x

− x

Puis on r´ esout :

α

min

sup

z∈Rⁿ

(1 + β

)I − α

∇

f (z) −β

I

I 0

(7)

Preuve de convergence sch´ ema acc´ el´ er´ e.

En posant :

β

= max(|1 −

α

l|, |1 −

α

L|)

, et

α

= 4

( √ L + √

l)

. On obtient :

sup

z∈Rⁿ

(1 + β

)I − α

∇

f(z) −β

I

I 0

≤ √

κ − 1

√ κ + 1

.

Preuve de convergence sch´ ema acc´ el´ er´ e.

Conclusion cas fortement convexe :

•

Si κ >> 1, alors :

κ − 1 κ + 1

' 1 − 2 κ . √

κ − 1

√ κ + 1

' 1 − 2

√ κ .

•

Si κ >> 1, alors les taux polynomiaux ` a l’origine sont plus importants que les taux lin´ eaires asymptotiques.

•

Ne pas oublier de modifier les param` etres de l’algorithme !