L’optimisation est un domaine tr`es riche des math´ematiques appliqu´ees. Cette section se propose de faire un tour d’horizon de certains algorithmes it´eratifs employ´es pour la minimisa- tion des crit`eres p´enalis´es diff´erentiables. Ces algorithmes it´eratifs peuvent ˆetre regroup´es selon deux familles. La premi`ere famille se compose des algorithmes de relaxation, qui consistent `a fragmenter le probl`eme de minimisation initial en une s´erie de sous-probl`emes de dimension r´eduite. La deuxi`eme famille se compose des m´ethodes travaillant sur l’ensemble de l’espace solution, en utilisant le gradient du crit`ere p´enalis´e.
IV.3 M´ethodes it´eratives g´en´eriques
IV.3.1
Algorithmes de relaxation
L’algorithme de relaxation coordonn´ee par coordonn´ee minimise le crit`ere J en minimisant le crit`ere monovari´e J(n) associ´e `a la variable x(n) mis `a jour `a la k + 1 it´eration selon
x(n)k+1 = arg min
u J
(n)(u) (IV.8)
o`u
J(n)(u) =J (x(1)k+1, . . . , x(n−1)k+1 , u, x(n+1)k , . . . , x(N )k )
une it´eration compl`ete k→ k + 1 est obtenue apr`es un balayage complet des N composantes de x. Ce sch´ema it´eratif coordonn´ee par coordonn´ee est connu sous le nom de m´ethode de Gauss Seidel. On peut citer [Bouman et Sauer, 1996; Erdogan et Fessler, 1999] pour l’emploi de ces algorithmes it´eratifs dans le domaine de la reconstruction d’images.
Notons que les m´ethodes de relaxation ne sont pas limit´ees `a la mise `a jour coordonn´ee par coordonn´ee, mais qu’elles peuvent mettre en jeu des blocs de coordonn´ees. Dans ce cas, chaque it´eration conduit `a des sous probl`emes d’optimisation multivari´es. Une condition suffisante de convergence globale de ces algorithmes de relaxation est la convexit´e stricte du crit`ere et le fait que l’ensemble des lignes de niveaux soit un compact [Tseng et Bertsekas,1987, p. 306].
Un des inconv´enients de ces algorithmes de relaxation r´eside dans leur faible taux de conver- gence. Le taux de convergence des algorithmes de relaxation peut se r´ev´eler bien plus faible que celui de l’algorithme de plus forte descente [Nocedal et Wright, 1999, p. 54]. Notons que l’ordre dans lequel la relaxation est mise en œuvre a une influence parfois sensible sur le taux de convergence.
IV.3.2
Algorithmes `a directions de descente
Les algorithmes `a directions de descente sont des sch´emas it´eratifs r´epandus en optimisation et largement employ´es pour la minimisation des crit`eres p´enalis´es. Nous pr´esentons `a pr´esent certaines des variantes les plus courantes.
[A] Forme g´en´erale
A l’it´eration courante k, la mise `a jour s’´ecrit
xk+1 = xk+ θkdk
avec dk et θk respectivement la direction de d´eplacement et le pas. Les m´ethodes `a directions de descente assurent que la direction dk fait d´ecroˆıtre strictement le crit`ere
J (xk+1) <J (xk)
si le pas θk > 0 est choisi suffisamment petit. Cependant, garantir la d´ecroissance stricte ne suffit pas `a garantir la convergence globale de ces algorithmes.
Nous passons en revue les algorithmes `a directions de descente les plus r´epandus dans le domaine du traitement de l’image, soit les algorithmes de plus forte descente, du gradient conjugu´e et de quasi-Newton. Ces algorithmes se distinguent par le type de direction de descente employ´ee. L’efficacit´e varie sensiblement d’un algorithme `a l’autre.
Minimisation des crit`eres p´enalis´es
[B] Algorithme de plus forte descente
On commence par l’algorithme `a directions de descente le plus simple. Cet algorithme produit une mise `a jour courante suivant la plus forte pente locale
dk=−∇J (xk).
L’algorithme de plus forte descente est connu pour son faible taux de convergence en comparai- son du gradient conjugu´e ou d’une m´ethode de quasi-Newton. Ainsi, on lui pr´ef`ere souvent un algorithme du gradient conjugu´e qui permet une convergence plus rapide au prix d’un encom- brement m´emoire et d’un coˆut de calcul par it´eration tr`es l´eg`erement sup´erieur.
[C] Algorithmes du gradient conjugu´e
L’algorithme du gradient conjugu´e est une m´ethode d’optimisation qui a ´et´e initialement propos´e par [Hestenes et Stiefel, 1952] pour la minimisation de crit`eres quadratiques dont le Hessien est sym´etrique d´efini positif. Cet algorithme a ensuite ´et´e ´etendu `a des crit`eres non quadratiques donnant naissance `a de nombreuses variantes. Nous reviendrons de mani`ere d´e- taill´ee sur cette famille d’algorithmes dans le chapitreVI.
[D] Algorithmes de quasi-Newton
L’algorithme de Newton calcule une direction de d´eplacement `a partir du Hessien∇2J (x k) du crit`ere J au point courant
dk=−(∇2J (xk))−1∇J (xk).
Cette m´ethode ne permet pas d’assurer dans le cas g´en´eral que dkest une direction de descente. En particulier, cet algorithme n’est pas d´efini lorsque le Hessien est singulier. L’algorithme de Newton a souvent un comportement pathologique et peut diverger ou cycler sans converger [Bertsekas, 1999, p. 92]. Il ne peut donc g´en´eralement pas ˆetre utilis´e tel quel et doit ˆetre modifi´e. De plus, le coˆut en ressources informatiques (temps et stockage) du calcul de l’inverse du Hessien devient vite prohibitif pour les crit`eres p´enalis´es en fonction de la taille du probl`eme. Les formes de quasi-Newton ne calculant pas explicitement l’inverse du Hessien ont un coˆut bien plus faible. Ainsi, les algorithmes de quasi-Newton sont pr´ef´er´es `a l’algorithme de Newton pour des raisons de convergence et de meilleure efficacit´e.
Les directions de descente des algorithmes de quasi-Newton ont la structure suivante [Noce- dal et Wright,1999, p. 194]
dk =−M−1k ∇J (xk) (IV.9)
o`u Mk est une matrice d´efinie positive. La matrice Mkest choisie de telle sorte que la direction dk r´esultante tende `a approcher la direction de Newton. Le principe des algorithmes de quasi- Newton est d’´etablir un compromis entre l’efficacit´e de la m´ethode de Newton en terme de taux de convergence et le coˆut de calcul.
L’algorithme BFGS est un repr´esentant classique des ces algorithmes de quasi-Newton [No- cedal et Wright,1999, p. 194]. L’int´erˆet de cet algorithme est que le calcul de la direction ne fait pas intervenir d’inversion de matrice contrairement `a l’algoritme de Newton [Nocedal et Wright,
1999, p. 198]. Cependant, l’algorithme BFGS semble peu utilis´e pour les probl`emes de traite- ment d’images. D’autres algorithmes de quasi-Newton sont utilis´es `a la place de l’algorithme BFGS en traitement de l’image. Il s’agit des algorithmes semi-quadratiques, pr´esent´es dans la section suivante.