φ (Eq. II.1) est une fonction positive d´efinie en tout point o`u−→Y est d´efinie. Cette fonctionb peut donc ˆetre minimis´ee des m´ethodes de minimisation de fonctions math´ematiques (voir, par exemple, l’ouvrage de Culioli [CUL 94]). Nous pr´esentons dans cette partie le principe g´en´eral des plus classiques d’entre elles adapt´ees `a la fonction φ.
Le principe g´en´eral de ces m´ethodes d’optimisation consiste `a construire une suite de points de l’espace des solutions convergeant vers un minimum de la fonction φ. Pour cela, ces m´ethodes partent d’un point −→u0, vecteur de l’espace des param`etres et tentent de trouver une direction
de descente −→d permettant d’obtenir un nouveau point o`u la valeur de φ est plus petite. La direction d doit alors v´erifier :
∃ α > 0 tel que
(
[−→u0, −→u0+ α−→d ] ⊂ Uad
∀γ 0 < γ < α φ(−→u + γ−→d ) ≤ φ(−→u ) (II.2) o`u Uad est l’espace des param`etres admissibles. On dit alors que −→d est admissible.
Le point −→u0 est minimum si et seulement si :
∀−→d admissible ∇φ(−→u0)t−→d ≥ 0 (II.3)
o`u ∇ d´esigne l’op´erateur gradient et .t l’op´erateur transpos´e.
II.2.1 La m´ethode du gradient
L’approximation lin´eaire de φ au voisinage de −→u0 (d´eveloppement de Taylor `a l’ordre 1)
permet de d´efinir la nouvelle fonction L, approximation de φ `a l’ordre 1 :
L(−→u ) = φ(−→u0) + ∇φ(−→u0)t.(−→u − −→u0) (II.4)
Pour cette fonction L, il existe α > 0 tel que :
L(−→u (α)) = φ(−→u0) − α∇φ(−→u0)t.∇φ(−→u0) < φ(−→u0) (II.5)
La direction −→d = −∇φ(−→u0) est donc une direction admissible. En fait, c’est la meilleure
direction de descente. Cette propri´et´e permet de d´efinir une vari´et´e de m´ethodes regroup´ees sous le terme de m´ethode du gradient. On distingue entre autre :
• la m´ethode du gradient `a pas optimal : on cherche l’optimum de la fonction `a un seul param`etre L(−→u (α));
• la m´ethode du gradient `a pas fixe : α est fix´e au cours des it´erations. Cependant, il est g´en´eralement difficile d’estimer la bonne valeur `a adopter pour le param`etre α.
II.2.2 La m´ethode de relaxation
Cette m´ethode consiste `a substituer `a la fonction φ `a n variables une s´erie de probl`emes Ji(ν) `a une seule variable :
Ji(ν) = φ(u11, u22, ..., ui−1i−1, ν, u0i+1, ..., u0n) (II.6)
Partant du point initial−→u0 = (u01, u02, ..., u0n), on minimise J1(ν) pour trouver la premi`ere com- posante u1
1, puis de mani`ere it´erative, on minimise Ji(ν) pour trouver uii.
II.2.3 La m´ethode de Newton
En approchant φ par un d´eveloppement de Taylor `a l’ordre 2, nous pouvons d´efinir φ0 par :
φ0(−→u ) = φ(−→u0) + ∇φ(−→u0)t.(−→u − −→u0) +
1
2(−→u − −→u0)
tφ”(−→u
0).(−→u − −→u0) (II.7)
o`u φ”(−→u0) est la matrice des d´eriv´ees secondes ∂
2φ
∂ui∂uj au point −
→u0, appel´ee aussi Hessien ou matrice Hessienne. La m´ethode de Newton consiste alors `a annuler le gradient ∇φ en consid´erant son approximation ∇φ0 `a l’ordre 1 :
La solution u1 de ∇φ0(u) = 0 est telle que :
φ”(−→u0)−→u1= φ”(−→u0).−→u0− ∇φ(−→u0) (II.9)
Pour que la solution existe, φ”(−→u0) doit ˆetre inversible.
Des variantes de cette m´ethode existe : φ”(−→u0) peut ˆetre remplac´ee par une approximation
(m´ethode de quasi-Newton). Nous renvoyons le lecteur vers l’ouvrage de Culioli [CUL 94] pour plus de d´etails.
II.2.4 La m´ethode du gradient conjugu´e
Une alternative bien connue `a la m´ethode de Newton est la m´ethode des gradients conjugu´es. On dit que deux directions−→d1 et−→d0 sont conjugu´ees si d→−0tφ”(−→u0)−→d1 = 0. L’algorithmique de la
m´ethode du gradient conjugu´e est constitu´ee des ´etapes suivantes :
1. −→u0 est point de d´epart et on choisit la direction −→d0 = ∇φ(−→u0). On pose A = φ”(−→u0) et
on note k−→d k2A=→−d0tA−→d0
2. on construit le point −→u1 = −→u0+ α0−→d0 avec α0 = k − → d0k2
k−d→0k2A
3. on construit la direction −→d1 combinaison de −→d0 et de ∇φ(−→u1) telle que −→d1 = ∇φ(−→u1) − − → d0tA∇φ(−u→1) k−→d0k2A − → d0 4. ...
5. connaissant −→ui et−→di, on actualise A = φ”(−→ui) et on optimise φ le long de la direction−→di.
On obtient −→ui+1= −→ui− − →d it∇φ(−→ui) k−→dik2A − →d i
6. on cherche la direction−→di+1conjugu´ee de −→di et−→di−1
− →d i+1= ∇φ(−→ui) − − → ditA∇φ(−→ui+1) k−→dik2A − →d i
7. on it`ere les ´etapes 5 et 6 jusqu’`a v´erifier le crit`ere d’arrˆet.
Des variantes existent ´egalement pour cette m´ethode (Flechter-Reeves, ou Polak et Ribi`ere) [CUL 94].
II.2.5 La m´ethode des moindres carr´es
Les m´ethodes pr´ec´edentes ne prennent pas en compte la forme particuli`ere de la fonction φ. Partant de l’expression de φ donn´ee par l’´equationII.1, nous cherchons d´esormais `a lin´eariser la fonction−→Y .b
Soient u le vecteur des param`etres `a optimiser et −→u0 un point de d´epart du probl`eme de
minimisation. Si −→Y (r´eponse du mod`ele analytique) est continue et d´erivable au voisinage deb −
→u0, on peut ´ecrire le d´eveloppement de Taylor `a l’ordre 1 suivant : − → b Y (−→u0+−→δu) ⋍ − → b Y (−→u0) + ∇ − → b Yu−→δu =→−f0+ P−→δu (II.10)
o`u ∇ d´efinit l’op´erateur gradient suivant la variable −→u et −→δu est une petite variation de −→u . La
fonction φ peut ˆetre alors approch´ee par la nouvelle fonction bφ d´efinie par :
b φ = Σni=1kYi− f0i− ∇fjiδjk2 (II.11) = k−→Y −−→f0− P−→δuk2 (II.12) φ u1 u2 φ φ u0
Figure II.1 : Visualisation de la fonction bφ
d´efinie par l’´equationII.11d´efinit au point u0 tangent `a φ en u0
Une condition n´ecessaire pour que bφ soit minimum en −→u = −→u0+−→δu est :
∂ bφ ∂−→δu
= 0 (II.13)
ce qui se traduit par une ´equation matricielle de la forme :
A−→δu = −→g (II.14)
o`u A = PtP et −→g = Pt(−→Y −−→f
0). Soit −→δ la solution de l’´equation (II.14), −→δ est solution de
l’approximation de φ par lin´earisation de−→Y . On it`ere ainsi l’op´eration au point −b →u1 = −→u0+−→δ .
Cette technique que nous appelons M´ethode des moindres carr´es diff`ere de la m´ethode de gradient en ce sens que ce n’est pas φ qui est lin´earis´e mais −→Y . bb φ est alors une forme quadra- tique tangente `a φ en −→u0 dont l’optimum est connu et suppos´e proche de l’optimum de φ
optimal en suivant les vall´ees et en contournant les bosses (voir figureII.2). Elle pr´esente cepen- dant l’inconv´enient de converger lentement vers la solution. Dans certains cas, le point courant peut osciller ind´efiniment dans le voisinage de la solution sans l’atteindre. Cette technique peut
bosses : valeurs
éleveés deφ
point de départ u0
minimum
Figure II.2 : Exemple de contournement de bosses : partant du point u0la m´ethode des moindres
carr´es converge vers le minimum en contournant les zones de valeurs plus ´elev´ees de φ.
donc ˆetre employ´ee pour ≪ d´egrossir ≫ le probl`eme d’optimisation, en pr´e-traitement d’une autre m´ethode `a convergence plus rapide.
Notons ´egalement qu’afin de r´eduire le mauvais conditionnement de la matrice A et de ne pas favoriser certaines directions (cas de vall´ees tr`es ´etroites, ou param`etres d’ordre de grandeurs tr`es diff´erents), il est possible de transformer le syst`eme (II.14) en changeant A en A∗, −→g en
− →g∗ et−→δ u en −→δu∗, avec : A∗ = (a∗ij) = µ aij √a ii√ajj ¶ (II.15) − →g∗ = (g∗ i) = µ gi √a ii ¶ (II.16)
alors, la solution −→δu se d´eduit de −→δu∗ par la relation :
− →δ u = δu i∗ √a ii (II.17)
II.2.6 M´ethode de Levenberg-Marquardt
Sur la base de la m´ethode pr´ec´edente, Marquardt [MAR 63] a propos´e une nouvelle m´ethode, qui porte aujourd’hui le nom de Levenberg-Marquardt, tr`es utilis´ee dans les probl`emes d’identification par moindres carr´es. Cette m´ethode consiste `a ajouter au probl`eme de minimisation de la fonc- tion bφ, donn´ee par l’´equation (II.12), la contrainte k−→δuk = R0 o`u R0 est un rayon d’hypersph`ere
arbitraire. L’auteur introduit ainsi un multiplicateur de Lagrange λ. La nouvelle fonction `a optimiser devient alors −→u (δ, λ) d´efinie par :
−
→u (δ, λ) = k−→Y −−→f0 − ∇−→f−→δ k2+ λ(k−→δ k2−−→δ
02) (II.18)
La solution−→δ v´erifie alors :
(A + λI)−→δ = −→g (II.19)
Comme pour la m´ethode pr´ec´edente,−→δ corrige le point obtenu au pas pr´ec´edent.
L’algorithme consiste alors `a ajuster λ `a chaque it´eration de sorte que φ au point courant d´ecroisse entre deux it´erations successives. L’auteur propose de partir d’une valeur de λ arbi- traire, puis, `a chaque it´eration et suite `a une s´erie de tests sur φ, de multiplier ou de diviser une ou plusieurs fois λ par un facteur ν > 1.
Cette m´ethode pr´esente l’avantage d’ˆetre tr`es rapide. En revanche, sa rapidit´e de convergence la rend moins stable que la m´ethode des moindres carr´es et elle peut ne pas converger dans certains cas. La figureII.3permet de visualiser le chemin parcouru au cours des it´erations pour les deux derni`eres m´ethodes.
u0
Figure II.3 : Comparaison de la m´ethode des moindres carr´es (¥) avec la m´ethode de Levenberg-
Marquartd (◦). Le point u0 est le point de d´epart de l’algorithme (les fl`eches ◮
et ⊲ donne le sens de progression des it´erations).