M´ethode de Gauss-Newton

o`u v<sub>min</sub> (resp. v<sub>max</sub>) est un vecteur propre de H associ´e `a la valeur propre λ_min (resp.

λ_max)

A chaque it´eration de gradient conjugu´e (voir algorithmeI.1), le scalaire

p^>_kJ^>J p_k p^>_kp_k ⁼ ||q_k||2 2 ||p_k||2 2 ,

peut-ˆetre calcul´e facilement (ce calcul n´ecessite un seul produit scalaire suppl´ementaire pour obtenir ||pk||2

2). Or, ce scalaire n’est autre que le quotient de Rayleigh

Q_rayleigh(J^>J, p_k). On peut alors se servir des ces quotients pour ´evaluer rapidement le

conditionnement de la matrice J^>J au cours des it´erations de gradient conjugu´e. Il s’agit

de calculer les scalaires suivant :

˜

λ_max = max

k=1,...,Niter

Q_rayleigh(J^>J, d_k) et ˜λ_min = min

k=1,...,Niter

Q_rayleigh(J^>J, d_k),

o`u N<sub>iter</sub> est la derni`ere it´eration de gradient conjugu´e. On obtient alors une borne inf´erieure du conditionnement de J^>J par le quotient des deux quantit´es pr´ec´edentes :

Cond(J^>J ) ≥ ^λ˜max ˜

λ_min^{. (1.16)}

1.3.3 M´ethode de Gauss-Newton

Nous allons d´ecrire dans cette sous-section la m´ethode de Gauss-Newton pour r´esoudre le probl`eme de moindres-carr´es non lin´eaires (1.8). Cette m´ethode consiste `a minimiser

f en tentant d’annuler son gradient. Pour ce faire, elle utilise l’algorithme de Newton sur

l’´equation ∇f (x) = 0 en prenant garde de retirer les d´eriv´ees secondes de r dans le calcul de la hessienne de f (voir ´equation (1.12)). On approche donc ∇2f (x) par J (x)^>J (x),

puis on calcule en x_kune direction d_ken r´esolvant le syst`eme lin´eaire

J_k^>J_kd_k = −J_k^>r_k = −g_k, (1.17) o`u on note J_k = J (x_k) et r_k = r(x_k).

La m´ethode de Gauss-Newton s’interpr`ete aussi comme une m´ethode de quasi-lin´earisation. En effet, par lin´earisation du r´esidu en xkdans l’´equation (1.8) on d´efinir le probl`eme lin´earis´e de (1.8).

D´efinition 1.3.9 On appelle probl`eme lin´earis´e du probl`eme (1.8) le probl`eme de

moindres-carr´es lin´eaire suivant :

min

d

1

Section 1.3 27

En ´ecrivant l’´equation d’optimalit´e de ce probl`eme on retrouve ais´ement que la direction

d_k d´efinie par ce probl`eme n’est autre que celle trouv´ee par le syst`eme (1.17). Cette in-terpr´etation est int´eressante car comme (1.18) est convexe, on en d´eduit que l’´equation d’optimalit´e est n´ecessaire et suffisante (voir th´eor`eme1.2.4).

Le r´esultat suivant, repris du lemme 10.3 de [68], montre que la direction d_k obtenue en (1.17) est une direction de descente en xk et qu’elle peut donc ˆetre utilis´ee dans le cadre d’une globalisation de l’algorithme par recherche lin´eaire.

Lemme 1.3.10 Il existe toujours une direction dkv´erifiant (1.17). Si xkn’est pas un point

stationnaire du probl`eme de moindres-carr´es non lin´eaire (1.8), d_k est une direction de

descente de f en x_k.

En r´esum´e, voici les principaux arguments conduisant `a l’utilisation de la m´ethode de Gauss-Newton pour r´esoudre (1.8) :

1. L’approximation du hessien de f par J (x)^>J (x) est int´eressante car elle utilise

uniquement le calcul de la jacobienne J (x), le coˆut de calcul des d´eriv´ees secondes des residus pouvant ˆetre important.

2. Dans de nombreuses applications le terme J^>J approchant le hessien de f est

do-minant par rapport aux termes regroupant les d´eriv´ees secondes des r´esidus. Cela se produit plus particuli`erement dans le cas d’applications o`u :

• les r´esidus sont petits (ri ≈ 0),

• les r´esidus sont quasi-lin´eaires (||∇2r_i|| ≈ 0).

3. Le lemme1.3.10assure que la direction de Gauss-Newton d_ktrouv´ee par r´esolution de (1.17) est bien une direction de descente de f .

4. L’interpr´etation de l’algorithme de Gauss-Newton par une m´ethode de quasi-lin´earisation fait le lien avec les m´ethodes utilisables dans le cas de probl`emes de moindres-carr´es lin´eaires. La m´ethode de Gauss-Newton peut alors se voir comme la transformation d’un probl`eme de moindres-carr´es non lin´eaires en la r´esolution d’une suite de probl`emes de moindres-carr´es lin´eaires. Ainsi, on peut appliquer les m´ethodes de la section1.3.1pour r´esoudre le probl`eme (1.18).

Data : Choix d’un it´er´e initial x1. Initialisation : k = 1. Constante 0 < ω₁ < ¹₂.

begin

while J (x_k)^>r(x_k) 6= 0 do

((1)) Calcul de la direction de descente : prendre pour d_kune solution de (1.17).

((2)) D´eterminer le pas α_kpar “rebroussement”, i.e. en prenant le plus grand α_kdans {1,¹₂,¹₄, ...} tel que

f (x_k+ α_kd_k) ≤ f (x_k) + ω₁α_k(g_k, d_k).

((3)) Mettre `a jour l’it´er´e :

xk+1 = xk+ αkdk.

((3)) Accroˆıtre k de 1 : k := k + 1.

endw end

Algorithme I.2 Algorithme de Gauss-Newton globalis´e par recherche lin´eaire

Quelques remarques sur cet algorithme :

1. L’´etape la plus d´elicate de l’algorithme est l’´etape ((1)) qui consiste `a r´esoudre le syst`eme lin´eaire (1.17). Pour ce faire, suivant la taille du syst`eme `a r´esoudre on pourra soit faire appel `a des m´ethodes de factorisation (petit et moyen syst`eme) soit `a des m´ethodes it´eratives de type gradient conjugu´e (grand syst`eme).

2. L’´etape ((2)) de l’algorithme permet d’assurer la convergence lorsque l’it´er´e initial est “loin” de la solution. La technique de recherche lin´eaire permet d’assurer la d´ecroissance de f `a chaque it´eration.

3. La proposition suivante, reprise de la proposition 10.5 de [68], donne un r´esultat de convergence de l’algorithme de Gauss-Newton.

Proposition 1.3.11 Soit {x_k} une suite g´en´er´ee par l’algorithme de

Gauss-Newton. Si {J (x_k)} est born´ee et uniform´ement injective, alors J (x_k)^>r(x_k) → 0.

4. L’algorithme de Gauss-Newton s’interpr`ete presque comme un algorithme de New-ton avec recherche lin´eaire. La diff´erence entre ces 2 algorithmes r´eside dans l’ap-proximation du hessien de f et dans le fait qu’on sur ic¸i d’avoir une direction de descente.

Dans la sous-section suivante nous nous int´eresserons `a la m´ethode de Levenberg-Marquardt qui est le pendant de la m´ethode de Gauss-Newton mais cette fois-ci avec une globalisation par r´egion de confiance.

Section 1.3 29