Recherche de z´ eros et syst` emes non-lin´ eaires

(1)

M´ethode na¨ıve Dichotomie Positions fausses Newton n-dimensions Levenberg-Marquardt Applications

Recherche de z´ eros et syst` emes non-lin´ eaires

Vincent Nozick

Vincent Nozick Recherche de zéros et systèmes non-linéaires 1 / 48

Recherche de z´ eros

Probl´ ematique :

Etant donn´ ´ ee une fonction non-lin´ eaire, on veut trouver le ou les points o` u cette fonction s’annule (s’ils existent).

Recherche de z´ eros

Fonctions ´ etudi´ ees :

• fonctions analytiques

(fonctions dont on connait la formule) R → R , continues et d´ erivables

• fonctions non analytiques, mais ´ evaluables en n’importe quel point.

• un ensemble de points repr´ esentant une fonction suppos´ ee con- tinue.

Recherche de z´ eros

On peut ´ evaluer cette fonction sur quelques points,

mais on ne sait pas ` a quoi ressemble la courbe.

(2)

Recherche de z´ eros

On peut ´ evaluer cette fonction sur quelques points, mais on ne sait pas ` a quoi ressemble la courbe.

Recherche de z´ eros

On peut ´ evaluer cette fonction sur quelques points, mais on ne sait pas ` a quoi ressemble la courbe.

Recherche de z´ eros

On peut ´ evaluer cette fonction sur quelques points, mais on ne sait pas ` a quoi ressemble la courbe.

Recherche de z´ eros

On peut ´ evaluer cette fonction sur quelques points,

mais on ne sait pas ` a quoi ressemble la courbe.

(3)

M´ ethode na¨ıve

Soit f une fonction :

• continue sur [a, b]

• monotone sur [a, b]

• telle que f(a)f (b) < 0

M´ ethode :

• on choisit un pas dx

• on teste f (a + k.dx) jusqu’` a ce que f change de signe (k entier positif)

M´ ethode na¨ıve

(4)

M´ ethode na¨ıve

(5)

M´ ethode na¨ıve

Algorithm 1: m´ ethode na¨ıve

input: une fonction f et un intervalle [a, b]

1 x = a + dx

2 while f (x)f (a) > 0 do

3 x = x + dx

4 return x

Remarque :

Le r´ esultat est l’intervalle [x − dx, x]. On peut relancer le mˆ eme algo sur cet intervalle avec un pas dx plus petit.

M´ ethode na¨ıve

R´ eflexion :

C’est nul comme m´ ethode.

Dichotomie

Soit f une fonction :

• continue sur [a, b]

• monotone sur [a, b]

• telle que f(a)f (b) < 0

M´ ethode :

On cherche un intervalle petit contenant le 0

• on coupe l’intervalle de d´ epart en 2

• on garde l’intervalle qui contient le 0

• on recommence ...

Dichotomie

Soit f une fonction :

• continue sur [a, b]

• monotone sur [a, b]

• telle que f (a)f(b) < 0

M´ ethode :

On cherche un intervalle petit contenant le 0

• on coupe l’intervalle de d´ epart en 2

• on garde l’intervalle qui contient le 0

• on recommence ...

(6)

Dichotomie

(7)

Dichotomie

(8)

Dichotomie

Algorithm 2: Dichotomie

input: fonction f , intervalle [a, b] et nombre d’it´ erations n

1 for i = 1 to n do

2 c = (a + b)/2

3 if f (a)f (c) < 0 then

4 b = c

5 else

6 a = c

7 return (a + b)/2

Remarque :

Pour obtenir une pr´ ecision 2 fois sup´ erieure, il suffit de faire une it´ eration de plus.

Dichotomie

R´ eflexions :

• A travers la m´ ethode de dichotomie, on consid` ere que la prob- abilit´ e que f s’annule d’un cot´ e ou de l’autre du milieu de l’intervalle [a, b] est la mˆ eme.

• Finalement, la dichotomie est une extension de la m´ ethode na¨ıve r´ ecursive, o` u le pas vaut la moiti´ e de l’intervalle ´ etudi´ e.

Positions fausses

Soit f une fonction :

• continue sur [a, b]

• monotone sur [a, b]

• telle que f(a)f (b) < 0

M´ ethode :

• on fait une approximation lin´ eaire de f sur [a, b]

• on r´ esout l’´ equation lin´ eaire

- on calcule l’´ equation de droite (a, f(a))(b, f(b)) - on calcule son intersection avec l’axe des abscisses

• on obtient un nouvel intervalle

• on recommence

Positions fausses

(9)

Positions fausses

(10)

Positions fausses

Algorithm 3: Positions fausses

input: fonction f , intervalle [a, b] et un seuil

1 repeat

2 c = a + f (a)(b − a) / (f (a) − f (b))

3 if f (a)f (c) < 0 then

4 b = c

5 else

6 a = c

7 until |f (c)| < seuil

8 return c

on s’arrˆ ete quand |f (c)| est suffisament petit

Positions fausses

R´ eflexion :

Cette m´ ethode peut ˆ etre inadapt´ ee pour certaines fonctions.

OK PAS OK

Positions fausses

R´ eflexion :

Cette m´ ethode peut ˆ etre inadapt´ ee pour certaines fonctions.

OK PAS OK

Positions fausses

R´ eflexion :

A travers la m´ ethode des positions fausses, on esp` ere que f est ` a

peu pr` es lin´ eaire sur [a, b], ce qui permet de restreindre [a, b] plus

rapidement qu’avec la m´ ethode de dichotomie.

(11)

Newton

Principe :

• hypoth` ese : x ₀ proche du r´ esultat

• m´ ethode it´ erative

M´ ethode :

• on calcule la tangente au point x _i , f (x _i )

• on calcule l’intersection de la tangente avec l’axe des abscisses

• on obtient x _i+1

• on recommence

Newton

(12)

Newton

Tangente ...

• tangente : y = mx + p

• d´ eriv´ ee de f en x ₀ → coefficient directeur de la tangente

→ tangente : y = f ⁰ (x ₀ )x + p

• avec p = y ₀ − f ⁰ (x ₀ )x ₀

→ tangente : y = f ⁰ (x ₀ )x + y ₀ − f ⁰ (x ₀ )x ₀

(13)

Newton

Intersection avec les abscisses ...

• tangente : y = f ⁰ (x ₀ )x + y ₀ − f ⁰ (x ₀ )x ₀

• si y ₁ = 0 (et y ₀ = f(x ₀ ))

→ x ₁ = x ₀ − f(x ₀ ) f ⁰ (x ₀ )

Newton

Algorithm 4: Newton

input: fonction f , solution initiale x ₀ et un seuil

1 x = x ₀

2 repeat

3 x = x − f(x)/f ⁰ (x)

4 until |f(x)| < seuil

5 return x

On s’arrˆ ete quand |f (x)| est suffisament petit

Newton

Remarque :

Selon les conditions initiales ...

Newton

Remarque :

Selon les conditions initiales ...

(14)

Newton

Remarque :

Selon les conditions initiales ...

Newton

R´ eflexion :

• le choix de la position initial est tr` es important

• la convergence n’est pas garantie

• la convergence peut ˆ etre tr` es rapide

M´ ethode de la s´ ecante

M´ ethode :

On veut utiliser la m´ ethode de Newton, mais on ne connait pas la d´ eriv´ ee f ⁰ de f .

→ on fait une estimation de la d´ eriv´ ee de f en x ₀ qu’on r´ einjecte dans la m´ ethode de Newton.

M´ ethode de la s´ ecante

M´ ethode :

On veut utiliser la m´ ethode de Newton, mais on ne connait pas la d´ eriv´ ee f ⁰ de f .

→ on fait une estimation de la d´ eriv´ ee de f en x ₀ qu’on r´ einjecte

dans la m´ ethode de Newton.

(15)

M´ ethode de la s´ ecante

D´ eriv´ ee :

f ⁰ (x ₀ ) = lim

x→x

₀

f(x) − f (x ₀ ) x − x ₀

Estimation num´ erique de la d´ eriv´ ee (d´ eriv´ ee arri` ere) :

f ⁰ (x) ' f(x) − f (x − ∆x)

∆x

M´ ethode de la s´ ecante

M´ ethode :

• on ´ evalue la d´ eriv´ ee de f(x _i )

• on calcule la tangente au point (x _i , f (x _i ))

• on calcule l’intersection de la tangente avec l’axe des abscisses

• on obtient x _i+1

• on recommence ....

M´ ethode de la s´ ecante

Algorithm 5: Newton - ´ estimation de la d´ eriv´ ee

input: fonction f , solution initiale x ₀ , un pas ∆x et un seuil

1 x = x ₀

2 repeat

3 x = f(x)(x−∆x)−x.f(x−∆x) f (x)−f (x−∆x) 4 until |f (x)| < seuil

5 return x

On s’arrˆ ete quand |f (x)| est suffisament petit

Syst` emes non-lin´ eaires

Introduction :

Et pour les fonctions ` a plusieurs variables?

z = f (x) z = f (x, y)

(16)

Syst` emes non-lin´ eaires

D’ailleurs, certaines fonctions renvoient plusieurs variables :

z = f (x)

avec z =





 z ₁ z ₂ .. . z _n







et x = x ₁

x ₂

Par exemple, les hauteurs respectives d’un groupe de soldats m´ echants group´ es autour du chef, se d´ epla¸ cant dans la montagne.

Syst` emes non-lin´ eaires

M´ ethode :

soit la fonction z = f (x) et une valeur b z connue on cherche x b tel que f ( b x) = b z

→ on veut minimiser = |f (x) − b z|

autrement dit, on veut faire tendre f(x) vers b z autant que possible.

→ on part d’une estimation x ₀

Syst` emes non-lin´ eaires

D´ eriv´ ee 1D :

f ⁰ (x) ' f(x + ∆x) − f(x)

∆x Soit

f (x + ∆x) ' f(x) + f ⁰ (x)∆x

D´ eriv´ ee n-dimensions :

f (x + ∆ _x ) ' f(x) + J∆ _x

Matrice jacobienne

Soit une fonction f ` a plusieurs variables de R ⁿ 7→ R ^m :

f : x =





 x ₁ x ₂ .. . x _n





 7−→







f ₁ (x ₁ , x ₂ , · · · , x _n ) f ₂ (x ₁ , x ₂ , · · · , x _n )

.. .

f _m (x ₁ , x ₂ , · · · , x _n )







D´ efinition:

La matrice jacobienne J est la matrice des d´ eriv´ ees partielles du premier ordre d’une fonction vectorielle f.

J = ∂(f ₁ , . . . , f _m )

∂(x ₁ , . . . , x _n ) =







∂f

1

∂x

1

· · · _∂x ^∂f

¹

..

n

. . .. .. .

∂f

m

∂x

1

· · · ^∂f _∂x

^m

n







(17)

Syst` emes non-lin´ eaires

D´ eriv´ ee 1D :

f (x + ∆x) ' f(x) + f ⁰ (x)∆x

D´ eriv´ ee n-dimensions :

f (x + ∆ _x ) ' f(x) + J∆ _x

Syst` emes non-lin´ eaires

f(x + ∆ _x ) ' f (x) + J∆ _x

Principe :

on cherche ∆ _x tel que f (x + ∆ _x ) − b z = 0

→ f (x) − b z

| {z }

+J∆ _x = 0, soit + J∆ _x = 0

M´ ethode :

→ on veut minimiser : J∆ _x = −

→ la solution : ∆ _x = −J ⁺ J ⁺ = (J ^> J) ⁻¹ J ^>

→ on avance : x _i+1 = x _i + ∆ _x

→ on recommence jusqu’` a convergence

Syst` emes non-lin´ eaires

Algorithm 6: Newton n-dimensions

input: fonction f , solution initiale x ₀ , b z et un seuil

1 x = x ₀

2 repeat

3 J = [∂f _i /∂x _j ]

4 = f (x) − b z

5 ∆ _x = −J ⁺

6 x = x + ∆ _x

7 until |f (x) − b z| < seuil

8 return x

Syst` emes non-lin´ eaires

Remarque :

Il s’agit en fait de la m´ ethode de newton :

x _i+1 = x _i + ∆ _x

= x _i − J ⁺

= x _i − J ⁺ (f (x _i ) − b z)

x _i+1 = x _i − f (x _i )

f ⁰ (x _i ) ←→ x _i+1 = x _i − J ⁺ (f(x _i ) − b z)

(18)

Levenberg-Marquardt

Introduction :

Il s’agit d’une optimisation de la m´ ethode de Newton o` u le pas ∆ _x a une importance variable selon la situation.

Levenberg-Marquardt

Newton :

J∆ _x = − −→ ∆ _x = −J ⁺

−→ ∆ _x = −(J ^> J) ⁻¹ J ^>

∆ _x est un pas acceptable si |f (x + ∆ _x )| < |f (x)|, ce qui n’est pas toujours le cas.

∆ _x trop petit :

• r´ esolution trop longue

• risques de tomber dans un minimum local

∆ _x trop grand :

• risque de d´ epasser le minimum global et de diverger

Levenberg-Marquardt

Newton :

J∆ _x = − −→ ∆ _x = −J ⁺

−→ ∆ _x = −(J ^> J) ⁻¹ J ^>

Levenberg-Marquardt :

J∆ _x = − −→ J ^> J∆ _x = −J ^>

−→ (J ^> J + λId)∆ _x = −J ^>

−→ ∆ _x = −(J ^> J + λId) ⁻¹ J ^>

• ∆ _x trop petit → on diminue λ

• ∆ _x trop grand → on augmente λ

Levenberg-Marquardt

En pratique :

On choisi d’abord une valeur initiale de λ ₀ : λ ₀ = 10 ⁻³ ×

P n

i=1 (JJ ^> ) _ii n

• si ∆ _x fait converger f : λ = λ ÷ 10 pour acc´ el´ erer la convergence

• si ∆ _x ne fait pas converger f : λ = 10 × λ

∆

x

´ etait trop grand

(19)

Algorithm 7: Levenberg-Marquardt

input: fonction f, solution initiale x

0

, b z et un seuil

1

x = x

0 2

λ =

_n¹

P

n

i=1

(JJ

^>

)

ii

× 10

⁻³

3

repeat

4

J = [∂f

i

/∂x

j

]

5

compteur = 0

6

accept´ e = false

7

repeat

8

∆

x

= −(J

^>

J + λId)

⁺

J

^>

(f(x) − b z)

9

if |f (x + ∆

x

)| < |f(x)| then

10

x = x + ∆

x

11

λ = λ/10

12

accept´ e = true

13

else λ = λ × 10

14

compteur = compteur + 1

15

if compteur > 100 then return x

16

until accept´ e = true

17

until |f(x) − b z| < seuil

18

return x

Applications

Rectification d’images :

Applications

Rectification d’images :

Applications

Correction de la distorsion radiale : (certains mod` eles sont lin´ eaires)

(20)

Applications

Correction de la distorsion radiale : (certains mod` eles sont lin´ eaires)

Applications

Bundle adjustment :

Applications

Trajectoire optimale : (courbe minimal vs. chemin le plus court)