S´eance 3 : Exercices corrig´es OPTIMISATION

S´eance 3 : Exercices corrig´es OPTIMISATION

Objectifs

La m´ethode du gradient pour la minimisation de fonctions quadratiques. Int´erˆet d’un pr´econditionnement.

x x₀₀

X1 X2

X3

x X4

x

g g₁₁ g

g₃₃ g g₂₂

Figure 1: It´erations de la m´ethode du gradient Question 1

Minimisation au sens des moindres carr´es.

D´eterminer une fonction affine Y =aX+b approximant au sens des moindres carr´es ....

− Sans le formalisme de l’´enonc´e, on cherche un couple (a, b) qui rende minimum l’erreur quadratique

E(a, b) =X

i

(aXi+b−Yi)² On ´ecrit que les d´eriv´ees en aetbsont nulles

X

i

Xi(aXi+b−Yi) = 0 (1)

X

i

aX_i+b−Y_i= 0 (2)

d’o`u le syst`eme lin´eaire qui d´etermine aetb.

(X

i

X_i²)a+ (X

i

X_i)b=X

i

X_iY_i (3)

(X

i

Xi)a+pb=X

i

Yi (4)

− En suivant le formalisme de l’´enonc´e, on a ici n= 2,x= (a, b) et f(x) = (aX₁+b−Y₁, . . . , aX_i+b−Y_i, . . . , aX_p+b−Y_p) On est ramen´e `a la question suivante avec une matrice

C =











 X₁,1 ..., ...

X_i,1 ..., ...

Xp,1













et un vecteur

b= (Y₁, ..., Yi, ..., Yp)^t

• On consid`ere le cas g´en´eral o`u la fonction f(x) = Cx−b est lin´eaire (C est une matrice (p, n),x∈Rⁿ,b∈R^p).

i) Montrer que la solution au sens des moindres carr´esv´erifie C^tCx=C^tb

Il faut minimiser

F(x) =hCx−b,Cx−bi=hC^tCx, xi −2hC^tb, xi+hb, bi ce qui ´equivaut `a minimiser

F(x) = 1

2hC^tCx, xi − hC^tb, xi

C’est un probl`eme d’optimisation quadratique, `a matriceC^tCsym´etrique d´efinie positive, si le rang deCestn. Nous avons vu en cours que la fonctionF(x) est alors strictement convexe et qu’elle a un minimum et un seul qui est solution du syst`eme lin´eaire

C^tCx=C^tb

ii) Que doit v´erifier la matrice Cpour que ce syst`eme ait une solution unique ? C^tCx= 0 ⇔ hC^tCx, xi= 0

et donc

C^tCx= 0 ⇔ hCx,Cxi= 0 ⇔ Cx= 0

ce qui impliquex= 0 si et seulement si la matriceCanlignes ind´ependantes ce qui ´equivaut

`a dire que le syst`eme initial a n´equations ind´ependantes.

Question 2

R´egularisation d’un maillage.

•Montrer que le vecteurx= (x₁, ..., x_n)∈R²ⁿr´ealise le minimum de la fonction quadratique

F(x) = X

(i=1,N,j≤i)∈E

kxi−x_jk²

On obtient les conditions d’optimalit´e en calculant le gradient X

j|(i,j)∈E

x_i−x_j = 0

Ce qui signifie bien que xi est le centre de gravit´e des points auxquels il est reli´e.

On doit minimiser la fonction F(x) que nous r´e´ecrivons

F(x) = X

(i=1,n,j≤i)∈E

kxi−x_jk²+ X

(i=1,n,j>n)∈E

kxi−x_jk²

F(x) est une fonction d´efinie sur Rⁿ dont la partie de degr´e 2 est X

(i=1,n,j≤i)∈E

kx_i−x_jk²+ X

(i=1,n)

kx_ik²

qui est toujours positive six6= 0 et dont la partie lin´eaire est

2 X

(i=1,n,j>n)∈E

< x_i, x_j >

C’est donc une fonction strictement convexe qui a un minimum et un seul.

• On utilise la m´ethode de relaxation par rapport `a chacun des vecteurs xi ∈ R<sup>2</sup>, c’est `a dire une relaxation par bloc de dimension 2. Le minimum par rapport `a x<sub>i</sub> est donc obtenu en rempla¸cant le point xi par le centre de gravit´e des points qui l’entourent. La pr´ecision n´ecessaire est en g´en´eral assez faible (> 10<sup>−2</sup>) et quelques balayages (< 5) du vecteur x suffisent. La m´ethode est naturelle, ce qu’apporte ici l’interpr´etation par le probl`eme de minimisation c’est une preuve de convergence.

Question 3

Notion de pr´econditionnement.

•Dans le cas d’une fonctionF(x) quadratique, montrer que, cela revient `a changer la matrice A enL^−tAL⁻¹.

Le changement de variable changeF(x) en F(y) =˜ 1

2 <AL⁻¹y,L⁻¹y >−< b,L⁻¹y >

Minimiser ˜F(y) revient donc `a changerA en L^−tAL⁻¹ etben L^−tb.

• On pose

M =L^tL

La matriceM, appel´eematrice de pr´econditionnementest sym´etrique d´efinie positive. Mon- trer que, pour esp´erer am´eliorer le conditionnement la matriceA,Mdoit ˆetre proche de A.

Le conditionnement de la nouvelle matrice sera d’autant meilleur qu’elle sera proche de Id, c.a.d.

L^−tAL⁻¹∼Id ou

A∼L^tL=M

• Ecrire pour une fonction´ F(x) quelconque l’algorithme du gradient pour la recherche de minimum de la fonctionF(L⁻¹y), puis revenir aux variables initiales...

La r´eponse est dans la question.

Question 4

Etude d’une chaˆıne pesante´

• Ecrire ce probl`eme comme un probl`eme d’optimisation d’une fonction lin´eaire´ hP,Uisous des contraintes quadratiques d’´egalit´ehBiU,Ui= 1, i= 1, . . . , n+ 1, o`u le vecteur Pet les matrices B<sub>i</sub> sont `a pr´eciser.

Corr. Le centre de gravit´e d’une barre est un point d’ordonn´ee 1

2(y_i+y_i−1)

Toutes les barres ont la mˆeme masse, donc le centre de gravit´e du syst`eme est un point d’ordonn´ee

y_G= 1 n+ 1

n+1

X

i=1

1

2(yi+y_i−1) on en d´eduit, en tenant compte dey₀ =y_n+1 = 0,

yG=hP,Ui avec

P= 1

n+ 1(0,1, ...,0,1, ...,0,1)^t Il faut ´ecrire que toutes les barres gardent la longueurL, i.e.

(xi−x_i−1)²+ (yi−y_i−1)²

L² = 1

ou encore matriciellement

hBiU,Ui= 1, i= 1, . . . , n+ 1

la matriceBi´etant la matrice sym´etrique dont tous les coefficients sont nuls `a l’exception de Bi2(i−1)+1,2(i−1)+1=B_i2i,2i=B_i2i+1,2i+1 =Bi2(i+1),2(i+1) = 1

L² sur la diagonale et, au dessus de la diagonale

Bi2(i−1)+1,2i=Bi2(i+1),2(i+1)

• Pour r´esoudre de fa¸con approch´ee ce probl`eme on utilise une m´ethode de “p´enalisation” : cela revient `a supposer que les barres sont l´eg`erement d´eformables et `a introduire dans la formulation du probl`eme une pseudo-´energie de d´eformation de ces barres.

On choisit, pour la barre i, l’expression suivante de la pseudo-´energie de d´eformation E_i = 1

4²((x_i−x_i−1)²+ (y_i−y_i−1)²−L²)²

o`u ², le coefficient de p´enalisation est un nombre petit. On montre (cf. chapitre 4) que le minimum libre de la fonction ´energie

J²(U) =< P,U>+

n+1

X

i=1

Ei

est proche du minimum du probl`eme initial.

Montrer que la fonctionJ²(U) est coercive.

Si unUtend vers l’infini, la longueur d’une des barres au moins tend vers l’infini et le terme E_i correspondant tend donc vers l’infini.

Est-elle convexe ?

Corr. En fixant tous les variables `a 0 saufx₁ on obtient J_²(U) =P₁x₁+ 1

4²(x²₁−L²)²) qui n’est pas une fonction convexe.

• On applique la m´ethode du gradient `a ce probl`eme, comparer les temps de calcul de diff´erentes variantes pour diff´erents coefficients de p´enalisation :

−Sans pr´econditionnement et avec un calcul pr´ecis du minimum unidirectionnel.

−En faisant varier de fa¸con ad´equate le coefficient de p´enalisation.

−En fixant le pas ρ_k (comment le faire sans risque de divergence ?).

−En pr´econditionnant par la matrice de la partie quadratique de la fonction F(x).

• Comparer les temps de calculs avec la m´ethode standard de Scilab.