S´eance 3 : Exercices OPTIMISATION

ECP Math´ematiques 2 2^e Ann´ee 2005-2006

S´eance 3 : Exercices OPTIMISATION

Programme du cours

Chapitre 3, les m´ethodes de descentes : ´etude graphique du gradient et de la relaxation (§3.1,§3.2). La m´ethode de Newton (§3.3) et la notion de pr´econditionnement (§3.4.1).

(x2,y2) (x1,y1)

(x0,y0)

(x3,y3)

(xn,yn)

(xn+1,yn+1))

Figure 1: Syst`eme de nbarres articul´ees

Notations

On note V un espace vectoriel norm´e, x un point deV,F une fonction de V dansR.

< x, y >=P

ixiyi est le produit scalaire canonique deRⁿ. Question 1

Minimisation au sens des moindres carr´es.

L’identification de param`etres `a partir de mesures conduit au probl`eme classique suivant : d´eterminernparam`etres repr´esent´es par un vecteurx∈Rⁿde fa¸con `a v´erifierp > n´equations f(x) = 0 d´efinies par lesp points de mesures, o`uf(x) est une application deRⁿ dansR^p. Ce syst`eme surabondant d’´equations n’admet pas de solution mais on peut chercher une solution approch´ee qui minimise la somme des carr´es des ´equations, c’est `a dire la fonction

F(x) =< f(x), f(x)>

2 Math´ematiques 2

le minimum devant ˆetre proche de 0. Cette fonction n’a pas de raison d’ˆetre convexe, sauf si f(x) est lin´eaire, et elle peut avoir un grand nombre de minimums qui ne correspondent pas

`a des valeurs petites de la fonction.

• D´eterminer une fonction affine Y = aX +b approximant au sens des moindres carr´es p points de mesures (X_i, Y_i),X_i ∈R,Y_i ∈R.

• On consid`ere le cas g´en´eral o`u la fonction f(x) = Cx−b est lin´eaire (C est une matrice (p, n),x∈Rⁿ,b∈R^p).

i) Montrer que la solution au sens des moindres carr´esv´erifie

C^tCx=C^tb

ii) Que doit v´erifier la matrice Cpour que ce syst`eme ait une solution unique ?

Question 2

R´egularisation d’un maillage.

On consid`ere un graphe planaire, repr´esentation par exemple d’un maillage d’un domaine plan en triangles ou bien d’un probl`eme de liens entre des tˆaches, d´efini par ses noeuds x_i ∈R², i= 1, ..., N et un ensembleE d’arcs (i, j). On se propose de “r´egulariser” le graphe c’est `a dire assurer une r´epartition r´eguli`ere des noeuds. On supposera que les noeuds du

“bord” sont laiss´es fixes. Une id´ee naturelle est de chercher que chaque point “int´erieur” soit le centre de gravit´e des noeuds auxquels il est reli´e. Supposons les noeuds du bord du graphe portent les num´eros n+ 1, n+ 2, ..., N, les noeuds int´erieurs doivent donc v´erifier

∀i= 1, ...n X

j/(i,j)∈E

(x_i−x_j) = 0

•Montrer que le vecteurx= (x₁, ..., x_n)∈R²ⁿr´ealise le minimum de la fonction quadratique

F(x) = X

(i=1,N,j≤i)∈E

kx_i−x_jk²

•Compte tenu de ce que la pr´ecision n’a pas besoin d’ˆetre tr`es grande on utilise une m´ethode simple `a mettre en oeuvre : la relaxation. Comment s’interpr`ete g´eom´etriquement cette m´ethode ici ?

Question 3

Notion de pr´econditionnement.

Nous avons vu en cours que la vitesse de convergence de la m´ethode du gradient appliqu´ee `a une fonction quadratiqueF(x) = ¹₂hAx, xi − hb, xid´epend du conditionnement de la matrice A. En effectuant un changement de variable on peut modifier cette matrice et am´eliorer le conditionnement.

On consid`ere ici l’optimisation d’une fonction convexe F(x) ∈ C²(Rⁿ). SoitL une matrice inversible quelconque. On effectue le changement de variabley =Lx dans la fonctionF(x).

S´eance 3 3

•Dans le cas d’une fonctionF(x) quadratique, montrer que, cela revient `a changer la matrice A enL^−tAL⁻¹.

• On pose

M =L^tL

La matriceM, appel´eematrice de pr´econditionnementest sym´etrique d´efinie positive. Mon- trer que, pour esp´erer am´eliorer le conditionnement la matriceA,Mdoit ˆetre proche de A.

• Ecrire pour une fonction´ F(x) quelconque l’algorithme du gradient pour la recherche de minimum de la fonction F(L⁻¹y), puis revenir aux variables initiales. On obtient la forme suivante de l’algorithme dit de gradient pr´econditionn´e:

x⁰ = 0,²= pr´ecision g⁰ =∇F(x₀)

M =L^tL Md⁰ =g⁰ Faire :

Calcul du minimum unidirectionnel : F(x^k+ρ^kd^k)≤F(x^k+ρd^k)∀ρ∈R x^k+1=x^k+ρ^kd^k

g^k+1=∇F(x^k) Md^k+1=g^k+1 Tant quekg^kk ≥²kg⁰k

Par rapport au gradient ordinaire cet algorithme n’exige qu’une op´eration suppl´ementaire : la r´esolution d’un syst`eme lin´eaire de matrice M que l’on choisira de fa¸con que ce syst`eme ait une r´esolution rapide par un algorithme de type pivot de Gauss.

Notes : Pour une fonction convexe quelconque on peut pr´econditionner en utilisant une ma- trice fixe ou variable. Cette matrice peut ˆetre par exemple le Hessien d’une approximation simple de la fonctionF(x).

On v´erifiera que si on choisitM=HF(x) on obtient la m´ethode de Newton.

D’une mani`ere g´en´erale introduire un pr´econditionnement ´equivaut `a d´efinir le gradient en utilisant un autre produit scalaire que le produit scalaire canonique.

Question 4

Etude d’une chaˆıne pesante´

On consid`ere une“chaˆıne pesante”, i.e. un syst`eme de n+ 1 barres articul´ees, de mˆeme longueur L et de mˆeme masse (pour simplifier l’´ecriture...), reli´ees sans frottement par des rotules ¹. C’est une ´etude pr´eliminaire `a un probl`eme proche mais plus complexe : l’´etude de l’´equilibre des toiles pesantes et tendues.

La barre 1 et la barren+ 1 sont fix´ees `a leur extr´emit´e (Fig. (1)). On suppose que le syst`eme est soumis seulement `a son poids et on veut d´eterminer la position d’´equilibre. On param`etre la position du syst`eme par la position des noeuds ((x_i, y_i), i= 1, . . . , n) et on suppose fix´ees

1i.e. elle tourne librement autour de leur point d’articulation

4 Math´ematiques 2

(x₀, y₀) et (x_n+1, y_n+1).

On pose

U∈R²ⁿ= (x1, y1. . . , xi, yi, . . . , x,yn,)

Les barres sont ind´eformables ; l’ensemble E despositions admissibles est donc d´efini par E ={U∈R²ⁿ/(x_i−x_i−1)²+ (y_i−y_i−1)² =L², i= 1, . . . , n+ 1}

D’apr`es le principe du minimum de l’´energie, la position d’´equilibre des noeuds est, parmi toutes les positions admissibles, celle pour laquelle le centre de gravit´e du syst`eme est le plus bas possible.

• Ecrire ce probl`eme comme un probl`eme d’optimisation d’une fonction lin´eaire´ hP,Uisous des contraintes quadratiques d’´egalit´ehB_iU,Ui= 1, i= 1, . . . , n+ 1, o`u le vecteur Pet les matrices B<sub>i</sub> sont `a pr´eciser.

• Pour r´esoudre de fa¸con approch´ee ce probl`eme on utilise une m´ethode de “p´enalisation” : cela revient `a supposer que les barres sont l´eg`erement d´eformables et `a introduire dans la formulation du probl`eme une pseudo-´energie de d´eformation de ces barres.

On choisit, pour la barre i, l’expression suivante de la pseudo-´energie de d´eformation

E_i = 1

4²((x_i−x_i−1)²+ (y_i−y_i−1)²−L²)²

o`u ², le coefficient de p´enalisation est un nombre petit. On montre (cf. chapitre 4) que le minimum libre de la fonction ´energie

J²(U) =hP,Ui+

n+1

X

i=1

Ei

est proche du minimum du probl`eme initial.

Montrer que la fonction J_²(U) est coercive. Est-elle convexe ?

• On applique la m´ethode du gradient `a ce probl`eme, comparer les temps de calcul de diff´erentes variantes pour diff´erents coefficients de p´enalisation :

−Sans pr´econditionnement et avec un calcul pr´ecis du minimum unidirectionnel.

−En fixant le pas ρ_k (comment le faire sans risque de divergence ?).

−En pr´econditionnant par la matrice de la partie quadratique de la fonction F(x).

−Avez vous une autre id´ee ?