a un calcul de diff´erentielle.
Or, la condition n´ecessaire d’existence d’un minimum est obtenue `a l’aide de c
¯alculs de petites variations, autour d’un point de minimum. Ceci nous conduira naturellement, dans la section suivante, `a utiliser les notions indispensables decalcul diff´erentieldans des espaces vectoriels norm´es, et plus particuli`erement dansRn, en vue de r´esoudre des probl`emes d’optimisation.
Le fait que la condition d’existence d’un minimum estsuffisanted´ecoule de lapositivit´e deA, qui est elle-mˆeme ´equivalente `a la convexit´e de la fonctionnelle J0, comme on le verra section 2.3, qui traite en particulier d’optimisation convexe. On prouvera aussi que la condition qui garantit l’existence (et l’unicit´e) du minimum est l’α-convexit´e de J0.
Enfin, lorsqueAest sym´etrique d´efinie-positive, ces r´esultats th´eoriques, qui lient minimisation (cf. (1.5)) et r´esolution du syst`eme lin´eaire en A (1.8), ont des cons´equences pratiques importantes. En effet, ils sont `a la base de nombreux algorithmes de calcul num´erique qui seront ´etudi´es dans la suite du cours.
1.4 Par la suite
A partir de l’exemple pr´ec´edent, nous allons d´efinir les outils math´ematiques adapt´es `a des probl`emes plus g´en´eraux.
Dans l’Annexe, au chapitre 14, nous rappelons les notions ´el´ementaires, ainsi que les th´eor`emes fondamentaux, associ´es `a la diff´erentiabilit´e d’une fonctionnelle d´efinie sur un espace vectoriel norm´e, `a valeurs dans un espace vectoriel norm´e.
Nous abordons les probl`emes de minimisation proprement dits au chapitre 2 : la fonctionnelle est `a valeurs r´eelles. Pour ce qui est de la caract´erisation d’un minimum, nous commen¸cons
par les conditions n´ecessaires d’existence. Nous nous attachons en particulier `a l’´etude de probl`emes pos´es non pas sur l’espace entier, mais plutˆot sur une partie de celui-ci ; on parle alors de probl`eme de minimisation avec contraintes. Dans un second temps, nous d´eterminons des conditions suffisantes d’existence, qui sont li´ees `a la convexit´e de la fonctionnelle ´etudi´ee.
Dans le chapitre suivant, nous ´etudions un probl`eme classique de minimisation, appel´e moindres carr´es lin´eaires, qui peut ˆetre per¸cu comme une g´en´eralisation de la r´esolution d’un syst`eme lin´eaire tel que (1.8). En effet, pourAune matrice deRm×n etbun vecteur deRm, on consid`ere la minimisation de la fonctionnelle
f : Rn→R, f(v) ='Av−b'm.
Le point fondamental est, qu’en g´en´eral, on ne peut pas d´eterminer/calculer utel quef(u) = 0, c’est-`a-dire qu’il n’existe pas de solution au probl`emeAu=b. Malgr´e tout, nous v´erifierons qu’il existe toujours des points de minimum.
Enfin, dans le dernier chapitre, nous construirons des algorithmes permettant de calculer num´eri-quement une approximation du minimum. Deux points-clefs sont `a noter d`es `a pr´esent au sujet de ces algorithmes :
Ils sont bas´es sur les caract´erisations obtenues dans les chapitres th´eoriques.
Ils sont it´eratifs : `a partir d’une initialisationu0, on calculeu1, puisu2, etc. jusqu’`a arriver
`
a une solution num´erique correcte.
Dans la suite du cours (cf. la Partie 2), nous revenons en d´etail sur la r´esolution de syst`emes lin´eaires comme (1.8), en d´efinissant des algorithmes avanc´es de r´esolution. Nous ne nous limitons pas au cas de matrices sym´etriques ; en effet, nous consid´erons des matrices quelconques, sous r´eserve qu’elles soient inversibles.
Bien sˆur, la recherche en optimisation est tr`es dynamique, et la th´eorie en constante ´evolution.
Aussi, les r´esultats pr´esent´es ci-apr`es ne repr´esentent qu’une petite introduction `a l’art de l’optimisation. Des g´en´eralisations et approfondissements seront propos´es lors d’autres cours de l’ENSTA, en deuxi`eme (cf. [10]) et troisi`eme ann´ees (Fili`ere optimisation et recherche op´erationnelle).
Nous renvoyons ´egalement le lecteur aux ouvrages [6, 2], qui proposent de nombreuses extensions, tout en restant tout `a fait abordable pour le (futur) ing´enieur...
Chapitre 2
Minimisation
2.1 Introduction
Dans ce chapitre on consid`ere les fonctionnelles d´erivables au sens de Gateaux (cf. le chapitre 14), sauf mention explicite du contraire. Bien ´evidemment, comme on parle de minimisation, l’espace d’arriv´ee F sera ´egal `a R. Dans la premi`ere partie, nous allons traiter de conditions n´ecessairesd’existence d’un minimum. Dans la seconde, nous ´etudierons lesconditions suffi-santes. Soit donc E=Rn.
Sauf mention explicite du contraire, les r´esultats, d´efinitions et notations de ce chapitre sont valables lorsqueEest un espace vectoriel norm´e complet de dimension infinie, muni d’un produit scalaire. On dit alors queE est un espace de Hilbert (voir par exemple [3, 15]).
Nous commen¸cons par introduire la notion dechemin, et rappeler celle destangentes.
D´efinition 2.1.1 On appelle chemin r´eel une fonction d´erivable γ: t-→γ(t) de R dansE. On appelle tangente au chemin en t0 la droite passant par γ(t0) et de direction γ!(t0). On appelle chemin une fonction de [0, α[ `a valeurs dans E, d´erivable sur ]0, α[ et d´erivable `a droite en 0, avec α >0. Dans ce cas, la tangente en 0 est une demi-droite, passant parγ(0), et de direction γd!(0), c’est-`a-dire :{w∈E : ∃η≥0, w=γ(0) +η γd!(0)}.
γd’(0)
’(t ) γ 0
Fig.2.1 – Tangentes On rappelle que, lorsque la variable est r´eelle,
γ!(t0) = lim
θ→0
γ(t0+θ)−γ(t0)
θ , etγ!d(t0) = lim
θ→0+
γ(t0+θ)−γ(t0)
θ .
Proposition 2.1.1 Soit γ un chemin. On a, pourt0∈]0, α[, avecα >0 dγ(t0)·h=h γ!(t0), ∀h∈R.
Preuve :Il suffit de comparer la d´efinition 14.1.1 `a celle de la d´eriv´ee usuelle γ(t0+h) =γ(t0) +hγ!(t0) +o(h), ∀h∈]−t0, α−t0[.
On en d´eduit donc que l’on a l’´egalit´e dγ(t0)·h = h γ!(t0), pourh suffisamment petit. Comme dγ(t0) est une application lin´eaire, l’´egalit´e pr´ec´edente est vraie pour touth deR.
Remarque 2.1.1 La d´eriv´ee `a droite peut ˆetre vue comme une d´eriv´ee directionnelle (cf. d´efinition 14.1.3) dans le sens positif. En effet,
γd!(t0) = lim
θ→0+
γ(t0+θ(+1))−γ(t0)
θ =dγ(t0)·(+1).
Soit maintenant f une application Fr´echet-diff´erentiable de E dans F (cf. le chapitre 14). On construitµ=f◦γ, une fonction de la variable r´eelle `a valeurs dansF. Tous les r´esultats connus s’appliquent sur une telle fonction (th´eor`eme des accroissements finis, formules de Taylor, etc.).
µ est d´erivable, comme compos´ee d’applications diff´erentiables, et on a dµ(t0)·h=df(γ(t0))·(dγ(t0)·h), ∀h∈R
⇐⇒h µ!(t0) =df(γ(t0))·(h γ!(t0)), ∀h∈R
⇐⇒h µ!(t0) =h df(γ(t0))·γ!(t0), ∀h∈R, puisquedf(γ(t0)) est lin´eaire, soit finalement
µ!(t0) =df(γ(t0))·γ!(t0). (2.1) SiJ est une fonctionnelle Fr´echet-diff´erentiable deE=Rn dansF=R, si on poseµ=J◦γ, on inf`ere que (cf. (14.5))
µ!(t0) = (∇J(γ(t0)), γ!(t0)), (2.2) et si enfin γ(t) =u+t w, avecu, w∈Rn, on a γ!(t0) =w, ce qui donne
µ!(t0) = (∇J(u+t0w), w). (2.3)
Proposition 2.1.2 SiJ est de classe C2, on a
µ!!(t0) = (∇2J(u+t0w)w, w). (2.4) Preuve :On ´ecrit
µ!(t0+h)−µ!(t0) = (∇J(u+t0w+h w)− ∇J(u+t0w), w)
= (h∇2J(u+t0w)w+'h w'ε(h w), w) =h(∇2J(u+t0w)w, w) +o(h), puisque∇J est de classeC1 deRn dansR, cf. (14.6). D’o`u finalement
µ!!(t0) = lim
h→0
µ!(t0+h)−µ!(t0)
h = (∇2J(u+t0w)w, w).
Notons que siJ est simplement Gateaux-diff´erentiable, on se limite aux chemins inclus dans des droites, c’est-`a-dire de la formeγ(t) =u+t w.