Dans cette section, nous allons r´esoudre compl`etement un probl`eme de minimisation “classique”.
Qui plus est, nous en tirerons des enseignements g´en´eraux, enseignements qui nous permettront de d´evelopper la th´eorie li´ee `a l’optimisation de fonctionnellesdiff´erentiables et/ouconvexes.
On consid`ere le probl`eme de la minimisation d’une fonctionnelle quadratique qui d´epend de n variables ; soit donc un polynˆome de degr´e 2 enx1,· · ·, xn, c’est-`a-dire :
P(x1,· · ·, xn) =
n
!
i=1 i
!
j=1
αijxixj−
n
!
k=1
βjxj+γ. (1.1)
On va ´etudier l’existence de minima locaux ou globaux, lorsque (x1,· · ·, xn) parcourt Rn. Tout d’abord, essayons de nous servir des r´esultats g´en´eraux de la section pr´ec´edente. Le th´eor`eme 1.2.1 ne s’applique pas, puisque Rn n’est pas compact. Quant `a la proposition 1.2.1, il est difficile de savoir si on peut l’utiliser, car v´erifier que P est bien infini `a l’infini n’est pas ais´e ! Bref, nous allons d´evelopper de nouveaux outils, (mieux) adapt´es au probl`eme de la minimisation de (1.1).
2. Nous allons expliquer pourquoi la d´emonstration de la proposition ne s’applique pas dans un espace de dimension infinie. Pour cela, rappelons un th´eor`eme dˆu `a Riesz.
Th´eor`eme 1.2.2 SoitEun espace vectoriel norm´e etB(0,1) ={v∈E : "v" ≤1}sa boule unit´e ferm´ee. Alors, Eest de dimension finie si, et seulement si,B(0,1)est compacte.
A partir de ce r´esultat, on voit qu’il ne sert `a rien de se ramener `a une suite born´ee, si l’on reprend la d´emonstration dans le cas de la dimension infinie. En effet, les ´el´ements de la suite appartiennent bien `a une boule ferm´ee et born´ee, mais celle-ci n’est plus compacte. On ne peut alors plus consid´erer une sous-suite qui converge...
1.3.1 Dans R
Consid´erons bri`evement le cas d’un polynˆome d’une seule variable. Bien ´evidemment, si n= 1,P(x) =α x2−β x+γ.
Si x0 est un minimum local deP, il existe η >0 tel que, pour tout h v´erifiant|h| < η, on ait P(x0+h)≥P(x0). Par diff´erence, on obtienth(2α x0+α h−β)≥0.
Si on choisith dans ]0, η[, on a alors 2α x0+α h−β ≥0 ; on fait tendrehvers 0, pour arriver
`
a 2α x0−β≥0.
En prenanthn´egatif, on obtient cette fois 2α x0−β≤0.
Ainsi, une condition n´ecessaire d’existence de minimum est que
2α x0=β. (1.2)
R´eciproquement, six0 est tel que 2α x0=β, on trouveP(x0+h) =P(x0) +α h2. Pour garantir l’existence d’un minimum (qui sera d’ailleurs global), α doit ˆetre positif ou nul. Notons enfin que pour que (1.2) poss`ede une solution, il faut soit que α /= 0, soit que α = β = 0. Dans le premier cas, il existe une solution et une seule, et dans le second cas, x0 est quelconque.
En conclusion, nous sommes arriv´es au r´esultat suivant :
(I) α < 0 : la condition n´ecessaire d’existence de minimum (1.2) n’est jamais suffisante. Il n’existe pas de minimum.
(II) α ≥ 0 : la condition d’existence de minimum (1.2) est n´ecessaire et suffisante. Qui plus est, la r´esolution de (1.2) permet de caract´eriser les minima, qui sont automatiquement globaux.
Siα >0, il existe un minimum x0 unique, ´egal `ax0=β/2α.
Siα= 0 etβ= 0, tout ´el´ement deR r´ealise le minimum.
Siα= 0 etβ/= 0, il n’existe pas de minimum.
(I) (II)
α<0 α>0 α=β=0 α=0, β=0/
Fig. 1.1 –Petit r´ecapitulatif ’visuel’.
1.3.2 Dans Rn
Ci-dessous, nous allons faire usage des pr´erequis d’alg`ebre lin´eaire rappel´es dans l’Avant-Propos.
Dans le cas g´en´eral (n ≥ 2), on peut se ramener `a une forme “condens´ee”, qui permet de simplifier l’´etude que l’on se propose de r´ealiser, en la rapprochant du cas `a une variable.
En effet, si on note :v= (x1,· · ·, xn)T etb= (β1,· · ·, βn)T, on a"n
k=1βjxj= (b, v), o`u (., .) est le produit scalaire usuel deRn.
Qu’en est-il pour le terme quadratique de P? Soit A = (Ai,j)1≤i,j≤n une matrice de Rn×n; comparons 12(Av, v) au premier terme deP:
1
2(Av, v) = 1 2
n
!
i=1 n
!
j=1
Ai,jxjxi= 1 2
n
!
i=1
Ai,ixixi+
n
!
i=1
!
j<i
1
2{Ai,j+Aj,i}xixj. En identifiant les coefficients terme `a terme, on arrive `a :
# Ai,i= 2αii, 1≤i≤n.
Ai,j+Aj,i= 2αij, 1≤i≤n, 1≤j < i.
Il y a plus d’inconnues que d’´equations. Ceci ´etant, si l’on suppose que A est sym´etrique, on peut d´eterminer A, puisqu’on obtientAi,i= 2αii, pour 1≤i≤n, etAi,j=αij, pour 1≤i≤n, 1≤j < i. En r´esum´e, on vient de d´emontrer le r´esultat ´el´ementaire suivant :
Proposition 1.3.1 A tout polynˆomeP de nvariables et de degr´e 2, on peut associer un unique triplet (A, b, c), o`u A est une matrice sym´etrique de Rn×n,b un vecteur de Rn, et cun r´eel, tel que
∀v= (x1,· · ·, xn)T∈Rn, P(x1,· · ·, xn) =1
2(Av, v)−(b, v) +c.
PourA sym´etrique, on introduit la fonctionnelleJ0 :Rn →R, d´efinie par
∀v∈Rn, J0(v) = 1
2(Av, v)−(b, v) +c. (1.3)
On s’int´eresse aux probl`emes de minimisation suivants : Probl`emelocal
# Trouveru∈Rn, solution de
∃η >0, ∀h∈Rn, 'h'< η=⇒J0(u)≤J0(u+h). (1.4)
Probl`emeglobal
# Trouveru∈Rn, solution de
∀h∈Rn, J0(u)≤J0(u+h). (1.5)
Consid´erons tout d’abord le probl`eme (1.4).
•Siu∈Rn est un minimum local, il existe η >0 tel que, pour touthde norme plus petite queη,J0(u+h)≥J0(u).
Par diff´erence, on obtient : J0(u+h)−J0(u) = 1
2(A{u+h}, u+h)−(b, u+h) +c−1
2(Au, u) + (b, u)−c
= 1
2(Au, h) +1
2(Ah, u) +1
2(Ah, h)−(b, h)
= (Au−b, h) +1
2(Ah, h), (1.6)
Comme dans le cas monodimensionnel, consid´erons maintenant despetites variations. Pour tout vecteur non nulddeRn,λ dest de norme plus petite queη d`es lors que|λ|< η/'d'. On arrive alors `a
∀λtel que|λ|< η/'d', λ{(Au−b, d) + λ
2(Ad, d)} ≥0.
En faisant tendre λ vers z´ero par valeurs sup´erieures (λ > 0), on en d´eduit qu’une condition n´ecessaire d’existence d’un minimum est
∀d∈Rn, (Au−b, d)≥0, (1.7)
ou, de fa¸con ´equivalente, puisquedparcourt l’ensemble des directions possibles dans Rn,
Au=b. (1.8)
•Comme dans le cas monodimensionnel, examinons la r´eciproque:
si (1.8) est v´erifi´ee, on a l’´egalit´eJ0(u+h) =J0(u) +12(Ah, h), pour touth. En cons´equence, pour que usoit bien un minimum,Adoit ˆetre positive, c’est-`a-dire que
∀h∈Rn, (Ah, h)≥0.
Dans ce cas, le minimum estglobal. SiAn’est pas positive, il n’existe pas de minimum.
Bien ´evidemment, pour que (1.8) poss`ede une solution, il faut et il suffit que b appartienne `a l’image deA, not´ee Im A. Comme Aest sym´etrique, ceci ´equivaut `a ce que bsoit orthogonal `a Ker A. En effet,
Lemme 1.3.1 SoitA une matrice de Rm×n, alors Im A= (Ker AT)⊥.
Preuve :Prouvons pour commencer queIm A⊂(Ker AT)⊥. Soit doncxun ´el´ement deIm A; il existev∈Rn tel quex=Av. Alors, pour tout ´el´ement y appartenant `aKer AT, on a
(x, y)m= (Av, y)m= (v, ATy)n= 0.
Pour prouver l’´egalit´e entre ces deux sous-espaces vectoriels de Rm, v´erifions qu’ils ont mˆeme dimension. D’une part, puisque Ker Aet (Ker AT)⊥ sont suppl´ementaires,
m=dim[Ker AT] +dim[(Ker AT)⊥].
Et, d’autre part, commeAT:Rm→Rn, d’apr`es le th´eor`eme du rang (rg(A)=rg(AT)), on trouve m=dim[Ker AT] +dim[Im AT] =dim[Ker AT] +dim[Im A].
On a bien l’´egalit´e entre les dimensions,dim[(Ker AT)⊥] =dim[Im A], ce qui permet d’arriver
`a l’´egalit´e annonc´ee.
R´esumons : lorsque A est positive, on a deux possibilit´es, selon que A est inversible ou non.
Si A est inversible, il existe une unique solution `a (1.8). Si A n’est pas inversible, on sait que l’ensemble des solutions de (1.8) est ´egal `a l’espace affine u0+Ker A, o`u u0 est une solution particuli`ere de l’´equation.
Avant de conclure, relions l’inversibilit´e deAau fait qu’elle estd´efinie positive, i. e.
∀h∈Rn\ {0}, (Ah, h)>0.
Proposition 1.3.2 Soit A une matrice sym´etrique et positive. Alors A est inversible si et seulement elle est d´efinie positive.
Preuve :Supposons queAest inversible. Soitw tel que (Aw, w) = 0. On va montrer quewest en fait ´egal `a z´ero. On va se servir encore une fois de petites variations autour dew, selon une direction ddeRn (d/= 0) : soit donc enfinλ >0. CommeAest positive et sym´etrique :
0≤(A{w+λ d}, w+λ d) = 2λ(Aw, d) +λ2(Ad, d).
En mettant λ en facteur, puis en faisant tendre λ vers 0 dans le facteur restant, on obtient (Aw, d)≥0. Comme c’est valable pour toute direction, on en d´eduit queAw= 0, ce qui conduit enfin `aw= 0 par hypoth`ese surA.
La r´eciproque est ais´ee et classique. En effet, si A est d´efinie-positive, Aw = 0 entraˆıne que (Aw, w) = 0, et donc quew= 0 : par cons´equent,A est inversible.
DansRn, nous avons r´esolu les probl`emes (1.4) et (1.5) :
(III) A n’est pas positive : la condition n´ecessaire d’existence de minimum (1.8) n’est jamais suffisante. Il n’existe pas de minimum.
(IV) Aest positive : la condition d’existence de minimum (1.8) est n´ecessaire et suffisante. Qui plus est, la r´esolution de (1.8) permet decaract´eriserles minima, qui sont automatiquement globaux.
SiAest d´efinie-positive, il existe un minimumu unique, ´egal `au=A−1b.
Sinon,
sib⊥Ker A, l’espace des minima est ´egal `au0+Ker A.
Si b/⊥Ker A, il n’existe pas de minimum.
Exercice 1.3.1 1. Essayer de r´esoudre directement le probl`eme de la minimisation du polynˆome P d´efini par (1.1).
2. R´esoudre les probl`emes de minimisation avec une fonctionnelle J0 d´efinie `a partir d’une matrice Aquelconque (voir (1.3)).
3. V´erifier directement que si A n’est pas positive, il n’existe pas de minimum global.
4. Montrer queAest d´efinie-positive si et seulement si il existeν >0telle que, pour tout vecteur v, (Av, v)≥ν'v'2.
5. En ´economie, on maximise le profit : r´esoudre les probl`emes de maximisation quadratiques associ´es.
La fa¸con dont nous avons r´esolu le probl`eme pos´e est riche d’enseignements :
Il est utile de condenser les notations, en passant de (1.1) `a (1.3). Les sceptiques sont invit´es `a examiner la question 1 de l’exercice 1.3.1 ! Ceci reste vrai lorsque l’on est confront´e
`
a un calcul de diff´erentielle.
Or, la condition n´ecessaire d’existence d’un minimum est obtenue `a l’aide de c
¯alculs de petites variations, autour d’un point de minimum. Ceci nous conduira naturellement, dans la section suivante, `a utiliser les notions indispensables decalcul diff´erentieldans des espaces vectoriels norm´es, et plus particuli`erement dansRn, en vue de r´esoudre des probl`emes d’optimisation.
Le fait que la condition d’existence d’un minimum estsuffisanted´ecoule de lapositivit´e deA, qui est elle-mˆeme ´equivalente `a la convexit´e de la fonctionnelle J0, comme on le verra section 2.3, qui traite en particulier d’optimisation convexe. On prouvera aussi que la condition qui garantit l’existence (et l’unicit´e) du minimum est l’α-convexit´e de J0.
Enfin, lorsqueAest sym´etrique d´efinie-positive, ces r´esultats th´eoriques, qui lient minimisation (cf. (1.5)) et r´esolution du syst`eme lin´eaire en A (1.8), ont des cons´equences pratiques importantes. En effet, ils sont `a la base de nombreux algorithmes de calcul num´erique qui seront ´etudi´es dans la suite du cours.