Informatique & Math´ematiques Appliqu´ees Programmation Math´ematique et Application

Programmation Math´ ematique et Application

J. Gergaud & D. Ruiz

17 avril 2008

Table des mati` eres

1 D´efinition du probl`eme 3

1 Exemples . . . 3

1.1 Cas continu et de dimension finie . . . 3

1.2 Probl`emes en nombres entiers . . . 10

1.3 Probl`eme en dimension infinie . . . 11

2 Probl`eme d’optimisation . . . 13

2.1 D´efinitions . . . 13

2.2 Classification . . . 15

2 Condition n´ecessaire, condition suffisante : cas sans contraintes et cas convexe 17 1 Introduction . . . 17

2 Convexit´e des fonctionnelles . . . 17

2.1 Ensembles convexes - fonctionnelles convexes . . . 17

2.2 Convexit´e et d´eriv´ee premi`ere . . . 19

2.3 Convexit´e et d´eriv´ee seconde . . . 20

3 Extr´emas de fonctionnelles . . . 20

3.1 Prise en compte des d´eriv´ees premi`eres . . . 20

3.2 Prise en compte des d´eriv´ees secondes . . . 20

3.3 Prise en compte de la convexit´e . . . 21

3.4 Existence d’un minimum . . . 21

i

Introduction

Optimiser, c’est rechercher parmi un ensemble C de choix possibles le meilleur (s’il existe !). Si f est une application d’un ensembleE dansF. On note le probl`eme

(P)

minf(x) x∈C⊂E.

Il faut donc pour cela pouvoir comparer 2 choix et donc avoir une structure d’ordre sur l’ensembleF. On prendra toujoursF =R. Suivant les domaines d’applications :

• E s’appelle l’ensemble des strat´egies, des ´etats, des param`etres, l’espace ;

• C est l’ensemble des contraintes ;

• f est la fonction coˆut, ´economique ou le crit`ere, l’objectif.

Une fois le probl`eme bien d´efini, il se pose deux questions. La premi`ere est de savoir si (P) admet une solution.

Si la r´eponse est positive, il nous faut trouver la ou les solutions. Suivant la nature de l’ensemble E les r´eponses sont plus ou moins faciles. SiE est fini, l’existence de solution est ´evidente, mais le calcul est difficile si le nombre d’´el´ements est grand. Par contre si E =Rⁿ ou est de dimension infinie la question de l’existence de solution est moins triviale, mais si les fonctions sont d´erivables il est ”plus” facile de calculer la solution.

1

Chapitre 1

D´ efinition du probl` eme

1 Exemples

1.1 Cas continu et de dimension finie

Exemple 1.1.1. [Principe de Fermat] Pierre de Fermat est un juriste et math´ematicien fran¸cais, surnomm´e«le

Fig. 1.1 –Pierre de Fermat, n´e vers 1601, `a Beaumont-de-Lomagne, pr`es de Montauban, et mort le 12 janvier 1665 `a Castres.

prince des amateurs». On lui doit entre autre le principe de Fermat qui dit que la lumi`ere se propage d’un point

`

a un autre sur des trajectoires telles que la dur´ee du parcours soit minimale. Il imagina aussi pour la solution des probl`emes, une m´ethode, dite de maximis et minimis, qui le fait regarder comme le premier inventeur du calcul diff´erentiel dont il est un pr´ecurseur : il est le premier `a utiliser la formule (sinon le concept) du nombre d´eriv´e !^∗ On s’int´eresse ici `a la trajectoire d’un rayon lumineux d’un pointA(0, a)vers un pointB(k, b)situ´es dans deux milieux homog`enes diff´erents (cf. la figure 1.2). Nous allons grˆace au principe de Fermat retrouver la loi de la r´efraction. On suppose pour cela que la trajectoire d’un rayon lumineux dans un milieu homog`ene est un segment de droite (ce qui peut aussi se d´emontrer grˆace au principe de Fermat et `a l’optimisation !).

On noteP, de coordonn´ees(x,0), le point d’impact du rayon lumineux sur la surface du changement de milieu etc1 etc2 les vitesses de la lumi`ere dans l’air et dans l’eau. Le temps de parcours entre les point AetB est donc

T(x) = 1 c1

pa²+x²+ 1 c2

pb²+ (k−x)². Le probl`eme est alors ici de trouver le point P (c’est-`a-direx^∗∈R) tel que

T(x^∗)≤T(x)∀x∈R⇐⇒(P)

M in f(x) x∈R.

∗http ://fr.wikipedia.org/wiki/Pierre de Fermat.

3

−1 0 1 2 3 4 5 6 7

−3

−2

−1 0 1 2 3

A(0,a)

B(k,b) P(x,0)

air

eau

α₁

α₂

Fig.1.2 – Principe de Fermat.

On peut ici tracer cette fonction (cf. la figure 1.3).

0 1 2 3 4 5 6 7

4 4.5 5 5.5 6 6.5

x

T(x)

Fig.1.3 – FonctionT.

Une condition n´ecessaire de solution de(P) estT⁰(x) = 0 (cf. la figure 1.3). Ce qui donne ici

T⁰(x) = x

c1

√a²+x² + −(k−x) c₂p

b²+ (k−x)² = 0

⇐⇒ x

c₁√

a²+x² = (k−x) c₂p

b²+ (k−x)²

⇐⇒ sinα1

c₁ = sinα2

c₂

⇐⇒ n1sinα1=n2sinα2.

Remarque 1.1.2. Nous retrouvons dans ce cas les lois de Descartes^† ou de Snell.

†Associer les noms de Fermat et Descartes est surprenant pour qui connaˆıt les confrontations scientifiques virulentes qui les op- pos`erent. Les ´etudiants int´eress´es peuvent voir la vid´eo ([3]) o`u se rendre au mus´ee Pierre de Fermat de Beaumont de Lomagne, ville natale de P. de Fermat pr`es de Toulouse.

Remarque 1.1.3. La condition T⁰(x) = 0 n’est qu’une condition n´ecessaire, en effet si nous consid´erons la fonctionnelle r´eelle f(x) =x³ nous avons f⁰(0) = 0 mais 0 n’est pas un minimum de f (1.4).

−2 −1.5 −1 −0.5 0 0.5 1 1.5 2

−8

−6

−4

−2 0 2 4 6 8

x

f(x)

Fig.1.4 –f⁰(0) = 0 et 0 n’est pas un minimum.

Exemple 1.1.4. Un condensateur charg´e `a une tension de U₀ volts se d´echarge sur une r´esistance. On mesure la tensionU entre les armatures du condensateur toutes les secondes pendant un intervalle de temps de 10 secondes.

Les r´esultats des mesures sont donn´ees dans la table (1.1).

t_i U_i t_i U_i

0 100 6 15

1 75 7 10

2 55 8 10

3 40 9 5

4 30 10 5

5 20

Tab.1.1 – Donn´ees.

Th´eoriquement, la tension en fonction du temps s’´ecrit U(t) =Ae^−αt.

On d´esire ici estimer les valeurs des constantesAetα. Notre but est donc de trouver les valeurs de ces constantes pour que cette fonctionU(t)”colle” au mieux `a nos donn´ees. Si on donne des valeurs `a ces constantes, nous pouvons calculer les quantit´es appel´ees r´esidus (Fig. 1.5)

ri(A, α) =Ui−U(ti) =Ui−Ae^−αti. Par suite nous pouvons calculer la quantit´e

f(A, α) = 1 2

n

X

i=1

(Ui−Ae^−αti)². Cette quantit´e est la somme des carr´es des longueurs des r´esidus.

Plus cette quantit´e sera faible, plus notre courbe sera proche de nos points exp´erimentaux. Estimer les param`etres A etαpar les moindres carr´es, c’est rechercher la valeur solution du probl`eme d’optimisation suivant :

(P)

M inf(A, α) =¹₂Pn

i=1(U_i−Ae^−αti)² (A, α)∈R².

−2 0 2 4 6 8 10 12 0

10 20 30 40 50 60 70 80 90 100 110

← r₁

← r₂

← r₃

← r4

← r5

← r₆

← r₇

← r₈ ← r₉

← r10 ← r 11

Fig.1.5 – Crit`eres des moindres carr´es.

Attention dans le probl`eme(P)ci-dessus, les instantsti et les valeursUi sont connus. Ce sont les valeurs des param`etres que l’on cherche.

Remarque 1.1.5. • Dans l’exemple pr´ec´edent on peut aussi ´ecrire : f(β) =¹₂ kr(β)k² o`u

β = A α

, r(β) =





 r1(β)

... r_n(β)





, ri(β) =Ui−Ae^−αti et ||.|| est la norme euclidienne.

• Minimiser f(β)est ´equivalent `a minimiser αf(β)avec α >0. Le terme ¹₂ est mis ici afin de ne pas avoir le terme 2 lorsque l’on d´erive la fonctionf(β).

• On peut aussi prendre comme crit`ere : – f(β) =||r(β)||1=Pn

i=1|ri(β)|; – f(β) =||r(β)||∞=M axi=1,...,n|ri(β)|.

Exemple 1.1.6(Mod`ele de Kaplan). On d´esire ´etudier la diffusion d’une drogue dans un organe d’un corps donn´e.

La drogue est inject´ee par intraveineuse dans le sang `a l’instantt<sub>0</sub>= 0. On mod´elise le syst`eme par un mod`ele `a compartiments (cf. la figure 1.6).

Sangy1(t) Organe y2(t)

-

?

k1

k3

k2

Fig.1.6 – Mod`ele par compartiments.

Les concentrations dans le sang, mesur´ees `a diff´erents instants, sont donn´ees `a la table 1.2.

ti y_i1 ti yi1

0.25 215.6 3.00 101.2 0.50 189.2 4.00 88.0 0.75 176.0 6.00 61.6 1.00 162.8 12.00 22.0 1.50 138.6 24.00 4.4 2.00 121.0 48.00 0.0

Tab.1.2 – Donn´ees pour l’exemple de Kaplan.

Le syst`eme d’´equations diff´erentielles d´ecrivant le mod`ele est alors

(EDO)













 dy₁

dt = ˙y₁(t) =−(k1+k₂)y₁(t) +k₃y₂(t) dy2

dt = ˙y₂(t) =k₁y₁(t)−k₃y₂(t) y1(0) =c0

y2(0) = 0.

On d´esire estimer les param`etresc<sub>0</sub>, k<sub>1</sub>, k<sub>2</sub> etk<sub>3</sub> par les moindres carr´es. Posonsβ = (c<sub>0</sub>, k<sub>1</sub>, k<sub>2</sub>, k<sub>3</sub>), alors pour toute valeur de β, on peut int´egrer le syst`eme d’´equations diff´erentielles ordinaires `a condition initiale (EDO).

Notons(y1(tβ), y2(tβ))cette solution. Par suite on peut calculer lesn r´esidus r_i(β) =y_i1−y₁(t_iβ).

Ces r´esidus sont visualis´es sur la figure 1.7. Nous estimerons alors le param`etre β en r´esolvant le probl`eme d’opti- misation aux moindres carr´es

(P)

M inf(β) =¹₂Pn

i=1r²_i(β) = ¹₂||r(β)||² β∈R⁴.

0 5 10 15 20 25 30 35 40 45 50

0 50 100 150 200 250

t y1(t)

← r₁

← r₂

← r₃

← r₄

← r← r5

← r← r6₇₈

← r₉

← r₁₀ ← r

11 ← r₁₂

0 5 10 15 20 25 30 35 40 45 50

0 20 40 60 80

t y2(t)

Fig.1.7 – Crit`ere des moindres carr´es pour le mod`ele de Kaplan.

Exemple 1.1.7. On veut mesurer la liaison entre 2 g`enes dominants, l’un contrˆolant la couleur d’une fleur, rouge (R) est dominant sur blanc (b), et l’autre la taille, grand (G) est dominant sur petit (p). Dans la descendanceF₂, issu de deux populations homozygotes de ph´enotype [RG] et [bp], on a ´etudi´e n = 3839 plantes. On a obtenu les r´esultats de la table 1.3.

Ph´enotypes [RG] [Rp] [bG] [bp]

Effectifs observ´es 1997 906 904 32 Tab.1.3 – Donn´ees de Sir R.A. Fisher.

Le probl`eme est d’estimer, `a partir de ces donn´ees le taux de recombinaisonr. Ici la populationF1est h´et´erozygote de g´enotype Rb, Gp. Nous avons donc les probabilit´es de la table 1.4 pour les diff´erents gam`etes possibles et les diff´erents croisements possibles.

♀:♂ RG bp Rp bG

1

2(1−r) ¹₂(1−r) ¹₂r ¹₂r

RG [RG] [RG] [RG] [RG]

1

2(1−r) ¹₄(1−r)^{2 1}₄(1−r)^{2 1}₄r(1−r) ¹₄r(1−r)

bp [RG] [bp] [Rp] [bG]

1

2(1−r) ¹₄(1−r)^{2 1}₄(1−r)^{2 1}₄r(1−r) ¹₄r(1−r)

Rp [RG] [Rp] [Rp] [RG]

1

2r ¹₄r(1−r) ¹₄r(1−r) ¹₄r^{2 1}₄r²

bG [RG] [bG] [RG] [bG]

1

2r ¹₄r(1−r) ¹₄r(1−r) ¹₄r^{2 1}₄r² Tab.1.4 – Probabilit´es pour la descendanceF₂.

Par suite nous avons dans la populationF₂ la loi suivante pour la variable al´eatoire ph´enotypeX X:F₂ −→ {[RG],[Rp],[bG],[bp]}

1 plante 7−→ son ph´enotype,

P(X = [RG]) = 1

4(3−2r+r²) = 2 +θ 4 P(X= [Rp]) = 1

4(2r−r²) = 1−θ 4 P(X= [bG]) = 1

4(2r−r²) = 1−θ 4 P(X= [bp]) = 1

4(1−r)²= θ 4 o`u θ= (1−r)²∈[¹₄; 1].

D´efinissons maintenant le vecteur al´eatoire de dimension 4 (A, B, C, D) :F₂ⁿ −→ R⁴

nplantes 7−→

(nb de plantes de ph´enotypes [RG], nb de plantes de ph´enotypes [Rp], nb de plantes de ph´enotypes [bG], nb de plantes de ph´enotypes [bp]).

On suppose la populationF2de taille infinie, donc la loi de ce vecteur al´eatoire est une loi multinomiale L(a, b, c, d;θ) = P((A, B, C, D) = (a, b, c, d))

= n!

a!b!c!d!P(X = [RG])^aP(X= [Rp])^bP(X)[bG])^cP(X = [bp])^d

= n!

a!b!c!d!

2 +θ 4

^a1−θ 4

^b+cθ 4

^d .

L s’appelle la vraisemblance^‡. L’estimation de θ par le maximum de vraisemblance consiste alors `a rechercher la valeur deθ solution du probl`eme de maximisation suivant

(P)

M ax L(1997,906,904,32;θ) θ∈[¹₄; 1].

Exemple 1.1.8. Un fermier d´esire d´eterminer les quantit´es de lisier de porc et d’engrais compos´e `a ´etendre sur 20 ha de prairie de fa¸con `a optimiser le coˆut total de la fertilisation. Le coˆut et la composition du lisier et de l’engrais sont donn´es `a la table 1.5.

coˆut (par tonne) composition chimique (kgt⁻¹) azote phosphate potasse

lisier 25 francs 6 1.5 4

engrais 1300 francs 250 100 100

Tab.1.5 – Coˆuts et compositions des engrais.

Le fermier veut appliquer au moins 75kgha⁻¹ d’azote, 25kgha⁻¹ de phosphate et 35kgha⁻¹ de potasse. Il ne peut appliquer le lisier qu’`a un taux maximum de 8t/heure et l’engrais qu’`a un taux maximum de 0.4 t/heure. Il ne peut de plus consacrer pour ce travail qu’un maximum de 25 heures.

Appelonsx₁( respectivementx₂) la quantit´e en tonnes de lisier ( respectivement d’engrais ) ´etendu. Le probl`eme est alors d’obtenir un coˆut minimum, c’est-`a-dire que l’on cherche `a minimiser 25x₁+ 1300x₂. Mais nous avons aussi les contraintes suivantes :

x1≥0 non n´egativit´e dex1

x₂≥0 non n´egativit´e dex₂

6x₁+ 250x₂≥75×20 = 1500 contrainte sur l’azote 1.5x₁+ 100x₂≥500 contrainte sur le phosphate 4x₁+ 100x₂≥700 contrainte sur la potasse (1/8)x₁+ (1/0.4)x₂≤25 contrainte de temps.

En r´esum´e nous avons le probl`eme suivant `a r´esoudre :

(P)























M inf(x) = 25x1+ 1300x2

x1≥0 x2≥0

6x1+ 250x2≥75×20 = 1500 1.5x1+ 100x2≥500

4x1+ 100x2≥700 (1/8)x₁+ (1/0.4)x₂≤25.

Exemple 1.1.9 (Gestion de portefeuille[2]). La th´eorie de la s´election optimale de portefeuille a ´et´e d´evelopp´ee par Harry Markowitz, prix Nobel d’´economie en 1990, dans les ann´ee 1950. On consid`ere un investisseur qui a une quantit´e fix´e d’argent `a sa disposition pour investir dansnactifs diff´erentes (actions, stocks, ...) dont le retour est al´eatoire. Pour chaque actif, on suppose connu son esp´erance math´ematique µi, sa varianceσ_i². On suppose aussi connu pour deux actifs i et j leur coefficient de corr´elation lin´eaire ρij. On note xi la proportion investie dans l’actifi. On peut donc calculer les esp´erance math´ematique et variance r´esultant d’un portefeuillex= (x₁, . . . , x_n)

E(x) =µ^Tx V ar(x) =x^TQx,

o`uQest la matrice des covariances, q<sub>ij</sub> =ρ<sub>ij</sub>σ<sub>i</sub>σ<sub>j</sub>. Le portefeuille sera dit efficace si, pour une variance fix´ee, il a la plus grande esp´erance math´ematique. C’est `a dire s’il est solution du probl`eme d’optimisation

(P)











M ax E(x) V ar(x) =V Pn

i=1x_i= 1 x≥0.

‡likelihood en anglais.

On peut aussi s’int´eresser au probl`eme(M V0)^§ de Markowitz.

(M V O)











M in V ar(x) E(x)≥R Pn

i=1x_i= 1 x≥0.

Ces deux formulations sont en fait ´equivalentes.

1.2 Probl` emes en nombres entiers

Exemple 1.2.1(Probl`eme du sac `a dos de Knapsack). Un alpiniste veut mettre dans son sac `a dos un maximum de 16 kg de ravitaillement. Il peut choisir un certain nombre d’unit´es de trois produits diff´erents. Le poids unitaire en kilogrammes et la valeur ´energ´etique unitaire des ces produits sont connus et donn´es dans la table (1.6).

Produits I II III

Poids 2 5 7

Valeurs 4 10 15

Tab.1.6 – Poids unitaires et valeurs ´energ´etiques unitaires.

Le probl`eme pour l’alpiniste est de savoir ce qu’il doit emporter pour avoir une valeur totale en calories maximale sans d´epasser les 16 kg.

Si nous notons x1, x2 etx3 les nombres d’unit´es `a emporter des articles I,II et III, le probl`eme s’´ecrit

(P)







M ax 4x1+ 10x2+ 15x3

2x1+ 5x2+ 7x3≤16 (x1, x2, x3)∈N³.

Exemple 1.2.2. ([1]) Dans un service hospitalier, les malades i attendent d’ˆetre op´er´es. Le malade i a besoin d’une dur´ee d’op´erationDi. D’autre part, compte tenu des disponibilit´es des chirurgiens, la somme des dur´ees des op´erations possibles chaque jours j de la p´eriode ´etudi´ee est connue et ´egale `a Tj. On veut minimiser la somme des p´enalit´es d’attente pour les diff´erents malades. On note :

• xij= 1 si le maladei est op´er´e le jour j;

• xij= 0 si le maladei n’est pas op´er´e le jourj;

• cij la p´enalit´e du malade is’il est op´er´e le jourj.cij est une fonction croissante dej.

Le probl`eme s’´ecrit alors :

(P)











M in f(x) =P

i

P

jc_ijx_ij P

iDixij≤Tj ∀j limitation des possibilit´es op´eratoire du jourj P

jx_ij= 1 ∀i Le maladeiest op´er´e une fois et une seule xij = 0 ou 1 l’op´eration est effectu´ee en une fois.

Exemple 1.2.3 (Alignement de s´equences). Soit 2 s´equences CT GT AT C etCT AT AAT CCC. On d´esire trouver le ”meilleur” alignement possible. `A chaque alignement, est associ´e un score (simple ici) suivant : pour chaque position on associe 0 si les 2 bases sont identiques, +1 si les deux bases sont diff´erentes et +3 s’il y a un ”trou”.

On effectue ensuite la somme. La figure (1.8) donne un exemple de la fonction score S.

C T A T − A A − T C C C

− − C T G T A T C − − −

3 3 1 0 3 1 0 3 1 3 3 3 = 24

Fig.1.8 – Exemple de calcul d’un score.

Le probl`eme est alors de r´esoudre le probl`eme d’optimisation suivant (P)

M in S(alignement)

pour tous les alignements possibles.

§mean-variance optimization.

Remarque 1.2.4. la difficult´e est ici de construire l’ensemble de tous les alignements possibles. Ceci se fait de la fa¸con suivante. Suppossons que l’on soit `a la position i, alors pour aller `a la position i+ 1, nous avons trois possibilit´es :

• avancer d’un nucl´eotide pour les 2 s´equences ;

• avancer d’un nucl´eotide pour la s´equenceS1 et mettre un ”trou” pour la s´equenceS2;

• avancer d’un nucl´eotide pour la s´equenceS2 et mettre un ”trou” pour la s´equenceS1. Nous pouvons ainsi construire un arbre permettant d’avoir tous les alignements possibles.

1.3 Probl` eme en dimension infinie

Fig.1.9 –Jean Bernoulli 27 juillet 1667 – 1er janvier 1748.

Exemple 1.3.1 (Probl`eme de la brachistochrone<sup>¶</sup>). Le probl`eme pos´e par Jean Bernoulli^k (cf. la figure 1.9) en 1696 est consid´er´e comme le probl`eme fondateur du calcul des variations. Ce probl`eme consiste en la recherche dans un plan vertical du chemin reliant 2 pointsP0 etPf de ce plan, suivant lequel un corps M entrain´e par son propre poids effectuera le trajet deP0 `aPf en un temps minimum. On suppose qu’il n’y a pas de frottement. Introduisons dans le plan un syst`eme de coordonn´ees(x, y)pour lequelP₀ ait comme coordonn´ees(0,0)etP_f (x_f, y_f), x_f >0et y_f <0. Supposons que y(.)est la fonction qui donne l’´equation de la courbe joignant les pointsP₀ etP_f. Les lois de la m´ecanique nous disent que le module de la vitesse v en(x, y(x))ne d´epend pas de la forme de la courbey(.) sur [0, x], mais seulement de l’ordonn´ee y(x), et que cette vitesse est ´egale `a p

2g(−y(x)), o`u g est l’acc´el´eration gravitationnelle. Si on note s l’abscisse curviligne, le temps pour parcourir l’´el´ement ds= p

dx²+dy² est alors ds/p

2g(−y(x)). Posons

T :C¹([0, x_f],R) −→ R y(.) 7−→

Z x_f 0

p1 +y⁰(x)² p2g(−y(x))dx.

Le probl`eme s’´ecrit alors

(P)







M in T(y(.)) y(0) = 0 y(xf) =yf. La solution de se probl`eme est visualis´ee `a la figure 1.10.

Exemple 1.3.2(Transfert orbital). On d´esire transf´erer un satelliteSd’une orbite initiale (celle o`u la fus´ee Ariane l’a ”pos´e”) vers l’orbite g´eostationnaire (cf. la figure 1.11), le moteur du satellite ´etant un moteur `a pouss´ee faible.

Le satellite est consid´er´e comme un point mat´eriel et on noter(t)∈R³ la position, v(t)∈R³ la vitesse,m(t) la masse du satellite et T(t)∈ R³ la pouss´ee du moteur. L’´equation du mouvement, provenant des ´equations de Newton est alors

˙

r(t) =v(t)

˙

v(t) =− µr(t)

||r(t)||³ + T(t) m(t)

˙

m(t) =−β||T(t)||,

¶Le mot brachistochrone vient du gracbrakhistoqui signifiele plus courtet dechronosqui signifietemps.

khttp ://fr.wikipedia.org/wiki/Jean Bernoulli

0 5 10 15 20 25

−20

−18

−16

−14

−12

−10

−8

−6

−4

−2 0

Fig.1.10 –Brachistochrone.

−40

−20 0

20 40

−40

−20 0 20 40

−5 0 5

r1 ORBITE INITIALE ORBITE FINALE

r2 r3

−50 0 50

−40

−20 0 20 40

r₁ r2

−50 0 50

−5 0 5

r₂ r3

Fig.1.11 – Transfert orbital.

o`u µ est la constante gravitationnelle de la Terre et β = 1/g<sub>0</sub>Isp est une constante positive (g<sub>0</sub> est l’acc´el´eration gravitationnelle terrestre `a la surface de la Terre etIspest une constante caract´eristique du moteur appel´e impul- sion sp´ecifique). `A l’instant initial les position, vitesse et masse du satellite sont connues et `a l’instant terminal t_f le satellite doit ˆetre sur l’orbite g´eostationnaire `a une position et vitesse (r(t_f), v(t_f)) = (r_f, v_f) fix´es. Bien

´evidemment la pouss´ee du moteur est born´ee

||T(t)|| ≤Tmax.

L’objectif est alors de trouver une loi de commande du moteur qui r´ealise le transfert et qui minimise le temps de transfert. On peut aussi s’int´eresser `a la maximisation de la masse finale (dans ce cas le temps de transfert doit-ˆetre fix´e). Si on normalise le contrˆole u(t) = T(t)/T<sub>max</sub> alors le probl`eme s’´ecrit pour la maximisation de la masse finale (ou la minimisation de la consommation)

(P)































M in J(u) =Rt_f

0 ||u(t)||dt

˙

r(t) =v(t) pp. in [0, tf] tf fixed

˙

v(t) =−µr(t)/||r(t)||³+Tmax

m(t)u(t)

˙

m(t) =−βT_max||u(t)||

(r(t), v(t), m(t))∈A

||u(t)|| ≤1

r(0), v(0), m(0) fix´e r(tf), v(tf) fix´e,

ce probl`eme est un probl`eme de contrˆole optimal et l’inconnue est la commande, donc une fonction u, ici de [0, tf] `a valeurs dansR³.

Remarque 1.3.3. Ces probl`emes d’optimisation en dimension infinie seront trait´es dans le cours de contrˆole optimal en deuxi`eme ann´ee majeure math´ematiques appliqu´ees.

2 Probl` eme d’optimisation

2.1 D´ efinitions

D´efinition 2.1.1 (Fonction convexe). Une fonctionnellef deRⁿ `a valeurs dansRest convexe si et seulement si elle v´erifie :

∀(x, y)∈Rⁿ×Rⁿ, ∀α∈[0,1], f(αx+ (1−α)y)≤αf(x) + (1−α)f(y) Dans la casn= 1, ceci signifie que le graphe de la fonctionf est toujours sous la corde (1.12)

0 0.5 1 1.5 2 2.5 3

−2

−1 0 1 2 3 4

x

f(x)

Fig.1.12 – Fonction convexe.

D´efinition 2.1.2 (Probl`eme d’optimisation sans contraintes). On appelle probl`eme d’optimisation sans contrain- tes en dimension finie tout probl`eme (P) consistant en la recherche d’un minimum d’une fonctionnellef d´efinie sur R<sup>n</sup>. On notera ce probl`eme sous la forme suivante :

(P)

M inf(x) x∈Rⁿ o`uf :Rⁿ→Rsera donn´ee.

Remarque 2.1.3. R´esoudre le probl`eme(P)revient `a rechercher le pointx^∗deRⁿ tel quef(x^∗)≤f(x)∀x∈Rⁿ. Remarque 2.1.4. Un probl`eme de maximisation se ram`ene tr`es facilement `a un probl`eme de minimisation :

M axf(x)⇐⇒M in(−f(x))

D´efinition 2.1.5(Probl`eme d’optimisation avec contraintes). On appelle probl`eme d’optimisation avec contraintes tout probl`eme (P) consistant en la recherche d’un minimum sur un ensemble C inclus dansR<sup>n</sup>d’une fonctionnelle f d´efinie surR<sup>n</sup>. On notera ce probl`eme sous la forme suivante :

(P)

M inf(x) x∈C⊂Rⁿ o`uf :Rⁿ→Rsera donn´ee.

Remarque 2.1.6. Dans la pratiqueC sera d´efini de la fa¸con suivante :

C={x∈IRⁿ/gi(x)≤0 i= 1, . . . , m et hl(x) = 0 l= 1, . . . , p} (1.1) et nous ´ecrirons(P)sous la forme

(P)







M inf(x)

gi(x)≤0i= 1, . . . , m hl(x) = 0l= 1, . . . , p

D´efinition 2.1.7 (Optimisation non diff´erentiable). On appelle probl`eme d’optimisation non diff´erentiable un probl`eme d’optimisation o`u les fonctions qui interviennent ne sont pas d´erivable.

Remarque 2.1.8. On ne traitera dans ce cours que des probl`emes d’optimisation diff´erentiables.

D´efinition 2.1.9(Probl`eme d’optimisation convexe). Un probl`eme d’optimisation est dit convexe si et seulement si la fonctionf est convexe et l’ensemble des contrainteCest convexe.

Remarque 2.1.10. SiC est d´efinie par 1.1 alorsC est convexe si et seulement les fonctions gi sont convexes et les fonctionshl sont affines.

D´efinition 2.1.11(Probl`eme aux moindres carr´es). On appelle probl`eme aux moindres carr´es un probl`eme d’op- timisation sans contraintes o`u la fonctionnellef est de la forme suivante :

f(β) = 1

2kr(β)k²=1

2(r(β)|r(β)) = 1 2

n

X

i=1

r²_i(β) Le probl`eme est dit aux moindres carr´es lin´eaires si la fonctionrest affine :

r:R^p −→ Rⁿ β 7−→ y−Xβ o`u X matrice de type (n, p) ety un ´el´ement deRⁿ.

Exemple 2.1.12. L’exemple (1.1.4) est un probl`eme aux moindres carr´es non lin´eaire.

D´efinition 2.1.13(Probl`eme lin´eaire). Un probl`eme d’optimisation est dit lin´eaire si et seulement si les fonctions f,g_i, eth_l sont affines.

Exemple 2.1.14. L’exemple (1.1.8) est un probl`eme lin´eaire.

D´efinition 2.1.15 (Optimum global, optimum local). Soit (P) un probl`eme d’optimisation sans contraintes.

(i) x^∗ est un minimum global⇐⇒x^∗ est la solution de (P)

(ii) x^∗ est un minimum local faible⇐⇒il existe ε >0 tel quex^∗ est la solution de (P⁰) o`u (P⁰)

M in f(x) kx−x^∗k< ε (iii) x^∗ est un minimum local fort si

∀x∈B(x^∗, ε) ={x∈Rⁿ/kx−x^∗k< ε}, x6=x^∗, f(x^∗)< f(x). Dans le cas o`un= 1,kx−x^∗kdevient |x−x^∗|et par suite nous avons

kx−x^∗k< ε⇐⇒ |x−x^∗|< ε⇐⇒x^∗−ε < x < x^∗+ε, (cf.la figure 1.13).

Remarque 2.1.16. On dit que x^∗ est un minimum alors que c’est f(x^∗)qui est un minimum. Il s’agit d’un abus de langage que nous emploierons syst´ematiquement.

Remarque 2.1.17. On appelle optimisation globale la recherche d’un optimum globale. Un algorithme globalement convergent est lui un algorithme qui converge vers un minimum local quel que soit le point de d´epart.

x2−eps x2 x2+eps x1

−6

−5

−4

−3

−2

−1 0

Fig.1.13 –x² est un minimum local fort,x¹ est un minimum global

2.2 Classification

Consid´erons le probl`eme d’optimisation suivant : (P)

M in f(x) x∈C⊂E

Suivant la nature des ensemblesCetE et de la fonctionf nous avons diff´erents types de probl`eme d’optimisation.

La figure donne une classification des probl`emes d’optimisation (nous n’´etudierons dans ce cours que les parties en bleu).

(P)

 Minf(x) x∈C⊂E E=Rn C=Rn Sanscontraintes f(x)=(1/2)||r(β)||2 Moindrescarr´es r(β)=Xβ−y Moindrescarr´es lin´eaires

gj(x)≤0 hl=0 Aveccontraintes NLP f,gj(x)convexes hl=0affines Probl`emesconvexes f,gi,hlaffines Probl`emeslin´eaires LP

E=Rn×Nm MINLP f,gi,hlaffines MILP

E=Nn INLP f,gi,hlaffines ILP

dimE=+∞ Fig.1.14–Classificationdesprobl`emesd’optimisation,onaenbleucequiseravuencours.

Chapitre 2

Condition n´ ecessaire, condition

suffisante : cas sans contraintes et cas convexe

1 Introduction

Dans ce chapitre une fonctionnelle est toute fonction `a valeurs dans R. L’objet de ce chapitre est d’´etudier, dans le cas diff´erentiable, les conditions n´ecessaires et les conditions suffisantes pour les probl`eme d’optimisation sans contrainte et les probl`eme convexe. On suppose connu ici l’alg`ebre lin´eaire et le calcul diff´erentiel.

Remarque 1.0.1. On ne peut rien dire quant au comportement de f en x^∗. A moins que f n’ait certaines propri´et´es, de continuit´e en particulier, on pourra difficilement trouver un algorithme permettant de d´eterminer un minimum def si, par exemple

λ→0lim|f(x^∗)−f(x^∗+λh)| 6= 0 o`uλ∈R, ethest un vecteur arbitraire.

J(x) = 2 si x x*=/

x*

J(x*) = 1

Exemple 1.0.2.

Si l’on excepte certaines m´ethodes dites exploratoires, un grand nombre d’algorithmes de minimisation de fonctionnelles n´ecessitent que les d´eriv´ees partielles premi`eres def soient continues, et beaucoup de ces algorithmes requi`erent mˆeme que les d´eriv´ees partielles secondes def soient continues.

2 Convexit´ e des fonctionnelles

2.1 Ensembles convexes - fonctionnelles convexes

On indique dans ce paragraphe quelques propri´et´es de base d’une classe tr`es importante de fonctionnelles.

D´efinition 2.1.1. Ensembles convexes L’ensembleD0 est ditconvexesi et seulement si

∀x∈D0, ∀y∈D0, ∀α∈[0,1]⊂R on a αx+ (1−α)y∈D0. Illustration graphique 2.1.2.

17

x

y

x

y

Ensemble convexe Ensemble non convexe

autrement dit, si x∈D₀ ety ∈D₀, alors le segment qui joint ces deux points est ´egalement contenu dans D₀, le segment[x, y]´etant d´efini par

z∈[x, y]⇐⇒ ∃α∈[0,1] t.q. z=αx+ (1−α)y .

Remarque 2.1.3. La notion d’ensemble convexe correspond en fait `a une propri´et´e de r´egularit´e du domaine D0

consid´er´e.

D´efinition 2.1.4. Fonctionnelles convexes

Une fonctionnellef :D0⊂E→Restconvexesur le domaine convexeD0⊂E (E espace vectoriel norm´e) si

∀x, y∈D0, ∀α∈]0,1[, f(αx+ (1−α)y)≤αf(x) + (1−α)f(y).

La fonctionnellef eststrictement convexesur le domaine convexeD₀ si

∀x, y∈D₀, x6=y, ∀α∈]0,1[, f(αx+ (1−α)y)< αf(x) + (1−α)f(y).

La fonctionnellef est uniform´ement convexesur le domaine convexeD₀ si il existe une constantec >0 telle que

∀x, y∈D0, ∀α∈]0,1[,

αf(x) + (1−α)f(y)−f(αx+ (1−α)y) ≥ c α(1−α)kx−yk²_E.

Remarque 2.1.5. (i) Il est clair que laconvexit´e uniformeentraine laconvexit´e strictequi `a son tour entraine la convexit´e.

(ii) La convexit´e indique une certaine r´egularit´e de la fonctionnelle. En dimension finie, par exemple, la convexit´e peut induire des propri´et´es de continuit´e (c.f. proposition suivante).

Proposition 2.1.6. Soitf :D₀⊂Rⁿ→Rune fonctionnelle convexe sur l’ouvert convexe D₀⊂Rⁿ. Alorsf est continue surD₀.

Les d´efinitions de base de la convexit´e (large, stricte, ou uniforme) peuvent parfois s’av´erer d’un emploi peu commode. Le but des paragraphes qui suivent est de mettre en avant des propri´et´es qui s’y rapportent, exploitant la diff´erentiabilit´e d’une fonctionnelle, et plus faciles `a manipuler.

2.2 Convexit´ e et d´ eriv´ ee premi` ere

Th´eor`eme 2.2.1. Caract´erisation de la convexit´e `a l’aide de la d´eriv´ee premi`ere

On suppose que la fonctionnelle f : Ω⊂E→Rest d´erivable (au sens de Gˆateaux ou au sens de Frˆechet) sur un sous-ensemble convexe D₀⊂Ω. On a alors :

(i) f est convexe surD0 si et seulement si

∀x, y∈D0, f(y)−f(x)≥f⁰(x)·(y−x). (ii) f est strictement convexe surD0 si et seulement si

∀x, y∈D0, x6=y, f(y)−f(x)> f⁰(x)·(y−x).

(iii) La fonctionnelle f est uniform´ement convexe sur D0 si et seulement si il existe une constante c >0 telle que

∀x, y∈D0, f(y)−f(x)≥f⁰(x)·(y−x) +cky−xk²_E. Illustration graphique 2.2.2.

y x x

J(x) L’interpr´etation g´eom´etrique de

∀x, y∈D0, f(y)−f(x)≥f⁰(x)·(y−x),

est que le graphe de la fonctionnelle convexe f est toujours au dessus de son plan tangent en un point quelconque du domaine D0.

D´efinition 2.2.3. Soit une fonctionnellef : Ω⊂E →Rd´erivable (au sens de Gˆateaux ou au sens de Frˆechet) sur l’ouvert Ω.

L’application d´eriv´eef⁰: Ω⊂E→ L(E,R) est ditemonotone sur le sous-ensembleD0⊂Ω si et seulement si

∀x, y∈D0, (f⁰(y)−f⁰(x))·(y−x)≥0.

L’application d´eriv´eef⁰ est ditestrictement monotone sur le sous-ensemble D0⊂Ω si et seulement si

∀x, y∈D0, x6=y, (f⁰(y)−f⁰(x))·(y−x)>0.

L’application d´eriv´eef⁰est ditefortement monotone sur le sous-ensembleD₀⊂Ω si et seulement si il existe une constantec >0 telle que

∀x, y∈D0, (f⁰(y)−f⁰(x))·(y−x)≥2cky−xk²_E .

Proposition 2.2.4. Relations entre convexit´e et monotonie de la d´eriv´ee premi`ere

On suppose que la fonctionnelle f : Ω⊂E→R est d´erivable (au sens de Gˆateaux ou au sens de Frˆechet) sur Ω.

On a alors :

(i) La fonctionnelle f est convexe sur le sous-ensemble convexe D₀ ⊂Ωsi et seulement si l’application d´eriv´ee f⁰ est monotone surD₀.

(ii) La fonctionnellef est strictement convexe sur le sous-ensemble convexeD0⊂Ωsi et seulement si l’application d´eriv´eef⁰ est strictement monotone sur D0.

(iii) La fonctionnellef est uniform´ement convexe sur le sous-ensemble convexeD₀⊂Ωsi et seulement si l’applica-

tion d´eriv´ee f⁰ est fortement monotone sur D₀ (la constante

c > 0 intervenant dans la d´efinition de la convexit´e uniforme correspondant `a la constante c >0 introduite dans la d´efinition de la forte monotonie de la d´eriv´ee).

2.3 Convexit´ e et d´ eriv´ ee seconde

Th´eor`eme 2.3.1. Relations entre convexit´e et positivit´e de la d´eriv´ee seconde

On suppose que la fonctionnelle f : Ω ⊂ E → R est deux fois d´erivable dans un ouvert Ω de l’espace vectoriel norm´e E, et soit D0 une partie convexe deΩ.

(i) La fonctionnelle f est convexe sur le sous-ensemble convexe D0⊂Ωsi et seulement si

∀x, y∈D0, f⁰⁰(x)(y−x, y−x)≥0. (ii) Si

∀x, y∈D0, x6=y, f⁰⁰(x)(y−x, y−x)>0, alors la fonctionnelle f est strictement convexe sur D₀.

(iii) La fonctionnellef est uniform´ement convexe sur le sous-ensemble convexeD₀⊂Ωsi et seulement si il existe une constantec >0telle que

∀x, y∈D₀, f⁰⁰(x)(y−x, y−x)≥2cky−xk²_E.

!

3 Extr´ emas de fonctionnelles

3.1 Prise en compte des d´ eriv´ ees premi` eres

Th´eor`eme 3.1.1. Condition n´ecessaire d’extr´emum local

Soit Ωun ouvert d’un espace vectoriel norm´e E, et soit la fonctionnelle f : Ω ⊂E →R. Si la fonctionnelle f admet un extr´emum local en un point x∈Ω, et si f est diff´erentiable en ce point, alors

f⁰(x) = 0.

Remarque 3.1.2. • La relation f⁰(x) = 0 est parfois appel´ee´equation d’Euler.

• Le fait queΩsoit ouvert est bien ´evidemment essentiel.

Th´eor`eme 3.1.3. Condition n´ecessaire de minimum sur un ensemble convexe

Soit f : Ω⊂E → R une fonctionnelle d´efinie sur un ouvert Ω d’un espace vectoriel norm´e E, et soit D0 une partie convexe deΩ. Si la fonctionnellef est diff´erentiable au pointx∈D0, et si elle admet enxun minimum par rapport `a l’ensembleD0, alors

f⁰(x)·(y−x)≥0 pour tout y∈D₀.

Remarque 3.1.4. • Si l’ensemble D₀ est un sous espace vectoriel de E, la condition pr´ec´edente devient f⁰(x)·h= 0, pour touth∈D0.

• En particulier, si D0=E on retrouve la condition d’Euler ´enonc´ee au th´eor`eme 3.1.1.

3.2 Prise en compte des d´ eriv´ ees secondes

D´efinition 3.2.1. Soit une fonctionnellef : Ω⊂E→Rdeux fois diff´erentiable au pointx∈Ω.

La d´eriv´ee seconde de l’applicationf au pointx,f⁰⁰(x)∈ L2(E×E,R), est ditesemi-d´efinie positiveau point x∈Ω si et seulement si

∀h∈E, f⁰⁰(x)(h, h)≥0.

La d´eriv´ee seconde de l’applicationf au pointx,f⁰⁰(x)∈ L2(E×E,R), est dited´efinie positiveau pointx∈Ω si et seulement si

∀h∈E, h6= 0, f⁰⁰(x)(h, h)>0.

La d´eriv´ee seconde de l’applicationf au pointx,f⁰⁰(x)∈ L2(E×E,R), est diteuniform´ement d´efinie positive, ou encoreelliptique, au pointx∈Ω si et seulement si il existe une constante c >0 telle que

∀h∈E, f⁰⁰(x)(h, h)≥ckhk²_E.

Remarque 3.2.2. Si E est de dimension finie alors les notions de d´efinie positivit´e et d’uniform´ement difinie positivit´e de f⁰⁰(x) co¨ıncident. Dans ce cas f⁰⁰(x) est semi-d´efinie positive (respectivement d´efinie positive) si et seulement si les valeurs propres de la matrice hessienne ∇²f(x) sont toutes positives ou nulles (respectivement strictement positive).

Th´eor`eme 3.2.3. Condition n´ecessaire de minimum local

SoitΩun ouvert d’un espace vectoriel norm´eE, et soitf : Ω⊂E →R une fonctionnelle d´erivable dans Ω, deux fois diff´erentiable au point x ∈ Ω. Si la fonctionnelle f admet un minimum local au point x, alors l’application d´eriv´ee seconde def au point x(f⁰⁰(x)∈ L2(E×E,R)) est semi-d´efinie positive.

Remarque 3.2.4. Il n’y a pas de r´eciproque au th´eor`eme pr´ec´edent ; consid´erer par exemple la fonctionf(x) =x³ sur R.

Th´eor`eme 3.2.5. Conditions suffisantes de minimum local

SoitΩ un ouvert d’un espace vectoriel norm´eE, et soit f : Ω⊂E →Rune fonctionnelle d´erivable dans Ω telle quef⁰(x) = 0en un pointx∈Ω.

(i) Si la fonctionnelle f est deux fois diff´erentiable au pointx∈Ω, et si l’application d´eriv´ee seconde de f au point x(f⁰⁰(x)∈ L2(E×E,R)) est elliptique, alors la fonctionnelle f admet un minimum local fort enx.

(ii) Si la fonctionnellef est deux fois d´erivable dansΩ, et s’il existe une bouleB ⊂Ωcentr´ee enxtelle que, pour tout v ∈ B, l’application f⁰⁰(v)∈ L2(E×E,R)est semi-d´efinie positive, alors la fonctionnelle f admet un minimum local en x.

Remarque 3.2.6. Il n’existe pas de r´eciproque aux deux assertions du th´eor`eme pr´ec´edent.

3.3 Prise en compte de la convexit´ e

Th´eor`eme 3.3.1. SoitD0 une partie convexe d’un espace vectoriel norm´eE.

(i) Si une fonctionnelle convexe f :D0⊂E→Radmet un minimum local en un point deD0, elle y admet en fait un minimum global, c’est `a dire par rapport `a tout l’ensembleD0.

(ii) Une fonctionnellef :D0 ⊂E →R strictement convexe admet au plus un minimum, et c’est un minimum fort (s’il existe).

(iii) Soit f : Ω ⊂ E → R une fonctionnelle d´efinie sur un ouvert Ω ⊂ E contenant D0, convexe sur D0, et diff´erentiable en un pointx∈D0. Alors, la fonctionnellef admet un minimum enxpar rapport `a l’ensemble D0 si et seulement si

f⁰(x)·(y−x)≥0 pour tout y∈D0.

(iv) Si de plus l’ensembleD₀ est ouvert, la condition pr´ec´edente ´equivaut `a l’´equation d’Eulerf⁰(x) = 0.

Remarques :

• Au th´eor`eme 3.1.3, la condition (3) avait ´et´e ´enonc´ee comme condition n´ecessaire seulement, mais ceci sans supposerf convexe.

• Les relations “f⁰(x)·(y−x)≥0 pour touty∈D0” sont fr´equemment appel´eesin´equations d’Euler.

3.4 Existence d’un minimum

D´efinition 3.4.1. Une fonctionnellef :E→Rd´efinie sur un espace vectoriel norm´eE est ditecoercivesi lim

kxkE→+∞f(x) = +∞.

Th´eor`eme 3.4.2. SoitD₀une partie non vide ferm´ee deRⁿ etf :Rⁿ→Rune fonctionnelle continue, coercive si l’ensemble D₀ est non born´e. Alors il existe au moins un ´el´ementxtel que

x∈D0 et f(x) = inf

v∈D0

f(v).

Remarque : Ce r´esultat valable en dimension finie peut s’´etendre en dimension infinie dans le cas des espaces de Hilbert s´eparables, avec n´eanmoins des hypoth`eses suppl´ementaires. Nous ne l’´enoncerons pas ici, les espaces de Hilbert faisant l’objet de d´eveloppements ult´erieurs.

Bibliographie

[1] Carpentier. Cours de 3i`eme ann´ee enseeiht, fili`ere informatique et math´ematiques appliqu´ees. INPT- ENSEEIHT, 1983.

[2] Gerard Cornuejols and Reha T¨ut¨unc¨u. Optimization Methods in Finance. Cambridge University Press, 2007.

[3] J.M. Devos. Fermat ”le premier homme du monde”. France 3, IREM de Toulouse, CRDP Midi-Pyr´en´ees, 1995.

Casette vid´eo.

23