Conditions suffisantes

Pourquoi avoir pass´e quelques pages `a ´etablir ces caract´erisations de la convexit´e d’une fonctionnelle diff´erentiableJ? Comme le sugg`ere le titre du paragraphe, la raison principale est que, lorsqueJ est convexe, les conditions qu’elle doit v´erifier en un pointu, qui sont simplement n´ecessaires dans le cas g´en´eral, deviennent n´ecessaires et suffisantes.

Reprenons donc pour finir les principaux r´esultats portant sur les conditions de r´ealisation d’un point de minimum.

Th´eor`eme 2.3.4 SoientK un sous-ensemble convexe deE,uun point deK etJ une fonctionnelle convexe et diff´erentiable de K. Alors u est un point de minimum global de J sur K si, et seulement si,

(∇J(u), v−u)≥0, ∀v∈K. (2.17) Preuve : Siuest un point de minimum deJ, nous savons d´ej`a que l’in´equation d’Euler (2.17) est v´erifi´ee.

R´eciproquement, du fait de la convexit´e, la condition (ii) nous dit queuest un point de minimum global.

On se place maintenant dans le cas d’un convexeK^#´egal `a un espace affine (voir la sous-section 2.2.3), d´efini par

K^#={v∈E : (v−u0, ak) = 0, 1≤k≤p},

o`u (ak)1≤k≤p est une famille libre deE, etu0 un vecteur deE. On inf`ere du th´eor`eme ci-dessus un second r´esultat dˆu `a Karush, Kuhn et Tucker (K.K.T.).

Corollaire 2.3.1 Soient u^# un point deK^# et J une fonctionnelle convexe et diff´erentiable de K^#. Alorsu^# est un point de minimum global deJ sur K^# si, et seulement si,

∃λ∈R^p, ∇J(u^#) +

p

!

k=1

λkak = 0. (2.18)

Preuve : Siu^# est un point de minimum, le th´eor`eme 2.2.3 nous permet d’affirmer qu’il existe un ´el´ement λ deR^p tel que (2.18) soit v´erifi´ee.

R´eciproquement, s’il existe λtel que (2.18) soit vraie, on en d´eduit que le gradient ∇J(u^#) est orthogonal `a toute diff´erence de deux ´el´ements deK<sup>#</sup>, c’est-`a-dire que

(∇J(u^#), v^#−u^#) = 0, ∀v^# ∈K^#. Le th´eor`eme 2.3.4 nous permet de conclure.

Enfin, pour en finir ici avec les probl`emes avec contraintes, revenons `a la minimisation quadratique sous contraintes d’´egalit´e. Consid´erons la fonctionnelle J0 d´efinie comme d’habitude par (1.3) pour des vecteurs deRⁿ, o`u l’on suppose cette fois que la matrice Aest sym´etrique et positive.

L’espaceK^# est quant `a lui d´efini par

K^#={v∈Rⁿ : C v=f},

o`uC est une matrice deR^p×n de rangp, etf est un vecteur deR^p. On a alors le

Th´eor`eme 2.3.5 u^# est un point de minimum de J0 sur K^# si, et seulement si, il existe un

´el´ement λde R^p tel que le couple (u^#, λ) soit solution de ( A C^T

C 0

) ( u^# λ

)

= ( b

f )

. (2.19)

Si de plus A est (sym´etrique) d´efinie-positive, le syst`eme lin´eaire (2.19) admet une solution unique. En d’autres termes, il existe un point de minimum global deJ0 sur K^# et un seul.

Preuve :Siu^# est un point de minimum, on applique le corollaire 2.2.4.

R´eciproquement, nous allons v´erifier queJ0est convexe. En effet, on sait que∇J0(v) =Av−b, puisqueA est sym´etrique. De plus,

(∇J0(v)− ∇J0(u), v−u) = (A(v−u), v−u)≥0,

puisqueAest positive. D’apr`es (iii),J0est convexe. On se retrouve dans la situation du corollaire pr´ec´edent, ce qui ach`eve la d´emonstration du premier point.

On suppose ici queAest sym´etrique d´efinie-positive. La matrice ( A C^T

C 0 )

appartient `aR(n+p)×(n+p)

.

Pour prouver que le syst`eme lin´eaire (2.19) admet une solution unique, il suffit de v´erifier que le noyau de l’application lin´eaire associ´ee est r´eduit `a {0} (pour une application lin´eaire d’un espace vectoriel de dimension finie dans lui-mˆeme, bijectivit´e ⇐⇒surjectivit´e ⇐⇒injectivit´e.) Soit donc un couple (u, λ) deRⁿ×R^p tel que

( A C^T C 0

) ( u λ

)

= ( 0

0 )

. Comme Aest inversible, on inf`ere, par implications successives que u=−A<sup>−1</sup>C<sup>T</sup>λ(premi`ere ligne) ; CA⁻¹C^Tλ= 0 (seconde ligne) ;

(CA⁻¹C^Tλ, λ)p = 0 (produit scalaire parλ) ; (A⁻¹C^Tλ, C^Tλ) = 0 (transposition) ; Comme Aest sym´etrique d´efinie-positive,A⁻¹ l’est ´egalement, et ainsi

C^Tλ= 0.

Pour conclure, on note que l’application lin´eaire associ´ee `a C<sup>T</sup> va de R<sup>p</sup> dansR<sup>n</sup>, et qu’elle est de rang p. Par cons´equent, dim(Ker(C<sup>T</sup>)) = 0, dont on d´eduit queλ= 0, puis finalement que u= 0 par retour `a la premi`ere ligne du syst`eme lin´eaire. La conclusion suit.

En ce qui concerne les probl`emes sans contraintes, on a imm´ediatement le

Th´eor`eme 2.3.6 SoientK un sous-ensemble convexe deE,uun point deK etJ une fonctionnelle convexe et diff´erentiable de K. Si K = E (ou si u est int´erieur `a K), alors u est un point de minimum (global) de J si, et seulement si,

∇J(u) = 0. (2.20)

La d´emonstration, imm´ediate, est laiss´ee au lecteur.

Exercice 2.3.3 On reprend J0(u) = ¹₂(Av, v)−(b, v) +c, d´efinie surRⁿ. 1. A quelle(s) condition(s) J0 est-elle convexe, strictement convexe,α-convexe?

2. Retrouver les conclusions concernant l’´etude des probl`emes (1.4) et (1.5).

Exercice 2.3.4 Soit J une fonctionnelle α-convexe et diff´erentiable sur Rⁿ. Montrer que J admet un minimum global, et le caract´eriser.

Chapitre 3

Moindres carr´ es lin´ eaires

Nous consid´erons dans ce chapitre un probl`eme de minimisation, relativement courant en pratique, appel´e probl`eme de moindres carr´es. Nous nous contentons de consid´erer le cas particulier des moindres carr´es lin´eaires, car on verra que ces probl`emes ont de tr`es fortes ramifications avec la Partie 2, qui traite d’alg`ebre lin´eaire.

3.1 Probl` ematique

De prime abord, il est rassurant (!?) de r´esoudre exactement un probl`eme. En pratique, cependant, on se rend compte que, dans de nombreux cas, il n’existe pas de solution ”exacte”

(voir la note de bas de page). C’est souvent le cas lorque l’on d´esire r´ealiser l’op´eration suivante : A partir d’un nombre fini (parfois tr`es grand) de mesures, inf´erer un comportement valable dans tous les cas, pass´es, pr´esents ou `a venir.

Typiquement, d’une part on dispose d’un mod`ele abstrait, et d’autre part de donn´ees, et l’on souhaite fusionner l’un et l’autre, pour disposer d’une mod´elisation concr`ete du ph´enom`ene

´etudi´e, et/ou d’outils de pr´ediction. Prenons l’exemple suivant.

Carl Friedrichs Gauss(1777-1855) d´esirait d´eterminer la trajectoire de plan`etes, et notamment celle d’Uranus, d´ecouverte `a la fin du 18`eme si`ecle. D’apr`es les lois deK´epler, si l’on n´eglige la pr´esence des autres plan`etes autour du Soleil, Uranus d´ecrit une ellipse. Si l’on supposeconnus le plan de la trajectoire (´ecliptique) ainsi que la direction du grand axe, sa trajectoire est une ellipseE dans le plan de l’´ecliptique, dont l’´equation est

(x−x0)²

a² + (y−y0)²

b² = 1. (3.1)

L’ellipse E est donc caract´eris´ee par quatre param`etres, (x0, y0, a, b). D`es que l’on dispose de quatre positions (ou plus) d’Uranus dans le ciel, il est possible de caract´eriser sa trajectoire elliptique¹... Pour cela, Gauss a invent´e le principe dit desmoindres carr´es(en 1801). Disposant de K mesures de la position d’Uranus Mk(xk, yk)1≤k≤K, on choisit (x0, y0, a, b), ce qui d´efinit une unique ellipseE=Ex0,y0,a,b. A partir de l`a, on introduit les points (M_k^!)1≤k≤K: pour chaque valeur de k, M_k^! est le point d’intersection de l’ellipse avec la droite passant par Mk et le centre de l’ellipse, le plus proche deMk, de coordonn´ees

x^!_k =pE(xk, yk), y_k^! =qE(xk, yk), 1≤k≤K. (3.2)

1. Caract´erisation de la trajectoire... Pour trois mesures ou moins, il existe une infinit´e de possibilit´es. Quatre mesures sont id´eales, puisque qu’il leur correspond une unique ellipse. A partir de cinq mesures ou plus, il faut esp´erer que tous les points de la trajectoire, `a partir du 5<sup>eme`</sup> , se trouvent sur l’ellipse d´efinie par les quatre premiers ! Cette prise de conscience (existence d’une surd´etermination) est fondamentale, lorsque l’on r´esout ce type de probl`emes.

E(x ,y ,a,b)_{0 0} Mesures Projections

Fig.3.1 – Projections sur l’ellipse

Pour mesurer l’erreur commise entre les positions mesur´ees et leurs projections sur l’ellipse E, on forme la quantit´e

ν=

K

!

k=1

MkM_k^!2. (3.3)

Si tous les points de la trajectoire mesur´ee se trouvent sur l’ellipse E, on obtient ν = 0 ; dans le cas contraire, ν > 0. Pr´ecisons, avant de continuer, que les donn´ees sont (xk, yk)1≤m≤K, et que lesinconnues sont (x0, y0, a, b). Comme les nombres (x^!_k, y^!_k)1≤k≤K sont caract´eris´es par les relations (3.2), on peut donc introduire la fonctionnelle

ν(x0, y0, a, b) =

K

!

k=1

{'xk−pE(xk, yk)'²+'yk−qE(xk, yk)'²}. (3.4) L’id´ee est de partir d’une premi`ere ellipse, puis de la modifier, de fa¸con `a diminuer la valeur de ν correspondante, et ainsi de suite... Le but est de minimiser la valeur deν(x0, y0, a, b), le quadruplet (x0, y0, a, b) d´ecrivantR⁴:

Trouver (x^opt₀ , y^opt₀ , a^opt, b^opt)∈R⁴,

tel queν(x^opt₀ , y₀^opt, a^opt, b^opt) = inf

(x0,y0,a,b)∈R⁴ν(x0, y0, a, b). (3.5) Id´ealement, comme nous l’avons remarqu´e plus haut, si les mesures sont exactes, et si la trajectoire est effectivement elliptique dans le plan de l’ecliptique, on d´etermine une solution telle que

ν(x^opt₀ , y^opt₀ , a^opt, b^opt) = 0.

Malheureusement, on sait que toute mesure est approch´ee, ce qui interdit de trouver un tel r´esultat.Heureusement, ceci n’est pas incompatible avec la r´esolution du probl`eme (3.5).

Dans la suite, nous nous limiterons `a l’´etude de mod`eles-type, pour lesquels la d´ependance par rapport aux inconnues est lin´eaire. A des fins illustratives, dans le formalisme adopt´e ci-dessus, on aurait

# x^!_k =αkx0+βky0+γka+δkb+f(x1, y1,· · ·, xK, yK),

y^!_k=α^!_kx0+β_k^!y0+γ_k^!a+δ_k^!b+f^!(x1, y1,· · ·, xK, yK), 1≤k ≤K,

soit ν(v) ='Av−b'², v∈R⁴, A∈R^2K×4, b∈R^2K. (3.6) On parle alors demoindres carr´es lin´eaires.

Remarque 3.1.1 Pour refermer la parenth`ese historique (voir [20] pour plus de d´etails), men-tionnons que Gauss a men´e `a bien ses calculs (sans ordinateur !). A la suite de quoi, on s’est aper¸cu qu’au cours du temps la trajectoire elliptique optimale variait... Apr`es avoir ´elimin´e les

incertitudes li´ees aux erreurs de mesure, on en a d´eduit que la trajectoire n’´etait pas une ellipse, mais plutˆot une perturbation de trajectoire elliptique. L’influence des autres plan`etes a ´et´e prise en compte, mais cela ne r´esolvait toujours pas la difficult´e. Urbain le Verrier (1811-1877) a donc eu l’id´ee de chercher une nouvelle plan`ete, introduisant une nouvelle perturbation, qui validerait le mod`ele : il a d´ecouvert Neptune en 1846.