2.3.1 D´efinition
D´efinition 24. Soient E un espace euclidien et A ⊂E une partie non vide de E. On note A⊥ ={x∈E / ∀a ∈A, hx, ai= 0}
et on l’appelle l’orthogonal de A.
Proposition 13. L’orthogonal A⊥ de tout partie non vide A est un s.e.v de E. On a
´
egalement A ⊥ B implique A ⊂ B⊥ pour deux sous-ensembles (non vides) A, B ⊂ E.
En outre on a :
{0}⊥ =E, E⊥={0}.
D´emonstration. La propri´et´e de s.e.v. et d’inclusion se v´erifient trivialement. De mˆeme, tout vecteur est orthogonal `a z´ero. Pour voir que E⊥ = {0}, il suffit de remarquer que si
v ∈E⊥, alors hv, vi= 0.
Proposition 14. Soit F un s.e.v. d’un espace euclidien E. Alors :
• E =F ⊕F⊥,
• F⊥⊥ =F.
Soient F1 et F2 deux s.e.v. d’un espace euclidien E. Si F1 ⊕ F2 = E et F1 ⊥ F2, alors F1 =F2⊥.
D´emonstration. Pour le premier point : on consid`ere une base de F; on ´etend ensuite celle-ci `a une base de E (on utilise ici le Th´eor`eme 3 de la base incompl`ete). Ensuite on orthonormalise (par le proc´ede de Schmidt) et on obtient donc une base orthonorm´ee de E qui contient une base orthonorm´ee de F, mettons {e1, . . . , en} o`u les p premiers vecteurs forment une base de F. Il n’est alors pas difficile de voir que
F⊥ = Vect{ep+1, . . . , en},
en utilisant la formule (8). On conclut ainsi que E = F ⊕F⊥ et que dim(E) = dim(F) + dim(F⊥).
Pour le deuxi`eme point, on a tout d’abord dim(F⊥⊥) = dim(E)−dim(F⊥) = dim(F) et par ailleurs on v´erifie facilement que F ⊂F⊥⊥. On a donc l’´egalit´e.
Pour la derni`ere partie, on raisonne de la mˆeme mani`ere. On a d’une part dim(F2) = dim(E)−dim(F1) = dim(F1⊥). Comme d’autre partF2 ⊂F1⊥, cette inclusion est en fait une
´
egalit´e.
D´efinition 25. Le th´eor`eme pr´ec´edent nous montre que tout x ∈ E s’´ecrit d’une mani`ere unique comme x=u+v avec u∈ F et v ∈F⊥. On appelle u la projection orthogonale de x sur F et on note par pF l’application x7→pF(x) =u ainsi construite.
Exemple. DansE =R3 la projection de (3,2,4) sur le plan x= 0 est (0,2,4) alors que sa projection sur x+y+z = 0 est (0,−1,1).
Proposition 15. Soit F un s.e.v. d’un espace euclidien E. Alors
1. Orthogonalit´e : pour toutx∈E on a : ∀y∈F, x−pF(x)⊥y et x=pF(x) +pF⊥(x).
De plus kpF(x)k ≤ kxk.
2. si {e1, . . . , ek} est une base orthonorm´ee de F on a
∀x∈E, pF(x) =
k
X
i=1
hx, eiiei. (10) 3. Si p est une projection orthogonale p◦p=p.
4. Si p est un endomorphisme v´erifiant p◦p=p et si en plus Im(p)⊥ Ker(p) alors p est la projection orthogonale sur Im(p).
5. Caract´erisation par la propri´et´e de minimalit´e :
∀x∈E, kx−pF(x)k= inf
w∈Fkx−wk.
D´emonstration. Le 1. est une cons´equence simple de l’´ecriture x=u+v et de F =F⊥⊥. L’in´egalit´e kpF(x)k ≤ kxk d´ecoule de Pythagore.
Pour le 2., on ´ecrit la projection comme une combinaison lin´eaire dans cette base, ensuite les coefficients se d´eterminent en utilisant x−pF(x) ⊥ F, donc pour i = 1. . . k, hx, eii = hpF(x), eii :
pF(x) =
k
X
i=1
hpF(x), eiiei =
k
X
i=1
hx, eiiei+hpF(x)−x, eiiei.
Pour le 3., on utilise que pour x ∈ F, pF(x) = x (ce qui est clair puisque l’´ecriture x=x+ 0 avecx∈F et 0∈F⊥ est unique).
Pour le 4., on d´emontre d’abord que Im(p)⊕Ker(p) = E : tout x ∈ E s’´ecrit x = p(x) +x−p(x) et on voit que p(x−p(x)) = 0 donc x−p(x) ∈ Ker(p). De plus l’´ecriture est unique puisque si x = a+b avec b ∈ Ker(p) alors p(x) = p(a) = a (une autre mani`ere de faire ´etait de voir que les espacesIm(p) etKer(p) sont en somme directe (du fait de leur orthogonalit´e) et d’utiliser le th´eor`eme du rang). On conclut par la d´efinition de la projection orthogonale.
Pour le 5., on ´ecritkx−wk2 =kx−pF(x) +pF(x)−wk2 =kx−pF(x)k2+kpF(x)−wk2, la derni`ere ´egalit´e venant de la propri´et´e d’orthogonalit´e.
Remarque 11. On reconnaˆıt dans la formule (10) une ´ecriture que nous avons vue dans le proc´ed´e d’orthonormalisation de Schmidt. On voit que la base obtenue par orthonormalisation peut ´egalement s’´ecrire :
ek = xk−PFk−1(xk)
kxk−PFk−1(xk)k, o`u Fk−1 :=Vect{e1, . . . , ek−1}=Vect{x1, . . . , xk−1}.
Proposition 16. Soit E un espace euclidien muni d’une base orthonorm´ee (v1, . . . , vn).
Soient F un s.e.v. de E et (e1, . . . , ek) une base orthonorm´ee deF. Notons U la matrice des coordonn´ees de e1, . . ., ek en colonne dans la base (v1, . . . , vn), (qui est donc une matrice `a n lignes et k colonnes). Soit x ∈ E, et soient X et Y les matrices coordonn´ees respectives de x et pF(x) dans la base (v1, . . . , vn). Alors on a :
Y =UtU X.
D´emonstration. Ce n’est en fait rien d’autre que la formule (10) : tU X est le vecteur colonne (`a k lignes) :
hx, e1i
... hx, eki
,
et on conclut ais´ement.
2.3.2 Application au probl`eme des moindres carr´es
Soient m points de R not´es xi, i = 1, . . . , m et ci des valeurs associ´ees `a ces points. On s’int´eresse au probl`eme d’approcher cette ensemble de points par le graphe d’une fonction
´
el´ementaire, c’est-`a-dire de trouver une fonction simple telle que U(xi) ' ci. Un bon choix peut ˆetre constitu´e par les fonctions affines de la forme U(x) = ax+b. Autrement dit, nous allons chercher `a approcher un “nuage de points” par une droite. C’est le classique probl`eme de la “r´egression lin´eaire”, tel que d´ecrit sur la Figure 2.
(xi, ci)
x y=ax+b y
Figure 2 – Droite de r´egression lin´eaire On peut formuler notre probl`eme comme la minimisation de
S(a, b) =
m
X
i=1
(axi+b−ci)2.
Soit c le vecteur colonne d’entr´ees ci, autrement dit, c = t(c1, . . . , cm). On consid`ere aussi x= t(x1, . . . , xm), u= t(1, . . . ,1)∈Rm. On observe alors que
S(a, b) =kax+bu−ck2.
On peut donc reformuler le probl`eme comme suit : trouver la combinaison lin´eaire des vec-teurs x et u (de coefficients a et b) `a distance minimale du vecteur c. Soit donc l’espace vectoriel V engendr´e par x et u dans Rm. D’apr`es ce qui pr´ec`ede, nous cherchons donc la projection orthogonale dec surV :
ax+bu=pV(c).
Pour effectuer le calcul on utilise la propri´et´e d’orthogonalit´e : (ax+bu−c)⊥x et (ax+bu−c)⊥u.
Cela donne un syst`eme de deux ´equations `a deux inconnues `a r´esoudre.
Ceci se g´en´eralise de plusieurs fa¸cons :
• On peut chercher la meilleure approximation parmi des fonctions non affines. Par exemple, soientx7→g1(x) etx7→g2(x). On peut chercher la meilleure approximation comme combinaison de ces deux fonctions
ag1(xi) +bg2(xi)'ci, au sens des moindres carr´es, c’est-`a-dire qui minimise
m
X
i=1
|ag1(xi) +bg2(xi)−ci|2.
Le cas pr´ec´edent correspond `a g1 : x 7→ x et `a g2 la fonction constante `a 1. On introduit alors les vecteurs
G1 = t(g1(x1), . . . , g1(xm)) et G2 = t(g2(x1), . . . , g2(xm)).
On cherche donc le vecteur au sein de Vect{G1, G2} qui soit `a distance minimale du vecteur c. Il s’agit donc encore du projet´e orthogonal de c sur le sous-espace Vect{G1, G2}.
• On peut utiliser plus de deux fonctions, par exempleg1, . . .gk, et chercher la meilleure approximation sous la forme
α1g1(xi) +· · ·+αkgk(xi)'ci.
On introduira alors comme pr´ec´edemment les vecteurs colonnes G1, . . ., Gk donn´es
et la meilleure approximation au sens des moindres carr´es sera le projet´e orthogonal decsur le sous-espace Vect{G1, . . . , Gk}.
• On peut consid´erer le cas d’une d´ependance de plusieurs variables, par exemple quand on a un nuage tridimensionnel (xi, yi, ci)i=1...m et qu’on cherche `a approchercpar une fonction des deux variablesx,y. Dans le cas lin´eaire pour simplifier, on cherche donc la meilleure approximation
αxi+βyi+b'ci, ce qui donne au sens des moindres carr´es
m
X
i=1
|αxi+βyi+b−ci|2.
On cherche encore le projet´e orthogonal de csur le sous-espace de Rm :
Vect
On obtient dans ce cas pr´ecis trois ´equations `a trois inconnues.