Le problème des moindres carrés

Considérons un système linéaire réel de n équations à p inconnues :  a₁₁.x₁ + ... + a_1p.x_p = b₁

(S)  . . .  a_n1.x₁ + ... + a_np.x_p = b_n

Nous avons vu en algèbre linéaire comment résoudre et discuter un tel système de manière exacte. Cependant les sciences expérimentales (physique, biologie, économie, etc.) demandent de résoudre un tel système même lorsqu’il est impossible ; les mesures sont imprécises, et les lois de dépendances cherchées ne sont pas mathématiques.

L’exemple le plus simple est celui où l’on mesure plusieurs fois une même grandeur x. On obtiendra différentes valeurs x = 1,7 x = 1,8 x = 2, etc. : cela constitue, si l’on veut, un système de 3 équations à 1 inconnue, impossible mathématiquement, mais expérimentalement inévitable.

La méthode des moindres carrés, publiée par Adrien Marie Legendre (1752-1833) en 1805 lors de travaux sur la détermination des orbites des comètes, est la plus simple de ces méthodes⁸. Elle consiste à rendre minimum la somme

∑

=ⁿ + + −

i

p i

i x aipx b

a

1 1

1. ... . )²

( .

Appelons pseudo-solution de (S) tout p-uplet x = (x₁, …, x_p) de réels rendant minimum cette somme de carrés. Si l’on écrit le système matriciellement sous la forme A.x = b et si l’on munit les espaces Rⁿ et R^p de leurs produits scalaires standard, il s’agit de minimiser || A.x – b ||². 7.2. Pseudoinverse d’une application linéaire.

Généralisons le problème précédent.

Soient E et F des espaces euclidiens de dimensions respectives p et n, f ∈LLLL_{(E, F).}

Soit b un vecteur de F. Considérons l’équation linéaire : f(x) = b (1).

Rappelons que, lorsque b ∈ Im f, les solutions de (1) forment un sous-espace affine de E de direction Ker f . Lorsque b ∉ Im f, c’est l’ensemble vide.

Définition 1 : On appelle pseudo-solution de (1) tout vecteur x∈E rendant minimum || f(x) − b ||.

Proposition 1 : x est une pseudosolution de (1) si et seulement si f(x) = c, où c est l’ortho-projection de b sur Im f . Les pseudosolutions de (1) forment un sous-espace affine S(b) de E de direction Ker f .

Preuve : Lorsque x décrit E, f(x) décrit Im f ; || f(x) − b || est minimum ssi f(x) est la projection orthogonale de b sur Im f . L’ensemble S(b) des pseudo-solutions de (1) est donc le sous-espace affine f⁻¹({c}), où c = p_{Im f} (b).

Il en découle que S(b) = S(b’) lorsque b’ − b ∈ ( Im f )^⊥, et que b ∈ ( Im f )^⊥⇔ S(b) = Ker f.

Proposition 2 : Parmi toutes les pseudo-solutions de (1), il en existe une, et une seule, de norme minimum. On la note x₀ = f⁺(b). Elle est caractérisée par les deux conditions suivantes (2) :

f(x₀) = p_{Im f} (b) et x₀ ∈ ( Ker f )^⊥

8 D’autres savants ont contribué à cette méthode : l’inclassable Rogerius Josephus Boscovich (1711-1787), Johann Tobias Mayer (1723-1762), Pierre-Simon Laplace (1749-1829) et Carl Friedrich Gauss (1777-1855), qui publia en 1809 qu’il en avait eu l’idée dès 1795. L’ajustement d’une droite par la méthode des moindres carrés était parfaitement maîtrisée en 1834 par un jeune ingénieur du corps des ponts et chaussées, Georges Müntz (1807-1887). On trouvera les publications de Legendre de 1806 et 1830 à l’adresse Internet suivante : http://www.lsp.ups-tlse-fr/Fp/Falguerolles/FACSIMILE/Index.html.

Preuve : Lorsque x décrit S(b), sous-espace affine de E de direction S(b), x est de norme mini-male ssi x est la projection orthogonale de 0_E sur S(b). Voilà pour l’existence et l’unicité de x₀. On a f(x₀) = p_Imf (b) car x₀∈ S(b), et x₀∈ ( Ker f )^⊥ car x₀⊥ y − x₀ pour tout y ∈ S(b).

Or décrit Ker f quand y décrit S(b). Réciproquement, si {x₀} = S(b) ∩ ( Ker f )^⊥, alors x₀⊥ y − x₀ pour tout y ∈ S(b). Par Pythagore ||x₀|| ≤ ||y||, avec égalité ssi y = x₀.

Définition 2 : x₀ est appelé pseudo-solution normale de (1). L’application f ⁺ : F → E est dite pseudo-inverse de f (au sens des moindres carrés).

La figure ci-dessous illustre parfaitement la situation :

Proposition 3 : a) L’application f ⁺ est linéaire ;

b) Im f ⁺ = ( Ker f )^⊥ = Im f* ; Ker f ⁺ = ( Im f )^⊥ = Ker f* ; rg f ⁺ = rg f .

c) f + o f est l’orthoprojecteur de E sur ( Ker f )^⊥; f o f ⁺ est l’orthoprojecteur de F sur Im f.

Preuve : a) La linéarité de f ⁺ n’a rien d’évident a priori, les conditions définissant f ⁺(b) étant de nature quadratique. Soient donc x₀ = f ⁺(b) et y₀ = f ⁺(c).

On a f(x₀) = p_{Im f} (b) et x₀ ∈ ( Ker f )^⊥ et f(y₀) = p_Imf (c) et y₀∈ ( Ker f )^⊥

D’où f(α.x₀ + y₀) = α.f(x₀) + f(y₀) = α.pIm f (b) + p_{Im f} (c) = p_{Im f} (α.b + c) et α.x₀ + y₀∈ ( Ker f )^⊥ . On en déduit que αx₀ + y₀ = f ⁺(αb + c).

Rappelons que tout supplémentaire de Ker f est isomorphe à Im f : l’application u = ^f f ^ImKerf

) ( ^⊥ est un isomorphisme. Au fond, f ⁺ est linéaire comme composée de p_{Im f} et de u⁻¹.

b) et c) sont laissées en exercice.

Corollaire : f et f ⁺ vérifient les relations de Penrose (3) :

f o f + o f = f ; f + o f o f ⁺ = f ⁺ ; ( f o f ⁺ )* = f o f ⁺ ; ( f + o f )*= f +o f .

Preuve : Les deux premières relations sont laissées en exercice. Les deux dernières découlent de ce que tout orthoprojecteur est autoadjoint.

Remarque : Il en résulte que f ⁺ est une f-inverse de f (cf. mes Problèmes d’algèbre linéaire).

Proposition 4 : Réciproquement que pour toute f ∈ LLLL(E, F), existe une unique f ⁺ ∈ LLLL_{(F, E)} vérifiant les relations de Penrose (3).

Preuve : Soit g tel que f o g o f = f , g o f o g = g , ( f o g )* = f o g , (g o f )* = g o f.

Montrons que g = f ⁺. Notons p = g o f et q = f o g . On a aussitôt q o q = q , p o p = p , q* = q et p* = p.

p et q sont donc des orthoprojecteurs de E et F resp.

On a q = f o g ⇒ Im q ⊂ Im f et f = q o f ⇒ Im f ⊂ Im q ; q = fog est l’orthoprojecteur sur Im f.

On a p = g o f ⇒ Ker f ⊂ Ker p et f = f o p ⇒ Ker p ⊂ Ker f ; p est l’orthoprojecteur sur (Ker f)^⊥. Soit alors b ∈ F, x = g(b). On a (g o f o g)(b) = g(b) ∈ Im(g o f) = ( Ker f )^⊥.

Et f(x) = f o g(b) = p_{Im f} (b). C’est dire que x = f⁺(b). Ainsi, g = f ⁺.

Proposition 5 : On a f ⁺⁺ = f . De plus, si f* est l’adjointe de f, on a f*+ = f+*.

Preuve : f ⁺⁺ = f découle de ce que f et jouent le même rôle dans les relations de Penrose.

f*+ = f⁺*découle de ces relations, après passage à l’adjoint.

Exercice 1 : Montrer que f ⁺⁺ = f à l’aide des prop.1 et 2.

Proposition 6 : L’équation f(x) = b a une solution ssi ( f o f ⁺ )(b) = b, et alors les solutions de (1) sont données par : x = f ⁺(b) + ( Id_E − f ^{+ o} f )(z) , où z décrit E.

Preuve : L’équation f(x) = b a une solution ssi b ∈ Im f. Comme f o f ⁺ est l’orthoprojecteur sur Im f, cette condition équivaut à ( f o f ⁺)(b) = b. Alors f ⁺(b) est solution particulière de f(x) = b.

La solution générale est de la forme f ⁺(b) + w , où w décrit Ker f ⁺ .

Mais il découle de la prop. 3 que Ker f ⁺ = ( Im f )^⊥ = Im( Id_E− f + o f ). Cqfd.

Proposition 7 : Soient u ∈ O(E) , v ∈ O(F) , f ∈ LLLL_{(E, F).}

( f o u )⁺ = u⁻¹ o f ⁺ ( v o f )⁺ = f ⁺ o v⁻¹ (v o f o u)⁺ = u⁻¹ o f ⁺ o v⁻¹.

Le résultat suivant fait le lien entre pseudoinverse des moindres carrés et pseudoinverse de groupes (cf mes Problèmes d’algèbre linéaire) :

Proposition 8 : Soit f ∈ LLLL(E, F). Alors f* o f est un endomorphisme autoadjoint positif de E et pseudo-inversible au sens des groupes. Alors f ⁺ = ( f* o f )^<−1> o f*, où ( f* o f )^<−1> désigne l’inverse de groupes.

Exemples de pseudo-inverses : a) Si f = 0 , f ⁺ = 0.

b) Si f est bijective , f ⁺ = f⁻¹.

c) Si f est injective , f ⁺ = f⁻¹ o p_Imf , en notant f⁻¹ : Im f → E l’application qui à f(x) associe son antécédant x. On a f ⁺ o f = id_E .

d) Si f est surjective, x = f ⁺(b) ⇔ f(x) = b et x ∈ ( Ker f )^⊥. On a f o f ⁺ = id_F. e) Applications de rang 1. Soit f ∈L_{(E, F).}

Tout d’abord, rg f = 1 ⇔ ∃(a, b) ∈ E×F ∃s > 0 || a || = || b || = 1 et (∀x) f(x) = s (a | x) b.

Cette assertion est laissée au lecteur. Avec ces notations : f ⁺(y) = s⁻¹ (b | y) a.

En effet, p_{Im f} (y) = (b | y) b ; x est pseudosolution ssi s.(a | x) = (b | y) : c’est l’équation d’un hyperplan affine orthogonal à a et parallèle à Ker f .

Et x₀ est pseudosolution normale si de plus il est colinéaire à a ; cqfd.

Exemples : i) Pseudoinverse de la matrice A = (1) ∈ MR(n, p).

Ici, a = n

1 ^t(1, 1, …, 1) , b = p

1 ^t(1, 1, …, 1) , A⁺ = (

np1 ) =

np1 ^tA ∈ MR(p, n).

Plus généralement, le lecteur montrera sans peine que la matrice de rang 1 : A =













p p

α α

α α

...

...

...

...

...

1

1 ∈ M_R(n, p) a pour pseudo-inverse A⁺ =

∑

. 1

n

α











p

p

α

α α α

...

...

...

...

... 1 1

. Pseudo-résolvons le système linéaire :  x + 2.y + 3.z = 1,5

 x + 2.y + 3.z = 1,6

 x + 2.y + 3.z = 1,8  x + 2.y + 3.z = 2

La matrice du système a pour pseudo-inverse A⁺ = 14 Exercice 2 : Soit S(b) l’enemble des pseudosolutions de f(x) = b.

Démontrer que x ∈ S(b) ⇔ ( f* o f )(x) = f*(b) par deux méthodes, l’une algébrique, l’autre

4) Soient f et h des applications linéaires données. Quelles sont les pseudosolutions normales des équations d’inconnue g : f o g = h et g o f = h ?

Exercice 4 : Etendre la théorie précédente au cas où E et F sont des espaces normés de dimension finie, en particulier dans le cas où les normes sont strictes.

Remarque : L’application f → f ⁺ n’est pas continue. En effet, supposons pour simplifier E = F.

On a