Exercice 2 : Moindres carrés généralisés

ESILV–FST 305 Problèmes inverses

TD CS 305 – Problèmes inverses

M. Kern

TD 4 – 10 octobre 2002

Thème : Moindres carrés

Exercice 1 : Projections orthogonales

Dans tout l’exercice, on se place dans R^m.

Un projecteur est une matrice vérifiant la propriété P²=P.

1 Montrer que tout élément de l’espace se décompose de façon unique en un somme x = x1+x2, avec x1∈Im P et x2∈Ker P.

Montrer que I−P est également un projecteur, et que Im(I−P) =Ker P, Ker(I−P) =Im P.

2 Dans le cas où Ker P et Im P sont orthogonaux, on dit que le projecteur est orthogonal.

Montrer que cette définition est équivalente à P^t=P (sachant que P est un projecteur).

Soit F un sous-espace de dimension n, et soit (q₁, . . . ,q_n)une base orthonormée de F. On note Q la matrice dont les colonnes sont les vecteurs (q₁, . . . ,q_n). Montrer que le projecteur orthogonal sur F a pour matrice QQ^t.

Application : Soit A=



 1 0 0 1 1 0



. Déterminer le projecteur orthogonal sur Im A.

3 Dans le cas d’un problème de moindres carrés min_x∈RⁿkAx−bk²2, montrer la solution x vérifie Ax=Pb, où P est la projection orthogonale sur Im A.

Exercice 2 : Moindres carrés généralisés

Soit A∈R^mm×n, b∈R^m, et soit W ∈R^m×mune matrice symétrique et définie positive. on considère le problème généralisé :

(1) min

x∈Rⁿ(Ax−b)^tW⁻¹(Ax−b) 1

ESILV–FST 305 Problèmes inverses 1 Dans le cas particulier où W =diag(w₁, . . . ,w_m), avec w_i>0, i=1, . . . ,m, montrer que si l’on pose D=diag(√

w1, . . . ,√

wm), le problème ci-dessus est équivalent à

xmin∈Rⁿ

D⁻¹(Ax−b)

2 2.

Expliquer pourquoi cela correspond à donner une pondération différentes aux différentes observations du modèle.

2 Former les équations normales correspondant à ce problème généralisé.

Montrer que si l’on note x_wla solution du problème correspondant à une matrice W , et x la solution avec W =I, on a

x_w−x= (A^tW⁻¹A)⁻¹A^tW⁻¹(b−Ax).

En déduire que si b∈Im A, les deux solutions sont identiques, mais que dans le cas contraire, les deux solutions sont différentes.

Exercice 3 : Régression linéaire

1 On veut faire passer une droite y(x) =α+βx à travers un nuages de points expérimentaux (x_i,y_i),i=1,·· ·,m. On notera

sx=

∑

xi, sy=

∑

yi, et sxy=

∑

xiyi

ainsi que x=sx/m et y=sy/m les moyennes.

Former les équations normales correspondant à ce système d’équations.

2 Application numérique : Les valeurs suivantes sont issues des expériences de Darcy, qui l’ont conduites à constater que dans un milieu poreux la variation de pression est proportionnelle au débit.

Débit moyen

18.8 18.3 18. 17.4 18.1 14.9 12.1 9.8 7.9 8.65 4.5 4.15 Var. de

pression

13.1 12.9 12.6 12.4 12.4 9.69 8.44 6.71 5.78 5.58 2.98 2.98

TAB. 1 – Données numériques des expériences de Darcy (1856)

Déterminer les coefficientsαetβ, tracer la droite de régression obtenue, en y faisant figurer les points expérimentaux.

Dans ce cas particulier, la solution des équations normales est-elle, d’après vous, numérique- ment satisfaisante (justifiez votre réponse) ?

2