PSI* — 2019/2020 — Corrigé partiel du T.D. 11b Page 1 13.c) Méthode des moindres carrés
Il s’agit de minimiser
n k=1
(axk+b−yk)2, somme qui s’écrit AX−B 2, où · est la norme euclidienne canonique sur Rn et :
A=
x1 1
... ... xn 1
, X = a
b , B=
y1
... yn
.
A et B étant fixées, on cherche X pseudo-solution du système AX = B et les résultats précédents s’appliquent (le cas où le système admet une solution a
b est celui où tous les points du nuage sont alignés sur la droite d’équationy=ax+b, cas sans intérêt dans ce contexte. . . ).
D’après le b)nous devons résoudre le système tAAX =tAB. Je note : x= 1
n
n k=1
xk , y= 1 n
n k=1
yk , xy = 1 n
n k=1
xkyk , x2 = 1 n
n k=1
x2k , y2 = 1 n
n k=1
yk2, de sorte que
tAA=
n k=1
x2k
n k=1
xk n
k=1
xk n
=n x2 x
x 1 et tAB=n xy y . Remarquons tout d’abord que
det tAA =n
n k=1
x2k−
n k=1
xk 2
.
L’inégalité de Cauchy-Schwarz dans Rn, appliquée aux vecteurs (1, . . . ,1) et(x1, . . . , xn), montre que det tAA ≥0, avec égalité si et seulement si lesdits vecteurs sont colinéaires, c’est-à-dire si et seulement si lesxk sont tous égaux, c’est-à-dire si et seulement siAest de rang 1. Nous retrouvons ainsi le dernier résultat dua), puisqu’ici ΦA est injective si et seulement si elle est de rang 2.
Le systèmetAAX =tAB s’écrit explicitement :
x2a + xb = xy xa + b = y .
• Lorsque tous les xk sont égaux, leur valeur commune est x et par conséquent la première équation est proportionnelle à la seconde : les droites solutions sont les droites non parallèles à Oy passant par le point moyen du nuage (x, y).
• Sinon le système admet une unique solution donnée par a= xy−x.y
x2−x2 et b=y−ax (tel que la droite passe par le point moyen).
Calculons pour finir, avec ces valeurs deaet de b, le minimum
AX−B 2 = (B−AX|B) (car AX−Best orthogonal à Im ΦA, donc àAX)
= n y2−axy−by
= n y2−y2−a(xy−x.y) (en remplaçant b)
= nV(y) 1− Cov (x, y)2 V (x)V (y) cela compte tenu de la valeur de a, en notant :
Cov (x, y) =xy−x.y , V (x) = Cov (x, x) et V (y) = Cov (y, y). Je reconnais le coefficient de corrélation ρ!
AX−B 2 =nV (y) 1−ρ2 .
