2 Position du probl` eme

Devoir Maison 9 - R´egression lin´eaire - Correction

1 Pr´ eliminaires

Exercice 1 : Dans un rep`ere orthonorm´e (O;I;J) du plan, la droite Dest la repr´esentation graphique de la fonction affine f :x7→0,4x−2,9

a) Montrer que le pointA(9; 0,7) appartient `aD.

b) Le point B(2 015; 800) appartient-il `a D?

c) Peut-on trouver une valeur du r´eeltpour laquelle le point C(4;t) appartient `a la droiteD? Si oui, peut-on en trouver un autre ?

d) Peut-on trouver une valeur du r´eel u pour laquelle le point D(u;4) appartient `a la droiteD? Si oui, peut-on en trouver un autre ?

Proof. a) f(9)=0,7 doncA∈ D.

b)f(20156= 800 donc B n’appartient pas `aD.

c)

C(4;t)∈ D ⇐⇒ f(4) =t (1)

⇐⇒ 0,4×4−2,9 =t (2)

⇐⇒ 1,6−2,9 =t (3)

⇐⇒ t=−1,3 (4)

Donc t=-1,3 est la seule possibilit´e pour laquelle C(4;t) soit surD.

d)

D(u; 4)∈ D ⇐⇒ f(u) = 4 (5)

⇐⇒ 0,4u−2,9 = 4 (6)

⇐⇒ 0,4u= 6,9 (7)

⇐⇒ u= 6,9 0,4 = 69

4 (8)

Doncu=⁶⁹₄ est la seule possibilit´e pour que D(u;4) soit surD.

Exercice 2 : SoitDla droite d’´equationy=ax+b. A quelle condition le pointM(xM;yM) appartient-il `a D? Proof.

M(xM;yM)∈ D ⇐⇒ yM =f(xM) ⇐⇒ yM =axM+b (9)

Exercice 3 : SoitM(xM;yM) etN(xN;yN), avec xM 6=xN. On note y=ax+b l’´equation de la droite (MN). L’objectif de cette question est de trouver a et b, connaissant les coordonn´ees des deux points M et N.

a) Montrer queaetb sont solutions du syst`eme d’´equation suivant :

y_M =ax_M +b (10)

yN =axN +b (11)

b) R´esoudre le syst`eme. Montrer que l’on aa= _x^yM−yN

M−x_N et b= ^yNx_x^M−yMxN

M−x_N . Laquelle de ces deux valeurs repr´esente le coefficient directeur de (MN) ? ´Etait-ce pr´evisible sans calculs ? Dans quel cas b= 0 ?

c) Application : soient M(1,2) et N(3;4). Calculer l’´equation de la droite (MN).

c) (*) Pourquoi a-t-on suppos´exM 6=xN ? Que se passe-t-il sixM =xN, et quelle est l’´equation correspondante ? Proof. a) L’´equation de la droite (MN) esty=ax+b. On sait queM(xM;yM) est sur la droite (MN), donc ses coordonn´ees v´erifient

yM =axM +b (12)

De mˆeme,N(xN;yN) est sur (MN), donc ses coordonn´ees v´erifient :

y_N =ax_N +b (13)

Donc les deux ´equations 12 et 13 donnent le syst`eme que l’on voulait obtenir.

b) On donne la solution, donc une mani`ere de proc´eder est de v´erifier que les valeurs a et b donn´ees par l’´enonc´e conviennent.

Une autre mani`ere est de r´esoudre le syst`eme.

1

En retranchant 12 `a 13, on obtient :

yM−yN =axM +b−(axN+b) (14)

⇐⇒yM−yN =a(xM −xN) (15)

⇐⇒a= yM −yN

xM −xN

(16) On remarque queaa la forme du taux de variation entre les points M et N.

Pour obtenirb, on remplace dans une des deux ´equations du d´ebut (par exemple 10) la nouvelle valeur de a que l’on vient de trouver.

Ainsi :

yM = yM −yN

xM −xN

xM+b (17)

⇐⇒b=yM− yM−yN

x_M−x_NxM (18)

⇐⇒b=yM(xM −xN)−(yM−yN)xM

xM −xN

(19)

⇐⇒b=yMxM −yMxN −yMxM+yNxM

x_M −x_N (20)

⇐⇒b=y_Nx_M −y_Mx_N xM −xN

(21) On ab= 0 si la droite est lin´eaire, c’est `a dire passe par O(0;0).

c) Dans cet application num´erique, on trouvea= ²⁻⁴₁₋₃ = ⁻²₋₂ = 1 etb= ^4×1−2×3₁₋₃ = ⁴⁻⁶₋₂ = 1, donc la droite (MN) a pour

´

equation y=x+1.

d) On a suppos´e quex_M 6=x_N, car sinon les points M et N auraient mˆeme abscisse. Dans ce cas, la droite (MN) serait verticale, et n’est pas repr´esentable par une fonction (car pour un mˆemex, il existerait plusieurs images (une infinit´e mˆeme!), ce qui n’est pas possible avec notre d´efinition d’une fonction).

2 Position du probl` eme

On dispose de 3 pointsM₁(x₁;y₁),M₂(x₂;y₂) et M₃(x₃;y₃). On veut tracer et trouver l’´equation d’une droiteDqui passe par ces trois points.

Question 2.1. A quelle condition (g´eom´etrique) sur M1, M2 et M3 la droite D va-t-elle passer exactement par ces trois points ? Traduire cette condition avec des vecteurs.

Proof. Dpasse exactement par les 3 points si les points sont align´es, ou encore si les vecteurs−−−−→

M1M2et−−−−→

M2M3sont colin´eaires.

En g´en´eral, Dne passera pas par les trois points. On va donc faire en sorte pour qu’elle passe `a peu pr`es par les trois points. On appelley=ax+b l’´equation de la droiteD.

Question 2.2. A quelle condition a-t-on y1=ax1+b ? Proof. y1=ax1+b ⇐⇒ M1∈ D.

En g´en´eral, y₁6=ax₁+b; on introduite₁tel que y₁=ax₁+b+e₁;e₁est l’erreur que l’on fait lorsque l’on dit que les 3 points forment une droite (sie₁= 0, alorsM₁ est bien sur la droiteD; sinon on fait une erreur en mod´elisant les trois points M₁, M₂ etM₃par une droite).

De mˆeme, on introduite₂ ete₃ tel quey₂=ax₂+b+e₂ ety₂=ax₂+b+e₂.

3 R´ esolution du probl` eme

D´efinition 1. La droiteDqui passe ”le mieux” est la droite des moindres carr´es, c’est `a dire celle qui minimise l’expression :

S=e²₁+e²₂+e²₃ (22)

Onadmetque S est minimal si et seulement si les deux ´equations suivantes sont v´erifi´ees :

x1e1+x2e2+x3e3= 0 (23)

e₁+e₂+e₃= 0 (24)

Dans la suite, on cherche les valeurs deaet debpour lesquelles S est minimales (c’est `a dire pour lesquelles les deux ´equations pr´ec´edentes sont v´erifi´ees).

2

Question 3.1. (*) Montrer que l’on ab= ¹₃(y1+y2+y3)−a¹₃(x1+x2+x3).

On note pour all´eger les expressionsx¯= ¹₃(x1+x2+x3)ety¯= ¹₃(y1+y2+y3). Que repr´esentent ces deux expressions ? Proof. On part de l’´equation 24, que l’on r´e´ecrit en rempla¸cant lesei par leur valeur (ei=yi−axi−b). Cela donne :

(24) e₁+e₂+e₃= 0 ⇐⇒y₁−ax₁−b+y₂−ax₂−b+y₃−ax₃−b= 0 (25)

⇐⇒y1+y2+y3−a(x1+x2+x3)−3b= 0 (26)

⇐⇒b= 1

3(y1+y2+y3)−a1

3(x1+x2+x3) (27)

⇐⇒b= ¯y−a¯x (28)

Cette formule pourbest finalement assez simple (et on peut la g´en´eraliser facilement pour n points). On peut l’interpr´eter en disant que la droite des moindres carr´e passe par le point moyen de coordonn´ee (¯x; ¯y).

Question 3.2. Montrer que l’´equationy=ax+bdevient y−y¯=a(x−x).¯

Proof. Commeb= ¯y−a¯x, l’´equationy=ax+bdevienty=ax+ ¯y−a¯x, c’est `a direy−y¯=a(x−¯x).

Question 3.3. (**) Montrer quea= ^(x1−¯x)(y_(x^{1−¯y)+(x2−¯x)(y2−¯y)+(x3−¯x)(y3−¯y)}

1−¯x)²+(x3−¯x)²+(x3−¯x)²

Proof. Assez calculatoire, en partie du au fait que vous n’avez pas les bonnes notations `a votre disposition pour simplifier les expressions.

On r´e´ecrit les deux ´equations 23 et 24 en rempla¸cant b par sa valeur. Puis on joue avec les ´equations (on multiplie 24 par ¯xpuis on retranche 23) pour obtenir la valeur de a.

x1e1 + x2e2 + x3e3 = 0

e1 + e2 + e3 = 0 (29)

⇐⇒

x1(y1−ax1−y¯+a¯x) + x2(y2−ax2−y¯+a¯x) + x3(y3−ax3−y¯+a¯x) = 0

y1−ax1−b + y2−ax2−b + y3−ax3−b = 0 (30)

⇐⇒

(

x1(y1−y) +¯ x2(y2−y) +¯ x3(y3−y)¯ −a

x1(x1−x) +¯ x2(x2−x) +¯ x3(x3−¯x)

= 0

y₁+y₂+y₃−a(x₁+x₂+x₃)−3(¯y−a¯x) = 0 (31)

⇐⇒







x1(y1−y) +¯ x2(y2−y) +¯ x3(y3−y)¯ −a

x1(x1−x) +¯ x2(x2−x) +¯ x3(x3−x)¯

= 0

(y1−y)¯ −a(x1−x)¯ +

(y2−y)¯ −a(x2−x)¯ +

(y3−y)¯ −a(x3−x)¯

= 0

(32)

⇐⇒







x1(y1−y) +¯ x2(y2−y) +¯ x3(y3−y)¯ −a

x1(x1−x) +¯ x2(x2−x) +¯ x3(x3−x)¯

= 0

(y1−y) + (y¯ 2−y) + (y¯ 3−y)¯

−a

(x1−x) + (x¯ 2−x) + (x¯ 3−x)¯

= 0

(33)

⇐⇒







x₁(y₁−y) +¯ x₂(y₂−y) +¯ x₃(y₃−y)¯ −a

x₁(x₁−x) +¯ x₂(x₂−x) +¯ x₃(x₃−x)¯

= 0 (y₁−y)¯¯ x+ (y₂−y)¯¯x+ (y₃−y)¯¯ x−a

(x₁−x) + (x¯ ₂−x) + (x¯ ₃−x)¯

¯

x= 0 (34)

(35) On a presque fini : on soustrait membre `a membre les deux derni`eres ´equations. Cela donne :

(y₁−y)(x¯ ₁−x) + (y¯ ₂−y)(x¯ ₂−x) + (y¯ ₃−y)(x¯ ₃−x)¯ −a

(x₁−¯x)²+ (x₂−x)¯ ²+ (x₃−x)¯ ²

x−¯ = 0 (36)

⇐⇒a= (x₁−x)(y¯ ₁−y) + (x¯ ₂−x)(y¯ ₂−y) + (x¯ ₃−x)(y¯ ₃−y)¯

(x1−x)¯ ²+ (x3−x)¯ ²+ (x3−x)¯ ² (37)

On trouve bien le r´esultat de l’´enonc´e (ouf !).

Exemple SoientM1(0; 0)M2(1; 2) etM3(2; 3,9). Calculer l’´equation de la droiteDqui passe le ”mieux” par les trois points.

V´erifier `a la calculatrice si vous trouvez la mˆeme chose (`a priori oui). V´erifiez parmi les trois pointsM1,M2etM3lesquelles appartiennent `a la droiteD. Cela pose-t-il probl`eme si aucun des points n’appartient `a la droite ?

Proof. Il ´etait possible de traiter cet exemple sans avoir fait les questions pr´ec´edentes.

3

4 Analyse du r´ esultat

L’objectif de cette partie est de trouver un crit`ere simple pour pouvoir dire si la droiteDpasse presque par les pointsM1, M₂et M₃ ou non.

Question 4.1. En partant de(y₁−y) =¯ a(x₁−x) +¯ e₁, montrer en mettant au carr´e les termes de droite et de gauche, que l’on a :

(y1−y)¯ ²=a²(x1−x)¯ ²+e²₁ (38)

On justifiera proprement que le double produit s’annule bien.

Proof. On fait ce que dit l’´enonc´e, et on met au carr´e l’expression.

y₁−y¯2

=

a(x₁−x) +¯ e₁2

(39)

⇐⇒

y1−y¯2

=a²(x1−x)¯ ²+e²₁+ 2a(x1−x)e¯ 1 (40)

⇐⇒

y1−y¯2

=a²(x1−x)¯ ²+e²₁+ 2a(x1−x)(y¯ 1−ax1−b) (41)

⇐⇒

y1−y¯2

=a²(x1−x)¯ ²+e²₁+ 2a(x1−x)(y¯ 1−ax1−y¯−a¯x) (42) (43) On veut faire annuler le double produit (le dernier terme de l’´equation 42 ). On remarque que celui-ci est un produit de terme; il sera nul si un de ces terme est nul.

Dans 2a(x1−x)(y¯ 1−ax1−y¯−a¯x), a n’est `a priori pas nul (sauf gros cas particulier), (x1−x) non plus. Il reste¯ (y1−ax1−y¯−a¯x). Ce terme peut encore s’´ecrire comme (y1−y¯−a(x1−x)). On reconnaˆıt l’´¯ equation de la question 3.2 ! Remarque Il y avait une erreur dans l’´enonc´e. Le double produit en g´en´eral ne s’annule pas. Il faut en fait sommer sur les trois points pour avoir un terme qui s’annule. En effet, on obtiendrait le terme :

2a

(x1−x)(y¯ 1−ax1−y¯−a¯x) + (x2−x)(y¯ 2−ax2−y¯−a¯x) + (x3−¯x)(y3−ax3−y¯−a¯x)

(44) On reconnaˆıt le terme de l’´equation 36.

Donc dans ce cas, l’´equation que l’on cherchait est : (y₁−y)¯ ²+ (y₂−y)¯²+ (y₃−y)¯ ²=a²

(x₁−x)¯ ²+ (x₂−x)¯ ²+ (x₃−x)¯ ²

+e²₁+e²₂+e²₃= 0 (45) Question 4.2. Ecrire une ´´ equation similaire pour les pointsM2 etM3.

Proof. Voir la remarque pr´ec´edente

D´efinition 2. On d´efinit les trois quantit´es suivantes :

Total sum of squares SST = (y1−y)¯ ²+ (y2−y)¯ ²+ (y3−y)¯² (46) Regression sum of squares SSR=a²(x₁−x)¯ ²+a²(x₃−x)¯ ²+a²(x₃−x)¯ ² (47)

Error sum of squares SSE=e²₁+e²₂+e²₃ (48)

Question 4.3. Montrer que SST = SSR + SSE.

Proof. C’est l’´equation 45 ´ecrite de mani`ere condens´ee.

D´efinition 3. On appelle le coefficient de r´egression lin´eaire (ou coefficient de corr´elation), la quantit´e : r²= SSR

SST (49)

Question 4.4. (*) Quelles sont les valeurs pouvant ˆetre prises par r (ou r²) ? Montrer que le cas r² = 1 correspond `a SSE=0. Dans ce cas, que peut-on dire g´eom´etriquement sur les trois points ? De mani`ere g´en´erale, `a quelle condition la droite passe-t-elle presque par les trois points ?

Proof. r² est compris entre 0 et 1, doncrest compris entre -1 et 1.

Le casr²= 1 correspond `a une corr´elation parfaite, c’est `a dire aux trois pointsM1, M2 etM3 align´es sur la droite des moindres carr´e (qui passe donc par ces trois points). Plusr² s’´eloigne de 1, plus la droite est une mauvaise approximation.

En pratique, lorsque l’on fait une r´egression lin´eaire, on doit avoirr² de l’ordre de 0,9999 (au moins trois ou quatre 9);

en dessous c’est pas terrible, et soit la mesure exp´erimentale des points a mal ´et´e faite, soit les points ne correspondent pas

`

a une droite, et il faut chercher autre chose.

5 G´ en´ eralisation

Question 5.1. (**) G´en´eraliser les r´esultats pour n points M1(x1;y1);. . .;Mn(xn;yn).

4