C.Tuleau-Malot Probabilit´esetobservations´economiques

R´egression lin´eaire simple test d’ad´equation

Probabilit´es et observations ´economiques

C. Tuleau-Malot

Universit´e de Nice - Sophia Antipolis

1/48

Plan

1 R´egression lin´eaire simple

2 test d’ad´equation

2/48

R´egression lin´eaire simple test d’ad´equation

Contexte

Exemple :

num´ero de l’observation X Y

population ´etudiante ventes trimestrielles

1 2 58

2 6 105

3 8 88

4 8 118

5 12 117

6 16 137

7 20 157

8 20 169

9 22 149

10 26 202

3/48

Contexte

Exemple :

Ces donn´ees sont des donn´ees relev´ees sur le terrain par une chaˆıne de fast food qui souhaite estimer le chiffre d’affaire d’un nouveau restaurant implant´e aux alentours d’un campus universitaire.

L’id´ee est d’essayer de regarder s’il existe un lien entre les ventes trimestrielles et la population ´etudiante.

4/48

R´egression lin´eaire simple test d’ad´equation

Vocabulaire

Cadre :

On cherche `a expliquer un ph´enom`ene Y (variable `a expliquer) `a l’aide d’une variableX (variable explicative).

5/48

Vocabulaire

Cadre :

On cherche `a expliquer un ph´enom`ene Y (variable `a expliquer) `a l’aide d’une variableX (variable explicative).

On dispose d’observations (x1,y₁), . . . ,(xn,y_n) qui sont des r´ealisations de variables (X₁,Y₁), . . . ,(Xn,Yn) qui sont des respectivement des variables ind´ependantes et identiquement distribu´ees de mˆeme loi que X et Y.

6/48

R´egression lin´eaire simple test d’ad´equation

Vocabulaire

Cadre :

On cherche `a expliquer un ph´enom`ene Y (variable `a expliquer) `a l’aide d’une variableX (variable explicative).

On dispose d’observations (x₁,y₁), . . . ,(xn,y_n) qui sont des r´ealisations de variables (X₁,Y₁), . . . ,(X_n,Y_n) qui sont des respectivement des variables ind´ependantes et identiquement distribu´ees de mˆeme loi que X et Y.

on veut regarder s’il existe une fonction f telle que : Y ≈f(X)

7/48

Vocabulaire (2)

1 2 3 4 5

−14−12−10−8−6−4−20

x

y

−3 −2 −1 0 1 2 3

051015202530

x

y

1 2 3 4 5

12345

x

y

8/48

R´egression lin´eaire simple test d’ad´equation

R´egression lin´eaire simple

Cadre :

on se limite au cadre des fonctions f qui sont lin´eaires⇒ f(x) =a.x+b

1 2 3 4 5

−12−10−8−6−4−20

y

9/48

R´egression lin´eaire simple

Cadre :

on se limite au cadre des fonctions f qui sont lin´eaires⇒ f(x) =a.x+b

1 2 3 4 5

−12−10−8−6−4−20

y

10/48

R´egression lin´eaire simple test d’ad´equation

R´egression lin´eaire simple

Cadre :

on se limite au cadre des fonctions f qui sont lin´eaires⇒ f(x) =a.x+b

1 2 3 4 5

−12−10−8−6−4−20

y

11/48

R´egression lin´eaire simple

Cadre :

on se limite au cadre des fonctions f qui sont lin´eaires⇒ f(x) =a.x+b

comment trouver aet b ⇒ estimation

12/48

R´egression lin´eaire simple test d’ad´equation

R´egression lin´eaire simple (2)

Mod`ele :

Y_i =a+b.x_i+ε_i a etb : inconnus

ε₁, . . . , ε_n: variables al´eatoires d’esp´erance nulle (bruit)

⇒ E[Y_i] =a+b.x_i

13/48

R´egression lin´eaire simple (2)

Objectifs :

estimer aet b

donner un intervalle de confiance pourb tester b= 0

faire des pr´evisions

14/48

R´egressionlin´eairesimpletestd’ad´equation

M oin d re s ca rr´e s

Principe:

12345

−12 −10 −8 −6 −4 −2 0

x

y

12345

−12 −10 −8 −6 −4 −2 0

12345

−12 −10 −8 −6 −4 −2 0

12345

−12 −10 −8 −6 −4 −2 0

12345

−12 −10 −8 −6 −4 −2 0

12345

−12 −10 −8 −6 −4 −2 0

12345

−12 −10 −8 −6 −4 −2 0

12345

−12 −10 −8 −6 −4 −2 0

12345

−12 −10 −8 −6 −4 −2 0

12345

−12 −10 −8 −6 −4 −2 0

15/48

Moindres carr´es

Formule :

F(a,b) =

n

X

i=1

(Y_i−a−b.x_i)²

on veut minimiser F fonction de deux variables

16/48

R´egression lin´eaire simple test d’ad´equation

Moindres carr´es

Formule :

F(a,b) =

n

X

i=1

(Yi−a−b.xi)²

on veut minimiser F fonction de deux variables solution :

(Bˆ_n=

Pn

i=1P(xni−¯xn).(Yi−Y¯n)

i=1(xi−¯xn)²

Aˆ_n= ¯Y_n−bˆ_n.¯x_n

17/48

Moindres carr´es

Formule :

F(a,b) =

n

X

i=1

(Yi−a−b.xi)² on veut minimiser F fonction de deux variables solution :

(Bˆ_n=

Pn

i=1P(xni−¯xn).(Yi−Y¯n)

i=1(xi−¯xn)²

Aˆ_n= ¯Y_n−bˆ_n.¯x_n

Bˆ_n et ˆA_n : estimateurs deb et a(variables al´eatoires) (bˆn=

Pn

i=1P(xni−¯xn).(yi−¯yn)

i=1(xi−¯xn)²

ˆ

an = ¯yn−bˆn.¯xn

estimations de b et a

18/48

R´egression lin´eaire simple test d’ad´equation

Coefficient de d´etermination

somme des carr´es des r´esidus : SCRres=

n

X

i=1

(yi−yˆ_i)²

19/48

Coefficient de d´etermination

somme des carr´es des r´esidus : SCR_res=

n

X

i=1

(y_i−yˆ_i)² somme des carr´es totaux :

SCT =

n

X

i=1

(y_i−y¯_n)²

20/48

R´egression lin´eaire simple test d’ad´equation

Coefficient de d´etermination

somme des carr´es des r´esidus : SCR_res=

n

X

i=1

(y_i−yˆ_i)² somme des carr´es totaux :

SCT =

n

X

i=1

(yi−y¯_n)² somme des carr´es de la r´egression :

SCR_reg=

n

X

i=1

(ˆyi −y¯n)²

21/48

Coefficient de d´etermination

somme des carr´es des r´esidus : SCR_res=

n

X

i=1

(yi−yˆi)² somme des carr´es totaux :

SCT =

n

X

i=1

(y_i−y¯_n)² somme des carr´es de la r´egression :

SCRreg=

n

X

i=1

(ˆy_i −y¯_n)² SCT = SCRres+ SCRreg

22/48

R´egression lin´eaire simple test d’ad´equation

Coefficient de d´etermination (2)

Coefficient de d´etermination : R²= SCR_reg

SCT = 1−SCR_res SCT

23/48

Coefficient de d´etermination (2)

Coefficient de d´etermination : R²= SCR_reg

SCT = 1−SCR_res SCT

R² = (r_xy)² avec : r_xy =

Pn

i=1(xi−¯xn).(yi−¯yn)

√Pn

i=1(xi−¯xn)².Pn

i=1(yi−¯yn)².

24/48

R´egression lin´eaire simple test d’ad´equation

Coefficient de d´etermination (2)

Coefficient de d´etermination : R²= SCRreg

SCT = 1−SCRres

SCT

R² = (rxy)² avec : rxy =

Pn

i=1(xi−¯xn).(yi−¯yn)

√Pn

i=1(xi−¯xn)².Pn

i=1(yi−¯yn)².

le coefficient de d´etermination permet de dire `a quel point les points sont proches de la droite

le coefficient de d´etermination ne permet pas de conclure sur la significativit´e des r´esultats obtenus ⇒ intervalle de

confiance; tests

25/48

intervalle de confiance et test sur b

Pour faire un intervalle de confiance pour b ou un test surb, il faut des hypoth`eses suppl´ementaires sur la variable de loi!

ε_i : variable centr´ee

la variance des ε_i est la mˆeme pour toutes. On la noteσ² les ε_i sont des variables ind´ependantes

les ε_i ont une distribution normale

26/48

R´egression lin´eaire simple test d’ad´equation

intervalle de confiance et test sur b

Pour faire un intervalle de confiance pour b ou un test surb, il faut des hypoth`eses suppl´ementaires sur la variable de loi!

ε_i : variable centr´ee

la variance des ε_i est la mˆeme pour toutes. On la noteσ² les ε_i sont des variables ind´ependantes

les ε_i ont une distribution normale

⇒ les Yi sont des variablesN(a+b.xi, σ²)!

27/48

intervalle de confiance sur b

On admet le r´esultat suivant :

Bˆ_n∼ N(b, σ² Pn

i=1(xi −x¯_n)²

28/48

R´egression lin´eaire simple test d’ad´equation

intervalle de confiance sur b

On admet le r´esultat suivant :

Bˆ_n∼ N(b, σ² Pn

i=1(xi −x¯n)² il faut estimer σ²

ˆ σ_n² =

Pn

i=1(yi −yˆi)²

n−2 = SCR_res n−2

29/48

intervalle de confiance sur b

On admet le r´esultat suivant :

Bˆ_n∼ N(b, σ² Pn

i=1(x_i −x¯_n)²) il faut estimer σ²

ˆ σ_n² =

Pn

i=1(y_i −yˆ_i)²

n−2 = SCR_res n−2 on peut montrer que

(n−2)ˆσ²_n

σ² ∼χ²(n−2)

30/48

R´egression lin´eaire simple test d’ad´equation

intervalle de confiance sur b (2)

intervalle de confiance pour b : [ ˆBn−c; ˆBn+c]

⇒ identifierc

31/48

intervalle de confiance sur b (2)

intervalle de confiance pour b : [ ˆB_n−c; ˆB_n+c]

⇒ identifierc

on utilise le fait que : Bˆn−b

ˆ σn

√Pn

i=1(xi−¯xn)²

∼ T(n−2)

32/48

R´egression lin´eaire simple test d’ad´equation

intervalle de confiance sur b (2)

intervalle de confiance pour b : [ ˆB_n−c; ˆB_n+c]

⇒ identifierc

on utilise le fait que : Bˆ_n−b

ˆ σn

√Pn

i=1(xi−¯xn)²

∼ T(n−2)

on trouve c =t_1−α/2.√Pn ^ˆσn i=1(xi−¯xn)²

33/48

Test sur b (2)

Test :

H0 :b= 0 H^a :b6= 0

34/48

R´egression lin´eaire simple test d’ad´equation

Test sur b (2)

Test :

H0 :b= 0 Ha :b6= 0 M´ethode :

on utilise le fait que sousH0, √Pn^Bσˆ^ˆnⁿ i=1(xi−¯xn)2

∼ T(n−2)

35/48

Test sur b (2)

Test :

H0 :b= 0 Ha :b6= 0 M´ethode :

on utilise le fait que sousH0,Tn= √Pn^Bσ^ˆ_ˆnⁿ i=1(xi−¯xn)2

∼ T(n−2) r´egion de rejet : quand|T_n|trop grand ⇒

{T_n∈]− ∞,t_1−α/2]∪[t_1−α/2,+∞[}

36/48

R´egression lin´eaire simple test d’ad´equation

Test sur b (2)

Test :

H0 :b= 0 Ha :b6= 0 M´ethode :

on utilise le fait que sousH0,T_n= √Pn^Bσ^ˆ_ˆnⁿ i=1(xi−¯xn)2

∼ T(n−2) r´egion de rejet : quand|Tn|trop grand ⇒

{T_n∈]− ∞,−t_1−α/2]∪[t_1−α/2,+∞[}

p-valeur : P(|T(n−2)|>=t_n) avect_n la valeur observ´ee de T_n

37/48

V´erification des hypoth`eses

Caract`ere de normalit´e : on trace l’histogramme des r´esidus et on le compare `a la densit´e d’une loi normale

Histogram of E

Density

−0.4 −0.2 0.0 0.2 0.4

01234

−0.4 −0.2 0.0 0.2 0.4

01234

x

y

38/48

R´egression lin´eaire simple test d’ad´equation

V´erification des hypoth`eses

Caract`ere de normalit´e : on trace l’histogramme des r´esidus et on le compare `a la densit´e d’une loi normale

caract`ere centr´e

−12 −10 −8 −6 −4 −2

−0.10−0.050.000.050.10

predict(L)

res

39/48

V´erification des hypoth`eses

Caract`ere de normalit´e : on trace l’histogramme des r´esidus et on le compare `a la densit´e d’une loi normale

caract`ere centr´e

caract`ere homosc´edastique

40/48

R´egression lin´eaire simple test d’ad´equation

Test d’ad´equation

Objectif :

Tester une hypoth`ese sur la distribution compl`ete d’une population.

41/48

Test d’ad´equation

Objectif :

Tester une hypoth`ese sur la distribution compl`ete d’une population.

Cadre :

Variable discr`ete

42/48

R´egression lin´eaire simple test d’ad´equation

Test d’ad´equation (2)

Exemple :

La Roma a encaiss´e 38 buts cette saison. L’entraineur aimerait savoir si la r´epartition des buts au cours des matchs est compatible avec une probabilit´e uniforme au cours du temps d’encaisser un but.

H0 : 1/3 des buts la 1`ere 1/2h, 1/3 des buts la 2nd 1/2h et 1/3 des buts la derni`ere 1/2h

Ha : autre r´epartition

43/48

Test d’ad´equation (2)

Exemple :

La Roma a encaiss´e 38 buts cette saison. L’entraineur aimerait savoir si la r´epartition des buts au cours des matchs est compatible avec une probabilit´e uniforme au cours du temps d’encaisser un but.

H0 : 1/3 des buts la 1`ere 1/2h, 1/3 des buts la 2nd 1/2h et 1/3 des buts la derni`ere 1/2h

H^a : autre r´epartition Cadre g´en´eral :

On consid`ere une variable discr`ete X qui prend les valeurs a₁, . . . ,a_K.

H0 : les probabilit´es queX prennent les valeursa₁, . . . ,a_K sont p₁, . . . ,p_K

Ha : ces probabilit´es ne sont pas p₁, . . . ,p_K

44/48

R´egression lin´eaire simple test d’ad´equation

Test d’ad´equation (3)

Nos donn´ees :

valeurs a₁ a₂ . . . aK

effectifs n₁ n₂ . . . n_K

45/48

Test d’ad´equation (3)

Nos donn´ees :

valeurs a₁ a₂ . . . aK

effectifs n₁ n₂ . . . n_K

Si on posen le nombre d’observations, on devrait observer sous H0

valeurs a₁ a₂ . . . aK

effectifs n₁ n₂ . . . n_K th´eorie e₁ e₂ . . . e_K avec : e_i =n∗p_i

46/48

R´egression lin´eaire simple test d’ad´equation

Test d’ad´equation (3)

Nos donn´ees :

valeurs a₁ a₂ . . . a_K effectifs n₁ n₂ . . . n_K

Si on posen le nombre d’observations, on devrait observer sous H0

valeurs a₁ a₂ . . . a_K effectifs n₁ n₂ . . . n_K th´eorie e₁ e₂ . . . e_K avec : e_i =n∗p_i

⇒ on va privil´egier H0 si tous les n_i sont proches des e_i

47/48