Le modŁle de regression simple

(1)

Le modèle de regression simple

Ahmed Tritah, Université du Maine

Septembre 2017

(2)

Le modèle de regression simple Dé…nition

Le modèle de régression simple

I Relation entre une variable indépendante

(exogène/explicative) x et une variable dépendante (andogène/expliquée)y issus d’une même population.

I On veut expliquer la variation dey par la variation dex I Plusieurs questions :

I le traitement des autres facteurs qui a¤ectenty

I le choix de la forme fonctionelle

I la relation entre y et x est-elle évaluée toute chose égale par ailleurs?

I Modèle de régression linéaire simple :

y =β₀+β₁x+u (RLS)

I uappelé terme d’erreur, représente les variables non observées.

(3)

Le modèle de régression simple

I L’équation (RLS) postule une relation linéaire entre x et y

I Sous l’hypothèse que tous les autres facteurs sont maintenus constant (∆u =0), alors :

∆y =β₁∆x (1)

I β₁ est la pente de la relation entrey etx,β₀ dénote la valeur de y lorsquex=0.

I Exemple avec une équation de salaire :

salaire = β₀+β₁educ+u (2)

I β₁mesure le supplément de salaire associé a une année d’étude supplémentaire. Les autres facteurs (expérience, aptitudes, ancienneté, origine sociale, etc.) étant supposés constants.

(4)

I L’équation (RLS) représente-t-elle une relation causale?

I Il faut pour cela faire des hypothèses sur la relation entre la variable aléatoirex et la variable aléatoirey.

I Dans tous les cas on peut normaliserβ₀ de sorte que :

E(u) =0 (3)

I Hypothèse centrale :

E(uj^x) =0 Moyenne conditionelle des erreurs nulle (MCNE) L’épérance des erreurs sachantx est nulle.

I Ex. : E(aptitudej^educ =8) =E(aptitudej^educ =16) =0

=) Faux si les individus aux aptitudes plus élevés étudient plus longtemps.

(5)

I L’hypothèse (MCNE) suggère une autre interprétation de β₁,

E(yj^x) =β₀+β₁x+E(uj^x) =β₀+β₁x (4)

I E(yj^x)est laFonction d’Espérance Conditionnelleapellée encoreFonction de Régression sur la Population (FRP).

I Cette fonction est linéaire en x.

I Elle implique que pour toute valeur donnée de x, la distribution dey est centrée autour deE(yj^x).

(6)

(7)

Dérivation de l’estimateur des MCO

I On considére un échantillon aléatoire de la population de taille n : f(xi,yi):i =1, ...,ng

I Ces données sont générées par la relation RLS, on peut donc écrire pout tout i: yi = β₀+β₁xi+ui

I ui dénote le terme d’erreur pour l’observation i.

I Pour obtenir une estimation de β₀ et β₁ sur cet échantillon on utilise les restrictions imposées par (3) et (MCNE)

E(u) =0 (5)

et

Cov(x,u) =E(xu) =0 (6)

(8)

I Les conditions (5) et (6) impliquent

E(y β₀ β₁x) =0 et, (7) E[x(y β₀ β₁x)] =0 (8) Soit l’équivalent sur l’échantillon :

n ¹

∑

n i=1

(y_i βˆ₀+β^ˆ₁x_i) =0 et, (FOC1)

n ¹

∑

n i=1

x_i(y_i βˆ₀+β^ˆ₁x_i) =0 (FOC2)

=) Il s’agit de l’approche par la méthode des moments

(9)

I Résolution : 2 équations (restrictions) à 2 inconnues (β₀ et β₁)

βˆ₀ =y¯ βˆ₁x¯ et, (9)

βˆ₁ =

∑n i=1

(x_i x¯)(y_i y¯)

∑n i=1

(x_i x¯)²

cov(x,y)

var(x) ⁽¹⁰⁾

(10)

I Les moindres carré ordinaires : soityˆ_i la valeur estimée, et uˆ_i le résidu d’estimation :

ˆ

ui =yi yˆi =yi βˆ₀ βˆ₁xi (11) Attention : uˆi est di¤érent du terme d’erreur dans (RLS)

I On montre que βˆ₀ et βˆ₁ minimisent la somme des carrés des résidus (Exo):

∑

n i=1

ˆ u²_i =

∑

n i=1

y_i βˆ₀ βˆ₁x_i ² (12)

I L’estimation de β₀ et β₁ donnela droite des MCO :

y = β^ˆ₀+β^ˆ₁x (FRE) Il s’agit de la fonction de régression sur l’échantillon (FRE) , version estimée de FRPE(Yj^x) = β₀+β₁x.

(11)

Le modèle de regression simple Quelques exemples

Salaire des dirigeants et rendement des actifs

I Soit y le salaire annuel d’un dirigeant d’une entreprise côtée en bourse et x le rendement de l’action (en %, dénotée roe) .

I On postule le modèle de regression simple suivant :

salaire= β₀+β₁roe+u (13) Notre prédiction en tant qu’économiste est que β₁ >0

I Données sur 209 dirigeants d’entreprise, la droite de regression estimée par les MCO est :

\

salaire=963,191+18,501roe (14)

I La variation prédite de salaire en fonction de la variation des rendements est : ∆salaire\ =18.501(_∆roe).

I si roe augmente de 1%, le salaire augmente de 18500e.

(12)

Salaire des dirigeants et rendement des actifs : droite estimée et droite théorique

01000200030004000

0 20 40 60

return on equity, 88-90 avg

1990 salary, thousands $ Fitted values

(13)

Salaire et niveau d’étude

I Soit y le salaire horaire d’un travailleur etx son nombre d’années d’étude.

I L’échantillon (n =526), donne la droite des MCO suivante :

\

salaire= 0,90+0,54educ. (15)

I Interprétation de la constante?

I Interprétation de la pente?

I Gains de salaire d’un passage de 8 à 12 année d’étude : (16)

I L’hypothèse de linéarité génère un gain élevé à étudier.

I Peut-être judicieux de considérer les non linéarités.

(14)

Salaire et niveau d’étude

0510152025

0 5 10 15 20

years of education

average hourly earnings Fitted values

(15)

Dépenses de campagne et résultats aux élections.

I Des dépenses de campagnes plus élevées que ses concurents augmentent-elles la probabilité de remporter les élections?

I Deux parties en lisse A et B

I Soit voteAla part des su¤rages obtenus par A et shareAla part de A dans les dépenses totales

I n =173, l’équation estimée par MCO est :

\

voteA=26,81+0,464shareA. (17)

I Interprétation de la constante?

I Interprétation de la pente?

I Cela représente–t-il une relation causale?

I Quels sont les su¤rages prédits pour le candidat A si shareA= 6?

(16)

Propriétées des MCO véri…ées quel que soit l’échantillon

Valeures prédites et résidus

I Par dé…nition toutes les valeures prédites sont sur la droite de regression

I Le résidu pour l’observationi est la di¤érence entre la valeur prédite et celle obervée : u_i =y_i yˆ_i

I Exemple : salaire des dirigeants et rendement des actifs Table: Dirigeants d’entreprise et rendement des actifs

obsno roe salaire salairehat uhat

1 14,1 1095 1224,058 -129,0581

2 10,9 1001 1164,854 -163,8542

3 23,5 1122 1397,969 -275,9692

4 5,9 578 1072,348 -494,3484

5 13,8 1368 1218,508 149,4923

6 16,4 1078 1266,611 -188,6108

7 16,3 1094 1264,761 -170,7606

8 10,5 1237 1157,454 79,54626

(17)

Propriétés algébriques des statistiques des MCO I

I La somme (et donc la moyenne) des résidus est nulle

∑

n i=1

ˆ u_i =0

() condition du premier ordre FOC1 des MCO

I La covariance empirique entre la variable explicative et le résidu des MCO est nulle

∑

n i=1

x_iuˆ_i =0 (18)

() condition du premier ordre FOC2 des MCO

(18)

Propriétés algébriques des statistiques des MCO II

I (x,¯ y¯)est toujours sur la droite de regression (cf Eq. (9))

I Les MCO décomposent yi en 2 parties : prédiction + résidu y_i =yˆ_i+uˆ_i (19)

I la moyenne des résidus est égale à zero,^y^{^} =y_¯

I Cov(y_¯_i,u¯_i) =0

I Variation empirique dey_i : SST = _∑ⁿ

i=1

(y_i y¯_i)²

I On montre que :

SCT = SCE +SCR (20)

, variation totale =var.expliquee´ + var.residuelle´ avec SCE ∑ⁿ

i=1

(yˆ_i y¯)² etSCR ∑ⁿ

i=1

ˆ

u_i² (preuve en exo)

(19)

Qualité de l’ajustement

I La droite de regression est-elle bien ajustée aux données?

I Réponse : coe¢ cient de détermination (ouR2)

R2 SSE/SST =1 SSR/SST (21)

I R2()fraction de la variation empirique dey expliquée parx

I R2()carré de la corrélation empirique entrey_i etyˆ_i (exo) I R2 n’indique rien de la relation de causalité entre x et y

(20)

Unité de mesure et forme fonctionelle

E¤ets d’un changement d’unité de mesure sur les statistiques des MCO

I Si la variable dépendante est multipliée par une constante, alors la pente et l’ordonnée à l’origine de la regression simple sont multipliés par cette constante (exo)

I Considérez l’exemple du salaires des dirigeants en fonction du rendement des actifs :

\

salaire = 963.191+18.501roe n = 209, R2=0.0132

I Soit la variableroedec =roe/100

I Quelle sera la valeur des paramètres de la régression desalaire surroedec?

I Quelle sera la valeur duR2?

(21)

Incorporer des non-linéarités

I Parfois la variable dépendante est sous forme logarithmique

I Eq (15) =) une année supplémentaire d’étude augmente les salaires de 54 centimes: quel que soit le niveau initial.

I Plus cohérent que le gain varie en fonction du salaire initial.

Pour cela on exprime le salaire en log:

log(salaire) = β₀+β₁educ+u, et si ∆u =0) ⁽²²⁾

%∆salaire (100.β₁)_∆educ

I Ici le gain en valeur absolu est plus élevé pour les individus avec des salaires élevés.

I (22) implique des rendements de l’éducation croissants (exo)

I Pour estimer (22), on transforme y de sorte quey˜ =log(y).

(22)

Incorporer des non-linéarités I: exemple

I En utilisant les données sur les salaires on obtient :

log\(salaire) = 0.584+0.083educ (23)

n = 526,R2=0.186 (24)

I Interprétez ces résultats...(exo)

I Cette équation ne capte pas necessairement toutes les non linéarités (Ex. e¤ets de pallier liés au diplôme).

(23)

Incorporer des non-linéarités II: exemple

I La théorie peut suggérer une relation non-linéaire entre x et y

I Exemple : taux de croissance linéaire ,tendance lin´eaire Croissance exponentielle (population, revenus …nanciers) : y =Aexp(rt)

logy =logA+rt ,^y =A +rt (25) )transormation en log de la variable dépendante :

r = ∂logy/∂t

I La transformation log-log spéci…e une relation à elasticité constante de type Cobb-Douglas

y = Ax^α ,^y =A +αx où (26)

y = logy,A =logAet x =logx Elasticité de y àx :η_y,x =∂logy/∂logy

I Formes polynomiales : y =a+bx+cx²

(24)

Propriétés statistiques de l’estimateur des MCO

Les MCO sont sans biais I

I Hypothèse RLS1 (linéarité dans les paramètres)

y =β₀+β₁x+u (27)

I Hypothèse RLS2 (échantillonnage aléatoire)

Echantillon aléatoire de taille n, f(xi,yi):i =1, ...,ng correspondant au modèle (27). On peut écrire l’équivalent de (27) pour un échantillon aléatoire :

y_i = β₀+β₁x_i +u_i (28) Attention : u_i terme d’erreur 6= du résidu uˆ_i

(28) peut être représentée graphiquement pour un échantillon donné.

I Hypothèse RLS3 (x varie sur l’échantillon)

La variable x,f^xⁱ^,ⁱ =1, ...,ngvarie sur l’échantillon.

(25)

Les MCO sont sans biais II

I Hypothèse RLS4 (éspérance conditionelle des erreurs nulle)

E(u/x) =0 (29)

Pour un échantillon aléatoire, cette hypothèse implique E(u_ij^xⁱ) =0,8ⁱ =1, ...,n.

Cette condition permet de dériver toutes les caractéristiques statistiques des MCO conditionnelle aux valeurs de x_i dans notre échantillon.

Cela revient à considérer xi comme …xe sur des échantillons répétés.

(26)

Les MCO sont sans biais III

I RLS1-RLS4 permettent de démontrer que l’estimateur des MCO est sans biais

I On réécrit l’estimateur des OLS comme (exo):

βˆ₁ =

∑n i=1

(x_i x¯)y_i

∑n i=1

(x_i x¯)²

(30)

βˆ₁ est ici une variable aléatoire : conditionnelle à un échantillon.

I Aprés développement on montre que (exo) :

βˆ₁ = β₁+

∑n i=1

(x_i x¯)u_i SSTx

=β₁+ (1/SSTx)

∑

n i=1

diui, (31)

(27)

Les MCO sont sans biais IV

I βˆ₁ = paramètre de la population + terme qui est une combinaison linéaire des ui.

I Etant donné un échantillon, le caractére aléatoire de u_i provient des erreurs dans l’échantillon.

I Si, conditionnelle aux x_i,l’éspérance des erreurs n’est égales à zéro : E(β^ˆ₁)6= β.

I La représentation (31) permet de démontrer la principale propriété des MCO :

Theorem (L’estimateur des MCO est sans biais.) Sous les hypothèses SLR1-SLR4 :

E(β^ˆ₁) =β₁ et E(β^ˆ₀) =β₀ (32) Démonstration. exo

(28)

Quelques remarques

I Le caractère non biaisé dépend de la distribution de βˆ₀ et βˆ₁ sur les échantillons

I Estimateurs non biaisés seulement si l’échantillon est

"représentatif" de la population de départ.

I L’estimateur sera biaisé dés lors qu’une des 4 hypothèses RLS1-RLS4 n’est véri…ée.

I Parfois sur-échantillon de certaines populations, problèmes de sélectivité

I Pour le moment on se concentre sur l’hypothèse RLS4.

I La corrélation entrex et u est fréquente dans le modèle RLS avec données non-expériementales.

I On obtient unecorrélation naïve si dans le modèle RLS la variable u inclu des facteurs qui a¤ectenty et qui sont corrélés avec x : la corrélation entrex et y est dûe aux autres facteurs qui a¤ectent y et qui sont corrélés avec x.

(29)

Exemple : performance des élèves et aide alimentaire

I E¤et de la gratuité du déjeuner sur les résultats en mathématiques des élèves

I On s’attend à un e¤et positif

I Soit math10,le % d’étudiants ayant obtenues de bons résultats au test etlnchprg le % d’éléves élibles aux aides (bourses) dans les écoles. Le modèle RLS postule :

math10 =β₀+β₁lnchprg+u (33) u contient les caractéristiques des étudiants et de l’école qui a¤ectent les performances d’une école.

I Echantillon de 408 lycées en 1992-1993, on obtient :

\

math10 = 32,4 0,319lnchprg (34)

n = 408, R2=0,171 (35)

I Interprétez ces résultats. (exo)

(30)

Variance de l’estimateur MCO

I Quelle est la précision de l’estimateur β₁?

I Pour la calculer on rajoute l’hypothèse : Hypothèse RLS5 (Homosédasticité)

Quel que soit x, le terme d’erreur à une variance constante:

Var(uj^x) =σ² (36)

I RLS1-RLS4 necessaires pour avoir un estimateur sans biais.

I RLS5 assure certaines propriétés d’e¢ cacité de l’estimateur.

I RLS4) ^Var(uj^x) =E(u²) =Var(u): σ² est alors la variance inconditionnelle de u.

I Il est utile de réécrire RLS4 et RLS5 comme :

E(yj^x) = β₀+β₁x et Var(yj^x) =σ² (37)

I Si Var(ujx) dépend de x )hétérosédacticité etVar(yj^x) dépend alors dex.

(31)

Exemple : hétérosédasticité dans une équation de salaire

I Pour obtenir un estimateur sans biais des rendements de l’éducation on doit supposer

E(ujêduc) =0)Ê(salairejêduc) =β₀+β₁educ

I Si on suppose que les erreurs sont homosédastique alors : Var(uj^educ) Var(salairej^educ) =σ²

I Le salaire augmente avec le niveau d’éducation mais avec une variabilité autour de sa moyenne constante quelque soit le niveau d’éducation.

I Que pensez vous de cette hypothèse?

(32)

I L’hypothèse d’hétérosédasticité permet de démontrer le théorème suivant :

Theorem (Variance empirique de l’estimateur MCO) Sous les hypothèses RLS1-RLS5 et étant donnée l’échantillon f^x¹^{, ...,}^xⁿg^,

Var(β^ˆ₁) = ^σ

2

∑n i=1

(xi x¯)²

= ^σ

2

SSTx

, (38)

et

Var(β^ˆ₀) = σ²

∑n i=1

x_i² n

∑n i=1

(x_i x¯)²

, (39)

Démonstration. exo (suggestion : utiliser l’expression (31))

(33)

Quelques remarques

I hétérosédasticité ) (38) et (39) invalides

I (38) et (39) importantes pour estimer des intervalles de con…ance et tester des hypothèses.

I β₁ estimé avec d’autant plus de précision que la variance des erreurs est faible et que la dispersion de la variables explicative est élevée.

I Sur un échantillon de plus grande taille la précision sera plus élevée

I Les intervalles de con…ances utilisent l’écartype de βˆ₁ et βˆ₀, sd(β^ˆ₁)etsd(β^ˆ₀), obtenu en prenant la racine carré de l’expression de la variance dans (38) et (39)

I Question : montrez que l’estimation de β₀ sera la plus précise si x¯ =0.quel est dans ce cas Var(β^ˆ₀)?

(34)

Estimation de la variance des erreurs

I (38) et (39) ne peuvent étre déterminés car σ² est inconnu.

I C’est là qu’intervient la di¤érence entre les erreurs (jamais observés) et les résidus (estimés).

I A partir de (19) et (28), la relation entre les deux s’écrit : ˆ

u_i =u_i (β^ˆ₀ β₀) (β^ˆ₁ β₁)x_i (40) En éspérance la di¤érence entre uˆ_i et u_i est égale à zéro, mais pour chaque observation uˆi 6=ui.

I Puisque σ² =E(u²)un estimateur sans biais de σ² serait n ¹

∑n i=1

u²_i.Cet estimateur ne peut pas être calculé car ui est inconnu.

I On doit donc se servir d’un estimateur de u_i qui est le résidu des MCO uˆi.

(35)

I Un estimateur sans biais doit satisfaire :

∑

n i=1

ˆ

u_i =0 et

∑

n i=1

x_iuˆ_i =0 (restrictions des MCO)

I Pour un échantillon de taille n,les résidus ont donc n 2 degrés de liberté contren pour les erreursu_i.

I L’estimateur sans biais de σ² est donc :

ˆ

σ² = ¹ n 2

∑

n i=1

ˆ

u²_i =SSR/(n 2) (41)

(36)

Theorem (L’estimateur sans biais deσ²) Sous les hypothèses RLS1-RLS5

E(σˆ²) =σ². (42) Démonstration. exo (suggestion : utiliser l’expression (40))

I Un estimateur sans biais de Var(β₀)et Var(β₁)est obtenu en remplacantσ² par σˆ² dans (38) et (39).

I L’estimateur de l’écartype de βˆ₁ et βˆ₀ fait appel à :

σˆ =^pσˆ² (ecartype de la regression)

I σˆ est un estimateur de l’écartype des non-observables qui a¤ectent y.Un estimateur de l’écartype de βˆ₁ est :

se(β^ˆ₁) =σ/ˆ p

SSTx (erreur-type de βˆ₁) Rq : σˆ et doncse(β^ˆ₁)sont des VA.se(β^ˆ₁)necessaire pour les tests et le calcul des intervalles de con…ance

(37)

Résumé

I Introduction et propriétés du modèle RLS

I A partir d’un échantillon aléatoire utilisation des MCO pour estimer des paramètres sur la population.

I Calculs des valeurs prédites, des résidus et e¤et d’une variation de la variable indépendante sur la variable dépendante.

I Importance des unités de mesure et de la forme fonctionnelle (modèles à élasticité ou semi-élasticité constante).

I Sous les hypothèses RLS1-RLS4 estimateur des MCO sans biais : l’hypothèse clé est que le terme d’erreur u a une moyenne nulle étant donné x.

I Hypothèse souvent trop réstrictive : les facteurs contenus dans u sont corrélés avecx.

I Variance des erreurs étant donné x est constante : utile pour calculer la variance des estimateurs.

I On a dérivé un estimateur sans biais de σ² =Var(u)

(38)

La suite

I Comment tester des hypothèses concernant les paramètres?

I Comment procéder à des inférences sur notre population?

I Les MCO sont-ils e¢ caces par rapport à d’autres procédures d’estimation?

I Ces questions (tests, intervalles de con…ance et e¢ cacité) se posent aussi dans le cas de la regression multiple.

I La regression simple permet de présenter et de s’initier de façon simple aux problèmes essentiels en économétrie.

I Répondez à l’ensemble des "exo" contenus dans ce chapitre.

I Abordons maintenant le cas de la regression multiple.