70 exercices corrigés en économétrie PDF • Economie et Gestion

(1)

Économétrie

5

e

édition

Annexes : exercices et corrigés

William Greene

New York University

Édition française dirigée par Didier Schlacther,

IEP Paris, université Paris II

Traduction :

(2)

Le présent texte est la traduction de Solutions Manual to Econometric Analysis, 5th edition, de William Greene, publié par Prentice Hall, Upper Saddle River, New Jersey, États-Unis. Copyright © 2003 Pearson Education Inc.

Authorized translation from the English language edition, entitled Solutions Manual to Econometric Analysis, 5th edition published by Pearson Education Inc., publishing as Prentice Hall PTR, Copyright © 2003 by Pearson Education Inc., Upper Saddle

or transmitted in any form or by any means, electronic or mechanical, including photocopying, recording or by any information storage retrieval system, without permission from Pearson Education Inc., French language edition published by PEARSON EDUCATION France, Copyright © 2006.

Pearson Education France 47 bis, rue des Vinaigriers 75010 PARIS

Tél. : 01 72 74 90 00

Tous les noms de produits ou marques cités ici sont des marques déposées par leurs propriétaires respectifs.

Toute reproduction, même partielle, par quelque procédé que ce soit, est interdite sans autorisation préalable. Une copie par xérographie, photographie, film, support magnétique ou autre, constitue une contrefaçon passible des peines prévues par la loi, du 11 mars 1957 et du 3 juillet 1995, sur la protection des droits d’auteur.

(3)

Annexe A

Exercice 1

Pour les matrices A = 1 3 3 2 4 1 ⎡ ⎤ ⎢ ⎥ ⎣ ⎦ et B = 2 4 1 5 6 2 ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦

, calculer AB, A′B′, et BA.

AB = 23 25 14 30 ⎡ ⎤ ⎢ ⎥ ⎣ ⎦, BA = 10 22 10 11 23 8 10 26 20 ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ A′B′ = (BA)′ = 10 11 10 22 23 26 10 8 20 ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ .

Exercice 2

Prouver que tr(AB) = tr(BA) avec A et B deux matrices quelconques, non nécessairement carrées, pouvant être multipliées.

Le i-ième élément de la diagonale de AB est ∑ a b_{j ij ji . En sommant sur i, on obtient}

tr(AB) = ∑ ∑ a b_{i i ij ji . Le j-ième élément de la diagonale de BA est ∑ b a}_{j ji ij . En}

sommant sur i, on obtient tr(BA) = ∑ ∑ b a_i _{j ji ij .}

Exercice 3

Prouver que tr(A′A) = ∑ ∑ a_i _{j ij .}2

Le j-ième élément de la diagonale de A′A est le produit de la j-ième colonne de A, 2.

(4)

4 Économétrie

Exercice 4

Développer le produit de la matrice X = {[AB + (CD)′][(EF)–1_{+ GH]}′. On suppose que} toutes les matrices sont carrées et que E et F sont non singulières.

On développe d’abord (CD)′ = D′C′ et (EF)–1_{= F}–1

E–1. Le produit est alors :

{[AB + (CD)′][(EF)–1_{+ GH]}′ = (ABF}–1

E–1 + ABGH + D′C′F–1E–1 + D′C′GH)′

= (E–1)′(F–1_{)′B′A′ + H′G′B′A′ + (E}–1_)′(F–1_{)′CD + H′G′CD}

Exercice 5

Prouver que, pour des vecteurs colonnes K × 1, xi i = 1, ..., n, et un vecteur non nul, a,

(

)(

)

( )( )

1 ' ' n i= i− i− = +n − − ∑ 0 x a x a X M X' x a x a

On écrit xi – a comme [(x_i – x) + (x – a)]. La somme est alors :

1 =

∑n

i [(xi – x) + (x – a)] [(xi – x) + (x – a)]′ = ∑in=1 (xi – x)(xi – x)′ + ∑in=1

(x – a) (x – a)′ +∑ni=1 (xi – x)(x – a)′ + ∑in=1 (x – a) (xi – x)′

Puisque (x – a) est un vecteur de constantes, il peut être extrait des sommes. Ainsi, le

quatrième terme est (x – a) ∑ni=1 (xi – x)′ = 0. Le troisième terme est similaire. Le

premier terme est X′M0

X par définition alors que le deuxième est n(x – a) (x – a)′.

Exercice 6

On note A une matrice carrée dont les colonnes sont [a1, a2, ..., aM] et B tout

réarrangement des colonnes de la matrice identité M × M. Quelle opération est exécutée par la multiplication AB ? Que dire de BA ?

B est appelée une matrice de permutation. Chaque colonne de B, notée bi, est une

colonne d’une matrice identité. La j-ième colonne du produit des matrices AB est A bi

qui est la j-ième colonne de A. Par conséquent, la multiplication de A par B réarrange simplement (permute) les colonnes de A (d’où le nom). Chaque ligne du produit BA est l’une des lignes de A, de sorte que BA est un réarrangement des lignes de A. Bien sûr, A n’a pas besoin d’être carrée pour permuter ses lignes ou ses colonnes. Sinon, la matrice de permutation applicable est d’ordre différent pour les lignes et les colonnes.

(5)

Annexe A 5

Exercice 7

On considère le cas 3 × 3 de la matrice B de l’exercice 6. Par exemple, B =

0 0 1 0 1 0 1 0 0 ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ On calcule B2 et B3. On répète cela pour une matrice 4 × 4. Peut-on généraliser le résultat trouvé ? B2 = 0 0 1 1 0 0 0 1 0 ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ B3 = 1 0 0 0 1 0 0 0 1 ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦

Comme chaque puissance de B est un réarrangement de I, certaines puissances de B sont égales à I. Si n est cette puissance, on trouve donc Bn–1

= B–1. Ce résultat est valable de façon générale.

Exercice 8

Calculer |A|, tr(A) et A–1 pour A =

1 4 7 3 2 5 5 2 8 ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ |A| = 1(2)(8) + 4(5)(5) + 3(2)(7) – 5(2)(7) – 1(5)(2) – 3(4)(8) = –18 tr(A) = 1 + 2 + 8 = 11 A–1 = 2 5 4 7 4 7 det 2 8 2 8 2 5 3 5 1 7 1 7 1 det det 5 8 5 8 3 5 18 3 2 1 4 1 4 det det 5 2 5 2 3 2 det det det det − − ₋ ₋ − ⎡ ⎛ ⎞ ⎛ ⎞ ⎛ ⎞⎤ ⎢ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎥ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎢ ⎥ ⎢ _⎛ _⎞ _⎛ _⎞ _⎛ _⎞⎥ ⎢ _⎜ _⎟ _⎜ _⎟ _⎜ _⎟⎥ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎢ ⎥ ⎢ _⎛ _⎞ _⎛ _⎞ _⎛ _⎞⎥ ⎢ _⎜ _⎟ _⎜ _⎟ _⎜ _⎟⎥ ⎢ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠⎥ ⎣ ⎦ = 6 /18 18 /18 6 /18 1/18 27 /18 16 /18 4 /18 18 /18 10 /18 − − − − − ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦

(6)

6 Économétrie

Exercice 9

Déterminer la décomposition de Cholesky de la matrice A = 25 7 7 13 . ⎡ ⎤ ⎢ ⎥ ⎣ ⎦

La décomposition de Cholesky d’une matrice A est le produit de matrices LU = A avec

L une matrice triangulaire inférieure et U = L′. On écrit la décomposition comme

25 7 7 13 ⎡ ⎤ ⎢ ⎥ ⎣ ⎦ = 11 21 22 0 . λ λ λ ⎡ ⎤ ⎢ ⎥ ⎣ ⎦ 11 21 22 0 . λ λ λ ⎡ ⎤ ⎢ ⎥

⎣ ⎦ Par multiplication directe, 25 =

2 11

λ de sorte que λ11 = 5. Alors, λ11λ21= 7, de sorte que λ21 = 7 / 5 = 1,4. Finalement, λ212 +λ222 = 13,

donc λ22 = 3,322.

Exercice 10

Une matrice symétrique définie positive, A, peut aussi être écrite comme A = UL, avec U une matrice triangulaire supérieure et L = U′. Ce n’est néanmoins pas la décomposition de Cholesky. On obtient cette décomposition de la matrice dans l’exercice 9.

En utilisant la même logique que dans le problème précédent, 25 7 7 13 ⎡ ⎤ ⎢ ⎥ ⎣ ⎦ = 11 12 22 0 µ µ µ ⎡ ⎤ ⎢ ⎥ ⎣ ⎦ 11 12 22 0 . µ µ µ ⎡ ⎤ ⎢ ⎥

⎣ ⎦ En travaillant du bas vers la haut,

22 13

µ = = 3,606. Alors, 7 = µ12µ22 de sorte que µ12 = 7 / 13 = 1,941. Finalement, 25 = µ + µ₁₁2 ₁₂2 de sorte que 2

11

µ = 25 – 49 / 13 = 21,23, ou µ11 = 4,61.

Exercice 11

Quelle opération est réalisée en postmultipliant une matrice par une matrice diagonale ? Que dire de la prémultiplication ?

Les colonnes sont multipliées par l’élément de la diagonale correspondant. La prémultiplication multiplie les lignes par l’élément de la diagonale correspondant.

(7)

Annexe A 7

Exercice 12

Est-ce que les formes quadratiques qui suivent sont positives pour toutes les valeurs de

x ?

y = x12−28x x1 2+(11 )x22

y = 5x₁2+x₂2+7x₃2+4x x_{1 2}+6x x_{1 3}+8x x _{2 3}

La première expression peut être écrite

[

₁ ₂

]

1 14 1 14 11 ₂ − − ⎡ ⎤ ⎡ ⎤ _{⎢ ⎥} ⎢ ⎥ _{⎢ ⎥} ⎣ _{⎦ ⎣ ⎦} x x x x . Le déterminant de

la matrice est 121 – 196 = –75. Elle n’est alors pas définie positive. Ainsi, la première forme quadratique n’est pas nécessairement positive. La seconde forme repose sur la matrice 5 2 3 2 1 4 3 4 7 ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦

. Il y a plusieurs façons de vérifier ce qui est demandé. Il est possible d’examiner les signes des minorants principaux, qui doivent être positifs. Les deux premiers termes sont 5 et 5(1) – 2(2)=1, mais le troisième, le déterminant, est –34. Par conséquent, la matrice n’est pas définie positive. Ses trois racines caractéristiques sont 11,1, 2,9 et –1. Ainsi, il existe des valeurs de x1, x2 et x3pour lesquelles la forme

quadratique est négative.

Exercice 13

Prouver que tr(A⊗B) = tr(A)tr(B).

Le j-ième bloc de la diagonale du produit est ajjB. Le i-ième élément de la diagonale

est ajjbii. Si on somme dans le j-ième bloc, on obtient ∑ia bjj ii = ajj∑ibii.

La sommation vers le bas des blocs de la diagonale donne la trace, ∑jajj∑ibii = tr(A)tr(B).

(8)

8 Économétrie

Exercice 14

Une matrice, A, est nilpotente si lim

→∞

k

k A = 0. Prouver qu’une condition nécessaire et

suffisante pour qu’une matrice symétrique soit nilpotente est que toutes ses racines caractéristiques soient inférieures, en valeur absolue, à 1.

On utilise la décomposition spectrale pour écrire A comme CΛC′ avec Λ la matrice diagonale des racines caractéristiques. Alors la puissance K-ième de A est CΛK

C′. La

condition suffisante est évidente. Aussi, puisque λ est plus grand que 1, ΛK

doit croître fortement ; la condition est également nécessaire.

Exercice 15

Calculer les racines caractéristiques de A =

2 4 3 4 8 6 3 6 5 ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ .

Les racines sont déterminées par |A – λI| = 0. Pour la matrice considérée, cela donne :

|A – λI| = (2 – λ)(8 – λ)(5 – λ) + 72 + 72 – 9(8 – λ) – 36(2 – λ) – 16(5 – λ) = –λ3_{+ 15λ}2_{– 5λ = –λ (λ}2_{– 15λ + 5) = 0}

Une solution est zéro. (On aurait pu le deviner). La deuxième colonne de la matrice correspond à deux fois la première, ainsi son rang n’est pas supérieur à 2. La matrice n’a donc pas plus de deux racines non nulles. Les deux autres racines sont

(

15± 205 / 2

)

= 0,341 et 4,659.

Exercice 16

Supposer que A = A(z) avec z un scalaire. Qu’est-ce que ∂x′Ax / ∂z ? On suppose maintenant que chaque élément de x est aussi une fonction de z. De nouveau, qu’est-ce que ∂x′Ax / ∂z ?

La forme quadratique est ∑ ∑i jx x ai j ij, de sorte que

∂x′A(z)x / ∂z = ∑ ∑i jx xi j(∂aij/∂z)= x′(∂A(z) / ∂z)x où ∂A(z) / ∂z est une matrice des dérivées partielles. Maintenant, si chaque élément de x est aussi une fonction de z, alors :

(9)

Annexe A 9

∂x′Ax / ∂z = ∑ ∑i jx xi j(∂aij/∂z)+ ∑ ∑i j(∂xi/∂z x a) j ij + ∑ ∑i jxi(∂xj/∂z a) ij

= x′(∂A(z) / ∂z)x + (∂x(z) / ∂z)′A(z)x(z) + x(z)′A(z)(∂x(z) / ∂z) Si A est symétrique, l’expression se simplifie un peu en

′(∂A(z) / ∂z)x + 2(∂x(z) / ∂z)′A(z)x(z).

Exercice 17

Montrer que les solutions des équations du déterminant |B – λA| = 0 et |A–1

B – λI| = 0

sont les mêmes. Comment les solutions de cette équation sont-elles liées à celles de l’équation |B–1

A – µI| = 0 ?

Puisque A est supposée être non singulière, on peut écrire :

B – λA = A(A−1B – λI). Alors, |B – λA| = |A|×|A–1B – λI|

Le déterminant de A n’est pas zéro si A est non singulière, de sorte que les solutions des deux équations doivent être les mêmes. B–1

A étant l’inverse de A–1B, ses racines

caractéristiques doivent être les réciproques de celles de A–1B. Cela pourrait poser

pro-blème ici puisque ces deux matrices ne sont pas nécessairement symétriques, de sorte que les racines pourraient être complexes. Mais, pour l’application donnée, les deux matrices A et B sont symétriques et définies positives. On peut alors montrer que la solution est la même que la troisième équation du déterminant impliquant une matrice symétrique.

Exercice 18

En utilisant la matrice A donnée dans l’exercice 9, trouver le vecteur x qui minimise

y = x′Ax + 2x1 + 3x2 – 10. Quelle est la valeur de y au minimum ? Maintenant, minimiser

y sous la contrainte x1 + x2 = 1. Comparer les deux solutions.

La solution qui minimise y = x′Ax + b′x + d satisfait ∂y∂x = 2Ax + b = 0. Pour ce problème, A = 25 7 7 13 ⎡ ⎤ ⎢ ⎥ ⎣ ⎦, b = 2 3 ⎡ ⎤ ⎢ ⎥ ⎣ ⎦ et A –1 = 13/ 276 7 / 276 7 / 276 25/ 276 − ⎡ ⎤ ⎢₋ ⎥ ⎣ ⎦, de sorte que la solution est x1 = –5 / 552 = –0,0090597 et x2 = –61 / 552 = –0,110507.

Le problème de maximisation sous contrainte peut être traité sous la forme d’un lagrangien : L* = x′Ax + b′x + d + λ(c′x – 1) où c = [1,1]′. Les conditions nécessaires pour la solution sont :

∂L* / ∂x = 2Ax + b + λc = 0 ∂L* / ∂λ = c′x – 1 = 0

(10)

10 Économétrie

© 2006 Pearson Education France ou 2 ' 0 _λ 1 ⎡ ⎤ ⎡ ⎤ ⎡ ⎤ = ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦ A c x -b c En insérant A, b et c, on a la solution 1 2 50 14 1 2 14 26 1 = 3 . 1 1 0 λ 1 − ⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥₋ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦ x

x La solution aux trois

équations est obtenue en multipliant le vecteur de droite par l’inverse de la matrice de gauche. Les résultats sont 0,27083, 0,72917 et –25,75. La valeur de la fonction à la solution contrainte est 4,240, qui est plus grande que la valeur non contrainte –10,00787.

Exercice 19

Quel est le jacobien des transformations suivantes ? (Une remarque, pour les lecteurs intéressés par la technique, concernant une erreur courante dans la littérature : un jacobien est un déterminant. Le terme « déterminant jacobien » est une redondance inutile.)

y1 = x1 / x2 lny2 = ln x1 – lnx2 + lnx3

y3 = x1x2x3

Les lettres capitales représentent des logarithmes. Alors, les trois transformations peuvent être écrites comme :

Y1 = X1 – X2

Y2 = X1 – X2 + X3

Y3 = X1 + X2 +X3 Cette transformation linéaire est :

Y = 1 1 0 1 1 1 1 1 1 − ⎡ ⎤ ⎢ ₋ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ X = JX

La transformation inverse est :

X = 1 1/ 2 1/ 2 0 1/ 2 1/ 2 1 1 0 − ⎡ ⎤ ⎢ ₋ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ Y = J Y−1

(11)

Annexe A 11 En fonction des variables originales, on a alors x1 = y1(y2 / y3)1/2, x2 = (y3 / y2)1/2, et

x3 = y1y2. La matrice des dérivées partielles peut être obtenue directement, mais un raccourci algébrique se révèle utile pour obtenir le jacobien. On remarque tout d’abord que ∂xi / ∂yj = (xi / yj)(∂logxi / ∂logyj). Par conséquent, les éléments des dérivées partielles

des transformations inverses sont obtenus en multipliant la i-ième ligne par xi, dans

laquelle on substitue l’expression pour xi en termes de y, on multiplie alors la j-ième

colonne par (1 / yj). Ainsi, le résultat de l’exercice 11 est utile ici. La matrice des dérivées

partielles est : 1 1 1 2 1 3 2 1 2 2 2 3 3 1 3 2 3 3 / / / / / / / / / ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ x y x y x y x y x y x y x y x y x y = 1 2 3 0 0 0 0 0 0 ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ x x x 1 1/ 2 1/ 2 0 1/ 2 1/ 2 1 1 0 − ⎡ ⎤ ⎢ ₋ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ 1 2 3 1/ 0 0 0 1/ 0 0 0 1/ ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ y y y

Le déterminant de la matrice produit est le produit des trois déterminants. Le déterminant de la matrice du centre est –1 / 2. Les déterminants des matrices diagonales sont les produits des éléments de la diagonale. Par conséquent, le jacobien est J = abs(|∂x / ∂y′|)= ½(x1x2x3) / (y1y2y3) = 2(y1 / y2) (après avoir fait les substitutions pour xi).

Exercice 20

Prouver que l’échange des deux colonnes d’une matrice carrée inverse le signe de son déterminant. (Indice : utiliser une matrice permutation. Voir l’exercice 6.)

Échanger les deux premières colonnes d’une matrice équivaut à la multiplier par une matrice permutation B = [e2, e1, e3, e4,...] où ei est la i-ième colonne d’une matrice

identité. Ainsi, le déterminant de la matrice est |AB| = |A| |B|. La question porte sur le déterminant de B. On suppose que A et B ont n colonnes. Pour obtenir le déterminant de B, on le développe simplement le long de la première ligne. Le seul terme non nul dans le déterminant est (–1)|In–1 | = –1, où In–1 est la matrice identité (n – 1)× (n – 1).

(12)

Exercice 21

Supposer que x = x(z) avec z un scalaire. Qu’est-ce que ∂[(x′Ax) / (x′Bx)] / z ?

Les dérivées requises sont données dans l’exercice 16. On pose g = ∂x / ∂z ; et on note le numérateur et le dénominateur respectivement a et b. Alors :

∂(a / b) / ∂ z = [b(∂a / ∂z) – a(∂b / ∂z)] / b2 = _{[x′Bx(2x′Ag) – x′Ax(2x′Bg)] / (x′Bx)} 2₌ 2[x′Ax / x′Bx][x′Ag / x′Ax – x′Bg / x′Bx]

Exercice 22

On suppose que y est un vecteur n × 1 et X une matrice n × K. La projection de y dans l’espace des colonnes de X est définie dans le manuel après l’équation (2-55), y∧ = Xb.

On considère maintenant la projection de y*_{= cy dans l’espace des colonnes de X}*_{= XP,} où c est un scalaire et P une matrice K× K non singulière. Trouver la projection de y* dans l’espace des colonnes de X*. Prouver que le cosinus de l’angle entre y* et sa projection dans l’espace des colonnes de X* est le même que celui entre y et sa projection dans l’espace des colonnes de X. Comment interpréter ce résultat ?

La projection de y* dans l’espace des colonnes de X* est X*b* où b* est la solution à

l’ensemble des équations X*_′y*_{= X}*_′X*

b* ou P′X′(cy) = P′X′XPb*. Comme P est non

singulière, P′ a un inverse. En multipliant l’équation par (P′)–1_{, on a cX′y = X′X(Pb}*₎ ou X′y = X′X[(1 / c)Pb*_{]. Donc, en termes du y original et X, on voit que b =} (1 / c)Pb*, ce qui implique b* = cP–1

b. La projection est X*b* = (XP)(cP–1b) = cXb.

On conclut donc que la projection de y* dans l’espace des colonnes de X* est un multiple c de la projection de y dans l’espace de X. Cela se comprend puisque, si P est une matrice non singulière, l’espace des colonnes de X*_{est exactement le même que} celui de X. Le cosinus de l’angle entre y*_{et sa projection est le même qu’entre cy et}

cXb. Bien sûr, c’est aussi le même qu’entre y et Xb puisque la longueur des deux

vecteurs n’est pas liée au cosinus de l’angle entre eux. Ainsi, cosθ = (cy)′(cXb)) / (||cy||×||cXb||) = (y′Xb)) / (||y||×||Xb||).

(13)

Annexe A 13

Exercice 23

Pour la matrice X′ = 1 1 1 1 4 2 3 5 ⎡ ⎤ ⎢ ₋ ₋ ⎥ ⎣ ⎦, calculer P = X(X ′X) –1 X′ et M = (I – P). Vérifier que MP = 0. On pose Q = 1 3 2 8 ⎡ ⎤ ⎢ ⎥

⎣ ⎦. (Indice : montrer que M et P sont idempotentes.) a. Calculer le P et le M fondés sur XQ au lieu de X.

b. Quelles sont les racines caractéristiques de M et P ? En premier lieu : X′X = 4 0 0 54 ⎡ ⎤ ⎢ ⎥ ⎣ ⎦ (X ′X)–1₌ 1/ 4 0 0 1/ 54 ⎡ ⎤ ⎢ ⎥ ⎣ ⎦ X(X ′X)–1X′ = 1 4 1 2 1 3 1 5 ⎡ ⎤ ⎢ ₋ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ − ⎣ ⎦ 1/ 4 0 0 1/ 54 ⎡ ⎤ ⎢ ⎥ ⎣ ⎦ 1 1 1 1 4 2 3 5 ⎡ ⎤ ⎢ ₋ ₋ ⎥ ⎣ ⎦ = 59 11 51 13 11 35 15 47 1 51 15 45 3 108 13 47 3 77 − ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ₋ ⎥ ⎢ ⎥ − − ⎣ ⎦ = P M = I – P = 49 11 51 13 11 73 15 47 1 51 15 63 3 108 13 47 3 31 − − ⎡ ⎤ ⎢₋ ₋ ₋ ⎥ ⎢ ⎥ ⎢₋ ₋ ⎥ ⎢ ⎥ − ⎣ ⎦

a. Il n’est pas nécessaire de recalculer les matrices M et P pour XQ, car ce sont les mêmes. La preuve est que la contrepartie de P est (XQ)[(XQ) ′(XQ)]–1 _{(XQ)′ =}

XQ[Q′X′XQ]–1Q′X′ = XQQ–1(X′X)–1(Q′)–1Q′X′ = X(X′X)–1X′. La M matrice

est aussi la même. C’est une application du résultat trouvé dans l’exercice précédent. La P matrice est la matrice projection et, comme on l’a vu, la projection dans l’espace de X est la même que la projection dans l’espace de XQ. b. Puisque M et P sont idempotentes, leurs racines caractéristiques doivent toutes

être 0 ou 1. La trace de la matrice est égale à la somme des racines, ce qui révèle la proportion de 1 et 0. Pour les matrices ci-dessus, les traces de M et P sont égales à 2, de sorte que chacune a deux racines unitaires et deux racines nulles.

(14)

Exercice 24

On suppose que A est une matrice n × n de la forme A = (1 – ρI) + ρii′, où i est une colonne de 1 et 0 < ρ < 1. Écrire le format de A explicitement pour n = 4. Trouver toutes les racines et tous les vecteurs caractéristiques de A. (Indice : il y a seulement deux racines caractéristiques distinctes, qui se produisent respectivement 1 et n – 1 fois. Chaque c d’un certain type est un vecteur caractéristique de A.)

Pour n = 4, A = 1 1 1 1 ρ ρ ρ ρ ρ ρ ρ ρ ρ ρ ρ ρ ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦

. Il y a plusieurs façons d’analyser cette matrice. On peut utiliser un raccourci simple. Les racines et vecteurs caractéristiques satisfont [(1 – ρ)I + ρii′]c = λc. On multiplie cela pour obtenir (1 – ρ)c + ρii′c = λc ou ρii′c = [λ – (1 – ρ)]c. On pose µ= λ – (1 – ρ), de sorte que ρii′c = µc. On a seulement besoin de trouver les racines caractéristiques de ρii′, µ. Les racines caractéristiques de la matrice originale sont juste λ = µ + (1 – ρ). Maintenant, ρii′ est une matrice de rang 1, puisque chaque colonne est identique. Par conséquent, n – 1 des µ sont nuls. Ainsi, la matrice originale a n – 1 racines égales à 0 + (1 – ρ) = (1 – ρ). On peut trouver la dernière racine en remarquant que la somme des racines de ρii′ est égale à la trace de ρii′. Comme ρii′ a seulement une racine non nulle, cette dernière est la trace, nρ. Ainsi, la racine restante de la matrice originale est (1 – ρ+ nρ). Les vecteurs caractéristiques satisfont l’équation ρii′c = µc. Pour la racine non nulle, on a ρii′c = nρc. On divise par

nρ pour obtenir i(1 / n)i′c = c. Cette équation indique que, pour chaque élément dans le

vecteur, ci = (1 / n)∑ici. Cela implique que chaque élément dans le vecteur

caractéristique correspondant à la racine (1 – ρ + nρ) soit le même ; en d’autres termes,

c est un multiple d’une colonne de « 1 ». Ainsi, comme il a une longueur unitaire, le

vecteur est (1/ n)i. Pour les racines zéro restantes, les vecteurs caractéristiques

doivent satisfaire ρi(i′c) = 0c = 0. Si le vecteur caractéristique n’est pas une colonne de « 0 », la seule façon d’obtenir une inégalité est d’égaliser i′c à zéro. Par conséquent, pour les n – 1 vecteurs caractéristiques restants, on peut utiliser des vecteurs orthogonaux dont les éléments ont une somme nulle et dont les produits sont égaux à un. Il y a un nombre infini de tels vecteurs. Par exemple, on pose D un ensemble arbitraire de n – 1 vecteurs contenant n éléments. On transforme les colonnes de D en déviations aux moyennes de leur propre colonne. Ainsi, on pose F = M0D où M0 est

défini dans la section 2.3.6. Maintenant, on pose C = F(F′F)-2_{. C une combinaison} linéaire de colonnes de F : ses colonnes se somment à zéro. Les colonnes sont orthogonales et ont une longueur unitaire.

(15)

Annexe A 15

Exercice 25

Trouver l’inverse de la matrice de l’exercice 24. En utilisant l’indice, l’inverse est :

( )

1 1 1 1 [(1 ) ] [ '][(1 ) ] 1 [(1 ) ] – = { – [ /(1 )] '} 1 1 '[(1 ) ] ρ ρ ρ ρ ρ ρ ρ ρ ρ ρ ρ − − − − − − − − + − + − n I ii I I I ii i I i

Exercice 26

Prouver que chaque matrice dans la séquence de matrices Hi+1 = Hi + didi′, où H0 = I, est définie positive. Pour une application, voir la section 5.5. Pour une extension, prouver que chaque matrice dans la séquence de matrices définie dans (5-22) est définie positive si H0 = I.

Par substitutions répétées, on trouve Hi+1 = I + ∑ij=1d dj j'. Une forme quadratique de

Hi+1 est donc :

x′Hi+1x = x′x + ∑ij=1(x d )(d x)' j j' = x′x + ∑ =1 ' i

j j

2

(x d )

C’est positif pour tout x. Une façon simple d’établir cela pour la matrice dans (5-22) est de remarquer que, malgré sa complexité, elle est de forme Hi+1 = Hi + didi′ + fifi′. Si cela

commence avec une matrice définie positive, telle que I, alors un argument similaire permet d’établir le fait qu’elle est définie positive.

Exercice 27

Quelle est la matrice inverse de P = cos( ) sin( ) sin( ) cos( )

⎡ ⎤

⎢₋ ⎥

⎣ ⎦

x x

x x ? Quelles sont les racines

caractéristiques de P ?

Le déterminant de P est cos2(x) + sin2(x) = 1, de sorte que l’inverse « inverse » juste les signes des éléments hors de la diagonale. Les deux racines sont les solutions de |P – λI| = 0, qui est cos2_{(x) + sin}2_{(x) – 2}_{λcos(x) + λ}2₌_{0. Cela se simplifie car} cos2(x) + sin2(x) = 1. En utilisant la formule quadratique, alors :λ= cos(x) ± (cos2_{(x) – 1)}1/2_. Mais, cos2(x) – 1 = –sin2(x). Par conséquent, les solutions imaginaires de la forme quadratique résultante sont λ1,λ2 = cos(x) ± isin(x).

(16)

Annexe B

Exercice 1

Combien de mains différentes de 5 cartes peuvent être tirées au poker avec un jeu de 52 cartes ? Il y a 52 5 ⎛ ⎞ ⎜ ⎟ ⎝ ⎠= (52 × 51 × 51... × 1) / [(5 × 4 × 3 × 2 × 1)(47 × 46× ... × 1)] = 2 598 960 mains possibles.

Exercice 2

Calculer la probabilité d’avoir un « 4 » dans une main au poker.

Il y a 48(13) mains possibles contenant un « 4 » et une autre carte quelconque parmi les 48 restantes. Ainsi, étant donné la réponse au problème précédent, la probabilité d’avoir une de ces mains est de 48(13) / 2 598 960 = 0,00024, ou moins d’une chance sur 4 000.

Exercice 3

On suppose qu’un ticket de loterie coûte 1 euro par jeu. Un jeu correspond à un tirage de 6 nombres, entre 1 et 48, sans remise. Si vous devinez les six nombres, vous gagnez le prix. On suppose maintenant que N = nombre de tickets vendus et P = niveau du prix. N et P sont liés par les relations :

N = 5 + 1,2P P = 1 + 0,4N

N et P sont en millions. Quelle est la valeur espérée d’un ticket dans ce jeu ? (Ne pas

(17)

Annexe B 17 Le niveau du prix et le nombre de tickets vendus sont déterminés conjointement. Les solutions des deux équations sont N = 11,92 millions de tickets et P = 5,77 millions d’euros. Le nombre de combinaisons possibles des 48 nombres sans remise est :

48 6 ⎛ ⎞ ⎜ ⎟

⎝ ⎠= (48 × 47 × 46... × 1) / [(6 × 5 × 4 × 3 × 2 × 1)(42 × 41 × ... × 1)] = 12 271 512. La probabilité de faire le bon choix est donc de 1 / 12271512 = 0,000000081. Le nombre espéré de gagnants est la valeur espérée d’une variable binomiale avec N essais et une probabilité de succès égale à 11,92 / 12,27 = 0,97, soit environ 1. Ainsi, on ne s’attend pas à devoir partager le prix. La valeur espérée du ticket est Prob[gagne](5,77 millions – 1) + Prob[perd](–1) . –53 centimes.

Exercice 4

Si x a une distribution normale de moyenne 1 et d’écart-type 3, expliciter : a. Prob[|x| > 2].

Prob[x > –1 | x < 1.5] = Prob[–1 < x < 1.5] / Prob[x < 1,5] Prob[–1 < x < 1,5] = Prob[(–1 – 1) / 3 < z < (1,5 – 1) / 3)]

= Prob[z < 1 / 6] – Prob[z < –2 / 3] = 0,5662 – 0,2525 = 0,3137 La probabilité conditionnelle est 0,3137 / 0,5662 = 0,5540.

(18)

Exercice 5

Donner approximativement la probabilité qu’une variable aléatoire suivant une distribution chi-deux à 264 degrés de liberté soit inférieure à 297.

z = [2(297)]2 – [2(264) – 1]2 = 1,4155. La probabilité est donc approximativement

0,9215. Avec six chiffres après la virgule, l’approximation est 0,921539 alors que la valeur correcte est 0,921559.

Exercice 6

Inégalité de Chebychev. Pour les distributions de probabilité suivantes, trouver la borne

inférieure de la probabilité de l’évènement indiqué en utilisant l’inégalité de Chebychev (3–18). Trouver également la probabilité exacte en utilisant la table appropriée :

a. x ~ normale[0,32] et –4 < x < 4.

b. x ~ chi-deux, 8 degrés de liberté, 0 < x < 16.

L’inégalité donnée en (3–18) indique que Prob[|x – µ| < kσ] > 1 – 1 / k2. On remarque que le résultat ne donne pas d’informations si k est inférieur ou égal à 1.

a. Le rang est 4 / 3 des écarts-types, de sorte que la borne inférieure est 1 – (3 / 4)2 ou 7 / 16 = 0,4375. De la table normale standard, la probabilité réelle est

1 – 2Prob[z < –4 / 3] = 0,8175.

b. La moyenne de la distribution est 8 et l’écart-type est 4. Le rang est donc µ ± 2σ. Selon l’inégalité, la borne inférieure est 1 – (1 / 2)2_{= 0,75. La probabilité} réelle est le chi-deux cumulatif (8) à 16, ce qui est un peu plus grand que 0,95. (La valeur réelle est 0,9576.)

Exercice 7

Étant donné la distribution de probabilité jointe suivante : X | 0 1 2 --+--- 0| 0,05 0,1 0,03 Y 1| 0,21 0,11 0,19 2| 0,08 0,15 0,08

(19)

Annexe B 19 a. Calculer les probabilités suivantes : Prob[Y < 2], Prob[Y < 2, X > 0], Prob[Y = 1,

X > 1].

b. Trouver les distributions marginales de X et Y.

c. Calculer E[X], E[Y], Var[X], Var[Y], Cov[X, Y], et E[X 2Y 3].

d. Calculer Cov[Y, X2_].

e. Quelles sont les distributions conditionnelles de Y, étant donné que X = 2, et celles de X étant donné que Y > 0 ?

f. Trouver E[Y|X] et Var[Y|X]. Obtenir les deux parties de la décomposition de la

variance Var[Y] = Ex[Var[Y|X]] + Varx[E[Y|X]].

On obtient tout d’abord les probabilités marginales. Pour la distribution jointe, on a : X: P(0) = 0,34, P(1) = 0,36, P(2) = 0,30 Y: P(0) = 0,18, P(1) = 0,51, P(2) = 0,31 Ensuite : a. Prob[Y < 2] = 0,18 + 0,51 = 0,69 Prob[Y < 2, X > 0] = 0,1 + 0,03 + 0,11 + 0,19 = 0,43 Prob[Y = 1, X ≥ 1] = 0,11 + 0,19 = 0,30 b. Elles sont données ci-dessus.

c. E[X] = 0(0,34) + 1(0,36) + 2(0,30) = 0,96 E[Y] = 0(0,18) + 1(0,51) + 2(0,31) = 1,13 E[X 2] = 02(0,34) + 12(0,36) + 22(0,30) = 1,56 E[Y 2] = 02(0,18) + 12(0,51) + 22(0,31) = 1,75 Var[X] = 1,56 – 0,962 = 0,6384 Var[Y] = 1,75 – 1,132 = 0,4731 E[XY] = 1(1)(0,11)+1(2)(0,15)+2(1)(0,19)+2(2)(0,08) = 1,11 Cov[X, Y] = 1,11 – 0,96(1,13) = 0,0252 E[X 2Y3] = 0,11 + 8(0,15) + 4(0,19) + 32(0,08) = 4,63 d. E[YX 2_{] = 1(12)0,11+1(22)0,19+2(12)0,15+2(22)0,08 = 1,81} 2

(20)

© 2006 Pearson Education France e. Prob[Y = 0 * X = 2] = 0,03 / 0,3 = 0,1 Prob[Y = 1 * X = 2] = 0,19 / 0,3 = 0,633 Prob[Y = 1 * X = 2] = 0,08 / 0,3 = 0,267 Prob[X = 0 * Y > 0] = (0,21 + 0,08) / (0,51 + 0,31) = 0,3537 Prob[X = 1 * Y > 0] = (0,11 + 0,15) / (0,51 + 0,31) = 0,3171 Prob[X = 2 * Y > 0] = (0,19 + 0,08) / (0,51 + 0,31) = 0,3292 f. E[Y * X=0] = 0(0,05 / 0,34)+1(0,21 / 0,34)+2(0,08 / 0,34) = 1,088 E[Y 2 * X=0] = 12(0,21 / 0,34)+22(0,08 / 0,34) = 1,559 Var[Y* X=0] = 1,559 – 1,0882_{= 0,3751} E[Y*X=1] = 0(0,1 / 0,36)+1(0,11 / 0,36)+2(0,15 / 0,36) = 1,139 E[Y 2*X=1] = 12(0,11 / 0,36)+22(0,15 / 0,36) = 1,972 Var[Y*X=1] = 1,972 – 1,1392 = 0,6749 E[Y*X=2] = 0(0,03 / 0,30)+1(0,19 / 0,30)+2(0,08 / 0,30) = 1,167 E[Y 2*X=2] = 12(0,19 / 0,30)+22(0,08 / 0,30) = 1,700 Var[Y*X=2] = 1,700 – 1,1672 = 0,6749 = 0,3381 E[Var[Y*X]] = 0,34(0,3751)+0,36(0,6749)+0,30(0,3381) = 0,4719 Var[E[Y*X]] = 0,34(1,0882)+0,36(1,1392)+0,30(1,1672) – 1,132 = 1,2781 – 1,2769 = 0,0012

E[Var[Y*X]] + Var[E[Y*X]] = 0,4719 + 0,0012 = 0,4731 = Var[Y]

Exercice 8

Prédicteur du minimum du carré des erreurs à la moyenne. Pour la distribution jointe

de l’exercice 7, calculer E[y – E[y|x]]2. Trouver ensuite le a et le b qui minimisent la fonction E[y – a – bx]2. Étant donné les solutions, vérifier que

E[y – E[y|x]]2 < E[y – a – bx]2.

(21)

Annexe B 21 (x = 0) (x = 1) (x = 2)

E[y – E[y|x]]2 = (y=0) 0,05(0 – 1,088)2 + 0,10(0 – 1,139)2 + 0,03(0 – 1,167)2

(y=1) + 0,21(1 – 1,088)2_{+ 0,11(1 – 1,139)}2_{+ 0,19(1 – 1,167)}2 (y=2) + 0,08(2 – 1,088)2_{+ 0,15(2 – 1,139)}2_{+ 0,08(2 – 1,167)}2 = 0,4719 = E[Var[y|x]].

Les conditions nécessaires pour minimiser la fonction par rapport à a et b sont : ∂E[y – a – bx]2_{/ ∂a = 2E{[y – a – bx](–1)} = 0}

∂E[y – a – bx]2_{/ ∂b = 2E{[y – a – bx](–x)} = 0} En divisant d’abord par –2 et en prenant ensuite les espérances, on obtient :

E[y] – a – bE[x] = 0 E[xy] – aE[x] – bE[x 2] = 0.

On résout la première égalité, a = E[y] – bE[x], et on intègre l’expression trouvée dans la seconde pour obtenir :

E[xy] – E[x](E[y] – bE[x]) – bE[x 2] = 0

ou

(E[xy] – E[x]E[y]) = b(E[x 2] – (E[x])2) ou

b = Cov[x, y] / Var[x] = –0,0708 / 0,4731 = –0,150

et

a = E[y] – bE[x] = 1,13 – (–0,1497)(0,96) = 1,274

La fonction linéaire comparée à la moyenne conditionnelle donne :

X = 0 x = 1 x = 2

E[y|x] 1,088 1,139 1,167 a + bx 1,274 1,124 0,974

(22)

On répète le calcul ci-dessus en utilisant a + bx au lieu de E[y|x] :

(x = 0) (x = 1) (x = 2) E[y – a – bx]2₌ _{(y = 0) 0,05(0}_–_1,274)2_{+ 0,10(0 – 1,124)}2_{+ 0,03(0 – 0,974)}2 (y = 1) + 0,21(1 – 1,274)2_{+ 0,11(1 – 1,124)}2_{+ 0,19(1 – 0,974)}2 (y = 2) + 0,08(2 – 1,274)2_{+ 0,15(2 – 1,124)}2_{+ 0,08(2 – 0,974)}2 = 0,4950 > 0,4719

Exercice 9

On suppose que x a une distribution exponentielle, f (x) = θe-θx_{, x > 0. Trouver la} moyenne, la variance, l’asymétrie et l’aplatissement de x. (Indice : les deux derniers sont définis dans la section 3.3.)

Afin de trouver les moments centrés, on utilise les moments bruts :

E[x r] = ∫₀∞θx er −θ xdx

Ils peuvent être obtenus en utilisant l’intégrale gamma. En faisant les substitutions appropriées, on a :

E[x r] = [θΓ(r + 1)] / θr+1 = r! / θr

Les quatre premiers moments sont : E[x] = 1 / θ, E[x 2_{] = 2 / θ}2_{, E[x}3_{] = 6 / θ}3_et

E[x 4] = 24 / θ4. La moyenne est donc 1 / θ et la variance est 2 / θ2 – (1 / θ)2 = 1 / θ2. Pour

les coefficients d’asymétrie et d’aplatissement, on a :

E[x – 1 / θ]3 = E[x 3] – 3E[x 2] / θ + 3E[x] / θ2 – 1 / θ3 = 2 / θ3

Le coefficient d’asymétrie normalisé est 2. Le coefficient d’aplatissement est :

E[x – 1 / θ]4 = E[x 4] – 4E[x 3] / θ + 6E[x 2] / θ2 – 4E[x] / θ3 + 1 / θ4 = 9 / θ4

Le coefficient d’aplatissement est donc 6.

Exercice 10

On suppose que x a la distribution de probabilité discrète suivante : X 1 2 3 4

(23)

Annexe B 23 Trouver les moyenne et variance exactes de X. On suppose maintenant que Y = 1 / X. Trouver les moyenne et variance exactes de Y. Trouver les moyenne et variance exactes des approximations linéaire et quadratique de Y = f (X). Est-ce que la moyenne et la variance de l’approximation quadratique sont plus proches de la vraie moyenne que celles de l’approximation linéaire ?

On développe en premier lieu un certain nombre de moments dont on a besoin :

E[x] = 0,1(1) + 0,2(2) + 0,4(3) + 0,3(4) = 2,9 = µ E[x 2] = 0,1(1) + 0,2(4) + 0,4(9) + 0,3(16) = 9,3

Var[x] = 9,3 – 2,92_{= 0,89 = σ}2 Pour une utilisation ultérieure, on obtient aussi :

E[x – µ]3 = 0,1(1 – 2,9)3 + ... –0,432 E[x – µ]4 = 0,1(1 – 2,9)4 + ... = 1,8737.

L’approximation est y = 1 / x. Les moyenne et variance exactes sont :

E[y] = 0,1(1) + 0,2(1 / 2) + 0,4(1 / 3) + 0,3(1 / 4) = 0,40833

Var[y] = 0,1(12) + 0,2(1 / 4) + 0,4(1 / 9) + 0,3(1 / 16) – 0,408332_{= 0,04645} L’approximation linéaire de Taylor en séries autour de µ est y ≈ 1 / µ + (–1 / µ2_{)(x – µ).} La moyenne de l’approximation linéaire est 1 / µ = 0,3448 alors que sa variance est (1 / µ4_{)Var[x-µ] = σ}2_{/ µ}4_{= 0,01258. L’approximation quadratique est :}

y ≈ 1 / µ + (–1 / µ2)(x – µ) + (1 / 2)(2 / µ3)(x – µ)2 = 1 / µ – (1 / µ2)(x – µ) + (1 / µ3)(x – µ)2

La moyenne de cette approximation est E[y] ≈ 1 / µ + σ2_{/ µ}3_{= 0,3813, et la variance est} approximée par la variance du terme de droite,

(1 / µ4_{)Var[x – µ] + (1 / µ}6_{)Var[x – µ]}2_{– (2 / µ}5_{)Cov[(x – µ), (x – µ)}2_] = (1 / µ4_)σ2_{+ (1 / µ}6_{)(E[x – µ]}4_{– σ}4_{] – (2 / µ}5_{)E[x – µ]}3

= 0,01498

Aucune approximation ne donne une estimation proche de la variance. On remarque que dans les deux cas, il serait possible d’évaluer simplement les approximations aux quatre valeurs de x, et de calculer directement les moyennes et les variances. L’avantage de cette approche est qu’elle peut être appliquée quand il y a beaucoup de valeurs de x. Elle est nécessaire quand la distribution de x est continue.

(24)

Exercice 11

Extrapolation de la table du chi-deux. Afin d’obtenir un point de pourcentage, entre

deux valeurs, dans la table du chi-deux, on extrapole linéairement entre les réciproques des degrés de liberté. La distribution du chi-deux est définie pour des valeurs non entières des paramètres des degrés de liberté, mais la table ne contient pas de valeurs critiques pour les valeurs non entières. En utilisant une extrapolation linéaire, trouver la valeur critique à 99 % pour une variable du chi-deux avec un paramètre de degré de liberté égal à 11,3.

Les valeurs critiques à 99 % pour les degrés de liberté 11 et 12 sont 24,725 et 26,217. Pour extrapoler linéairement entre ces deux valeurs afin d’obtenir la valeur correspondant à 11,3 degrés de liberté, on utilise :

c = 26,217 + (111,3 1/12)

(1/11 1/12) −

− (24,725 – 26,217) = 25,2009

Exercice 12

On suppose que x a une distribution normale standard. Quelle est la fonction de densité de la variable aléatoire suivante ?

2 2 1 1 ,0 2π 2π − = x < < y e y

[Indice : vous connaissez la distribution de z = x 2 en (3-30). Résoudre le problème en termes de y = g(z).]

On sait que z = x 2 est distribuée selon un chi-deux à 1 degré de liberté. On cherche la densité de y = ke–z/2 où k = (2π)-2_{. La transformation inverse est z = 2lnk – 2lny, de sorte} que le jacobien est |–2 / y| = 2 / y. La densité de z est celle d’une gamma de paramètres 1 / 2 et 1 / 2. Ainsi : f (z) = 1/ 2 / 2 1/ 2 (1/ 2) , 0 (1/ 2) − − _> Γ z e z z

On remarque que Γ(1 / 2) = π. En faisant les substitutions pour z et en multipliant par le jacobien, on obtient : f (y ) = 1/ 2 ( 1/ 2)(2ln 2 ln ) 1/ 2 (1/ 2) 2 (2ln 2ln ) (1/ 2) − − ₋ − Γ k y e k y y

(25)

Annexe B 25 Le terme exponentiel se réduit à y / k. Le facteur d’échelle est égal à 2k / y. Donc, la densité est simplement :

f (y ) = 2(2lnk – 2lny )–1/2 = 2 (lnk – lny )–1/2 = {2 / [ln(1 / (y(2π)1/2))]}, 0 < y < (2π)–1/2

Exercice 13

La transformation de probabilité fondamentale. On suppose que la variable aléatoire

continue x a une distribution cumulative F (x). Quelle est la distribution de probabilité de la variable aléatoire y = F (x) ? (Remarque : ce résultat forme la base de la simulation de tirages à partir de nombreuses distributions continues.)

La transformation inverse est x(y ) = F–1(y ), de sorte que le jacobien est

dx / dy = F–1′(y ) = 1 / f (x(y )) où f (.) est la densité de x. La densité de y est f (y ) = f [F–1(y )] × 1 / f (x(y )) = 1, 0 < y < 1. Ainsi, y a une distribution continue

uniforme. On remarque alors que pour obtenir un échantillon aléatoire de la distribution, on peut tirer un échantillon y1, ..., yn de la distribution de y, et ensuite

obtenir x1 = x1(y1), ... xn = xn(yn).

Exercice 14

Générateurs de nombres aléatoires. On suppose que x est distribuée uniformément

entre 0 et1, de sorte que f (x) = 1, 0 < x < 1. On pose θ une constante positive. Quelle est la densité de y = –(1 / θ)lnx ? (Indice : voir la section 3.5.) Est-ce que cela suggère un moyen de simuler des tirages de cette distribution si l’on a un générateur de nombres aléatoires qui donne les tirages de la distribution uniforme ? Pour continuer, suggérer un moyen de simuler des tirages d’une distribution logistique, f (x) = e-x_{/ (1+e}-x₎2_.

La transformation inverse est x = e-θy, de sorte que le jacobien est dx / dy = θe-θy.

Comme f (x) = 1, ce jacobien est aussi la densité de y. On peut simuler des tirages y de toute distribution exponentielle de paramètre θ en tirant des observations x de la distribution uniforme et en calculant y = –(1 / θ)lnx. De la même façon, pour la distribution logistique, la fonction cumulative est F (x) = 1 / (1 + e-x). Ainsi, des tirages de y d’une distribution uniforme peuvent être vus comme des tirages de F (x). On peut alors obtenir x comme x = ln[F (x) / (1 – F (x)] = ln[y / (1 – y )].

(26)

Exercice 15

On suppose que x1 et x2 sont distribuées selon des lois normales standard indépendantes. Quelle est la distribution jointe de y1 = 2 + 3x1 + 2x2 et y2 = 4 + 5x1 ? On suppose que vous êtes capables d’obtenir deux échantillons d’observations de distributions normales standard. Comment obtenir un échantillon d’observations d’une distribution normale bivariée de moyennes 1 et 2, de variances 4 et 9 et de covariance 3 ?

On peut écrire la paire de transformations comme :

y = 1 2 ⎡ ⎤ ⎢ ⎥ ⎣ ⎦ y y = 1 2 2 3 2 + 4 5 0 ⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦ x x = b + Ax

Comme x ~ N[0, I], on a donc y ~ N[b + A0, AIAN] où :

E[y] = b + A0 = b = 2 4 ⎡ ⎤ ⎢ ⎥ ⎣ ⎦, Var[y] = AA′ = 13 15 15 25 ⎡ ⎤ ⎢ ⎥ ⎣ ⎦

Pour la seconde partie du problème, en utilisant les résultats ci-dessus, on a besoin de A et b tels que

b + A0 = (1,2)′ et AA′ = 4 3

3 9 ⎡ ⎤ ⎢ ⎥

⎣ ⎦. Le vecteur est simplement b = (1,2)′. Afin de trouver les éléments de A, plusieurs étapes sont à réaliser. La factorisation de Cholesky utilisée dans l’exercice 9 est probablement la plus simple. On pose y1 = 1 + 2x1. Ainsi, y1 a une moyenne 1 et une variance 4, comme demandé. On pose maintenant

y2 = 2 + w1x1 + w2x2. La covariance entre y1 et y2 est 2w1, puisque x1 et x2 ne sont pas corrélées. Ainsi, 2w1 = 3, ou w1 = 1,5. On obtient également Var[y2] = w12+w22= 9, de

sorte que 2 2

w = 9 – 1,52= 6,75. La matrice de transformation est donc

A = 2 0

1,5 2,598 ⎡ ⎤ ⎢ ⎥

⎣ ⎦. C’est la factorisation de Cholesky de AA′ que l’on désire. Cela donne une méthode simple pour trouver la matrice A requise pour un certain nombre de variables. Une méthode alternative serait d’utiliser les racines et les vecteurs caractéristiques de AA′.

Exercice 16

La densité de la distribution normale standard, notée φ(x), est donnée en (3-28). La fonction fondée sur la i-ième dérivée de la densité, désignée par Hi = [(–1)

i

d iφ

(27)

Annexe B 27 a. Trouver les trois polynômes de Hermite suivants.

b. Une équation utile dans ce contexte est l’équation différentielle suivante :

d rφ(x) / dx r + xd r–1φ(x) / dx r–1 + (r – 1)d r-2φ(x) / dx r-2 = 0

Utiliser ce résultat et celui de la première question pour trouver H4 et H5. Le résultat important à utiliser dans les dérivations est dφ(x) / dx = –xφ(x). Donc,

d 2φ(x) / dx 2 = (x 2 – 1)φ(x)

et

d 3φ(x) / dx 3 = (3x – x 3)φ(x)

Les polynômes sont H1 = x, H2 = x 2 – 1, et H3 = x 3 – 3x. Pour la question (b), on résout :

d rφ(x) / dx r = –xd r–1φ(x) / dx r–1 – (r – 1)d r-2φ(x) / dx r-2. Par conséquent, d 4φ(x) / dx 4 = –x(3x – x 3)φ(x) – 3(x 2 – 1)φ(x) = (x 4 – 6x 2 + 3)φ(x) et d 5φ(x) / dx 5 = (–x 5 + 10x 3 – 15x)φ(x) Ainsi, H4 = x 4 – 6x 2 + 3 et H5 = x 5 – 10x 3 + 15x

Exercice 17

Polynômes orthogonaux. Les polynômes de Hermite sont orthogonaux si x a une

distribution normale standard. C’est-à-dire E[HiHj] = 0 si i ≠ j. Le prouver pour les H1,

H2, et H3 obtenus ci-dessus.

E[H1(x)H2(x)] = E[x(x 2 – 1)] = E[x 3 – x] = 0 Puisque la distribution normale est symétrique, alors :

E[H1(x)H3(x)] = E[x(x 3 – 3x)] = E[x 4 – 3x 2] = 0

Le quatrième moment de la distribution normale standard est 3 fois la variance. Finalement,

E[H2(x)H3(x)] = E[(x 2 – 1)(x 3 – 3x)] = E[x 5 – 4x 3 + 3x] = 0

parce que tous les moments d’ordre impair de la distribution normale sont nuls. (Le résultat général permettant d’étendre ce qui vient d’être trouvé est que dans un produit de

(28)

polynômes de Hermite, si la somme des indices est impaire (respectivement paire), le produit est une somme de puissances impaires (respectivement paires) de x. Cela donne une méthode permettant déterminer les moments plus hauts de la distribution normale s’ils sont nécessaires. (Par exemple, E[H1H3] = 0 implique que E[x 4] = 3E[x 2].)

Exercice 18

Si x et y ont pour moyennes µx et µy, pour variancesσx2 et

2

σyet pour covariance σxy,

quelle est l’approximation de la matrice de covariance des deux variables aléatoires

f1 = x / y et f2 = xy ?

Les éléments de JΣJN sont : 1,1 = 2 2 2 2 4 3 2 σ µ σ µ σ µ + µ − µ x y xy x x y y y (1,2) = _σ2 x – 2 σy 2 µx / 4 µy (2,2) = _σ2 x 4 µy + 2 σy 2 µx + 2σxyµxµy

Exercice 19

Moments factoriels. Pour trouver les moments d’une distribution de Poisson par

exemple, le moment factoriel est un dispositif utile. (La distribution de Poisson est donnée dans l’exemple 1 du chapitre 3) La densité est :

f (x) = e-λλx / x!, x = 0, 1, 2, ...

Pour trouver la moyenne, on peut utiliser :

E[x] = ∑∞x=0xf x( ) = ∑∞x=0xe−λλx/ !x = 1 1 −λλ − /( 1)! ∞ = − ∑ x x e x = λ∑∞y=0e−λλy/ !y = λ

car la somme des probabilités est égale à 1. Pour trouver la variance, on étend cette méthode en trouvant E[x(x – 1)], et on procède de la même façon pour les autres moments. Utiliser cette méthode pour trouver la variance et le troisième moment centré

(29)

Annexe B 29 de la distribution de Poisson. (Remarque : cette procédure est utilisée pour transformer le factoriel dans le dénominateur de la probabilité.)

En utilisant la même technique,

E[x(x–1)] = ∑∞x=0x x( −1) ( )f x = ∑∞x=0x x( −1)e−λλx/ !x = 2 2 −λλ − /( 2)! ∞ = − ∑ x x e x = λ2∑∞_y₌₀e−λλy/ !_y = λ2 = E[x 2] – E[x] Ainsi, E[x 2] = λ2 + λ

Comme E[x] = λ, il s’ensuit que Var[x] = (λ2_{+ λ) – λ}2_{= λ. Suivant la même méthode, ce} qui précède donne :

E[x(x – 1)(x – 2)] = E[x 3] – 3E[x 2] + 2E[x] = λ3

Donc,

E[x 3] = λ3 + 3(λ + λ2) – 2λ = λ3 + 3λ2 + λ

Puis,

E[x – E[x]]3 = E[x 3] – 3λE[x 2] + 3λ2E[x] – λ3 = λ

Exercice 20

Si x a une distribution normale de moyenne µ et d’écart-type σ, quelle est la distribution de probabilité de y = e x

?

Si y = e x

, alors x = lny et le jacobien est dx / dy = 1 / y. En faisant la substitution,

f (y ) = [ ] 2 1 (ln ) / 2 1 2 σ π − y−µ σ e y

(30)

Exercice 21

Si y a une distribution log-normale, quelle est la distribution de probabilité de y 2_? On pose z = y 2. Alors, y = z et dy / dz = 1 / (2 z ). En les insérant dans la densité ci-dessus, on trouve : f (z) = 2 1 1 ln / 2 2 1 1 1 , 0 2 2 σ π ⎡⎛ ⎞ ⎤ − ⎢_⎣⎜_⎝ −µ σ⎟_⎠ ⎥_⎦ > z e z z z = [ ] 2 1 (ln 2µ)/(2σ 2 1 , 0 (2 ) 2 z e z z σ π − − ) >

Ainsi, z a une distribution log-normale de paramètres 2µ et 2σ. En généralisant, si y a une distribution log-normale de paramètres µ et σ, y r

a une distribution log-normale de paramètres rµ et rσ.

Exercice 22

On suppose que y, x1, et x2 ont une distribution jointe normale de paramètre µN = [1, 2, 4] et de matrice de covariance Σ = 2 3 1 3 5 2 1 2 6 ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ .

a. Calculer l’ordonnée à l’origine et la pente de la fonction E[y*x1], Var[y*x1], et le coefficient de détermination dans la régression.

b. Calculer l’ordonnée à l’origine et la pente de la fonction de la moyenne conditionnelle, E[y*x1, x2]. Qu’est-ce que E[y*x1 = 2,5, x2 = 3,3] ? Qu’est-ce que Var[y*x1 = 2,5, x2 = 3,3] ?

En premier lieu, pour les variables distribuées normalement, on a :

E[y*x] = µy + Cov[y, x]{Var[x]}–1(x – :x)

et

Var[y*x] = Var[y] – Cov[y, x]{Var[x]}–1Cov[x, y] et

COD = Var[E[y*x]] / Var[y]

(31)

Annexe B 31 On insère juste les chiffres ci-dessus pour obtenir les résultats.

E[y*x1] = 1 + (3 / 5)(x1 – 2) = –0,2 + 0,6x1 Var[y*x1] = 2 – 3(1 / 5)3 = 1 / 5 = 0,2 COD = 0,62(5) / 2 = 0,9 E[y*x1, x2] = 1 +

[ ]

3 1 1 5 2 3 2 6 1 − ⎡ ⎤ ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ ⎣ ⎦ = –0,4615 + 0,6154x1 – 0,03846x2 Var[y*x1, x2] = 2 – (0,6154, –0,03846)(3, 1)N = 0,1923 E[y*x1=2,5, x2=3,3] = 1,3017 La variance conditionnelle n’est pas une fonction de x1 ou x2.

Exercice 23

Quelle est la densité de y = 1 / x si x a une distribution chi-deux ?

La densité d’une variable chi-deux est une variable gamma de paramètres 1 / 2 et n / 2 avec n les degrés de liberté de la variable chi-deux. Ainsi,

1 / 2 ₁ 2 2 (1/ 2) ( ) , 0 ( / 2) − − = > Γ n n x f x e x x n

Si y = 1 / x alors x = 1 / y et |dx / dy| = 1 / y 2_{. Donc, après avoir multiplié par le jacobien,}

1 1 / 2 ₂ 2 (1/ 2) 1 ( ) , 0 ( / 2) + − ⎛ ⎞ = _{⎜ ⎟} > Γ _{⎝ ⎠} n n y f y e y n y

Exercice 24

Fonction génératrice des probabilités. Pour une variable aléatoire discrète, x, la

fonction E[tx_{] =}

0 Prob[ ] ∞

= =

∑ x

x t X x est appelée la fonction génératrice des probabilités

parce que, dans la fonction, le coefficient de ti

est Prob[X=i]. Supposer que x soit le nombre de répétitions d’une expérience jusqu’à ce que le premier succès ait lieu avec une probabilité de succès égale à π. La densité de x est la distribution géométrique :

(32)

Quelle est la fonction génératrice des probabilités ?

E[tx] = ∑∞x=0tx(1−π)x−1π = 0[ (1 )] (1 ) π _π π ∑∞= − − x x t = 1 (1 ) 1 (1 ) π π π − −t −

Exercice 25

Fonction génératrice des moments. Pour la variable aléatoire X, avec une fonction de

densité f (x), si la fonction M(t) = E[etx_{] existe, il s’agit de la fonction génératrice des}

moments. En supposant qu’elle existe, on peut montrer que d r

M(t) / dtr|t=0 = E[x r].

Trouver la fonction génératrice des moments pour : a. La distribution exponentielle de l’exercice 9. b. La distribution de Poisson de l’exercice 19.

Pour la variable continue de la question (a), f (x) = θexp(–θx),

M(t) = _∫₀∞ txθ −θ x

e e dx = _∫₀∞θ −( - )θ t x e dx.

C’est θ fois une intégrale gamma avec p = 1, c = 1, et a = (θ – t). Donc,

M(t) = θ / (θ – t)

Pour la distribution de Poisson :

M(t) = ∑∞x=0e etx −λλx/ ! = x ∑∞x=0e−λ(λet) / !x x = ∑∞=0 −λ λ −λ (λ ) / ! t t e e t x x e e e e x = − +λ λ ∑∞=0 −λ (λ ) / ! t t e e t x x e e e x

La somme est la somme de probabilités d’une distribution de Poisson, de paramètre λe t_,

qui est égale à 1, de sorte que le terme avant le signe de la somme est la fonction génératrice des moments, M(t) = exp[λ(e t

(33)

Annexe C

Exercice 1

L’échantillon qui suit a été tiré d’une distribution normale de moyenne µ et d’écart-type σ :

x = 1,3, 2,1, 0,4, 1,3, 0,5, ,2, 1,8, 2,5, 1,9, 3,2

Calculer la moyenne, la médiane, la variance et l’écart-type de l’échantillon.

1 = ∑ = in xi x n = 1,52 s2₌

(

)

2 1 1 = − ∑ − n i xi x n = 0,9418 s = 0,97

Médiane = 1,55, à mi-chemin entre 1,3 et 1,8.

Exercice 2

En utilisant les données de l’exercice précédent, tester les hypothèses suivantes : a. µ > 2

b. µ < 0,7 c. σ2_{= 0,5}

d. En utilisant un test du ratio de vraisemblance, tester l’hypothèse suivante : µ = 1,8, σ2_{= 0,8.}

a. On rejette l’hypothèse si 1,52 est trop petit relativement à la valeur supposée de 2. Puisque les données sont tirées d’une distribution normale, on peut utiliser un

t test pour tester l’hypothèse. Le t-ratio est :

t[9] = (1,52 – 2) / [0,97 / 10 ]= –1,472

La valeur critique à 95 % de la t distribution pour un test unilatéral est –1,833. Donc, on ne rejette pas l’hypothèse au seuil de 95 %.

b. On rejette l’hypothèse si 1,52 est excessivement large relativement à la moyenne supposée de 0,7. Le t-ratio est t[9] = (1,52 – 0,7) / [0,97 / 10 ]= 2,673. En

(34)

utilisant la même valeur critique que dans le problème précédent, on rejette cette hypothèse.

c. La statistique (n – 1)s2 / σ2_{est distribuée selon un chi-deux à 9 degrés de liberté.} Elle est égale à 9(0,94) / 0,5 = 16,920. Les valeurs critiques au seuil de 95 % de la table du chi-deux pour un test bilatéral sont 2,70 et 19,02. Ainsi, on ne rejette pas l’hypothèse.

d. La log-vraisemblance pour un échantillon d’une distribution normale est : lnL = –(n / 2)ln(2π) – (n / 2)lnσ2_– 2 1 2σ 2 1( µ) = − ∑n i xi

Les valeurs de l’échantillon sont : 1,52, µ∧ = =x σ ∧ 2₌

(

)

2 1 = − ∑n i xi x n = 0,8476

La log-vraisemblance maximisée pour l’échantillon est –13,363. Un raccourci utile pour calculer la log-vraisemblance aux valeurs supposées est

2 1( ) = − µ ∑n i xi = 2 1( ) = − ∑n i xi x +

( )

2 − µ

n x . Pour la valeur supposée µ = 1,8, on a

2 1( 1,8) = − ∑n i xi = 9,26. La log-vraisemblance est –5(ln(2π) – 5(ln0,8) – (1 / 1,6)9,26 = –13,861. La statistique du ratio de vraisemblance est –2(lnLr – lnLu) = 0,996. La valeur

critique pour un chi-deux à 2 degrés de liberté est 5,99. On ne rejette pas l’hypothèse.

Exercice 3

Supposer que l’échantillon suivant est tiré d’une distribution normale de moyenne µ et d’écart-type σ : y = 3,1, –0,1, 0,3, 1,4, 2,9, 0,3, 2,2, 1,5, 4,2, 0,4. Tester l’hypothèse selon laquelle la moyenne de la distribution qui a généré ces données est la même que celle qui a produit les données de l’exercice 1. Tester l’hypothèse en supposant que les variances sont les mêmes. Tester l’hypothèse selon laquelle les variances sont les mêmes en utilisant un F test et un test du ratio de vraisemblance. (Ne pas faire l’hypothèse que les moyennes sont les mêmes.)

Si les variances sont les mêmes,

2 1~ [ ,µ σ₁ ₁/ ]₁ x N n et x2~ [ ,Nµ σ₂ 2₂/ ]n₂ 2 1− 2~ [µ − µ1 2,σ {(1/ ) (1/ )}],1 + 2 x x N n n

(35)

Annexe C 35 (n1 – 1)s12 / σ2 ~ χ2[n1 – 1] et (n2 – 1)s22 / σ2 ~ χ2[n2 – 1] (n1 – 1)s12 / σ2 + (n2 – 1)s22 / σ2 ~ χ2[n1 + n2 – 2] Ainsi, la statistique t =

{

(

)

(

)

}

[

]

{

}

2 1 2 1 2 1 2 2 2 2 2 1 1 2 2 1 2 / (1/ ) (1/ ) ( 1) / ( 1) / /( 2) µ µ σ σ σ − − − + − + − + − x x n n n s n s n n

est le ratio d’une variable normale standard et de la racine carrée d’une variable chi-deux divisée par ses degrés de liberté. Cette statistique suit une distribution t avec n1 + n2 – 2 degrés de liberté. Sous l’hypothèse selon laquelle les moyennes sont égales, la statistique est :

t =

(

)

{

}

1 2 1 2 2 2 1 1 2 2 1 2 / (1/ ) (1/ ) ( 1) ( 1) /( 2) − + − + − + − x x n n n s n s n n

Les statistiques d’échantillon sont :

n1 = 10, x1= 1,52, s₁2= 0,9418

n2 = 10, x2= 1,62, s₂2= 2,0907

de sorte que t[18] = 0,1816. Cette valeur est très faible, de sorte qu’on ne rejette pas l’hypothèse de moyennes égales.

Pour un échantillon aléatoire tiré de deux distributions normales, sous l’hypothèse de variances égales, la statistique F[n1 – 1, n2 – 1] =

2 2 1 1 1 2 2 2 2 2 ( 1) / /( 1) ( 1) / /( 1) σ σ ⎡ ₋ ⎤ ₋ ⎣ ⎦ ⎡ ₋ ⎤ ₋ ⎣ ⎦ n s n n s n est le ratio de

deux variables chi-deux indépendantes, chacune étant divisée par leurs degrés de liberté. Il s’agit d’une F distribution avec n1 – 1 et n2 – 1 degrés de liberté. Si n1 = n2, la statistique se réduit à F[n1 – 1, n2 – 1] = s12/s22. Étant donné l’objectif assigné, il est plus

pratique de placer la variance la plus grande dans le dénominateur. Ainsi, pour les données d’échantillon, F[9, 9] = 2,0907 / 0,9418 = 2,2199. La valeur critique au seuil de 95 % d’une F table est 3,18. Ainsi, on ne rejette pas l’hypothèse de variances égales. Le test du ratio de vraisemblance est fondé sur la statistique de test λ = –2(lnL r – lnLu).

La log-vraisemblance pour l’échantillon, joint de 20 observations, est la somme de deux log-vraisemblances séparées si les échantillons sont supposés indépendants. L’insertion des estimations de la vraisemblance maximum est un raccourci utile pour calculer la log-vraisemblance. À l’estimation de la vraisemblance maximum, lnL = (–n / 2)[1 + ln(2π) + ln_σ∧2_{]. Ainsi, la log-vraisemblance pour l’échantillon est}

lnL2=(–5 / 2)[1 + ln(2π) + ln((9 / 10)2,0907)]= –17,35007. (On rappelle qu’on ne corrige pas les degrés de liberté pour l’estimateur de la variance.). La fonction de