Partie 1 : développements en série

HEC ESCP Maths II S 2020 Corrigé Pierre Veuillez

Lorsque l'on cherche à estimer un paramètre inconnu à partir d'un échantillon de données, on appelle statistique exhaustive toute fonction de ces données qui résume à elle seule l'information que ces données fournissent sur le paramètre. On donne ici une dénition précise de cette notion d'exhaustives dans le cas des échantillons de variables aléatoire discrètes, illustrée de plusieurs exemples qui en montrent l'intérêt. On s'intéressera dans ce problème à l'estimation d'un paramètre réel inconnu θ appartenant à un intervalle Θ

On dispose pour cela de plusieurs observations x₁, . . . , x_n considérées comme les réalisations de va- riables aléatoire discrètesX1, . . . , Xndénie sur le même espace probabilisable(Ω,A),à valeurs dans une partie B deN

L'espace probabilisable (Ω,A) est muni d'une famille P^θ

θ∈Θ de probabilités indexées par le para- mètre θ.

On fait, pour toutes les valeurs du paramètre θ, les trois hypothèse suivantes :

Les variables aléatoiresX₁, . . . , X_n sont mutuellement indépendantes, c'est-à-dire :

∀(x₁, . . . , x_n)∈Bⁿ, P^θ

n

\

i=1

[X_i =x_i]

!

=

n

Y

i=1

P^θ([X_i =x_i]) ((1)) Les variables aléatoires X₁, . . . , X_n suivent toutes la même loi qu'une variable aléatoire de référence, dotée X, à valeurs dans B, c'est-à-dire :

∀i∈[1, n], ∀x∈B, P^θ([Xi =x]) =P^θ([X=x]) ((2)) Tous les éléments de B sont des valeurs eectivement possibles de X,c'est-à-dire :

∀x∈B, P^θ([X =x])>0 ((3)) On appelle statistique toute variable aléatoire S de la forme ω 7−→s(X₁(ω), . . . , X_n(ω)), où sdésigne une application dénie surBⁿ et à valeurs réelles. On note alors S =s(X₁, . . . , X_n) Pour tout θ ∈ Θ, on note E^θ(S) l'espérance de S lorsque (Ω,A) est muni de la probabilité P^θ (si cette espérance existe). On note de même V^θ(S)la variance de S (si elle existe).

Partie 1 : développements en série

1. Dans cette question, x désigne un nombre réel strictement compris entre 0 et 1 a) Justier la convergence de la sérieP

k≥1

x^k k

Réponse : x∈]0,1[donc pour tout k∈N^∗ : x^k k ≤x^k Et comme |x|<1, la série géométrique P

k≥1x^k converge.

Donc, par majoration de termes positifs, P

k≥1

x^k

k converge b) Vérier, pour toutm ∈N^∗ et tout t∈]0,1[, l'égalité :

1

1−t = t^m 1−t +

m−1

X

k=0

t^k Réponse : t ∈]0,1[ donc t6= 1 donc Pm−1

k=0 t^k= 1−t^m 1−t Réponse : donc t^m

1−t +Pm−1

k=0 t^k = 1 1−t

c) Démontrer que l'intégraleRx 0

t^m

1−tdt tend vers 0 quand l'entier m tend vers l'inni.

Réponse : Pour tout t de [0, x] on a 0<1−x≤1−t donc 0≤ 1

1−t ≤ 1 1−x et t≥0donc 0≤ t^m

1−t ≤ t^m 1−x.

Donc par croissance de l'intégrale de fonctions continues sur un segment,0≤Rx 0

t^m 1−tdt≤ 1

1−x Rx

0 t^mdt = 1 1−x

x^m+1 m+ 1 Enn, on a |x|<1donc x^m+1 →

m→+∞0 Et, par encadrement, Rx

0

t^m

1−tdt →

m→+∞0 d) En déduire la somme de la sérieP

k≥1

x^k k Réponse : On aPm−1

k=0 t^k = 1

1−t − t^m

1−t pour tout t de[0, x] donc (fonctions continues et linéarité de l'intégration)

Pm−1 k=0

Rx

0 t^kdt=Rx 0

1

1−tdt−Rx 0

t^m

1−tdt donc Pm−1

k=0

x^k+1

k+ 1 =−ln (1−x)−Rx 0

t^m

1−tdt avec Rx 0

t^m

1−tdt →

m→+∞ 0. Et par réindexation h=k+ 1 : Pm

h=1

x^h

h →

m→+∞−ln (1−x) P+∞

k=1

x^k

k =−ln (1−x)

2. Dans cette question, indépendante de la précédente, (a_k)_k∈N désigne une suite de nombres réels telle que la série P

k≥0a_kc^k est absolument convergente pour un réel strictement positif c

a) Justier que la fonction f :x7−→a₀+P+∞

k=1a_kx^k est bien dénie sur le segment [−c,+c]

Réponse : Pour x∈[−c, c]et k ∈N: a_kx^k

=|a_k| |x|^k ≤ a_kc^k

Par absolue convergence, , la série P

k≥0

a_kc^k

est convergente.

Donc, par majoration de termes positifs, la sérieP

k≥0

a_kx^k

est convergente donc la série P

k≥0akx^k est absolument convergente donc convergente. Donc x7−→a₀+P+∞

k=1a_kx^k est bien dénie sur le segment [−c,+c]

b) Pour un entier naturel m, on pose : M_m = P+∞

k=m+1|a_k|c^k−m−1 Justier, pour tout x ∈ [−c,+c], l'inégalité :

+∞

X

k=m+1

a_kx^k

≤M_m|x|^m+1 Réponse : Pour tout x ∈ [−c,+c] :

P+∞

k=m+1a_kx^k

≤ P+∞

k=m+1

a_kx^k

par inégalité triangulaire sur des séries convergentes,

et a_kx^k

=

a_kx^k−m−1

|x^m+1| ≤

a_kc^k−m−1

|x^m+1| Donc, (séries convergentes)

+∞

X

k=m+1

akx^k ≤

+∞

X

k=m+1

akc^k−m−1

x^m+1 =

+∞

X

k=m+1

akc^k−m−1

!

x^m+1

donc

P+∞

k=m+1a_kx^k

≤M_m|x|^m+1

c) Justier, pour toutm∈N^∗, le développement limite au voisinage de 0 : f(x) =a₀+

m

X

k=1

a_kx^k+o(x^m) Réponse : Pour tout x∈[−c, c] :

f(x) = a₀+

+∞

X

k=1

a_kx^k Chasles

= a₀+

m

X

k=1

a_kx^k+

+∞

X

k=m+1

a_kx^k et comme

P+∞

k=m+1a_kx^k

≤M_m|x|^m+1 on a donc, pour x6= 0 : 0≤

+∞

X

k=m+1

a_kx^k

! 1 x^m

≤M_nx→0

Donc, par encadrement, P+∞

k=m+1a_kx^k 1 x^m →

x→00 etP+∞

k=m+1a_kx^k = o (x^m) D'où f(x) = a₀+Pm

k=1a_kx^k+ o (x^m)

d) Démontrer que si la fonction f est nulle sur l'intervalle ]0,+c], alors (ak)_k∈

N est la suite nulle.

Réponse : pour tout m ∈ N^∗, si la fonction f est nulle sur l'intervalle ]0,+c] alors, un développement limité de f en0⁺ à l'ordre m est

f(x) = 0 + o (x^m) =a₀+

m

X

k=1

a_kx^k+ o (x^m).

Et par unicité du développement limité, a_k= 0 pour tout k ≤m et cela pour tout m.

Donc, pour tout k, ak= 0. si f = 0 sur ]0,+c], alors (a_k)_k∈

N est la suite nulle.

Dans toute la suite du problème, pour tout θ ∈Θ et. tout(x₁, . . . , x_n)∈Bⁿ,on note : L(x₁, . . . , x_n, θ) =

n

Y

i=1

P^θ([X_i =x_i]) ((4))

Cette quantité, qui s'écrit aussi Qn

i=1P^θ([X =x_i]) d'après (2), est appelée la vraisemblance de la valeur θ du paramètre au vu des observations x1, . . . , xn

Partie II : estimateur du maximum de vraisemblance, un exemple

Dans cette partie, Θ est l'intervalle ouvert ]0,1[, B est égal à N^∗ et on a :

∀x∈B, P^θ([X =x]) = (1−θ)^x−1θ On note X¯ la variable aléatoire 1

n Pn

i=1Xi

3. Soit θ∈Θ

a) Reconnaître la loi deX lorsque (Ω,A)est muni de la probabilité P^θ Réponse : X ,→ G(θ) loi géométrique de paramètre θ.

b) En déduire que X¯ est un estimateur sans biais du paramètre 1/θ.

Réponse : X ,→ G(θ) donc X a une espérance et E^θ(X) = 1 θ. Donc, par linéarité de l'espérance, X¯ a une espérance

et E^θ X¯

= 1 n

Pn

i=1E^θ(X_i) = 1

nnE^θ(X) = 1

Or X¯ est un estimateur (variable aléatoire fonction desθ X_i et pas de θ).

Donc X¯ est un estimateur sans biais du paramètre 1/θ.

c) Quel est le risque quadratique de cet estimateur ?

Réponse : X ,→ G(θ) donc X a une variance et V^θ(X) = 1−θ θ² . Donc X¯ = 1

n Pn

i=1X_i a une variance et V^θ X¯

= 1 n²

PV^θ(X_i) = 1

n²nV^θ(X) = 1−θ nθ² Donc le risque quadratique deX¯ est 0 + 1−θ

nθ² 4. On note T la variable aléatoire 1

n Pn

i=1

1 X_i

a) En utilisant le résultat de la question1.d, justier que :

∀θ∈Θ, E^θ(T) = θln(θ) θ−1 Réponse : 1

X a une espérance si et seulement siP+∞

k=1

1

kP^θ(X =k)converge absolument (th de transfert).

Or 1

kP^θ(X =k) = 1

k (1−θ)^k−1θ etP+∞

k=1

x^k

k =−ln (1−x)converge pour toutx∈]0,1[. Or 1−θ ∈]0,1[ donc P

k≥1

1

k (1−θ)^k à termes positifs converge ; donc converge absolu- ment.

Donc 1

X a une espérance et E^θ

1 X

=

+∞

X

k=1

1

k(1−θ)^k θ

1−θ =− θ

1−θln (1−(1−θ)) et ∀θ∈Θ, E^θ(T) = θln(θ)

θ−1

b) En déduire que T est un estimateur de θ dont le biais bθ(T) est strictement positif.

Réponse : T est une variable aléatoire fonction des X_i et de n et pas de 1

θ donc T est un estimateur. Son biais est

E^θ(T)−θ = θln(θ) θ−1 −θ

= θ

ln(θ) θ−1 −1

= θ

θ−1(ln(θ)−θ+ 1)

et comme la fonction ln est strictement concave sur ]0,+∞[, elle est en dessous de sa tangente en 1 :y=x−1

Méthode : La stricte concavité n'est pas au programme, mais, ici, HEC/ESCP , cela ne devrait pas choquer le correcteur. Les dicultés réelles sont ailleurs.

Une alternative est d'étudier les variations de la diérence x7→ln (x)−x+ 1 Réponse : Donc ln(θ)−(θ−1)<0pour tout θ >0 et6= 1

et comme θ−1<0, θ

θ−1(ln(θ)−θ+ 1)>0.

T est un estimateur de θ et b_θ(T)>0 5. Soit (x₁, . . . , x_n)∈Bⁿ

a) Justier, pour toutθ ∈Θ, l'égalité :

ln (L(x₁, . . . , x_n, θ)) = nln(θ)− n−

n

X

i=1

x_i

!

ln(1−θ) Réponse : L(x₁, . . . , x_n, θ) =Qn

i=1P^θ([X_i =x_i]) produit de termes strictement positifs donc

ln (L(x₁, . . . , x_n, θ)) =

n

X

i=1

ln P^θ([X_i =x_i])

=

n

X

i=1

ln (1−θ)^xi−1θ

=

n

X

i=1

[(x_i−1) ln (1−θ) + ln (θ)]

=

n

X

i=1

x_i −

n

X

i=1

1

!

ln (1−θ) +nln (θ) et ln (L(x₁, . . . , x_n, θ)) =nln(θ)−(n−Pn

i=1x_i) ln(1−θ)

b) En déduire que, lorsque lesx_i ne sont pas tous égaux a1, le nombre n Pn

i=1x_i est l'unique valeur de θ qui maximise la vraisemblance L(x₁, . . . , x_n, θ)

Réponse : Pour tout i, x_i ≤1,donc lorsque les x_i ne sont pas tous égaux a 1, Pn

i=1x_i <Pn

i=11 = n et n Pn

i=1x_i ∈]0,1[

La fonction f : θ 7→ nln(θ)−(n−Pn

i=1x_i) ln(1−θ) est dérivable en θ tel que θ > 0 et 1−θ >0, donc sur ]0,1[.

f⁰(θ) = n

θ + n−Pn i=1x_i

1−θ = 1

θ(1−θ)

"

(1−θ)n+ n−

n

X

i=1

x_i

! θ

#

= 1

θ(1−θ)

"

n−

n

X

i=1

x_i

! θ

#

donc

θ 0 n

Pn

i=1x_i 1

n−(Pn

i=1x_i)θ + 0 − ane

f⁰(θ) + 0 −

f(θ) % &

et, pour les x_i xés, non tous égaux à 1, n

Pn

i=1x_i est l'unique valeur de θ qui maximise L(x₁, . . . , x_n, θ)

6. On note U la variable aléatoire n Pn

i=1X_i

a) Établir, pour toutθ ∈Θet tout entier k ≥n, l'égalité : n

k =θ−θ² k

n − 1 θ

+

Z k/n 1/θ

k n −t

2 t³dt

Réponse : Par linéarité de l'intégration de fonctions continues sur un segment, Z k/n

1/θ

k n −t

2 t³dt =

Z k/n 1/θ

2k n

1 t³ − 2

t²dt= k

n

−1 t² + 21

t k/n

1/θ

= −k n

n² k² + 2n

k + k

nθ²−2θ

= n k + k

nθ²−2θ

donc en développant, pour tout θ∈Θ et tout entier k≥n : θ−θ²

k n −1

θ

+Rk/n 1/θ

k n −t

2

t³dt= n k

b) En déduire que U est un estimateur de θ dont le biais b_θ(U) est donneé par :

∀θ ∈Θ, bθ(U) =

+∞

X

k=n

P " _n

X

i=1

Xi =k

#!Z k/n

1/θ

k n −t

2 t³dt Réponse : U = n

Pn i=1Xi

, fonction des X_i et pas de θ,est bien un estimateur de θ.

(Pn

i=1X_i) (Ω) = [[n,+∞[[ donc, 0≤U ≤1 et, par majoration,U a une espérance Par le théorème de transfert,puis avec l'égalité précédente

E(U) =

+∞

X

k=n

n kP^θ

" _n X

i=1

X_i =k

#!

=

+∞

X

k=n

P^θ " _n

X

i=1

X_i =k

#! "

θ−θ² k

n − 1 θ

+

Z k/n 1/θ

k n −t

2 t³dt

#

= 2θ

+∞

X

k=n

P^θ " _n

X

i=1

X_i =k

#!

−θ² n

+∞

X

k=n

kP^θ

n

X

i=1

X_i =k

!

+

+∞

X

k=n

P " _n

X

i=1

Xi =k

#! "

Z k/n 1/θ

k n −t

2 t³dt

#

avec

P+∞

k=nP^θ(Pn

i=1X_i =k) = 1 (système complet d'événements) θ²

n P+∞

k=nkP^θ(Pn

i=1X_i =k) = θ²

nE(Pn

i=1X_i) = θ² n

n

θ =θ par th de transfert donc b_θ(U) = E(U)−θ =

+∞

X

k=n

P " _n

X

i=1

X_i =k

#! "

Z k/n 1/θ

k n −t

2 t³dt

#

c) Justier queb_θ(U) est strictement positif, quelle que soit la valeur du paramètre θ Réponse : On ne connaît pas l'ordre des bornes de Rk/n

1/θ

k n −t

2 t³dt.

Si 1 θ < k

n alors , pour tout t de 1

θ,k n

, k

n −t 2

t³ > 0, donc (bornes croissantes) Rk/n

1/θ

k n −t

2

t³dt >0 Si 1

θ > k

n alors , pour tout t de k

n,1 θ

, k

n −t 2

t³ < 0, donc (bornes décroissantes) Rk/n

1/θ

k n −t

2

t³dt >0 et si 1

θ = k

n alors l'intégrale est nulle.

Donc tous les termes des la somme, sauf éventuellement un, sont strictement positifs (les probabilités sont non nulle) et b_θ(U)>0

7. Dans cette question, on suppose que le nombre des observations est illimité. On dispose donc, pour estimer le paramètreθ, d'une suite (X_n)_n∈

N^∗ de variables aléatoires mutuellement indé- pendantes et de même loi. Pour tout entiern ∈N^∗,on noteTn= 1

n Pn

i=1

1

X_i etUn= n Pn

i=1X_i. Étudier la convergence des deux suites d'estimateurs (T_n)_n∈

N^∗ et (U_n)_n∈

N^∗ du paramètre θ Réponse : X¯_n=

Pn i=1Xi

n a pour risque quadratique 1−θ

nθ² comme estimateur de 1 θ.

Son risque quadratique tend vers 0 donc X¯_n est un estimateur convergent (convergence en probabilité vers la constante 1/θ)

La fonctionf :t7→1/test continue en1/θ,on montre alors quef X¯_n

converge en probabilité vers f

1 θ

=θ:

Soit ε >0. Alors il existeα >0 tel que si

t− 1 θ

≤α alors |f(t)−f(θ)| ≤ε Donc, si |f(t)−f(θ)|> ε alors

t− 1 θ

> α et

f X¯n

−f(θ) > ε

⊂

X¯n− 1 θ

> α

donc, P

f X¯_n

−f(θ) > ε

≤P

X¯_n−1 θ

> α

Or, P

X¯_n− 1 θ

> α

→0 quand n tend vers l'inni (estimateur convergent).

Donc, par encadrement,P f X¯n

−f(θ) > ε

→0 et donc Un =f X¯n

est un estimateur convergent de f 1

θ

=θ.

Méthode : Le biais deTn ne tend pas vers 0, donc le risque quadratique non plus.

Attention, cette condition est susante mais non nécessaire.

Contre exemple : Si la loi deY_nest :P (Y_n=n) = 1

n etP (Y_n = 0) = 1−1

n doncP (|Y_n−0|> ε) = 1

n pourn ≥ 1 ε alors Yn

→P 0 mais E(Yn) = 1.

DoncE(T_n) constante non nulle, n'empêche pas la convergence en probabilité.

Réponse : La série desP+∞

k=1

1

k² (1−θ)^k converge absolument donc 1

X a une variance.

T_n est donc la moyenne empirique d'une suites de variables aléatoires 1

Xi

ayant même espérance et variance, indépendantes

Donc, d'après la loi faible des grands nombres, T_n→^P E(X) = θln(θ)

θ−1 > θ d'après 4.b) DoncT_n est un estimateur convergent ... de θln(θ)

θ−1 et non pas de θ: En notantϕ= θln(θ)

θ−1 > θ

|T_n−θ|=|T_n−ϕ+ϕ−θ| ≥ ||T_n−ϕ| − |ϕ−θ||

Donc, avec ε=|ϕ−θ|>0,si|T_n−ϕ| ≤ε/2alors||T_n−ϕ| − |ϕ−θ|| ≥ε/2et|T_n−θ| ≥ε/2 Donc[|T_n−ϕ| ≤ε/2]⊂[|T_n−θ| ≥ε/2]et par croissance de la probabilité,

P(|T_n−ϕ| ≤ε/2)≤P (|T_n−θ| ≥ε/2)≤1

Et, comme P(|T_n−ϕ| ≤ε/2)→1(convergence en probablité) quand n→+∞,alors, par encadrement, P(|T_n−θ| ≥ε/2)→16= 0 donc

T_n n'est pas un estimateur convergent vers θ

Dans toute la suite du problème, on dit qu'une statistique S = s(X₁, . . . , X_n) est exhaustive s'il existe une application g de s(Bⁿ)×Θ dans R+ et une application h de Bⁿ dans R+ telles que :

∀θ ∈Θ,∀(x1, . . . , xn)∈Bⁿ, L(x1, . . . , xn, θ) = g(s(x1, . . . , xn), θ)h(x1, . . . , xn) ((5))

Partie III : statistique exhaustive, un exemple

Dans cette partie, on suppose que B = {0,1},Θ =]0,1[et que, quel que soit θ ∈ Θ, les variables aléatoiresX₁, . . . , X_nsuivent la loi de Bernoulli de paramètreθ,lorsque l'espace probabilisable(Ω,A) est muni de la probabilitéP^θ On pose : S =Pn

i=1X_i

8. a) Démontrer que la vraisemblance de n'importe quelle valeurθ∈Θdu paramètre est donnée par :

∀(x₁, . . . , x_n)∈ {0,1}ⁿ, L(x₁, . . . , x_n, θ) =θ(^Pni=1xi)×(1−θ)(^{Pni=1(1−xi)}) Réponse : Si X ,→ B(θ) et x∈ {0,1} alors

θ^x(1−θ)^1−x =

θ six= 1

1−θ six= 0 =P^θ(X =x)donc

∀(x₁, . . . , x_n)∈ {0,1}ⁿ,

L(x₁, . . . , x_n, θ) =

n

Y

i=1

P^θ([X_i =x_i])

=

n

Y

i=1

θ^xi(1−θ)^1−xi et L(x₁, . . . , x_n, θ) =θ(^Pni=1xi)×(1−θ)(^{Pni=1(1−xi)})

b) En déduire que la statistique S est exhaustive.

Réponse : On a Pn

i=1(1−x_i) = n−Pn

i=1x_i donc avec s:x∈Rⁿ 7→Pn

i=1x_i on a L(x₁, . . . , x_n, θ) = θ^s(x1,...,xn)×(1−θ)^{(n−s(x1,...,xn))}

et avec g : (s, θ)7→θ^s(1−θ)^n−s eth= 1 on a bien

∀θ ∈Θ,∀(x₁, . . . , x_n)∈Bⁿ, L(x₁, . . . , x_n, θ) = g(s(x₁, . . . , x_n), θ)h(x₁, . . . , x_n) Donc la statistique S est exhaustive.

9. Soit k∈[0, n] et (x₁, . . . , x_n)∈ {0,1}ⁿ

a) Calculer la probabilité conditionnelleP_[S=k]^θ ([X₁ =x₁]∩ · · · ∩[X_n=x_n])et vérier que la loi conditionnelle du vecteur aléatoire(X₁, . . . , X_n)sachant l'événement[S =k]ne dépend pas du paramètre θ

Méthode : En revenant à la dénition,

P_[S=k]^θ ([X₁ =x₁]∩ · · · ∩[X_n=x_n]) = P_[S=k]^θ ([X₁ =x₁]∩ · · · ∩[X_n =x_n]∩[S =k]) P(S =k)

Donc cette probabilité est nulle si Pn

i=1x_i 6=k Et si

n

X

i=1

x_i = k,[X₁ =x₁]∩ · · · ∩[X_n =x_n]∩[S =k]

= [X₁ =x₁]∩ · · · ∩[X_n=x_n] indépendants donc le numérateur est Qn

i=1P^θ([Xi =xi]) = L(x1, . . . , xn, θ) = θ^k×(1− θ)^n−k

Comme les X_i sont indépendants, par stabilité des loi binomiales, S ,→ B(n, θ)et P (S=k) = ⁿ_k

θ^k(1−θ)^n−k Donc P_[S=k]^θ (X₁ =x₁∩ · · · ∩X_n=x_n) =

0 si Pn

i=1x_i 6=k 1/ ⁿ_k

si Pn

i=1x_i =k donc la loi conditionnelle sachantS =k ne dépend pas de θ.

b) Établir, pour toutθ ∈Θ, l'égalité : P_[S=k]^θ ([X₁ = 1]) = k Réponse : (X₁ = 1)∩(S =k) = (X₁ = 1)∩(Pn n

i=2X_i =k−1)avecPn

i=2X_i ,→ B(k−1, θ) et par indépendance des deux,

P ((X₁ = 1)∩(S =k)) = P^θ(X₁ = 1)P^θ

n

X

i=2

X_i =k−1

!

= θ

n−1 k−1

θ^k−1(1−θ)^n−k donc

P_[S=k]^θ ([X₁ = 1]) = θ ⁿ⁻¹_k−1

θ^k−1(1−θ)^n−k

n k

θ^k(1−θ)^n−k =

n−1 k−1

n k

et en repassant par l'écriture factorielle pour tout θ ∈Θ, P_[S=k]^θ ([X₁ = 1]) = k n

10. Le script Scilab suivant permet d'eectuer des simulations, qu'il place dans une matrice Y, dont il évalue ensuite la moyenne de chaque colonne.

> theta=0.3;

> N=100000;

> n=10;

> k=4;

> U=grand(n,N,'bin',1,theta);

> S=sum(U,'r');// somme des lignes de U colonne par colonne.

> K=find(S==k);// recherche des coefficients de S égaux à k

> Y=U(1:n,K);

> M=mean(Y,'c')//moyenne des colonnes de Y, ligne par ligne ans=

0.4019917 0.4042436 0.4008908 0.3962868 0.4054947 0.3953861 0.3990892 0.4002402 0.3941851 0.4021919

a) Décrire avec précision ce que représente une colonne de la matrice U.

Réponse : grand avec les paramètres 'bin',1,theta simule des lois binômiales indé- pendantes de longueur 1 et de paramètre θ,c'est à dire des lois de Brenouilli.

Les colonnes sont formées de n= 10 lignes de 0et de 1, simulations de lois de Bernouilli de paramètre θ

b) Expliquer pourquoi les coecients deY fournissent une simulation d'une loi conditionnelle du vecteur (X₁, . . . , X_n)

Réponse : somme des lignes de U colonne par colonne. est confus.

S=sum(U,'r') calcule la somme des chacune des colonnes deU et forme la ligne (Raw) de ces résultats.

K=find(S==k) détermine les colonnes de U pour lesquelles la somme dePn

i=1X_i vaut k Y=U(1:n,K); selectionne les colonnes de U pour lesquelles Pn

i=1X_i vautk.

Donc les colonnes de Y sont des simulations d'un nombre ν=length(K) réalisations du vecteurs(X₁, . . . , X_n) sous la condition Pn

i=1X_i =k. En ce sens,

Y donne ν simulations de la loi conditionnelle de (X₁, . . . , X_n) sachantPn

i=1X_i =k (on ne sait pas avant la simulation combien de simulation de cette loi conditionnelle seront réalsiées)

c) Commenter les résultats trouvés pour les coecients de M.

Réponse : On avait trouvé que la loi conditionelle pour X1 ,→ B(?) était : P_[S=k]^θ ([X₁ = 1]) = k

n

La loi faible des grand nombre donne la convergence en probablité de la moyenne empirique M vers l'espérance qui est (loi de Bernouilli) P_[S=k]^θ ([X₁ = 1]) = k

n.

Ici, pour la moyenne sur ν simulations desn = 10variables simulées sont toutes proche de 0,4 = 4

10 la probabilté conditionnelle.

Ce qui est cohérent.

11. A la suite du script précédent, on exécuté l'instruction suivante : C=Y*Y'/length(K)

a) Donner le format de la matriceC et indiquer la valeur de son coecientC(1,1).

Méthode : Y est une matrice n= 10 lignes et ν colonnes. Et Y' sa transposée a ν lignes et n= 10 colonnes.

Donc Y*Y' produit matriciel est une matrice n×n : 10×10 Et comme 0² = 0 et 1² = 1 on donc (y_1,h)² =y_1,h

C(1,1) = 1 ν

Pν

k=1(y_1,h)² = 1 ν

Pν h=1y_1,h

simule la moyenne empirique de ν réalistions deX1 sachantS10 = 4

b) A quelle valeur approchée peut-on s'attendre pour C(1,2) et pour les autres coecients non diagonaux de la matrice C?

Réponse : C(1,2) = 1 ν

Pν

k=1y_1,ky_2,k est la moyenne de ν rélalisations de X₁X₂ pour lesquelles S₁₀= 4

DoncC(1,2)convergera en loi vers l'espéranceE_S^θ₁₀₌₄(X1X2)(loi faible des grands nombres) Les (X_i) sont indépendants pour la probabalitéP^θ, mais pas pour P_S^θ

10=4 et P_S^θ

10=4(X₁ = 1∩X₂ = 1) =???

Donc on ne peut pas utliser ici la loi faible des grand nombres.

Mais, on connait [X1X2 = 1] = [X1 = 1] [X2 = 1] donc P_S^θ_n=k(X₁X₂ = 1) = P^θ(X₁ = 1∩X₂ = 1∩Pn

i=3X_i =k−2) P^θ(S =k)

= P^θ(X₁ = 1)P^θ(X₂ = 1)P^θ(Pn

i=3X_i =k−2) P^θ(S_n=k)

= θ×θ× ⁿ⁻²_k−2

θ^k−2(1−θ)^n−k

n k

θ^k(1−θ)^n−k =

n−2 k−2

n k

= k(k−1) n(n−1) donc, d'après la loi faible des grands nombres, et C(1,2)' 4×3

10×9 = 2

15 = 1.33 ainsi que les autres termes non diagonaux c) Quelle est la somme totale des coecients de la matrice C ?

Réponse : Scilab a donné :16.

n

X

i=1 n

X

j=1

c_i,j =

n

X

i=1 n

X

j=1

1 ν

ν

X

h=1

y_i,hy_j,h

= 1 ν

ν

X

h=1 n

X

i=1

y_i,h

n

X

j=1

y_j,h

!

et comme on a selectionné les colonnes de U pour lesquelles la somme vaut k= 4,

n

X

i=1 n

X

j=1

c_i,j = 1 ν

ν

X

h=1

k²

= ν

νk² =k² Donc la somme des coecients de C vaut 16

Partie IV : inégalité de Rao-Blackwell

Dans cette partie, on reprend les hypothèses générale du préambule et on considère une statistique exhaustiveS =s(X₁, . . . , X_n),au sens donne par (5) On admet que, pour tout élément u des(Bⁿ) et tout élément (x₁, . . . , x_n) de Bⁿ,la probabilité conditionnelle P_[S=u]^θ ([X₁ =x₁]∩ · · · ∩[X_n =x_n]) ne dépend pas de θ

12. Soit T un estimateur sans biais du paramètre θ

a) Démontrer que, pour tout u ∈ s(Bⁿ), l'espérance conditionnelle E_[S=u]^θ (T) existe et que sa valeur ne dépend pas de θ

Réponse : T un estimateur sans biais du paramètre θ donc T a une espérance pour P^θ et E_θ(T) = P

t∈T(Ω)t P^θ(T =t) Méthode : E_[S=u]^θ (T) existe si P

t∈T(Ω)t P_S=θ^θ (T =t) converge absolument.

On pense donc au théorèmes de convergence par comparaison.

Pour cela, on compare P_[S=u]^θ (T =t)et P^θ(T =t) . Réponse : Soitu∈s(Bⁿ) ett ∈T(Ω).

P_S=u^θ (T =t) = P (S =u∩T =t)

P (S =u) par dénition.

Avec(S =u∩T =t)⊂(T =t)donc P (S =u∩T =t)≤P(T =t) et P_S=u^θ (T =t)≤ P(T =t)

P (S =u) d'où

t P_S=u^θ (T =t)

≤ 1 P(S =u)

t P^θ(T =t) Or, la série P

t∈T(Ω)t P^θ(T =t) converge absolument, donc, par majoration de termes positifs, la série desP

t∈T(Ω)

t P_S=u^θ (T =t)

converge et E_[S=u]^θ (T)existe

Méthode : Pour montrer qu'elle ne dépend pas deθ,on doit décomposer suivant les X_i, pour lesquelles P_[S=u]^θ ([X₁ =x₁]∩ · · · ∩[X_n =x_n])est constante par rapport à θ.

Réponse : T, estimateur, est fonction de (X₁,· · · , X_n). Donc il exsite une fonction f telle que T =f(X₁,· · · , X_n)

Donc P_[S=u]^θ (T =t) = P

(xi)_i∈Bⁿ/f(x1,···xi)=t

P_S=u^θ (∩_iX_i =x_i), loi conditionelle de T, ne dé- pend pas de θ puisque lesP_S=u^θ (∩_iX_i =x_i) ne dépendent pas de θ.

Et, E_[S=u]^θ (T) ne dépend pas de θ

b) Justier que([S =u])u∈s(Bⁿ) est un système complet d'événements.

Réponse : On a S =s(X₁,· · ·X_n) et(X₁,· · ·X_n) (Ω) =Bⁿ Doncs(Bⁿ)est l'ensemble des valeurs possibles de S.

D'autre part les ([S =u])_u∈s(Bn) sont deux à deux incompatibles.

Donc ([S =u])u∈s(Bⁿ) est un système complet d'événements.

13. Comme l'espérance conditionnelle E_[S=u]^θ (T)ne dépend pas de la valeur deθ, on peut la noter E[S=u](T)et dénir une application r deBⁿ dans Rpar :

∀(x₁, . . . , x_n)∈Bⁿ, r(x₁, . . . , x_n) =E_{[S=s(x1,...,xn)]}(T)

a) En utilisant la formule de l'espérance totale, démontrer que R = r(X₁, . . . , X_n) est un estimateur sans biais de θ

Réponse : Comme T a une espérance et que ([S = u])u∈s(Bⁿ) est un système complet d'événements, la formule de l'espérance totale donne alors

E^θ(T) = X

u∈s(Bⁿ)

P^θ(S =u)E_S=u^θ (T)

En notant Ξ le vecteur (X₁,· · ·X_n), on a (S =u) = [s(Ξ) =u] = S

x∈Bⁿ/s(x)=u(Ξ = x) est disjointe donc

P^θ(S =u) = X

x∈Bⁿ/s(x)=u

P^θ(Ξ =x) et

E^θ(T) = X

u∈s(Bⁿ)

X

x∈Bⁿ/s(x)=u

P^θ(Ξ =x)E_S=s(x)^θ (T) avec {x∈Bⁿ/s(x) = u, u∈s(Bⁿ)}=Bⁿ

= X

x∈Bⁿ

P^θ(X₁ =x,· · · , X_n=x_n)r(x₁, . . . , x_n)

= E^θ(r(X₁, . . . , X_n)) =E^θ(R) selon le théorème de transfert.

Et comme T est sans biais,θ =E^θ(T) = E^θ(R) Donc R est un estimateur sans biais deθ

b) On suppose que T admet une variance, quelle que soit la valeur du paramètre θ Justier qu'il en est de même pour R et en utilisant les inégalités

E_[S=u](T −θ)2

≤E_[S=u] (T −θ)²

établir, pour tout θ ∈Θ, l'inégalité (appelée inégalité de Rao-Blackwell) : V^θ(R)≤V^θ(T)

Réponse : Puisque T a une variance pour tout θ, T² a une espérance pour tout θ.

Donc T² a une espérance conditionnelle pour tout θ.

Pour une variable aléatoire X ayant une variance sur un espace probabilisé, E(X)² ≤E(X²)

Donc, pour tout x∈Bⁿ et pour la probabilité , P_S=s(x), E_[S=s(x)](T)² ≤E_[S=s(x)](T²) Donc R² = 0 ≤E_[S=s(Ξ)](T²).

R² =r(Ξ)² a une espérance si et seuelement si la série est absoluemnt convergente, ce qui équivaut -tout est positif et théorème de transfert - à la convergence simple de

X

x∈Bⁿ

P (Ξ =x)r(x)² = X

x∈Bⁿ

P^θ(Ξ = x)E_S=s(x)^θ (T)²

= X

u∈s(Bⁿ)

X

x∈Bⁿ/s(x)=u

P^θ(Ξ =x)E_S=u^θ (T)²

| {z }

≤E^θ_S=u(T²)

et comme T² a une espérance, par la formule de l'espérance totale, la famille suivante est sommable :

E^θ T²

= X

u∈s(Bⁿ)

P^θ(S =u)E_S=u^θ T²

= X

u∈s(Bⁿ)

X

x∈Bⁿ/s(x)=u

P^θ(Ξ = x)E_S=u^θ T² donc, par majoration de termes positifs, la sérieP

x∈BⁿP (Ξ =x)r(x)²converge également et R² a une espérance

et E^θ(R²)≤E^θ(T²) par sommation convergente des inégalités donc R a une variance pour tout θ ∈Θ

et V^θ(R) =E^θ(R²)−E^θ(R)² =E^θ(R²)−E^θ(T)² ≤E^θ(T²)−E^θ(T)² ≤V^θ(T²) et pour tout θ ∈Θ V^θ(R)≤V^θ(T²)

14. Un exemple d'estimateur sans biais optimal

Dans cette question uniquement, on suppose queB =N,Θ =]0,+∞[ et que, pour toutθ ∈Θ la loi commune des variables aléatoires X₁, . . . , X_n sur l'espace probabilisé Ω,A, P^θ

est la loi de Poisson de paramètreθ

a) Justier que la statistiqueS =Pn

i=1X_i est exhaustive.

Réponse : La statistique S = Pn

i=1X_i = s(X₁,· · · , X_n) est exhaustive s'il existe une application g des(Bⁿ)×Θdans R+ et une application h deBⁿ dans R+ telles que :

∀θ∈Θ,∀(x₁, . . . , x_n)∈Bⁿ, L(x₁, . . . , x_n, θ) =g(s(x₁, . . . , x_n), θ)h(x₁, . . . , x_n) ((5)) ici, s : (x₁,· · ·x_n)7→Pn

i=1x_i,

s(Bⁿ) =N (les sommes de n entiers sont tous les entiers) et, pour tout (x₁,· · ·x_n)∈Nⁿ:

L(x₁, . . . , x_n, θ) =

n

Y

i=1

P^θ([X_i =x_i]) =

n

Y

i=1

e^−θθ^xi x_i!

= e^−nθθ^{s(x1,···xn)} 1 Qx_i! donc, avec g : (t, θ)7→e^−nθθ^t et h: (x1,· · ·xn)7→ 1

Qx_i! on a bien la relation demandée.

Donc la statistique S =Pn

i=1X_i est exhaustive.

b) Soitu∈N et(x₁, . . . , x_n)∈Nⁿ Vérier que la probabilité conditionnelle P_[S=u]^θ ([X₁ =x₁]∩ · · · ∩[X_n=x_n])

ne dépend pas deθ Réponse : S =Pn

i=1X_iest une somme de lois de Poisson indépendantes. DoncS ,→ P(nθ).

u∈N et(x₁, . . . , x_n)∈Nⁿ

P_[S=u]^θ ([X₁ =x₁]∩ · · · ∩[X_n=x_n]) = P^θ([X1 =x1]∩ · · · ∩[Xn =xn]∩[S=u]) P^θ(S =u)

donc cette probabilté est nulle si u6=P

x_i et ne dépend donc pas deθ.

Si u=Pn i=1x_i :

P^θ(S =u) =e^−nθ(nθ)^u

u! =e^−nθθ^un^u u!

et, par indépdenance des Xi :

P (X₁ =x₁∩ · · · ∩X_n=x_n∩S =u) = P (X₁ =x₁∩ · · · ∩X_n=x_n)

=

n

Y

i=1

P^θ(X =x_i) =g(u, θ)h(x₁, . . . , x_n) d'où simplication des g(u, θ) et

P_[S=u]^θ ([X₁ =x₁]∩ · · · ∩[X_n=x_n]) = u!

n^uh(x₁, . . . , x_n) quantité qui ne dépend pas de θ.

c) Soit u ∈ N Démontrer que chacune des variables aléatoires X₁, . . . , X_n suit une loi bino- miale lorsque l'espace probabilisable (Ω,A) est muni de la probabilité P_[S=u]^θ . Sont-elles indépendantes pour cette probabilité ?

Réponse : Les X_i sont tous positifs, donc, quand leur somme est S=u,aucune ne peut dépasseru.

Toutes les valeurs inférieures restent possibles.

Donc la loi de X_n est donnée par :

Donc, quand S=u, Xn(Ω∩[S =u]) = [[0, u]]

Et pour tout k ∈[[0, u]] :

P_[S=u]^θ (Xn=k) = P^θ [X_n=k]∩Pn−1

i=1 X_i =u−k

P^θ(S =u) indépendance par coalition

= P^θ(X_n=k)×P^θ Pn−1

i=1 X_i =u−k P^θ(S =u)

=

e^−θθ^k

k!e^−(n−1)θ((n−1)θ)^u−k (u−k)!

u!

e^−nθ(nθ)^u car

n−1

X

i=1

X_i ,→ P((n−1)θ)

= u!

(u−k)!k!

((n−1))^u−k

n^u =

u k

1 n

k 1− 1

n ^n−k

Donc de même pour tous les X_i en réoronnant leur numérotations.

Donc, pour tout i∈[[1, n]] :X_i ,→ B

u, 1 n

pour P_[S=u]

Si u6= 0 alors (X₁ =u∩X₂ =u)∩(S =u) = ∅, donc les X_i ne sont pas indépendantes.

Si u= 0, elles sont constantes donc indépendantes.

d) Trouver une suite réelle (ϕ_k)_k∈

N telle que

∀θ > 0,

+∞

X

k=0

ϕ_k(nθ)^k

k! =θe^nθ et en prouver l'unicité à l'aide du résultat de la question 2.

Méthode : le coecient ϕ_k, ne doit pas dépendre de θ,qui n'est connu qu'après.

Réponse : P+∞

k=0

(nθ)^k

k! = e^nθ et θe^nθ =

+∞

X

k=0

θ(nθ)^k k! =

+∞

X

k=0

1 n

(nθ)^k+1 k!

=

+∞

X

k=0

k+ 1 n

(nθ)^k+1 (k+ 1)! ∗

=

+∞

X

h=1

h n

(nθ)^h h!

Donc ϕ_k = k

n pour tout k ∈Nest une solution.

A la question 2.d) , on a vu que si f :x 7→ P+∞

k=0a_kx^k série absolument convergente, sur R⁺ alors, si la fonciton est nulle, tous les a_k sont nuls.

Ici, , si P+∞

k=0ϕ_k(nθ)^k

k! =θe^nθ =P+∞

k=0

k n

(nθ)^k

k! pour toutθ >0 alors P+∞

k=0

ϕ_k− k n

(nθ)^k

k! = 0 et donc 2.d)ϕ_k− k

n = 0 pour tout entiern.

On a donc unicité de (ϕ_k)_k∈

N

e) En exploitant le résultat de la question 13, démontrer que, parmi les estimateur sans biais deθ, l'estimateur 1

n Pn

i=1X_i est optimal, c'est-à-dire que son risque quadratique est inférieur ou égal à celui de tout autre estimateur sans biais de θ

Réponse : On a vu que siT était un estimateur sans biais, etSune statistique exhaustive alors avec R=r(X₁,· · · , X_n),

V (R)≤V (T) donc r(R)≤r(T).

De plus, si T⁰ est un estimateur biaisé, T = T⁰−E(T⁰) est sans biais de même variance que T.

Donc r(R)≤r(T)≤r^θ(T⁰) pour tout estimateurT⁰ deθ.

Donc, parmi les estimateurs biaisés ou non, R en est un de plus petit risque quadratique.

AvecT =X₁ estimateur non biaisé de θ et a S =Pn

i=1X_i qui est une statistique exhaustive, on a vu que, pour P_S=u :X₁ ,→ B

u, 1

n

donc E_S=u(X₁) = u

n et avec Pn

i=1x_i =u, r(x₁, . . . , x_n) = E_{[S=s(x1,...,xn)]}(X₁) = 1

n Pn

i=1x_i Donc R=r(X₁,· · ·, X_n) = 1

n Pn

i=1X_i est optimal.