ColloqueFrancophonesurlesSondages-5novembre2012 encollaborationavecH.Cardot etC.Goga P.Lardin Bandesdeconfianceasymptotiquespourl’estimationdelamoyennededonnéesfonctionnellespourdesplansàprobabilitésinégales

Bande de confiance

Bandes de confiance asymptotiques pour l’estimation de la moyenne de données

fonctionnelles pour des plans à probabilités inégales

P. Lardin ^1,2

en collaboration avec H. Cardot ¹ et C. Goga ¹

Université de Bourgogne ¹ , EDF R&D ICAME ²

Colloque Francophone sur les Sondages - 5 novembre 2012

P. Lardin Propriétés des plans à probabilités inégales à forte entropie

Bande de confiance

1 Introduction

2 Estimation de la courbe moyenne

3 Propriétés asymptotiques

4 Application aux courbes de consommation électrique

5 Bande de confiance

Bande de confiance

Sommaire

1 Introduction

2 Estimation de la courbe moyenne

3 Propriétés asymptotiques

4 Application aux courbes de consommation électrique

5 Bande de confiance

P. Lardin Propriétés des plans à probabilités inégales à forte entropie

Bande de confiance

Contexte

Remplacement de l’ensemble des compteurs électriques par des comp- teurs communicants.

Possibilité de récupérer à des pas potentiellement très fins (10 mi- nutes, demi-heure,...) la consommation de chaque ménage et de chaque entreprise.

Rapatrier l’ensemble de ces données est peu envisageable (contraintes techniques et budgétaires).

Pour obtenir une estimation précise, les sondages sont une alternative

intéressante aux techniques de compression du signal.

Bande de confiance

Objectifs

Améliorer la précision de l’estimation de la courbe moyenne de consomma- tion en prenant en compte

l’information auxiliaire disponible (consommation antérieure, tempé- rature, ...)

le fait que les courbes de consommation peuvent être vues comme des fonctions

⇒ Sondage à probabilités inégales sans remise.

P. Lardin Propriétés des plans à probabilités inégales à forte entropie

Bande de confiance

Sommaire

1 Introduction

2 Estimation de la courbe moyenne

3 Propriétés asymptotiques

4 Application aux courbes de consommation électrique

5 Bande de confiance

Bande de confiance

Notations

Soit U = {1, ..., N} une population finie de taille N connue, dans laquelle un échantillon s de taille n est sélectionné à l’aide d’un plan de sondage p(.). On note π _k la probabilité d’inclusion de l’individu k dans l’échantillon s.

Pour chaque individu k de l’échantillon s, la courbe de consommation Y k = ((Y k (t )) _t∈[0,T] est observée.

Objectif : Estimer la courbe moyenne de consommation de la population U

µ(t ) = 1 N

X

k∈U

Y k (t), ∀t ∈ [0, T ].

P. Lardin Propriétés des plans à probabilités inégales à forte entropie

Bande de confiance

Estimateur de Horvitz-Thompson ˆ

µ HT (t ) = 1 N

X

k∈s

Y k (t ) π k

= 1 N

X

k∈U

Y k (t)

π k 1 k∈s , ∀t ∈ [0, T ].

Dans le cas d’un plan de sondage à taille fixe (Yates et al. (1953)), la fonction de covariance de l’estimateur est donnée par

γ p (r , t) = − 1 2

1 N ²

X

k∈U

X

l∈U,l6=k

(π kl −π k π l ) Y k (r)

π _k − Y l (r ) π _l

Y k (t )

π _k − Y l (t ) π _l

avec (r, t) ∈ [0, T ]x [0, T ].

Bande de confiance

Le sondage à probabilités inégales (πps )

Soit X une variable auxiliaire à valeur positive et connue pour l’ensemble des individus de la population.

Si X est corrélée à la variable d’intérêt, il est intéressant de considérer un plan de sondage où

π k = n x k

P

U x k

, k ∈ U. (1)

Différents plans de sondage vérifiant l’équation (1) existent : tirage réjectif, plan de poisson, sondage de Rao-Sampford, etc. (cf. Tillé (2006)).

Nous allons considérer les plans de taille fixe à forte entropie qui vérifient π kl = π k π l

1 − (1 − π k )(1 − π l )

d(π) [1 + o (1)]

où d(π) = P

U π k (1 − π k ).

P. Lardin Propriétés des plans à probabilités inégales à forte entropie

Bande de confiance

Estimation de la covariance

Approximation de Hájek γ H de la fonction de covariance γ p dans le cadre fonctionnel

γ _H (r ,t) = 1 N ²



 X

U

Y _k (t)Y _k (r)

π _k (1 − π _k ) − 1 d(π)

X

k,l∈U

(1 − π _k )(1 − π _l )Y _k (t)Y _l (r)





où r, t ∈ [0,T ] et d(π) = P

U π _k (1 − π _k ).

Estimation de la fonction de covariance γ _p

ˆ

γ _H (r, t) = 1 N ²

d(π) ˆ d(π)



 X

s

1 − π _k π ²

k

Y _k (t)Y _k (r) − 1 ˆ d(π)

X

k,l∈s

1 − π _k π _k

1 − π _l

π _l Y _k (t)Y _l (r)





où r, t ∈ [0,T ] et d(π) = ˆ P

s (1 − π _k ).

Bande de confiance

Estimation à partir de courbes discrétisées

Supposons que les courbes Y k (t) sont observées aux instants t 1 < ... < t D . Lorsque les trajectoires sont assez régulières, on peut les approximer par interpolation linéaire (cf. Cardot et Josserand (2011))

Y k,d (t ) = Y k (t i ) + Y k (t i+1 ) − Y k (t i ) t i+1 − t i

(t − t i ), t ∈ [t i , t i+1 ].

Pour t ∈ [t i , t i+1 ], la courbe µ(t) est estimée par ˆ

µ d (t) = 1 N

X

k∈s

Y k,d (t ) π k

, t ∈ [0, T ].

La covariance γ _p sera estimée par

ˆ

γ _H,d (r, t) = 1 N ²

ˆ d(π) d(π)

"

X

s

1 − π _k π ²

k

Y _k,d (t)Y _k,d (r) − 1 ˆ d(π)

X

s

X

s

1 − π _k π _k

1 − π _l

π _l Y _k,d (t)Y _{l ,d} (r)

# .

P. Lardin Propriétés des plans à probabilités inégales à forte entropie

Bande de confiance

Sommaire

1 Introduction

2 Estimation de la courbe moyenne

3 Propriétés asymptotiques

4 Application aux courbes de consommation électrique

5 Bande de confiance

Bande de confiance

Hypothèses

A1. Supposons que lim

N→∞

n

N = π ∈]0, 1[.

A2. Supposons que min

k∈U π k ≥ λ > 0, min

k6=l π kl ≥ λ ^∗ > 0 et π kl = π k π l

1 − (1 − π k )(1 − π l )

d (π) [1 + o(1)]

. A3. Il existe deux constantes positives C 1 et C 2 et β > 1/2 telles que,

pour tout N et pour tout (r, t ) ∈ [0, T ] × [0, T ], 1

N X

k∈U

(Y k (0)) ² < C 1 et 1 N

X

k∈U

(Y k (t) − Y k (r )) ² < C 2 |t − r | ^2β .

P. Lardin Propriétés des plans à probabilités inégales à forte entropie

Bande de confiance

Hypothèses

A4. Il existe deux constantes positives C 3 et C 4 telles que, pour tout N et pour tout (r, t) ∈ [0, T ] × [0, T ],

1 N

X

k∈U

(Y k (0)) ⁴ < C 3 et 1 N

X

k∈U

(Y k (t) − Y k (r )) ⁴ < C 4 |t − r | ^4β .

A5. Supposons que

N→∞ lim max

(k ₁ ,l ₁ ,k ₂ ,l ₂ )∈D 4,N

| E p [( 1 k ₁ l ₁ − π k ₁ π l ₁ )( 1 k ₂ l ₂ − π k ₂ π l ₂ )] | → 0

où D t,N représente l’ensemble de tous les t -tuples distincts (i 1 , ..., i t )

de U.

Bande de confiance

Proposition

Si d (π) → ∞, alors, pour une certaine constante C,

(k ₁ max ,l ₁ ,k ₂ ,l ₂ )

∈D 4,N

| E p [( 1 k ₁ l ₁ − π k ₁ π l ₁ )( 1 k ₂ l ₂ − π k ₂ π l ₂ )]| ≤ C d (π) +

r K (p, p rej ) 2 où

K (p, p rej ) = X

s

p(s) ln p(s)

p rej (s)

est la divergence de Kullback-Leibler.

⇒ L’hypothèse A5 est vérifiée pour le tirage réjectif ainsi que pour le tirage de Sampford-Durbin.

P. Lardin Propriétés des plans à probabilités inégales à forte entropie

Bande de confiance

Propriété

Supposons que les hypothèses A1-A5 sont vérifiées et que le schéma de discrétisation vérifie lim N→∞ max _{i={1,..,d N −1}} |t i+1 − t i | = o (1). Quand N tend à l’infini,

n E p {| b γ _H,d (r , t) − γ _p (r , t ) |} → 0 et

n E p

( sup

t∈[0,T]

| b γ H,d (t, t) − γ p (t , t ) | )

→ 0.

L’estimateur b γ H,d (r , t ) de la covariance γ p (r , t) est ponctuellement convergent pour tout (r, t ) ∈ [0, T ] × [0, T ].

L’estimateur fonctionnel de la variance b γ _H,d (t, t) est uniformément

convergent vers γ _p (t , t ).

Bande de confiance

Tirage réjectif

Boistard et al. (2012) ont donné une approximation des probabilités d’in- clusion multiple qui nous permet d’obtenir la vitesse de convergence.

Propriété

Supposons que l’échantillon s est sélectionné à l’aide d’un tirage réjectif.

Supposons que les hypothèses A1-A4 sont vérifiées et que le schéma de discrétisation satisfait lim N→∞ max i={1,..,d N −1} |t i+1 − t i | ^2β = O(n ⁻¹ ).

Alors, pour tout (r , t) ∈ [0, T ] ² et pour certaine constante positive C, n ³ E p

h

( b γ _H,d (r , t) − γ _p (r , t )) ² i

≤ C.

P. Lardin Propriétés des plans à probabilités inégales à forte entropie

Bande de confiance

Sommaire

1 Introduction

2 Estimation de la courbe moyenne

3 Propriétés asymptotiques

4 Application aux courbes de consommation électrique

5 Bande de confiance

Bande de confiance

Exemple : estimation de la variance de la courbe de consommation électrique

Nous disposons d’une population U constituée de N=15055 compteurs électriques qui mesurent la consommation au pas demi-heure pendant une semaine.

x k est la consommation moyenne de la semaine précédente de l’individu k . Y k (t) est la courbe de consommation de l’individu k.

L’échantillon s de taille n est tiré à l’aide de l’algorithme du cube équilibré sur la variable π = (π 1 , ..., π N ) avec π k = n P ^{x k}

U x _k .

Soit γ emp une estimation empirique de la covariance γ p obtenue à partir de J = 10000 simulations.

P. Lardin Propriétés des plans à probabilités inégales à forte entropie