L’imputation non-param´etrique par des fonctions B-spline pour le traitement de la non-r´eponse partielle dans les enquˆetes par sondages

L’imputation non-param´ etrique par des fonctions B-spline pour le traitement de la non-r´ eponse

partielle dans les enquˆ etes par sondages

Camelia Goga

LMB - Univ. de Bourgogne Franche-Comt´e en collaboration avec

DavidHaziza- Univ. de Montr´eal

Journ´ee Besan¸con-Dijon 25 juin 2018

Plan de l’expos´ e

Motivation : estimation de totaux en pr´esence de la non-r´eponse partielle ;

Un nouvel estimateur imput´e bas´e sur la r´egression non-param´etrique par des fonctionsB-splines ;

Propri´et´es asymptotiques et une ´etude par simulations ;

2/29

Population, ´ echantillon et l’estimateur d’Horvitz-Thompson

SoitU ={1, . . . , k, . . . , N}une population finie et soit s⊂U un

´

echantillon s´electionn´e selon un plan de sondage samplep(·); Soientπ_k=P r(k∈s) =P

k∈sp(s)et π_kl=P r(k, l∈s) =P

k,l∈sp(s)les probabilit´es d’inclusion de premier et deuxi`eme degr´e ;

SoitY une variable d’int´erˆet et l’objectif est l’estimation du total : ty=X

k∈U

yk

Si tous les individus ´echantillonn´es r´epondentet siπk>0pour tous lesk∈U,alors le totalty est estim´e sans biais par l’estimateur d’Horvitz-Thompson :

ˆt_HT =X

k∈s

1

π_ky_k =X

k∈U

1

π_ky_k1_{k∈s}

Var(ˆtHT) =X

k∈U

X

k∈U

(πkl−πkπl)yk

πk

yl

πl

Et en pr´ esence de la non-r´ eponse ...

Malheureusement, il y a des personnes ´echantillonn´ees

qui n’ont r´epondu `a aucune question :non-r´eponse totale qui ont r´epondu qu’`a certaines questions :non-response partielle;

indiv. Y1 Y2 Y3

1 y₁₁ y₁₂ y₁₃

2 ? ? ?

3 ? y32 y33

4 y41 y42 y43

5 ? ? ?

6 ? y62 ?

La non-r´eponse arrive dans quasiment toutes les enquˆetes

d’individus, la classe d’ˆage la plus ”touch´ee” est 18-25 ans (jusqu’`a 80%-90% de non-r´eponse) ;

Dans d’autres domaines comme l’agriculture, ”wildlife surveys”, ...

le terme ”donn´ees manquantes” est plus utilis´e.

4/29

Pourquoi ”traiter” les non-r´ epondants ?

La pratique la plus courante est d’enlever les non-r´epondants du fichier.

Dans ce cas les estimateurs construits `a partir de r´epondants seulement peuvent ˆetre tr`es biais´es :

taille total moyenne variance r´epondants Nr tr y_rU S_r² non-r´epondants Nm tm y_mU S_m²

population N t y_U S_U²

Soity_run estimateur (approx.) sans biais de y_rU,on a y_U =N_r

N y_rU+N_m N y_mU et

E(y_r)−y_U ' N_m

N (y_rU−y_mU).

Ce biais est petit siNm'0ouy_rU−y_mU '0ce qui est tr`es rarement satisfait !

M´ ecanisme de non-r´ eponse

Soit la variable r´eponse r_k=

1 si l’individu k r´epond

0 sinon

La probabilit´e de r´eponse estφk =P(rk= 1)qui est inconnue.

Trois types de m´ecanisme de non-r´eponse :

1 Missing completely at random (MCAR): φne d´epend ni deY ni des variables auxiliairesZ(age, sexe, ...) ;

2 Missing at random (MAR)ou m´ecanisme de r´eponse ignorable : φd´epend deZ(ex. age) mais pas deY; la non-r´eponse d´epend que des valeurs observ´ees deY ;

3 Not Missing at random (NMAR) ou m´ecanisme de r´eponse non-ignorable :φd´epend deY (ex. revenu) donc des valeurs observ´ees et non-observ´ees de Y;

6/29

Traitement de la non-r´ eponse partielle

Soitsml’ensemble des non-r´epondants= l’ensemble des individus pour lesquelsY est manquant etsr l’ensemble desr´epondants; La valeur manquanteyk, pourk∈sm,est remplac´ee par une valeur imput´eey_k^∗;

Le totalty est estim´e par l’estimateur imput´e : tˆI = X

k∈sr

yk

πk

+ X

k∈sm

y_k^∗ πk

= X

k∈s

1 πk

(r_ky_k+ (1−r_k)y_k^∗)

o`urk est la variable de r´eponse.

Le biais et la variance detˆ_I plus compliqu´es `a calculer : le plan d’´echantillonnage, le m´ecanisme de non-r´eponse et d’imputation ;

M´ ethodes d’imputation dans le cas MAR

Des variables auxiliaires connues pour les r´epondants et les non-r´epondants sont utilis´ees pour construire un mod`ele pour pr´edire les valeurs manquantes (mais elles ne seront jamais aussi bien que les vraies valeurs) ;

indiv. Y1 Y2 Y3 Z1 (ˆage) Z2 (sexe)

1 y₁₁ y₁₂ y₁₃ x₁₁ x₁₂

2 ? ? ? x₂₁ x₂₂

3 ? y₃₂ y₃₃ x₃₁ x₃₂

4 y₄₁ y₄₂ y₄₃ x₄₁ x₄₂

5 ? ? ? x₅₁ x₅₂

6 ? y62 ? x61 x62

M´ethodes d’imputation al´eatoires ou pas, param´etriques telles que l’imputation par la moyenne ou par le ratio, ou l’imputation hot-deck (survol dans Haziza, 2009) ;

M´ethode d’imputation non-param´etriques par le plus proche-voisin propos´ee par Chen and Shao (2000) ; Beaumont and Bocci (2009) ;

8/29

Estimateur non-param´ etrique bas´ e sur les B-splines

On consid`ere que la populationU est divis´ee dansJ classes disjointesC_j, j= 1, . . . , J (Chen & Shao, 2000 ; Cardot, De Moliner, Goga, 2018) ;

On consid`ere qu’une variable auxiliaireZ (uni-vari´ee) est disponible etzk est connu pour tous lesk∈U;

Soit un mod`ele non-param´etrique `a l’int´erieur de chaque classe : y_k=f_j(z_k) +ε_k, k∈C_j

o`uf_j est une fonction inconnue et lisse ; les r´esidus ε_k sont ind´ependants de moyenne 0et varianceσ_k².

On propose d’imputer la valeur manquante y_k, k∈s_m par : ˆ

yk = ˆfj(zk), k∈s^(j)_m =sm∩Cj

o`ufˆj(zk)est l’estimateur defj obtenu par une r´egression non-param´etrique par desB-splines et consid´er´e seulement sur les r´epondants ;

Nouveaux challenges dans ce cadre non-param´ etrique

On peut ´ecrire :

ˆtI−ty = ˆtHT−ty

| {z } erreur d’´echantillonnage

+ ˆtI −ˆtHT

| {z } erreur d’imputation L’inf´erence statistique est par au mod`ele de superpopulation,m,au plan d’´echantillonnagepet le m´ecanisme de non-r´eponse q;

On aEp(ˆt_HT−t_y) = 0,alors le biais total de l’estimateur imput´e se r´eduit `a (dans le cas d’une seule classe) :

Empq(ˆt_I−ˆt_HT) =EpqEm(ˆt_I−ˆt_HT|s, s_r) =Epq

X

sm

1

πkEm(ˆy_k−y_k|s, s_r) Dans le cas des mod`eles non-param´etriques, les estimateurs def sous le mod`ele sont toujours biais´e (Sarda & Vieu, 2000),

contrairement au cas param´etrique.

10/29

Les fonctions B-splines

L’ensemble de fonctions spline d’ordrem(m≥2) avec Knoeuds int´erieurs : polynˆomes de degr´em−1 sur les intervalles entre les noeuds. Les splines sont des fonctions tr`es flexibles pour s’adapter aux donn´ees statistiques ;

SoientB1, . . . , Bq la base des fonctions B-spline de dimension q=K+m:

q

X

`=1

B_`(z) = 1, z∈[0,1].

En pratique, on prendm= 3ou4.

Le nombre de noeuds et leur position sont deux questions d´elicates.

Les noeuds sont le plus souvent plac´es aux quantiles deZ et pour palier le choix du nombre de noeuds, on peut prendre beaucoup de noeuds et ajouter une p´enalit´e (Ruppertet al., 2003).

Les fonctions B-spline pour m = 3 et K = 3

0.0 0.2 0.4 0.6 0.8 1.0

0.00.20.40.60.81.0

Fonction B1

x

B1

0.0 0.2 0.4 0.6 0.8 1.0

0.00.20.40.60.81.0

Fonction B2

x

B2

0.0 0.2 0.4 0.6 0.8 1.0

0.00.20.40.60.81.0

Fonction B3

x

B3

0.0 0.2 0.4 0.6 0.8 1.0

0.00.20.40.60.81.0

Fonction B4

x

B4

0.0 0.2 0.4 0.6 0.8 1.0

0.00.20.40.60.81.0

Fonction B5

x

B5

0.0 0.2 0.4 0.6 0.8 1.0

0.00.20.40.60.81.0

Fonction B6

x

B6

12/29

Estimation de la fonction f

Sous le mod`ele,fj est estim´ee par (Zhouet al., 1998) : f˜j(z) =

q

X

`=1

β˜_{`</sub><sup>(j)</sup>B`(z) =b⁰(z) ˜β^(j), b⁰(z) = (B`(z))<sup>q</sup><sub>`=1}

o`uβ˜<sub>`</sub>^(j)est d´etermin´e par un crit`ere des moindres carr´es :

β˜^(j)=Arg min

β∈R^q

X

i∈C_j

yi−

q

X

`=1

β^(j)<sub>`</sub> B`(zi)

!2

=



 X

i∈C_j

b(zi)b⁰(zi)





−1

X

i∈C_j

b(zi)yi

Avec des donn´ees d’enquˆete,fˆ_j(z) =b⁰(z) ˆβ^(j)(Goga, 2005 ; Goga &

Ruiz-Gazen, 2014) o`u

βˆ^(j)=



 X

i∈s^(j)

b(zi)b⁰(zi) πi





−1

X

i∈s^(j)

b(zi)yi

πi

o`us^(j)=s∩Cj, j= 1, . . . , J.

Estimation de la fonction f

Sous le mod`ele,fj est estim´ee par (Zhouet al., 1998) : f˜j(z) =

q

X

`=1

β˜_{`</sub><sup>(j)</sup>B<sub>`}(z) =b⁰(z) ˜β^(j), b⁰(z) = (B_{`</sub>(z))<sup>q</sup><sub>`=1}

o`uβ˜<sub>`</sub>^(j)est d´etermin´e par un crit`ere des moindres carr´es :

β˜^(j)=Arg min

β∈R^q

X

i∈C_j

yi−

q

X

`=1

β^(j)<sub>`</sub> B`(zi)

!2

=



 X

i∈C_j

b(zi)b⁰(zi)





−1

X

i∈C_j

b(zi)yi

Avec des donn´ees d’enquˆetes etdonn´ees manquantes, on a fˆ_j(z) =b⁰(z) ˆβ^(j) o`u :

βˆ^(j)=





 X

i∈s^(j)_r

b(zi)b⁰(zi) πiφ^(j)_i







−1

X

i∈s^(j)_r

b(zi)yi

πiφ^(j)_i

o`us^(j)r =s_r∩C_j etφ^(j)_i est la probabilit´e de r´eponse de l’individu i∈C_j, j= 1, . . . , J.

14/29

L’estimateur imput´ e par des fonctions B-splines

Nous sugg´erons imputer les valeurs manquantes par ˆ

y_k^(j)=b⁰(zk) ˆβ^(j)= X

i∈s^(j)r

b⁰(zk) ˆT⁻¹_φj b(z_i) πiφ^(j)_i

! yi,

o`uTˆ_φj = X

i∈s^(j)r

b(z_i)b⁰(z_i)/π_iφ^(j)_i ; cette m´ethode d’imputation est

”lin´eaire” dansY (Beaumont & Bissonnette, 2011).

L’estimateur imput´e par desB-spline est donn´e par : tˆI = X

k∈sr

yk

πk

+

J

X

j=1

X

k∈s^(j)m

ˆ y_k^(j)

πk

=

J

X

j=1



 X

k∈s^(j)r

yk−yˆ^(j)_k

π_k + X

k∈s^(j)

ˆ y^(j)_k

π_k





R´ esultat

Si les probabilit´es de r´eponse sont constantes `a l’int´erieur des classes alors :

X

k∈s^(j)r

y_k−yˆ^(j)_k πk

= 0 pour tout j.

Alors, l’estimateur imput´e peut s’´ecrire sour une forme de projection :

ˆtI =

J

X

j=1

X

k∈s^(j)

ˆ y_k^(j)

πk

,

et ´egal `a une somme pond´er´ee de valeurs deY pour les r´epondants : tˆI =

J

X

j=1

X

k∈s^(j)r

1 πk

g^(j)_k yk,

o`ug^(j)_k = P

i∈s^(j)π⁻¹_i b⁰_iTˆ⁻¹_j b⁰_k, k∈s^(j)r .

16/29

Hypoth` eses

Sur le plan d’´echantillonnage(Robinson and S¨arndal, 1983, Breidt and Opsomer, 2000) etle m´ecanisme de non-r´eponse:

limN→∞(n/N)∈(0,1);Nj=O(N), j= 1, . . . , J;

mink∈Uπk≥λ >˜ 0,mink≤l∈Uπkl≥λ^∗>0, limN→∞nmaxk6=l∈U|∆_kl|<∞

φ^(j)_i =φ^(j)≥c >0for alli∈Cj, j= 1, . . . , J.

Sur les mod`eles d’imputation: fj est suppos´ee a fois dif´erentiable et limN→∞P

k∈Uσ_k²/N <∞; Sur les fonctionsB-spline

Il existe une distribution Q(z)avec une densit´e strictement positive sur[0,1]telle quesup_z∈[0,1]|QN(z)−Q(z)|=o(1/K),avec Q_N(z)la distribution empirique de(z_i)_i∈U (Zhouet al., 1998).

K=o(N)etK=O(n^a)aveca <1/3;

Propri´ et´ es asymptotiques de l’estimateur imput´ e

On suppose que le m´ecanisme de non-r´eponse est ignorable.

R´ esultat

On montre que :

1

NE|ˆt_I−t_y|=O 1

√n

,

donc l’estimateur imput´e par des B-spline est asymptotiquement sans biais et convergent ;E(·)est consid´er´ee par rapport au mod`ele d’imputation, le plan de sondage et le m´ecanisme de non-r´eponse.

R´ esultat

Le biais total est : 1

NE(ˆtI−ty) =o 1

√n

.

18/29

Le calcul de la variance

On a :

ˆtI−ty= ˆtHT −ty

| {z } erreur d’´echantillonnage

+ ˆtI−ˆtHT

| {z } erreur d’imputation et la d´ecomposition de la variance (Sarndal, 1992) :

Vtot(ˆt_I −t_y)'Empq ˆt_I−t_y²

=VSAM+VIM P +VM IX

o`uVSAM est la variance due `a l’´echantillonnage,VIM P la variance due `a l’imputation etVM IX le terme de covariance mixte.

Etude par simulation

On consid`ere une population de tailleN = 5000;

On g´en`ere une variable auxiliaireZ dans une distribution uniforme sur[0,1]et la variable d’int´erˆetY selon quatre mod`eles (Breidt and Opsomer (2000)) :

(Linear) :y_i= 1 + 2(z_i−0.5) +_i; (Quadratic) :y_i= 1 + 2(z_i−0.5)²+_i;

(Bump):y_i= 1 + 2(z_i−0.5) + exp(−200{(z_i−0.5)}²) +_i; (Exponential) :yi= exp(−8zi) +i,

et les r´esidusi sont g´en´er´es selon une loi normale.

20/29

Nous sommes int´eress´es `a estimer le total t_y =X

i∈U

y_i

pour les quatre mod`eles ;

Nous consid´eronsR= 10,000´echantillons al´eatoire simple sans remise de taillen= 250

Les indicateurs de r´eponseri sont g´en´er´es selon Bernoulli(pi), o`upi

est g´en´er´e selon log

pi

1−p_i

=γ0+γ1zi,

et les param`etresγ0 etγ1ont ´et´e fix´es de fa¸con `a que le taux de r´eponse g´en´eral est d’approximativement70%.

On consid`ere les proc´edures d’imputation suivantes :

(i) Imputation par la r´egression lin´eaire (LRI), pour laquelle les valeur imput´ees sont donn´ees par :

y^∗_i =z⁰_i X

i∈s

π⁻¹_i riziz⁰_i

!−1

X

i∈s

π_i⁻¹riziyi

avec zi= (1, zi)⁰.

(ii) Imputation par le plus-proche voisin bas´ee sur la variablez, pour laquelle les valeurs imput´ees sonty_i^∗=z_j, j∈s_r telles que (z_j−z_i)² est minimis´e.

(iii) L’imputation par B-spline (SI). Le nombre de noeuds est de K= 2; 5 et10, m= 3.

22/29

Mesures de comparaison

Biais relatif

RBM C(bθ) =100 R

R

X

r=1

(bt_I(r)−ty) t_y ,

o`ubt<sub>I(r)</sub> est l’estimateur imput´ebtI dans ler-`eme ´echantillon.

L’efficacit´e relative (RE) debtI par rapport `a l’estimateur bas´e sur les donn´ees compl`etesbtcomp :

RE(·) = 100× M SEM C btI(·) M SEM C btcomp

.

o`ubtI(·)est l’estimateur imput´ebtI et l’erreur quadratique moyenne Monte Carlo est donn´ee par :

M SE_{M C}(bt_I) = 1 R

R

X

r=1

(bt_I(r)−t_y)².

Table:Biais relatif et efficacit´e relative de type Monte Carlo pour les totaux etn=250

LRI NNI SI SI SI

K= 2 K= 5 K= 10

(Linear) 0.0 0.1 0.1 0.1 0.1

(129) (161) (140) (141) (143)

(Quadratic) -3.2 -0.1 -0.1 -0.1 -0.1

(305) (230) (182) (185) (189)

(Bump) 3.4 0.1 0.1 0.1 0.1

(195) (150) (137) (135) (135) (Exponential) -26.1 -1.7 -1.8 -1.7 -1.7

(262) (217) (177) (179) (182)

24/29

Estimation de la fonction de r´ epartition et des quantiles

La fonction de r´epartitionF_N(t) =P

i∈U1_{yi≤t}/N est estim´ee par l’estimateur imput´e :

FbI(t) = X

i∈s

π⁻¹_i

!−1

X

i∈sr

1_{yi≤t}

πi

+ X

i∈sm

1_{y^∗

i≤t}

πi

! .

La m´ediane est estim´ee par : θˆ_1/2= inf

t {FbI(t)≥1 2}

L’imputation al´ eatoire

L’imputation al´eatoire peut ˆetre vue comme une imputation d´eterministe plus un r´esidu al´eatoire :

y_i^∗=f(zb i) +^∗_i,

o`u ^∗_i est s´electionn´e al´eatoirement parmi les r´esidus standardis´es des r´epondants{˜ej;j∈sr}, avec la probabilit´e

P(^∗_i = ˜ej) = π⁻¹_j P

l∈srπ_l⁻¹,

o`u˜e_j=e_j−e¯_r ete_j=y_j−fb(z_j)avece¯_r= P

j∈srπ_j⁻¹ej

P

j∈srπ⁻¹_j .

26/29

Table:Biais relatif et efficacit´e relative de type Monte Carlo pour les quantiles etn=500

Quantile Mod`ele LRI SI NNI RLRI RSI

K= 5 K= 5

Linear -5.6 -5.6 -0.2 0.3 0.4

(318) (336) (160) (132) (129)

θb1/2 Quadratic -7.5 -0.4 0.0 -3.3 0.0

(1181) (252) (246) (377) (186)

Bump -4.6 0.1 -0.1 2.0 0.7

(247) (138) (135) (149) (120) Exponential 29.3 -0.7 -1.7 -23.3 -3.0

(283) (185) (197) (250) (157)

Conclusion et travail en cours

Une nouvelle m´ethode d’imputation bas´ee sur des fonctions

B-spline new non-parametric imputation method based on B-spline functions ;

Cette m´ethode est simple `a mettre en oeuvre (tr`es similaire `a l’imputation par la regression), tr`es bonnes propri´et´es asymptotiques et performances pratiques ;

Travail en cours :

r´esultats asymptotic sur l’imputation al´eatoire et ´equilibr´ee par des B-spline ;

plus d’´etudes de simulation sur l’estimation de la variance ; extension au cas multi-vari´e en consid´erant des mod`eles additifs.

28/29

Courte bibliographie

Beaumont, J-F. and Bissonnette, J. (2011). Variance estimation under composite imputation : The methodology behind SEVANI.Survey Methodology,37, 171-179.

Beaumont, J-F. and Bocci, C. (2009). Variance estimation when donor imputation is used to fill in missing values.The Canadian Journal of Statistics,37, 400-416.

Cardot, H., De Moliner, A. and Goga, C. (2018). Estimation of total electricity consumption curves by sampling in a finite population when some trajectories are partially unobserved (in revision for Canadian Journal of Statistics, special edition for CANSSI project),

Chen, J. and Shao, J. (2000). Nearest Neighbor Imputation for Survey Data.Journal of Official Statistics, 16, 113-131.

Goga, C. (2005), R´eduction de la variance dans les sondages en pr´esence d’information auxiliaire : une approche non param´etrique par splines de r´egression, The Canadian Journal of Statistics,33, 1-18.

Goga, C. and Ruiz-Gazen (2014). Efficient estimation of non-linear finite population parameters by using non-parametrics. (JRSSB, 76, 113-140).

Haziza, D. (2009). Imputation and inference in the presence of missing data.Handbook of statist., 29A, Sample surveys : design methods and applications. Elsevier/North Holland, Amsterdam 215-246.

Ruppert, D., Wand, M.P. and Caroll, R. (2003).Semiparametric regression, Cambridge : Cambridge University Press.

Sarda, P. & Vieu, P. (2000). Kernel regression, inSmoothing and regression : approaches, computation and application (ed. M.G. Schimek), New-York Wiley.

Sarndal, C.-R. (1992). Methods for estimating the precision of survey estimates when imputation is has been used,Survey Methodology, 18, 2, 241-252.