3.4 Estimation robuste de la courbe totale
3.4.2 Estimation robuste sur une base de projection
Dans ce paragraphe, nous proposons de mettre en œuvre une approche en trois temps pour construire nos estimateurs robustes de courbes. La première étape consiste à projeter les courbes dans un espace de dimension finie afin de transfor- mer notre problème fonctionnel en plusieurs sous-problèmes décorrélés d’estimation de totaux ou de moyennes de variables réelles déjà traités dans la littérature. La se- conde étape consiste à appliquer les méthodes usuelles univariées - en l’occurrence ici à proposer un estimateur robuste du total des cœfficients en suivant l’approche de
Beaumont et al.(2013) présentée plus haut - séparément sur chacun des vecteurs de
coordonnées de l’espace de projection. Enfin, dans la troisième étape nous combinons les résultats obtenus précédemment en reconstituant les courbes moyennes ou totales estimées à partir des totaux estimées des cœfficients sur l’espace de projection.
L’utilisation de bases de projection permet donc de préserver la structure de corré- lation temporelle de nos données tout en se ramenant à des sous-problèmes d’estima- tion plus simples que l’on pourra traiter indépendamment.
Comme nous l’avons vu au paragraphe 2.1.2, différentes bases de projection peuvent être choisies, en fonction des caractéristiques du problème traité. Pour des courbes de charge, les bases d’ondelettes sont particulièrement pertinentes. On peut également réaliser une Analyse en Composantes Principales sur les valeurs de la courbe aux différents instants puis travailler dans l’espace des scores de l’ACP. Enfin, on pourrait également réaliser une analyse en Composantes Principales Fonctionnelles en combinant les étapes de projection sur une base fonctionnelle et d’ACP.
Dans la suite de cette sous-section, nous allons considérer le cas de la projec- tion sur l’analyse en Composantes Principales Sphériques, appliquée aux valeurs de la courbe aux différents instants de discrétisation. Comme nous allons le voir, il s’agit d’une version robuste de l’ACP. La démarche serait toutefois similaire sur une autre base de projection.
Nous allons maintenant détailler un peu plus les différentes étapes de notre mé- thode.
Analyse en Composantes Principales Sphériques
Nos échantillons de courbes de charge contiennent fréquemment des outliers et l’Analyse en Composantes Principales est très sensible aux points atypiques. Par conséquent, on utilisera donc plutôt une version robuste de celle-ci. Différentes pro- positions d’algorithmes d’ACP robustes existent dans la littérature : nous détaillons ici l’ACP sphérique proposée parLocantore et al.(1999) mais on aurait également pu re- tenir l’algorithme proposé parCroux and Ruiz-Gazen(2005), qui consiste à déterminer par Projection Pursuit les vecteurs de projection qui préservent un maximum d’infor- mation non pas au sens de la variance covariance mais selon un estimateur d’échelle robuste tel que la MAD (Median Absolute Deviation).
Le but de l’ACP sphérique est de construire des estimateurs robustes du centre de l’espace et des vecteurs propres. Cet algorithme a de bonnes propriétés (voirGervini
(2008)) et est aisé à implémenter. Il s’applique à des données multivariées (potentiel- lement de grande dimension). Comme les points de discrétisation sont équidistants, on peut dans notre cas réaliser une ACP sphérique fonctionnelle en appliquant l’ACP sphérique sur les vecteurs des valeurs des courbes pour les instants de discrétisation.
L’ACP sphérique consiste à considérer les vecteurs propres de la matrice de va- riance covariance sphéricisée suivante :
Γ(r,t) = 1 N X i ∈U (Yi(r ) − m(r )) ||Yi− m|| .(Yi(t ) − m(t)) ||Yi− m|| , r, t ∈ [0,T], (3.22)
avec m un indicateur robuste de tendance centrale et la norme || f || = ³
RT
0 f2(t )d t
´1/2
usuelle sur L2[0, T].
Intuitivement, en remplaçant la moyenne µY par un indicateur robuste de ten-
dance centrale m et les écarts non robustes à la moyenne Yi(t )−µY(t ) par les fonctions
de norme unitaire (Yi(t )−m(t))
||Yi−m|| , on limite l’influence des outliers.
Comme dans Locantore et al. (1999), on choisit comme indicateur de tendance centrale la médiane géométrique (voirBrown(1983)). Dans le contexte de l’estima- tion en population finie, la courbe médiane de la population composée des éléments
Y1, . . . , YN, dont on suppose qu’elle appartient à L2[0, T], est définie par m = arg min y∈L2[0,T] X i ∈U ||Yi− y||. (3.23)
Cette expression constitue une généralisation naturelle de la notion de médiane uni- variée. Elle est également appelée médiane spatiale (Brown(1983)), médiane L1(Small
(1990)) ou encore médiane géométrique (Chaudhuri (1996)). Si on suppose que les points Yi, i ∈ U ne sont pas concentrés en une ligne, cette médiane existe et est
unique (voirKemperman (1987)). Si m 6= Yi, pour tout i ∈ U, alors elle est l’unique
solution de l’équation estimante suivante :
X
i ∈U
Yi− m
||Yi− m||
= 0.
Elle peut être déterminée par des algorithmes itératifs tels que l’algorithme de Weisz- feld (voirWeiszfeld(1937) etVardi and Zhang(2000)) pour des données multivariées ou par des algorithmes de gradient (voirGervini(2008)) pour des données fonctionnelles sparses.
Ensuite, de manière similaire à ce qui est fait pour l’ACP classique, l’Analyse en Composantes Sphériques consiste à déterminer les valeurs propres Λ et vecteurs propres Z correspondants de la matrice de variance-covariance robusteΓ des données projetées, que nous avons définie dans l’équation (3.22). Tout comme pour l’estima- teur de tendance centrale, l’influence des outliers sur l’estimation des composantes principales robustes sera alors fortement réduite. En outre,Gervini(2008) montre que si la distribution des Yi est symétrique, alors la covariance v définie par (2.2) et la co-
variance sphériqueΓ ont les mêmes vecteurs propres orthonormaux.
On peut alors exprimer les courbes Yi de la population U selon une version robuste
de l’expansion de Karhunen-Loève (présentée dans2.1.3) :
Yi(t ) ≈ m(t) + K X k=1 < Yi− m, Zk> | {z } fi k Zk(t ), ∀i ∈ U, (3.24) avec < f , g >=RT
0 f (t )g (t )d t le produit scalaire usuel sur L2[0, T]. En outre, fi k est la
projection de la courbe centrée Yi− m sur l’espace engendré par la fonction Zk. L’inté-
rêt de cette décomposition est qu’elle nous permet de décomposer une fonction conti- nue du temps en un nombre fini de problèmes multivariés que nous pourrons résoudre indépendamment les uns des autres à l’aide de techniques de robustification usuelles tout en préservant la structure temporelle de notre problématique.
Comme évoqué dans la remarque1, nous n’utilisons pas l’ACP dans le but de ré- duire la dimension de notre problème mais uniquement afin de décomposer le pro- blème en plusieurs sous-problèmes univariés décorrélés ou en tout cas moins corrélés que les problèmes d’origine. On va donc conserver un nombre élevé de composantes K.
Remarque 3. On remarque que, dans le cas de l’Analyse en Composantes Principales
Sphériques, les différentes composantes ne sont pas décorrélées contrairement à l’Ana- lyse en Composantes Principales standard. Néanmoins, on peut s’attendre à ce que les corrélations entre composantes soient plus faibles que les corrélations entre les valeurs de la courbe aux différents instants.
Estimation de la médiane géométrique et des composantes principales robustes Nous allons maintenant proposer des estimateurs pour la médiane géométrique m ainsi que pour les composantes principales robustes Zk, k = 1...,K. Dans le cadre de
l’estimation par sondage en population finie, un estimateur naturel de la médiane géo- métrique m est la solution ˆm de l’équation estimante implicite suivante (voirChaouch and Goga(2012)), X i ∈s di Yi− ˆm ||Yi− ˆm||= 0. (3.25)
On résout cette équation numériquement en quelques itérations d’une version pon- dérée de l’algorithme de Weiszfeld.
De plus, en suivantCardot et al.(2010), la matrice de variance-covariance sphéri- cisée définie par (3.22) peut être estimée par
ˆ Γ(r,t) = 1 N X i ∈s di(Yi(r ) − ˆm(r )) ||Yi− ˆm|| .(Yi(t ) − ˆm(t )) ||Yi− ˆm|| , r, t ∈ [0,T], (3.26)
avec ˆm l’estimateur de la médiane m introduit précédemment.
Finalement, les estimateurs ˆZk recherchés sont les vecteurs propres de ˆΓ. Dans le
paragraphe suivant, nous allons voir comment utiliser l’ACP sphérique pour construire notre estimateur fonctionnel de la courbe moyenne.
Des scores moyens à la courbe moyenne
Un estimateur naturel de la courbe totale de la population tYpeut être obtenu en
sommant les décompositions des courbes selon l’expansion (3.24) et en remplaçant les quantités inconnues par leurs estimateurs :
ˆtY(t ) = N ˆm(t ) + K X k=1 ˆ FkZˆk(t ), (3.27)
avec ˆFk un estimateur de la somme sur la population des scores pour la composante k :
Fk=
X
i ∈U fi k.
On peut utiliser par exemple l’estimateur de Horvitz-Thompson ˆFHTk =P
i ∈sdifˆi k ou
encore l’estimateur par calage ˆFc alk =P
i ∈swifˆi kavec wi les poids de calage (voir2.2.4).
Cependant, bien que les estimateurs de médiane et de composantes principales soient robustes, l’estimateur (3.27) ne l’est pas car les estimateurs ˆFk des sommes des coor-
données Fkne le sont pas.
Nous proposons donc de "robustifier" cet estimateur en rendant robustes les es- timateurs ˆFk, k = 1...K selon l’approche deBeaumont et al.(2013) pour des variables
réelles présentée dans la sous-section3.4.1.
Plus précisément, pour chaque composante principale k = 1,...,K, la somme sur la population des scores peut être estimée de manière robuste par
ˆ FRk= ˆFk− X i ∈s ˆ BFˆk 1i + X i ∈s ψcopt(k)( ˆB ˆ Fk 1i), (3.28)
avec ˆBFˆ
HT
k
1i le biais conditionnel de l’unité i pour l’estimateur ˆFk. Par exemple, pour
l’estimateur de Horvitz-Thompson, on aura
ˆ BFˆk 1i = nh nh− 1 µ Nh nh − 1 ¶ ( ˆfi k− ˆfi k,h), i ∈ sh, (3.29)
avec ˆfi k,h la moyenne des scores ˆfi k dans la l’échantillon sh. De plus, copt(k) est la
constante de troncature optimale déterminée par l’approche minimax déjà présentée dans3.4.1pour l’estimateur ˆFk.
Dans l’équation (3.28), tout comme pour l’estimation instant par instant, il n’est pas forcément nécessaire de déterminer explicitement la constante de troncature opti- male copt(k) mais on peut procéder selon la stratégie définie dans3.4.1et construire les
estimateurs robustes des moyennes des scores à partir des estimateurs non robustes ˆθ = ˆFkpar l’équation (3.19).
Enfin, on en déduit des estimateurs robustes de la courbe totale en remplaçant dans l’équation (3.27) les estimateurs non robustes des scores totaux par leurs versions robustes. Par exemple, pour l’estimateur de Horvitz-Thompson de la courbe totale, on a : ˆtYHT,R,2(t ) = N ˆm(t ) + K X k=1 ˆ FHT,Rk Zˆk(t ). (3.30)
De même, pour l’estimateur par calage, on a
ˆtYc al ,R,2(t ) = N ˆm(t ) + K X k=1 ˆ Fc al ,Rk Zˆk(t ). (3.31)
Remarque 4. Pour déterminer la constante de troncature sur chaque composante prin-
cipale, plutôt que d’utiliser le critère minimax, il sera également possible d’employer le nouveau critère que nous proposons dans la sous-section3.4.4dans le but d’obtenir des estimateurs d’erreur quadratique moyenne plus précis.
Remarque 5. Au lieu d’utiliser une ACP sphérique, on peut projeter les courbes dans une
base de fonctionsΦ = φ1, . . . ,φQqui engendrent l’espace L2([0, T]) des fonctions sur [0, T]
(par exemple celle des ondelettes). Les courbes Y s’écrivent alors
Yi(t ) =
Q
X
q=1
αi qφq(t ) + ²i(t )
où² est un "résidu d’approximation" de Yi parφ1. . . ,φQ. En prenant la somme de ces
courbes sur la population d’intérêt, on a donc tY(t ) = Q X q=1 Ã X i ∈U αi q ! | {z } tαq φq(t ) + X i ∈U ²i(t ). (3.32) Donc, tY(t ) ' Q X q=1 tαqφq(t ). (3.33)
L’estimateur robuste est alors obtenu en estimant la somme tαqdes cœfficients indépen- damment sur chaque vecteur de base par la méthode robuste univariée. Par exemple en utilisant des estimateurs de Horvitz-Thompson, on a alors :
ˆtYR,HT,2(t ) = Q X q=1 ˆtR,HT αq φq(t ), (3.34) où ˆtαR,HTq = ˆtαHTq −1 2( ˆB ˆtHT αq mi n+ ˆB ˆtHT αq max), (3.35) avec ˆtαHTq =P i ∈sdiαi q.
Estimation sur la base de l’ACP sphérique : illustration sur des données réelles
Voyons maintenant sur la Figure3.3ce que donne l’application de cette méthode sur les mêmes biais conditionnels qu’au paragraphe3.4.1. Ici, les constantes de tron- cature ont été déterminées dans l’espace des composnates principales de l’ACP sphé- rique sur les instants de discrétisation et ce sont les projections des biais conditionnels qui ont été tronquées. Afin de visualiser ce qui se passe, on reconstitue les courbes des biais conditionnels à partir des scores tronqués selon l’équation de Karhunen-Loève (3.24). −500000 −250000 0 250000 500000 750000 0 100 200 300 instant puissance (W)
FIGURE 3.3 – Les biais conditionnels tronqués par projection sur la base des com-
posantes principales robustes : on a en bleu les limites déterminées par troncature des biais conditionnels après projection sur les composantes principales, en pointillés rouge un biais conditionnel avant troncature et en traits pleins rouges le biais condi- tionnel tronqué.
On constate que les limites de troncature ainsi obtenues prennent davantage en compte la saisonnalité infrajournalière des consommations.