Bilan : Prédictions de type ARIMA

Sujet de thèse:

Prédiction de séries temporelles et applications aux énergies

renouvelables

CHD Castelluccio, Unité Radiophysique Service Radiothérapie, 20176 Ajaccio -

Laboratoire SPE, Université de Corse, CNRS-UMR 6134, 20250 Corte Cyril Voyant

cyrilvoyant@hotmail.com

2/38

synthèse de la dernière réunion

Prédiction ARMA non optimisée car saisonnalité de la série chronologique très importante

Nécessite de bien caractériser la ressource énergétique afin de lui appliquer la désaisonnalisation adéquate. Avec ces processus statistiques il faut rendre la série apériodique et stationnaire pour une prédiction optimale (désaisonnalisation, centrée, réduite,…)

Passage aux estimateurs ANN, une fois la technique ARMA dite de référence bien appropriée

Dans un premier temps ne pas se disperser avec certains estimateurs étudiés jusqu’alors : Inférence bayesienne, inférence floue, lissage exponentiel, clustering, k-neighbourg...

Essayer la méthode de désaisonnalisation par apprentissage mensuel

Trouver de bons ouvrages qui vont servir de base à nos futures

études

3/38

Sommaire

Echelle journalière, désaisonnalisation physique et résultats de prédiction

Echelle horaire, désaisonnalisation et résultats de prédiction

Bilan des modes de prédiction statistique de type ARMA

Perspective et méthodologie d’utilisation des ANN

4/38

Sommaire

Echelle journalière, désaisonnalisation physique et résultats de prédiction

Echelle horaire, désaisonnalisation et résultats de prédiction

Bilan des modes de prédiction statistique de type ARMA

Perspective et méthodologie d’utilisation des ANN

5/38

Echelle journalière : la série chronologique

1-janv.

26-janv.

20-févr.

17-mars 11-avr.

6-mai 31-mai

25-juin 20-juil.

14-août 8-sept.

3-oct.

28-oct.

22-nov.

17-déc.

2000 3000 4000 5000 6000 7000 8000 9000

moyenne d'irradiation journamiere en Wh/m² 1971-1989

Les mesures journalières sont

régulées par une composante

périodique de période ~365 jours

6/38

Echelle journalière : Méthodologie et prétraitement de la série 1-3

Contrairement aux données temporelles économiques où il n’existe pas de

modélisation physique

les données d’irradiation solaire ont une composante modélisable physiquement, elles ne dépendent que de la distance entre

le lieu de l’observation et le centre du

soleil

7/38

Echelle journalière : Méthodologie et pré-traitement de la série 2-3

janvier premier

le représente

= n

n)) + ( ( π ,

=

=δ n declinaiso

1

365 284 . 45.sin 2.

23 horaire

angle l' est A

+ A

= T

= vrai solaire temps

h

h

sv 12 15

δ) L

A +

A L δ

n ( + π

π G

= terrestre extra

irrad H

e (h) H

= IDir

h h

o

f(t)) ( o

.sin .sin 360.

2π .sin

.cos cos

. 365 )

. (2.

0,0334.cos 1

. 24. .

.sin





−

−

SV o

SV f(t))

(

o

(h) e dT + H g(t) ( (h)) dT

H

=

IG . ∫ sin .

. . ∫ . sin

.

données objectives et calculables

Les données modélisables

l’aspect périodique de l’irradiation solaire est en partie lié à l’irradiation à

l’entrée de l’atmosphère

Diviser la série chronologique par cette donnée déterministe va tendre à

stationnariser le phénomène

8/38

Echelle journalière : Méthodologie et prétraitement de la série 3-3

Méthodes pour s’affranchir de la périodicité :

•9 processus ARMA ou ARIMA, chacun sur une base d’apprentissage mensuel

•Processus SARIMA

•Méthode suivante :

9/38

Echelle journalière : Les tests statistiques à disposition

Suivant le résultat du test, il faut lever la périodicité, effectuer une régression sur

le temps (MCO si TS), passer aux différences (DS)

Possibilité de remplacer le test de Fisher simple par des tests de racine unitaire, ou

de Dickey Fuller

Les autres tests utilisés sont

•Test de Student sur les coefficients ARMA

•Tests sur les résidus (normalité, autocorrelation … =>iid

•Tests AIC, BIC, R²… pour estimation des meilleurs modèles

10/38

Echelle journalière : désaisonnalisation “physique”

On s’aperçoit que le critère périodique est régulé par l’irradiation extraterrestre

Résultats de la série

stationnarisée « physiquement »

11/38

Echelle journalière : désaisonalisation “mathématiques”

Nécessité de corriger une deuxième fois la périodicité car

la désaisonnalisation physique n’annihile pas complètement le

phénomène

on s'aperçoit qu'il y a encore une périodicité (Fc=1,64) mais pas

de tendance (fc=0,01)

Une idée séduisante serait de s'affranchir complètement de la composante saisonnière

méthode empruntée à l'économétrie Les facteurs périodiques

La série devient non périodique (Fc=0,0002) mais on induit une tendance (Fc=99), cette

dernière n'est ni rigide ni souple

pour une prédiction à h31, elle ne semble pas dommageable

METHODOLOGIE DE

DESAISONNALISATION RIGIDE PAR COEFFICIENT SAISONNIER

SCHEMAT MULTIPLICATIF

Sj (j=0..365) les coefficients saisonniers représentant la moyenne

du jour j sur les 20 années d’apprentissage (le coeff est normalisé afin que la moyenne

générale soit égale à l’unité) Xijcorrigé=Xt/Sj

12/38

Echelle journalière : stationnarité et saisonnalité 1/2

Données relatives à la série désaisonnalisée par le rapport de

l'irradiation extraterrestre

13/38

Echelle journalière : stationnarité et saisonnalité 2/2

Données relatives à la série désaisonnalisée par le rapport de

l'irradiation extraterrestre et les coefficients périodiques

La deuxième

désaisonnalisation modifie complétement l’allure des coefficients d’autocorrélation

Il faut donc faire attention

aux prétraitements utilisés

14/38

Echelle journalière : estimation des modèles

Quel que soit le prétraitement effectué, il faut établir une méthodologie pour l’estimation

des modèles ARMA

Jusqu’à présent, l’estimation ne reposait que sur l’analyse de critères

(AIC, R², vraisemblance…) Par la suite de nouveaux outils

seront pris en compte

•test d’autocorrélation (Résidu=bruit blanc)

• normalité des résidus

•les coeff du modèle sont significativement différents de zéro

(test student)

•Analyse du spectre (saisonnalité,spectre rouge…)

15/38

Echelle journalière : analyse des spectres

L’analyse des spectres est très délicate, Le spectre de la série étudiée et celui de l’arma choisi, ne correspondent pas Le modèle ARMA(2,2) est pourtant celui

qui minimise l’erreur de prédiction

spectre de l'arma (2,2) choisi vzariance residu 0,9

ar1 -1,48

ar2 0,49

ma1 -1,21

ma2 0,24

16/38

Echelle journalière : résultats de prédiction, sans desais

Ces résultats sont ceux exposés lors de la dernière

réunion

17/38

Echelle journalière : résultats de prédiction, une seule desais (physique)

18/38

Echelle journalière : résultats de prédiction avec double desais

19/38

Echelle journalière : synthèse des prédictions

37,00%

non ARIMA(2,1,6)_mens non

37,00%

non ARMA(2,6)_mens non

35,00%

non VAR(8)_log_diff non

34,30%

non VAR(8)_log non

31,00%

non ARIMA(1,1,1)_mens oui

30,70%

non VAR(8) non

25,60%

non ARIMA(2,1,6) non

25,00%

non SARIMA(8,1,0)(1,0,0) oui

24,10%

non ARIMAX(6,2,X) non

23,00%

non ARIMA(1,1,1) oui

22,70%

non ARMA(6,2) oui

21,00%

oui ARMA(2,2) oui

29,00%

Moyenne

nRMSE désais math

désais phy

20/38

Sommaire

Echelle journalière, désaisonnalisation physique et résultats de prédiction

Echelle horaire, désaisonnalisation et résultats de prédiction

Bilan des modes de prédiction statistique de type ARMA

Perspective et méthodologie d’utilisation des ANN

21/38

Echelle horaire : Méthodologie utilisée dans le cas horaire

Les premiers résultats en considérant une série temporelle horaire ne sont pas satisfaisants ni exploitables. D’où l’idée

d’utiliser 16 prédicteurs indépendants pour chaque créneau horaire

d’ensoleillement.

Cela permet aussi de s’affranchir de la Cela permet aussi de s’affranchir de la Cela permet aussi de s’affranchir de la Cela permet aussi de s’affranchir de la

période période période

période intraintraintraintra----journalièrejournalièrejournalièrejournalière

On effectue une transformation d’une série horaire en 9 séries j On effectue une transformation d’une série horaire en 9 séries j On effectue une transformation d’une série horaire en 9 séries j

On effectue une transformation d’une série horaire en 9 séries journalièresournalièresournalièresournalières Cette transformation nous permet d’exploiter les résultats obten

Cette transformation nous permet d’exploiter les résultats obten Cette transformation nous permet d’exploiter les résultats obten

Cette transformation nous permet d’exploiter les résultats obtenus dans le us dans le us dans le us dans le chapitre précèdent

chapitre précèdentchapitre précèdent chapitre précèdent

22/38

Echelle horaire: pré-traitement physique de la série 1/3

) A L δ

+ L δ

(

= h

= soleil du

hauteur arcsin sin .sin cos .cos .cos _h

sin

. . .

.sin (h) e + H g(t) ( (h)) H

=

IG

Dans le cas horaire il existe aussi une modélisation physique du phénomène, pour cela il est important

d’introduire la notion de hauteur solaire

Hauteur=f(heure) Energie

rayonnée=f(heure)

23/38

Echelle horaire : prétraitement physique de la série 2/3

L'énergie déposée sur une surface horizontale est

directement proportionnelle à la hauteur solaire (course

solaire)

L'énergie déposée dans la cellule est directement proportionnelle au nombre de

photon l'atteignant, c’est pourquoi, la connaissance de

l'angle solaire permet de quantifier le rayonnement

direct sur le détecteur:

24/38

Echelle horaire: pré-traitement physique de la série 3/3

25/38

Echelle horaire : spectre des séries horaires (desais physique)

Là encore on s’apercoit que la périodicité subsiste même après le traitement physique des différentes

séries

26/38

Echelle horaire : désaisonnalisation “mathématiques”

La méthodologie utilisée est

scrupuleusement la même que lors de l’étude journalière, à savoir :

METHODOLOGIE DE

DESAISONNALISATION RIGIDE PAR COEFFICIENT SAISONNIER

SCHEMAT MULTIPLICATIF

Sj (j=0..365) les coefficients saisonniers représentant la moyenne

du jour j sur les 20 années d’apprentissage (le coeff est normalisé afin que la moyenne

générale soit égale à l’unité) Xijcorrigé=Xt/Sj

27/38

Echelle horaire : spectre des séries horaires (double desais)

La cumul des deux traitements (physique et statistique) permet

d’obtenir des séries purement

apériodiques

28/38

Echelle horaire : synthèse de la prédiction

CCVS

h).

sin(

1

µ...σ¹

−

CVS jk jk ijk

CVS jk jk j

CVS k j k j

k j i i

ijk

C h x

C C h

h x x

).

sin(

.

).

sin(

). . . sin(

365 . 18

1 ³⁶⁵

1 18

1 ^{' ' '}

' '

'

µ

=













= ∑ ∑

=

=

TS1 série corrigée des points atypiques

x_ijk

TS2 double desais

y_ijk

TS3 (centrée reduite)

z_{ijk i année}

j jour k heure

nRMSE

0,255 0,26 0,265 0,27 0,275 0,28 0,285

8 9 10 11 12 13 14 15 16

Heure

nRMSE

TS3=0 arma

(

)

ijk

CVS k s j k s j

k s j i k

s j i

Q

t

k t j i tk ijk

P

s

k s j i sk ijk

C h z

x

C h

z x

a a

z z

).

sin(

ˆ . ˆ .

. ).

sin(

. ˆ .

) ( ) (

) ( )

(

0

) ( 0

) (

µ σ

σ µ σ +

=

−

=

Θ

− + Φ

=

−

−

−

−

=

−

=

− ∑

∑

HYPOTHESE SIMPLE (prédiction nulle)

ˆ

= 0

z

29/38

Echelle horaire : résultats de prédiction sans desais

30/38

Echelle horaire : résultats de prédiction 1/2

ARMAX régression non linéaire de type Marquardt–Levenberg

Désaisonnalisation physique

double

désaisonnalisation

31/38

Echelle horaire : résultats de prédiction 2/2

32/38

Echelle horaire : synthèse des prédictions

49 48

50 30

31 46

30 42

43 non

arima(2,1,6) non

29 29

28 28

28 27

28 29

29 non

FIT sin non

29 29

28 27

28 27

28 30 29

non armax(6,2,X) non

29 29

28 28

28 29 28

32 34

non arma(2,2) oui

26 27

26 27

27 26

27 28

28 oui

arma(2,2) oui

29 30

29 29

29 29

29 31

moyenne 30

16 15

14 13

12 11

10 9

8 heures desais math

désais phy

nRMSE

33/38

Sommaire

Echelle journalière, désaisonnalisation physique et résultats de prédiction

Echelle horaire, désaisonnalisation et résultats de prédiction

Bilan des modes de prédiction statistique de type ARMA

Perspective et méthodologie d’utilisation des ANN

34/38

Bilan ARMA : Rappel du mode mensuel

on considère une prédiction annuelle par pas mensuel

(horizon 12), 18 années d’apprentissage et deux ans

pour la validation, soit : RAPPEL

ECHELLE MENSUELLE

13,2%

11,5%

nRMSE

naive ARIMA-X12

La prédiction naïve est la répétition des données de l’année précédente

35/38

Bilan ARMA 1/2

Parcimonie, les processus complexes ne permettent pas de gain considérable en terme de prédiction

Le logiciel Sylab (et la toolbob Grocer) permettent la modélisation de tous les ARIMA(p,d,q), petite difficultés pour les SARIMA

Nécessité de modéliser pour des phénomènes physiques, si le cas le permet

Nécessité de maîtriser les éléments de statistique pour bien utiliser ces processus (Student, fisher, dickey fuller….)

Les résultats obtenus jusqu’ici, sont en accord avec ceux de la littérature Grande sensibilité aux prétraitements de la série (linéarité, stationnarité,

périodicité, tendance). Les prétraitements semblent plus importants que le modèle ARMA choisi (Cf prédiction nulle)

Sur certains des exemples étudiés nRMSE identiques à h1, h10 et h31

Dans le cas horaire on surestime systématiquement l’irradiation solaire (surtout quand la couverture nuageuse est importante)

Il faut en général centrer réduire si le modèle ARMA ne comprend pas de constante (la moyenne de la série doit être égale à zéro)

36/38

Bilan ARMA 2/2

La méthodologie appliquée lors des prédictions journalières et horaires (doubles désaisonnalisation) semble robuste, peut être applicable à d’autres phénomènes météorologiques

Difficulté de prédiction des premières et dernières heures de la journée (masque solaire)

Facilité de prédiction pour certains mois (été printemps) mais difficulté pour les autres

Il faut de gros échantillons de prédiction pour estimer les meilleurs modèles (spécificité et sensibilité) => apprentissage mensuel

Une fois les prétraitements effectués (double désais) les modèles avec p=1 et q=1 semblent optimum

Les transformations de box-cox et la différentiation d’ordre 1 ne semblent pas avoir un réel intérêt dans notre cas

Le cas mensuel semble très bien fait avec la méthode du census X-12

Elimination des points atypiques par moyenne+-3 σ et remplacement par la moyenne sur 20 ans du jour choisi

37/38

Sommaire

Echelle journalière, désaisonnalisation physique et résultats de prédiction

Echelle horaire, désaisonnalisation et résultats de prédiction

Bilan des modes de prédiction statistique de type ARMA

Perspective et méthodologie d’utilisation des ANN

38/38

Percpective et ANN

Benchmark nécessaire pour le choix des prétraitements (dépériodicité ou non...), mais aussi sur le choix des topologies des ANN.

Tous les paramètres doivent être étudiés (alpha nbre de neurone). Utilité de faire une étude exhaustive des paramètres ?

Nécessité d'installer matlab avec sa toolbox

Vers quoi orienter l'étude, mensuelle, journalière horaire, actualisation des données sources (1971-1989), passage en prédiction de vitesse de vent??

Pallier des nRMSE (10% en mensuelle ; 20% en journalière ; 25 % en horaire Continuer l’étude physique du soleil, afin d’affiner la modélisation du

rayonnement?

Passer avec une inclinaison de détecteur (attention, diffusés différents)

Dans la littérature récente, beaucoup d’études essaient d’intégrer l’aspect spatial de la prédiction (prédiction à une localité différente du détecteur qui sert de support à la série chronologique), est-ce une finalité pour nous ?

Dans le cas horaire, continue t’on à utiliser les 9 modèles journaliers, ou passons nous à un seul modèle ARMA véritablement horaire.