court-terme
2.5. Evaluation des modèles
2.5.3. Indice d’évaluation des prévisions probabilistes
On a vu préalablement que différents modèles pouvaient avoir de bonnes performances, soit pour la fiabilité (QLR, QRF et KDE), soit pour la finesse (MDNN).
Afin de trancher entre ces différents modèles, une première approche est l’utilisation des indices d’évaluation de prévisions probabilistes tels que le CRPS. On considère aussi des scores quantiles moyen sur les 20 premiers percentiles, et le score quantile pour le premier percentile (Figure 2-23). Comme on le voit sur la Figure 2-23, le modèle QRF réussit à supplanter les autres modèles sur l’ensemble des indices que nous avons considérés.
Dans le cas du CRPS, cette différence est en grande partie due au fait que lorsque les modèles ont été paramétrés, on a choisi des combinaisons permettant d’optimiser les modélisations des parties basses des distributions. Par exemple pour un horizon de 36 heures, on voit sur la Figure 2-23 que le CRPS pour le modèle linéaire entraîné avec 6 variables est égal à 109A. Cependant, si celui-ci avait été entraîné avec 27 variables, le CRPS aurait alors été égal à 90A. Avec les 4 autres méthodes, un modèle différent devrait être paramétré pour chaque quantile.
Pour la modélisation de la partie basse, pour l’optimisation de laquelle les modèles ont été paramétrés, on voit que le QRF réussit aussi à dépasser les 4 autres modèles.
Pour la comparaison avec les QLR, MDNN et KDE, cela est dû à la nature du modèle : celui-ci est basé sur une méthode ensembliste, peu sensible au surapprentissage, et le QRF peut alors utiliser toute l’information des variables utilisées. A l’inverse avec les trois autres modèles, l’information doit être limitée pour éviter un surapprentissage, phénomène apparaissant rapidement sur la modélisation de la partie basse de la distribution.
Figure 2-23. Comparaison de l’évolution du CRPS, de QSmoy(1%,20%) et de QSmoy(1%,5%) pour différents modèles de prévision, fournis avec les 5 méthodologies considérées. Les indices sont calculés en faisant la moyenne des MAPE observés pour les 8 stations différentes, pour des horizons de prévision allant de 1 à 48 heures.
Par rapport à la comparaison entre le GBRT et le QRF, le calibrage non optimisé du GBRT apparaît comme la première raison pouvant justifier la plus faible performance du GBRT. Une hypothèse non développée dans nos travaux est aussi le fait que comme cela a été vu pour le QLR, des erreurs de variance semblent apparaître très rapidement pour les modélisations des quantiles très bas, et le GBRT pourrait être plus sensible à ce phénomène que le QRF.
2. Prévision du Dynamic Line Rating à court-terme 98
Dans la section 5.7.3, nous referons une comparaison entre les 5 différents modèles proposés avec une évaluation de la valeur financière des prévisions fournies. Au vu des résultats obtenus dans ce chapitre, le modèle QRF proposé sera proposé comme modèle par défaut pour les travaux présentés dans les chapitres suivants.
2.6. Conclusions
Nous avons proposé ici différentes méthodologies pour prévoir le DLR, ainsi que différents paramétrages pour ces modèles. Nous avons pu constater, pour les différents modèles présentés, que les méthodes ensemblistes (GBRT et QRF) étaient celles qui présentaient les meilleures performances. Cela est principalement dû à la faible sensibilité de ces méthodologies face aux phénomènes de surapprentissage, qui sont importants pour deux raisons dans le cas de la prévision du DLR.
La première raison est la nécessité d’utiliser un nombre de variable qui ne peut pas être faible. En effet, le DLR dépend de 4 variables météorologiques, et pour cette raison le nombre de paramètres à utiliser en entrée des modèles apparaît comme difficile à réduire vers un nombre faible.
La deuxième raison est que nous avons pu constater pour l’ensemble des modèles, de manière plus ou moins marquée, que les phénomènes de surapprentissage apparaissaient plus rapidement pour les prévisions à quantile bas que pour les prévisions à quantiles moyens. Or, dans le cas de la prévision du DLR, les prévisions à bas quantile sont nécessaires en raison des exigences de sécurité des GRT. Nous avons cité en introduction l’article [48], ou un modèle MARS et un modèle QRF étaient tous deux mis en avant pour fournir des prévisions moyennes du DLR. Ici, on trouve de manière similaire des performances proches avec les indices du MAPE et du CRPS pour le modèle QLR, un modèle similaire au MARS, et le modèle QRF. Cependant, le QLR nécessite un nombre de variables significatif pour atteindre de telles performances, en particulier pour l’entraînement des prévisions à quantile moyen. Pour des quantiles bas, le QLR doit être entraîné avec un nombre de variables faible, inférieur à 5, et on pourrait attendre un résultat similaire avec un modèle MARS adapté à la prévision quantile, et ces deux modèles ne nous apparaissent alors pas adaptés à la prévision à bas quantile. A l’inverse, le QRF peut fournir des prévisions pour de tels quantiles avec un nombre de variables élevé.
Pour ces raisons, nous considérons ici que les deux méthodes ensemblistes proposées sont les deux approches nous semblant les plus adaptées pour la suite de notre étude. Pour ces deux modèles, nous avons obtenu de meilleurs résultats avec le modèle QRF par rapport au modèle GBRT. Ce dernier modèle pourrait cependant à terme être réutilisé, dans un contexte où les fonctions objectif utilisées pour les prévisions DLR seraient redéfinies par rapport aux scores quantiles ici obtenus.
On soulignera ici que les trois autres modèles ne sont cependant pas à écarter pour des recherches futures. Même si nous ne les recommandons pas ici pour directement générer des prévisions DLR, leurs structures sont différentes de celles des méthodes ensemblistes, et cela pourrait permettre d’aider à dépasser des failles des QRF et GBRT. Par exemple, les QRF et GBRT ne sont pas capable de générer des combinaisons de variables, comme simplement une somme de différents paramètres. Les réseaux de neurones, écartés pour la génération de prévisions, seraient eux en mesures de générer de telles combinaisons. Ces nouvelles variables deviendraient alors des variables supplémentaires pouvant alimenter des méthodes ensemblistes et améliorer leurs performances, dans le cadre du développement
de processus de stacking. Ces hypothèses ne sont pas explorées plus en avant dans le cadre de cette thèse, et pourraient devenir l’objet de futurs travaux.
Tels que proposés ici, les modèles que nous retenons présentent tous les deux une faille, qui est leur incapacité à fournir des extrapolations pour des prévisions à très bas quantile. Là où les 3 autres modèles proposés peuvent fournir des prévisions inférieures aux valeurs de RTLR observées par le passé, pour des niveaux de probabilités tendant vers 0, ces deux modèles seront incapables de fournir des prévisions inférieures aux observations minimales faites dans l’échantillon d’entraînement. Pour cette raison, il est nécessaire d’apporter une modification à ces modèles pour fournir des prévisions à très bas quantiles satisfaisantes. Nous nous proposons d’aller dans ce sens dans le chapitre suivant.
3. Modélisation de la partie basse des distributions 100