Tests de fiabilité des polynômes

Afin de confirmer la qualité des métamodèles, plusieurs tests sont effectués en dehors des points définis par les différents plans d’expérience :

- Test sur la valeur centrale - Test sur la valeur de référence - Test aux limites du domaine

- Test sur des valeurs aléatoires du domaine de validité a) Test sur la valeur centrale

Le tableau 36 ci-dessous résume les valeurs données par la STD et par les polynômes pour la valeur centrale du domaine, qui est égale à la constante pour les polynômes :

Test ^{Valeur centrale}

STD Valeur centrale polynôme ^{Différence (%)} 1 249,2 230,3 7,60% 2 21,6 25,6 -18,50% 3 249,2 246,9 0,90% 4 249,2 244 2,10% 5 249,2 237,9 4,50%

Tableau 36: Comparaison des besoins de chauffage calculés par STD et par les polynômes sur le point central du domaine pour les tests 1 à 5

Thèse de doctorat – Aymeric NOVEL 159

Ces résultats montrent une bonne adéquation entre les valeurs centrales calculées par STD et la constante des polynômes. La différence relative observée sur le cas 2 est plus grande en raison de la faible valeur absolue.

b) Test sur la valeur de référence

Dans le cadre des CPE, il est préférable que le métamodèle passe par une valeur de référence qui serait la consommation cible. Le tableau 37 ci-dessous résume les comparaisons réalisées sur ce point :

Test Valeur de référence STD Valeur polynôme

1 29,4 -15,44 2 30,8 3 51,1 4 31,6 5 51,1

Tableau 37: Comparaison des besoins de chauffage calculés par STD et par les polynômes pour le scénario de référence pour les tests 1 à 5

Pour la valeur du scénario de référence, les polynômes définis sur un domaine trop élargi ne donnent pas de valeur proche, à l’exception du test 4 (discrétisation mensuelle). Le polynôme du test 2 donne en revanche une valeur proche. Par ce test de calcul sur un point non remarquable du domaine (contrairement au centre du domaine), nous mettons en évidence que l’intervalle de variation des facteurs est importante.

c) Test aux limites du domaine

Ce test permet de vérifier si le polynôme donne toujours des résultats proches des STD aux bornes du domaine de validité.

Nous considérons le polynôme issu du test 1 et nous effectuons un calcul au-delà de la limite maximum des valeurs des paramètres, c’est-à-dire en fixant les valeurs codées de tous les facteurs à 1,25. Nous obtenons alors les résultats suivants :

- STD : 1174,1kWh/m²/an - Polynôme : 1113,5kWh/m²/an

Nous constatons que ce polynôme fonctionne bien en dehors de la limite haute du domaine de validité. Nous effectuons ensuite plusieurs tests au niveau de la limite basse car c’est une zone du domaine où l’on s’attend à ce que ce polynôme ne calcule pas correctement les consommations d’énergie par rapport aux STD. La figure 79 ci-dessous illustre les besoins de chauffage calculés par le polynôme issu du test 1 en fonction des besoins de chauffage calculés par STD :

Thèse de doctorat – Aymeric NOVEL 160

Figure 79: Comparaison des besoins de chauffage calculés par le polynôme du test 1 avec ceux calculés par STD aux environs de la limite basse du domaine de validité

Nous constatons que ce polynôme ne reproduit pas bien les résultats de la STD sur cette partie du domaine. Ceci est cohérent avec le fait que le plan d’expérience du test 1 n’a pas permis d’identifier les facteurs influents pour ce domaine des consommations, comme cela a pu être fait avec le plan d’expérience du test 2.

d) Test aléatoires

Les tests précédents ont consisté à effectuer des comparaisons entre les résultats issus des STD et ceux issus des polynômes sur des points particuliers ou très localement. Afin de valider un métamodèle, il convient de le tester plus largement sur un jeu de données aléatoire du domaine servant de test.

Pour ce faire, nous avons utilisé deux méthodes selon qu’il s’agit d’un facteur de type « niveau » ou d’un facteur de type « horaires ». Pour les facteurs de type « niveau », nous avons effectué des tirages aléatoires sur le domaine [-1 ; +1] selon une loi uniforme. Pour les factures de type « horaires », nous avons généré des plannings aléatoires sous Excel. Pour ce test, nous nous sommes d’abord focalisés sur le scénario d’ouverture des fenêtres en laissant les autres facteurs à une valeur constante au centre du domaine (valeur codée = 0).

Le tirage aléatoire de scénario se fait avec la fonction suivante : SI(ALEA()<p;1;0). Cette fonction se base sur un tirage aléatoire sur une population suivant une loi normale de distribution. Un tirage de ce type entre 1 (ouvert) et 0 (fermé) fait que les chances d’être tiré sont égales pour les deux possibilités si p=0,5. Pour chaque heure du scénario, cela permet de créer des distributions variées tournant autour d’une moyenne connue représentée par la valeur donnée à « p ». Par exemple, si p=0,5, il y aura statistiquement autant de 1 que de 0 et la durée moyenne à l’échelle d’un mois ou de la saison sera environ 50% du temps, soit 4h/jour.

Pour chacun de ces plannings aléatoires, nous calculons la valeur correspondante aux variables du polynôme, ici Heures_Ouv_Fen qui représente la durée journalière moyenne d’ouverture des fenêtres. Ces tirages aléatoires sont directement placés dans une syntaxe propre au logiciel EnergyPlus concernant les plannings. Nous avons effectué 5 tirages aléatoires pour chaque valeur de p allant de 0,1 à 0,9 avec un pas de 0,1, ce qui permet de couvrir la plage des durées avec 45 plannings aléatoirement constitués. Cette méthode est illustrée par les figures 80 et 81 ci-dessous, pour une valeur de p de 0,2 :

y = -6,305x + 102,8 R² = 0,4826 -30 -20 -10 0 10 20 30 40 50 7 9 11 13 15 17 19 P o ly n ô m e STD

Tests sur la zone "basse consommation" (fenêtres

quasi fermées) - Matrice d'expérience n°1

Thèse de doctorat – Aymeric NOVEL 161

Figure 80: Outil de création d'un planning d'ouverture des fenêtres aléatoire correspondant à une durée moyenne connue (p=0,5 correspond à 4h/jour sur cet exemple)

Figure 81: Valeur des variables des polynômes correspondant à un planning aléatoire pour une durée moyenne d'ouverture des fenêtres de 4h/jour

Thèse de doctorat – Aymeric NOVEL 162

Les résultats obtenus pour le polynôme du test 1 sont illustrés sur la figure 82 ci-dessous :

Figure 82: Comparaison des besoins de chauffage calculés par le polynôme du test 1 et la STD pour 45 scénarios aléatoires d'ouverture des fenêtres répartis sur l'ensemble du domaine

Les indicateurs statistiques correspondant à ces résultats sont donnés dans le tableau 38 :

Indicateur ^{Test 1 – 45 tirages aléatoires pour le}

paramètre Heures_Ouv_Fen

Nombre de points 45

Degrés de liberté 44

Moyenne des réponses 257,7 kWh/m²/an

R² 0,998

RMSE 9,03 kWh/m²/an

CV(RMSE) 3,50%

MBE -7,16 kWh/m²/an

NMBE -2,80%

Facteur d’élargissement pour 95% de niveau

de confiance ^2,02

Précision absolue 18,24 kWh/m²/an

Précision relative 7,10%

Tableau 38: Indicateurs statistiques pour 45 tests aléatoires sur les variations des horaires d'ouverture des fenêtres du polynôme issu du test 1

Nous constatons une résilience forte du polynôme à une distribution variée des horaires d’ouverture des fenêtres. Ce résultat a une implication très intéressante en termes de suivi énergétique des bâtiments en exploitation : il semble suffisant de définir une durée moyenne journalière saisonnière d’ouverture des fenêtres pour caractériser thermiquement l’impact de ce facteur. Sur ce cas, nous constatons que la précision absolue de la prévision est de 18,2kWh/m²/an. Cela est satisfaisant du fait que la moyenne des réponses est ici de 257,7kWh/m²/an. Les autres cas avec ouvertures de fenêtres importantes donnent des résultats similaires. y = 1,0126x + 4,2544 R² = 0,998 0,0 50,0 100,0 150,0 200,0 250,0 300,0 350,0 400,0 450,0 0,0 50,0 100,0 150,0 200,0 250,0 300,0 350,0 400,0 450,0 P o ly n ô m e STD

Comparaison Polynôme VS STD Matrice d'expérience n°1 - Tirages aléatoires de scénarios d'ouverture des fenêtres

Thèse de doctorat – Aymeric NOVEL 163

Sur le test précédent, nous nous sommes focalisés sur les scénarios d’ouverture des fenêtres en nous penchant sur le cas du polynôme issu du test 1, car ce polynôme décrivait essentiellement les besoins de chauffage en fonction de ce facteur.

En revanche, pour le polynôme issu du test 2, tous les facteurs ont un poids du même ordre de grandeur. Nous avons donc testé la résilience de la corrélation pour un tirage aléatoire de tous les facteurs en utilisant la méthode décrite ci-avant pour tous les facteurs de type « horaires », et le tirage aléatoire selon une distribution uniforme pour les facteurs de type « niveau ». Ce test est fait sur un jeu de 51 valeurs différentes pour chaque facteur. Les résultats sont illustrés sur la figure 83 ci-dessous :

Figure 83 : Comparaison des besoins de chauffage calculés par le polynôme du test 2 et la STD pour 51 tirages aléatoires de tous les facteurs sur l'ensemble du domaine

Les indicateurs statistiques correspondant à ces résultats sont donnés dans le tableau 39 :

Indicateur ^{Test 2 – 51 tirages aléatoires de tous les} facteurs

Nombre de points 51

Degrés de liberté 50

Moyenne des réponses 21,7 kWh/m²/an

R² 0,97

RMSE 2,41 kWh/m²/an

CV(RMSE) 11,10%

MBE 2,2 kWh/m²/an

NMBE 10,10%

Facteur d’élargissement pour 95% de niveau

de confiance ^2,01

Précision absolue 4,84 kWh/m²/an

Précision relative 22,20%

Tableau 39 : Indicateurs statistiques pour 51 tirages aléatoires de tous les facteurs du polynôme issu du test 2 y = 1,0149x + 1,8754 R² = 0,9742 0,0 5,0 10,0 15,0 20,0 25,0 30,0 35,0 40,0 10 15 20 25 30 35 P o ly n o m e STD

Comparaison Polynôme VS STD Matrice d'expérience n°2 - tirage aléatoire de tous les facteurs

Thèse de doctorat – Aymeric NOVEL 164

Il est intéressant de noter que, pour ce polynôme, la précision absolue et le RMSE étaient de 6,8% et 0,7kWh/m²/an respectivement sur la base d’apprentissage définie par le plan d’expérience. Sur une base test aléatoire, ces valeurs deviennent 22,2% et 2,4kWh/m²/an respectivement. Cela montre la résilience du modèle à des phénomènes aléatoires.

La précision absolue est de 4,8kWh/m²/an pour 95% de niveau de confiance. Comme ce test est réalisé sur une plage de besoins de chauffage relativement faibles, avec une moyenne de 21,7kWh/m²/an, nous avons une précision relative de seulement 22,2%. Nous sommes sur une problématique de précision typique des bâtiments basse consommation : les incertitudes sont de l’ordre de grandeur des consommations. En revanche, si l’on abaisse le niveau de confiance à 50%, la précision relative est de 7,5%, pour une précision absolue de 1,6kWh/m²/an.

Néanmoins, le CV(RMSE) est conforme aux critères IPMVP mais son NMBE est légèrement trop élevé (10,1% contre un critère de 7,5% défini par IPMVP). Il peut être utilisé pour suivre les performances en exploitation en intégrant dans une démarche de M&V des facteurs d’usages si le NMBE est amélioré. Une étape d’optimisation du modèle peut être nécessaire, soit en discrétisant soit en appliquant un plan uniforme pour mieux couvrir l’espace des données d’entrée.

e) Amélioration d’un polynôme avec plan uniforme

Nous avons comparé les résultats obtenus par le plan d’expérience du test 1 avec les résultats obtenus par un plan d’expérience uniforme. Nous avons effectué un plan uniforme dont la principale différence consiste à mailler l’espace des données d’entrée plus finement. Au lieu de 44 essais, 84 essais sont alors nécessaires. Cela reste acceptable à cette échelle mais nous voyons la différence de temps de calcul entre les deux méthodes sur ce cas simple. Lorsque nous appliquons la régression linéaire sur les 7 facteurs identifiés comme influents par le plan D-optimal du test 1, nous obtenons les résultats de la figure 84 ci-dessous :

Figure 84: Comparaison des graphiques des besoins de chauffage calculés par STD en fonction des besoins de chauffage calculés par le polynôme pour le cas du test 1 avec le plan d'expérience D-optimal (à gauche)

et le plan uniforme (à droite)

Les indicateurs statistiques pour ces deux modèles sont comparés dans le tableau 40 :

Indicateur Plan D-optimal Plan uniforme

R² 0,988 0,991

R² ajusté 0,986 0,99

RMSE 37,77 26,39

F de Fischer 445,3 1219

Tableau 40: Indicateurs statistiques pour les polynômes issus de la matrice d'expérience du test 1, pour un plan d'expérience D-optimal et un plan uniforme

Thèse de doctorat – Aymeric NOVEL 165

Ainsi, il est possible d’améliorer la précision d’un modèle polynomial déterminé par un plan d’expérience D-optimal en utilisant un plan uniforme. Cela peut permettre d’atteindre des critères de précision si ces derniers ne sont pas obtenus avec le premier modèle.

D. Application de la méthode pour le calcul des consommations de chauffage