a Puissances et signatures énergétiques - ANALYSE THERMIQUE ET HYDRAULIQUE DE LA CLIMATISATION

PARTIE 2 ANALYSE THERMIQUE ET HYDRAULIQUE DE LA CLIMATISATION DU DATACENTER

2.2. a Puissances et signatures énergétiques

La Figure 2.3 montre une bonne corrélation des puissances thermiques de part et d’autre de l’échangeur (puissances primaire et secondaire). La puissance côté primaire est supérieure en moyenne d’environ 6% à la puissance côté secondaire.

Figure 2.3 : Corrélation entre les puissances côté primaire et côté secondaire de l’échangeur de chaleur primaire ; données horaires du 22.02.2013 au 08.03.2013.

La signature énergétique exprime la demande de froid du bâtiment en fonction de la température extérieure. La Figure 2.4illustre la signature énergétique du bâtiment E de l’ONUG du 22.02 au 08.03.2013 d’après la puissance primaire (gauche) puis la puissance secondaire (droite).

Figure 2.4 : Signatures énergétiques du bâtiment E, puissance primaire (gauche) et puissance secondaire (droite) ; données horaires du 22.02.2013 au 08.03.2013.

On note donc :

 Du côté primaire, la puissance est généralement comprise dans un intervalle allant de 120 à 180 kW sur la période de mesures. Quelques valeurs isolées se trouvent en dehors de cet intervalle, notamment des pics de puissance à environ 225 kW et 240 kW. Néanmoins, l’essentiel des puissances est regroupé autour de la valeur « ruban » de 145 kW.

 Du côté secondaire, la puissance est comprise dans un intervalle plus restreint, entre 120 et 160 kW pendant la même période de mesures. La puissance est toutefois centrée autour de la valeur ruban de 140 kW. Quelques points de mesures se trouvent également en dehors de ce ruban.

La signature énergétique du bâtiment E, de type ruban, démontre que les facteurs météorologiques tels que la température de l’air extérieur n’ont pas d’influence directe sur la demande de froid du datacenter. En effet, l’infrastructure est située au sous-sol du bâtiment E et son enveloppe ne donne pas sur l’extérieur.

17 2.2.b Débits

La Figure 2.5 permet de visualiser la régulation du débit en fonction de la demande thermique froid, au niveau de la boucle primaire GLN et de la boucle de distribution secondaire.

Figure 2.5 : Débits en fonction de la puissance thermique, côté primaire (gauche) et côté secondaire (droite) ; données horaires du 22.02.2013 au 08.03.2013.

On constate notamment :

 Une grande dispersion des débits dans la boucle primaire (Figure 2.5, gauche), compris entre 20 et 75 m³/h, bien que les puissances primaires soient quasi-constantes, regroupées autour de la valeur moyenne de 145 kW calculée sur le circuit primaire GLN (Figure 2.1).

 Une stabilité des débits du côté secondaire (Figure 2.5, droite) avec deux valeurs « paliers », 50 et 76 m³/h qui correspondent respectivement aux situations postérieure et antérieure aux tests de régulation effectués entre le 27.02 et le 02.03 sur la boucle de distribution (Figure 2.1).

2.2.c Températures de travail

Les puissances thermiques mesurées sur les boucles primaire et secondaire peuvent également être exprimées en fonction des températures de distribution et de retour de chaque côté de l’échangeur primaire (Figure 2.6).

Figure 2.6 : Températures de distribution et de retour en fonction de la puissance thermique, côté primaire (gauche) et côté secondaire (droite) ; données horaires du 22.02.2013 au 08.03.2013.

18 On constate notamment :

 Sur le circuit primaire, la température de distribution (Figure 2.6, gauche) qui dépend directement de la température du lac est très variable et comprise dans un intervalle de température 5.5°C – 10.5°C. Comme pour le débit précédemment, il y a une importante variation des températures de distribution pour des puissances comprises entre 120 et 160 kW. La température de retour est quant à elle plus stable et comprise entre 10.5°C et 12.5°C.

La différence de température ΔTret-distrib prim entre le retour et la distribution varie donc de 2K à 6K.

 Sur le circuit secondaire, les variations de températures sont moins marquées (Figure 2.6, droite). En effet, pour des puissances comprises entre 120 et 160 kW, la température de distribution se situe entre 9.5°C et 11.5°C et le retour de l’ordre de 12.5°C à 13.5°C.

Ainsi la différence de température ΔTret-distrib second entre le retour et la distribution est comprise entre 1.5K et 3.5K.

Les écarts de température enregistrés sur la distribution du circuit primaire s'expliquent par la variabilité de la température de la ressource sur laquelle il n’y a aucune correction de température.

Ainsi, lorsque la température du lac augmente, l’écart ∆Tconsigne entre les températures de distribution secondaire et de distribution primaire diminue. Dans cette situation, le débit sur la boucle primaire augmente de manière à garantir la prestation « froid » fixée par la demande des installations climatisées de l’ONUG (Figure 2.7).

Figure 2.7 : Effets de l’augmentation de la température de la ressource sur le débit de la boucle primaire GLN.

Ainsi, d’après le retour d’expérience effectué sur la première année de fonctionnement (Viquerat et al., 2012), en période estivale la hausse significative de la température du lac induisait fréquemment un appel de débit primaire qui dépassait le débit de concession, de 460 m³/h, même pour la seule puissance du datacenter, inférieure à 200 kW. A noter que ce point a été depuis lors corrigé.

2.3 Résumé

En résumé, sur la période de mesures du 02.03.2013 au 08.03.2013 (climatisation via GLN), la puissance thermique primaire moyenne calculée est de 147 kW, la puissance thermique secondaire moyenne mesurée est égale à 137 kW et la demande de froid du datacenter estimée à partir des CRACs est d’environ 107 kW.

PARTIE 3 Analyse électrique du datacenter 3.1 Introduction

Cette partie analyse la distribution de l’énergie électrique au sein du datacenter ainsi que la consommation électrique des différents postes de consommation du datacenter à partir des mesures électriques mises en place en différents points de l’infrastructure par SIG. L’objectif est de faire un bilan de la consommation électrique totale du datacenter puis de différencier l’énergie électrique consommée par les équipements informatiques (salles serveurs, réseau, switchs) de l’électricité consommée par le reste de l’infrastructure et qui rendent le datacenter opérationnel (climatisation des locaux, pompes de distribution d’eau froide, pertes, etc.). Toutefois, l’accès limité aux différents locaux du datacenter et notamment aux salles informatiques ne nous a pas permis de détailler les consommations électriques autant qu’espéré. Ainsi nous n’avons pas d’informations sur la consommation électrique par rack ou par serveur mais les données sont plutôt interprétées au niveau de chaque salle. Lorsque les consommations spécifiques de certains postes (CRACs, éclairage) n’ont pas pu être mesurées, nous les avons estimées sur la base de diverses données et hypothèses.

Les valeurs présentées ci-dessous sont basées sur les mesures effectuées au cours de la période allant du 02.03 au 08.03.2013, c'est-à-dire après la phase de tests sur la régulation. En effet, les différentes données récoltées à partir du 02.03 sont plus représentatives du fonctionnement et de la régulation actuels du système de refroidissement de l'ONUG.

Pour des raisons similaires, en ce qui concerne le groupe de froid du datacenter, on utilise uniquement les données enregistrées lors des 12 heures de fonctionnement de celui-ci le 05.03.2013.

3.2 Informatique

3.2.a Onduleur 1

La Figure 3.1 présente le schéma électrique de la partie « onduleur 1 » du datacenter, qui concerne les installations électriques secourus par l’onduleur 1. Les valeurs indiquées en rouge sont des puissances moyennes mesurées (moyenne des données enregistrées du 02.03 au 08.03) et celles indiquées en vert des puissances moyennes déduites par calculs. Les évolutions dynamiques des paramètres mesurés sont illustrées dans la Figure 3.2 et la Figure 3.3.

Figure 3.1 : Schéma de principe de câblage électrique simplifié concernant la partie « onduleur 1 » du datacenter de l’ONUG (points rouges = mesures ; points verts = calculs).

Il existe une importante différence d’environ 13 kW, entre la puissance électrique moyenne entrante au niveau du tableau principal de l’onduleur 1 (60.1 kW) et la puissance moyenne mesurée en sortie de cet onduleur (44.6 kW). Le rendement de l’onduleur 1 étant estimé à environ 95% d’après les données techniques (Annexe 5), la puissance moyenne calculée en entrée de l’onduleur est de 47.1 kW. Les pertes électriques moyennes de l’onduleur s’élèvent donc à 2.4 kW. Par défaut de bilan entre les alimentations du tableau principal et de l’onduleur, il subsiste une puissance moyenne de 13 kW. Cette partie du courant ne traversant pas l’onduleur 1, elle alimente en principe des installations techniques non secourus, moins « sensibles » que les serveurs, telles que les CRACs, l’éclairage (analysé dans la section 3.3 ci-dessous).

La puissance électrique moyenne mesurée de 44.7 kW en sortie d’onduleur alimente en partie la salle réseau, à hauteur de 7.8 kW, la salle serveurs avec 33.6 kW de puissance moyenne ainsi qu’un static switch avec une faible puissance moyenne de 2.5 kW. A noter que cette dernière consommation nous parait élevée pour un static switch, mais nous n’avons pas trouvé d’explication à cela dans le cadre de ce travail. Enfin, par défaut de bilan, il subsiste une puissance moyenne de 0.7 kW non identifiée, qui fait à priori partie intégrante de l’équipement informatique de la salle serveurs.

Figure 3.2 : Puissances électriques en entrée du tableau principal de l’onduleur 1 (rouge) et en sortie de l’onduleur 1 (vert) ; moyennes horaires.

Figure 3.3 : Puissances électriques des différentes installations alimentées par l’onduleur 1 en sortie du tableau secondaire 1 ; moyennes horaires.

3.2.b Onduleur 2

De façon analogue, la Figure 3.4 présente le schéma électrique de la partie « onduleur 2 » du datacenter. Les évolutions dynamiques des paramètres mesurés sont représentées sur la Figure 3.5 et la Figure 3.6.

Il existe à nouveau une différence importante entre la puissance électrique moyenne entrante au niveau du tableau principal de l’onduleur 2 (51.0 kW) et la puissance moyenne en sortie de ce même onduleur (41.5 kW). L’onduleur 2 étant identique au premier (rendement d’environ 95%), la puissance moyenne calculée en entrée de l’onduleur est de 43.7 kW, ce qui implique des pertes estimées à 2.2 kW. La différence entre les alimentations du tableau principal et de l’onduleur, de 7.3 kW en moyenne, correspond comme précédemment à de l’électricité non secourue par l’onduleur 2 et qui alimente des équipements de l’infrastructure directement depuis l’alimentation électrique générale (cabine BT E) (analysé dans la section 3.3 ci-dessous).

Sur la puissance moyenne de 41.5 kW destinée à l’alimentation IT, 34.2 kW sont dédiés aux serveurs.

Dans cette partie du circuit, une puissance moyenne non négligeable de 7.3 kW et non mesurée est attribuée à des équipements informatiques.

Figure 3.4 : Schéma de principe de câblage électrique de la partie « onduleur 2 » du datacenter de l’ONUG (points rouges

= mesures ; points verts = calculs).

Figure 3.5 : Puissances électriques en entrée du tableau principal de l’onduleur 2 (rouge) et en sortie de l’onduleur 2 (vert) ; moyennes horaires.

Figure 3.6 : Puissances électriques des différentes installations alimentées par l’onduleur 2 en sortie du tableau secondaire 2 ; moyennes horaires.

3.2.c Bilan onduleurs 1 et 2

La puissance moyenne qui transite via les tableaux électriques principaux (TP1 et 2) des deux onduleurs s’élève donc globalement à 111 kW et se décompose comme suit.

24 Pour l’équipement informatique (86.1 kW) :

 Serveurs : 67.8 kW

 Réseau : 7.8 kW

 Switchs : 2.5 kW

 Non-identifiés : 8.0 kW

Pour le reste de l’infrastructure (24.9 kW) :

 Pertes onduleurs : 4.6 kW

 Autres : 20.3 kW

3.3 Eclairage, CRACs et autres

Ce chapitre l’infrastructure non-informatique comprise dans le datacenter dont la consommation globale a été mis en évidence ci-dessus par différence entrée – sortie des onduleurs (20.3 kW, hors pertes onduleurs). A noter que cette consommation ne comprend pas la production de froid (groupe de froid, distribution GLN, monobloc de ventilation), située hors du datacenter, qui fait l’objet de mesures électriques spécifiques (section 3.4).

Comme évoqué précédemment (section 3.2.a), une partie de l’alimentation électrique de l’infrastructure n’est pas secourue par les onduleurs et approvisionne des postes non informatiques, tels que les CRACs et l’éclairage principalement. A défaut de mesures spécifiques pour ces deux postes, nous estimons ci-dessous leurs consommations probables.

3.3.a Éclairage

Afin d’estimer la puissance électrique moyenne de l’éclairage, on estime la puissance moyenne par unité de surface pour chacun des locaux du datacenter de 10 W/m². D’après les services techniques de l’ONUG, la surface des locaux a été évaluée approximativement à 200 m²pour la salle serveurs, 75 m² pour la salle réseau, 40 m² pour le local ASC (onduleur 2) et 30 m² pour le local ventilation (onduleur 1). La surface totale éclairée est donc d’environ 345 m². L’éclairage n’affichant jamais une consommation continue, le nombre d’heures de fonctionnement par an des luminaires et dans chaque pièce a été estimée : 130 h dans la salle serveurs, 780 h dans la salle réseau et 260 h dans les locaux ASC et ventilation. Ainsi l’éclairage consomme 1’027 kWh/an, qui correspond à une puissance horaire moyenne continue d’environ 0.1 kW. Ces données sont récapitulées dans le Tableau 3-1 ci-dessous.

Tableau 3-1 : Valeurs estimées pour le calcul de la consommation de l’éclairage dans le datacenter.

Salle Psurf (W/m²) Surface (m²) Pél (W) Nh (h) Eél (kWh)

25 3.3.b CRACs (armoires de climatisation des salles)

Les puissances électriques des CRACs de chacune des salles climatisées est inclue, comme l’éclairage, dans les 20.3 kW de puissance non secourue par les onduleurs (section 3.3).

Ainsi, nous estimons la puissance électrique moyenne de chaque CRAC à partir des intensités électriques telles que données par les fiches protocoles (Annexe 9, Annexe 10 et Annexe 11) et des données techniques des CRACs (Annexe 12). Les résultats sont récapitulés dans le Tableau 3-2 ci-dessous.

Tableau 3-2 : Intensités d'alimentation des CRACs et puissances correspondantes.

Serveurs Réseaux ASC

CRAC1 CRAC2 CRAC3 CRAC1 CRAC2 CRAC1 CRAC2

Intensité (A) 6.1 6.1 6.0 1.7 1.8 1.7 1.4

Pél (kW) 3.34 3.34 3.29 0.89 0.95 0.47 0.39

Pél moy (kW) 3.32 0.92 0.43

La puissance électrique moyenne estimée des CRACs pour chacune des salles se décompose comme suit :

 Salle serveurs (2 CRACs) : 2 x 3.32 kW = 6.6 kW

 Salle réseaux (1 CRAC) : 1 x 0.92 kW = 0.9 kW

 Salle ASC (1 CRAC) : 1 x 0.43 kW = 0.43 kW

De ce fait, l’ensemble des CRACs représente au total une puissance d’environ 7.9 kW.

3.3.c Autres constituants

Au niveau de l’infrastructure non-informatique il reste finalement une consommation non-identifiée de 20.3 – (7.9 + 0.1) = 12.3 kW.

Afin de s’assurer que cette consommation électrique est bien liée au datacenter, nous vérifions plus bas (section 3.5) la concordance entre bilans électrique et thermique.

3.4 Production de froid

Le schéma électrique de la Figure 3.7 présente l’alimentation électrique ne participant pas aux charges internes du datacenter, soit pour le système de production et distribution de froid (hors CRACs, traités ci-dessus). Les valeurs indiquées sont soit des puissances moyennes mesurées, soit des puissances estimées.

Figure 3.7 : Schéma électrique des autres charges du datacenter de l’ONUG (point rouge = mesures ; point vert = estimation)

3.4.a Le groupe de froid

Lorsque le groupe de froid est enclenché, il consomme entre 30 et 50 kW, avec une moyenne d’environ 40.7 kW (Figure 3.8), ce qui correspond à un EER de 2.7 par rapport aux 107 kW thermique des CRACs. A noter que ces valeurs restent proches de celles données par la fiche technique (Annexe 1).

Figure 3.8 : Puissance électrique du groupe de froid de secours du datacenter (lors des mises en marche) ; acquisition toutes les 15 minutes

27 3.4.b La pompe de circulation

Nous estimons à environ 1 kW la puissance de la pompe de circulation du circuit secondaire (utilisée uniquement lorsque le refroidissement se fait via GLN).

3.4.c Le monobloc de ventilation

Le monobloc de ventilation a une puissance en fonctionnement de 1.6 kW, mais ne fonctionne pas la nuit ni les weekends. Sur les deux semaines en question, il consomme une puissance moyenne de 0.5 kW (Figure 3.9). Etant donné que seul environ 50% du débit du monobloc est dédié à d’autres locaux (section 1.2.b), la consommation électrique moyenne dédiée au datacenter s’élève à 0.2 kW.

Figure 3.9 : Puissance électrique du monobloc de ventilation (rouge) et de la part dédié au datacenter (bleu) ; moyennes horaires.

3.5 Concordance entre bilans électrique et thermique

L’ensemble des charges électriques internes au datacenter s’élève à 111 kW (section 3.2.c), dont 2.4 kW de pertes de l’onduleur situé dans le local de ventilation, qui n’est pas climatisé. Les charges évacuées par climatisation s’élèvent ainsi à 108.6 kW, ce qui est en très bonne corrélation avec la puissance thermique de 107 kW des CRACs, obtenue via les fiches de mise en service (section 2.1.b).

Cela reste cependant inférieur aux 137 kW mesurés sur le circuit de distribution secondaire connecté à GLN (section 2.1.a), ce qui pourrait éventuellement provenir d’une utilisation de froid externe au datacenter.

PARTIE 4 Performances énergétiques du datacenter 4.1 Introduction

Ce chapitre, qui se base sur les analyses des sous-systèmes effectuées dans les chapitres précédents est consacré à l’analyse énergétique globale du datacenter de l’ONU.

A partir du bilan thermique et électrique, présenté sous forme de tableau et de diagramme de flux, nous allons en particulier nous intéresser au PUE (Power Usage Effectiveness). Cet indicateur, développé et reconnu au niveau international (Green Grid, 2011 ; AGIT, 2012), mesure la performance des datacenters par le rapport entre la consommation électrique totale d’un datacenter (intégrant l’infrastructure physique, en particulier pour le refroidissement, plus la charge informatique) et la consommation électrique nécessaire aux équipements informatiques uniquement (incluant les serveurs, switchs, et équipements réseaux) :

efficient ; plus sa valeur est élevée, plus la consommation de l’infrastructure non IT est importante et moins le datacenter est efficient.

En principe ce rapport devrait être établi sur la base d’une consommation annuelle. Nous l’estimerons ici à partir des puissances moyennes observées sur deux semaines de mesure, en considérant que celle-ci sont représentatives du fonctionnement global sur l’année (extrapolation des consommations annuelles par règle de trois).

En général, la climatisation des salles informatiques représente un poste important de la consommation électrique de l’infrastructure, et son optimisation contribue à baisser (améliorer) le PUE (Aebischer et al., 2003). Conformément aux objectifs de l’étude, nous porterons donc une attention particulière à la climatisation du datacenter de l’ONU, en comparant son fonctionnement via machines de froid ou via le réseau GLN.

4.2 Bilan énergétique

4.2.a Climatisation via le réseau GLN

La figure suivante représente le diagramme de flux énergétique (électrique et thermique) du datacenter de l’ONU lorsqu’il est climatisé via GLN. Le détail des puissances électriques moyennes par sous-système et leur extrapolation au niveau annuel sont récapitulées dans le Tableau 4-1. Leur répartition (en pourcentage de la puissance électrique totale) est illustrée dans la Figure 4.2.

Figure 4.1 : Diagramme de flux énergétique (climatisation via GLN).

Tableau 4-1 : Bilan des puissances électriques moyennes des différents sous-systèmes et consommations annuelles extrapolées (climatisation via GLN).

Sous-système Pél (kW) Eél (MWh/an)

Infrastructure Pompe secondaire 1.0 8.8

CRACs 7.9 69.2

Monobloc 0.2 1.8

Onduleurs (pertes) 4.6 40.3

Eclairage 0.1 1.0

Autres constituants 12.3 107.7

Equipement IT Serveurs 67.8 593.9

Réseaux 7.8 68.3

Switch 2.5 21.9

Non identifié 8.0 70.1

Total Total infrastructure 26.1 228.8

Total IT 86.1 754.2

Total 112.2 983.0

PUE Ptot/PIT 1.30 1.30

Figure 4.2 : Distribution des consommations électriques par sous-système (climatisation via GLN).

Sur les 112 kW de puissance électrique totale dédiée au datacenter (par extrapolation environ 980 MWh d’énergie annuelle), 86 kW (77%) sont consommés par les équipements informatiques, dont une grande majorité par les serveurs (61%). Le solde de la consommation IT se subdivise essentiellement, à parts égales, entre les réseaux et une consommation non identifiée (qui est attribuée à l’informatique, car transitant via les onduleurs et donc secourue).

Sur les 26 kW (23%) de consommation liée à l’infrastructure, seuls 9 kW sont liés à la climatisation (7% pour les CRACs et 1% pour la pompe de circulation du circuit de distribution secondaire). Le solde majoritaire de 17 kW se partage entre les pertes de l’onduleur (4%) et une consommation non identifiée (11%) qui transite néanmoins par le tableau électrique du datacenter.

A noter que les consommations de l’éclairage et du monobloc de ventilation sont quant à elles négligeables (inférieures à 1%) et ne sont pas représentées sur la Figure 4.2.

31 Déduction faite de la pompe de distribution secondaire (située hors du datacenter) et des pertes de l’onduleur situé dans le local de ventilation (non climatisé), l’ensemble des charges électriques évacuées par climatisation s’élève à 108.6 kW, ce qui est en très bonne corrélation avec la puissance thermique de 107 kW des CRACs, telle qu’obtenue via les fiches de mise en service (section 2.1.b).

Ces charges sont cependant inférieures aux 137 kW mesurés sur le circuit de distribution secondaire connecté à GLN (section 2.1.a), ce qui pourrait éventuellement provenir d’une utilisation de froid externe au datacenter.

En se basant sur les chiffres ci-dessus, le PUE du datacenter de l’ONU s’élève à 1.30 lorsqu’il est climatisé par le réseau GLN. Cela signifie que pour chaque kW consommé par l’informatique, 0.3 kW sont consommés par l’ensemble des autres postes de l’infrastructure, dont seulement 0.1 kW pour la climatisation.

Il subsiste dans le calcul ci-dessus une incertitude liée aux postes de consommation non identifiés, en particulier les 12 kW ne transitant pas par l’onduleur. En effet, cette puissance qui n’est imputable ni à la climatisation ni à l’éclairage reste relativement élevée. Dans l’hypothèse où il s’agissait d’une puissance (non secourue) dédiée à l’informatique, le PUE du datacenter s’élèverait à 1.14. Dans l’hypothèse où cette consommation était dédiée à un usage hors du datacenter (ce qui semble douteux étant donné l’équilibre entre bilans thermique et électrique), il s’élèverait à 1.16.

Par ailleurs, le calcul de PUE ci-dessus ne tient pas compte de la consommation des pompes du réseau primaire GLN, qui permettent la circulation d’eau du lac jusqu’à l’ONU. Après discussion avec M. Viquerat (SIG), il s’avère que l’EER (Energy Efficiency Ratio) global du réseau primaire GLN se situait en 2011 aux alentours de 15. En appliquant telle quelle cette valeur aux 108.6 kW évacués au niveau du datacenter, il faudrait imputer 7.2 kW électrique supplémentaires à l’utilisation du circuit primaire GLN, de sorte que le PUE s’élèverait à 1.39. Cependant, un calcul plus précis (qui sort du cadre de cette étude) devrait prendre en compte la part de l’électricité du réseau GLN dédiée

Dans le document Climatisation du datacenter de l’Office des Nations Unies à Genève : Comparaison entre une climatisation via le réseau Genève-Lac-Nations et une climatisation via un groupe de froid classique (Page 22-0)