Utilisation des ressources de calcul

comme montr´e sur la table 1.13. Pour la puissance de calcul, cel`a est dˆu en grande partie `a la mise en route de serveurs de calcul de l’Institut des Syst`emes Complexes au LAL (puissance non LHC rappelons-le), mais aussi de la progression des ressources en vue du d´emarrage du LHC. Un effort important sera men´e tout particuli`erement sur l’espace disque. D’un point de vue strictement financier il aurait ´et´e id´eal d’acheter le mat´eriel au dernier moment. Cependant, il a ´et´e n´ecessaire d’acqu´erir des comp´etences et donc de construire dans les laboratoires des ressources de tailles cons´equentes bien avant le d´emarrage du LHC. De plus les demandes de moyens financiers sont `a effectuer parfois plusieurs ann´ees `a l’avance dans le cadre de plan pluriannuels. Rappelons aussi que depuis le d´emarrage du projet LCG France le calendrier du LHC s’est d´ecal´e de pr`es d’un an. Ceci explique en grande partie le fait que d`es 2006 le projet a d´epass´e les besoins de calcul pour 2007 et presque atteint les besoins en espace disque.

Laboratoire calcul stockage (kSI2K) (To) APC 224 7 IPNO 636 24 IRFU 636 96 LAL 3050 105 LLR 640 254 LPNHE 500 115 Total 5686 601

Tab. 1.13: Ressources attendues en 2008 pour le d ´emarrage du LHC, en puissance de calcul (kSI2K) et

en espace de stockage (en tera-octets), pour chaque membre de Grif et au total.

Mˆeme si ces ressources sont importantes, il sera certainement utile au tout d´ebut du LHC d’avoir des ressources suppl´ementaires pour faire face aux besoins de multiples re-reconstruction impr´evues des donn´ees ainsi qu’`a des formats de donn´ees moins compacts que pr´evu. Rappelons, enfin, que les mod`eles de calcul impliquent une croissance constante et tr`es importante des ressources chaque ann´ee et qu’il n’est pas inutile de “prendre un peu d’avance”.

1.6 Utilisation des ressources de calcul

Ce dernier paragraphe r´esume mes activit´es de production de donn´ees Monte Carlo. Ce travail `a la base orient´e uniquement sur les donn´ees qui m’int´eressaient directement a peu `a peu ´evolu´e vers un travail de suivi des performances des diff´erents sites de production du Nuage Franc¸ais et en premier lieu du site de Grif au LPNHE.

1.

L’EXP ´ERIENCE ATLAS

1.6.1 Participation aux “Data Challenge”

Le LHC Computing Review [82] a recommand´e en 2001 aux diff´erentes exp´eriences d’ef-fectuer des Data Challenge (DC) de tailles et de complexit´e de plus en plus importantes. Ces Data Challenge sont en pratique des productions de donn´ees Monte Carlo les plus r´ealistes pos-sibles⁴⁾. Ces donn´ees permettent `a la fois d’optimiser les d´etecteurs, d’´etudier les performances combin´ees de ceux-ci et de pr´eparer les analyses de physique.

Je ne d´ecrirai pas ici en d´etail tous ces Data Challenge. J’ai particip´e directement `a la pro-duction de ces donn´ees de diverses mani`eres :

- dans le cadre du Data Challenge 1 (2002-2003), par la production des donn´ees qui m’int´eressaient directement et qui seront pr´esent´ees ult´erieurement. Ces donn´ees ont ´et´e produites en utilisant le Centre de Calcul de Lyon, en dehors de la grille ;

- dans le cadre des Data Challenge Rome (2004) et DC3 (2006) `a l’aide de production effectu´ees avec la grille de calcul. Ces productions, sous la responsabilit´e de groupes de physique, ´etaient encore limit´ees aux donn´ees m’int´eressant directement ;

- dans le cadre du Computing System Commisioning (2007) `a l’aide de l”’ex´ecuteur” LyonDQ2 [83], et maintenant Panda [84], install´es au Centre de Calcul. Il s’agit de syst`emes permettant de contrˆoler la production centrale d’Atlas, distribu´ee sur tous les centres de calcul, c’est `a dire l’envoi et le suivi des tˆaches correspondant `a diff´erentes ´etapes de la production Monte Carlo : g´en´eration, simulation, empilement, reconstruc-tion. Le travail est r´eparti entre diff´erentes personnes en charge de l’ex´ecuteur qui doivent surveiller la bonne ex´ecution des tˆaches et l’efficacit´e des sites les recevant.

Le travail de production Monte Carlo est ainsi pass´e d’une tˆache individuelle, sur un centre de calcul, `a une tˆache collective, distribu´ee sur de nombreux centres.

1.6.2 Publication des ressources des sites de production franc¸ais

Une ´etape importante pour pouvoir contrˆoler le bon fonctionnement d’un site ainsi que les productions qui y sont effectu´ees est de publier les informations n´ecessaires sur le portail d’op´erations de la grille EGEE [85]. Ceci a ´et´e effectu´e par les ´equipes techniques de Grif. La figure 1.14 donne la fraction des tˆaches envoy´ees en France par les diff´erents sites. Pr`es de 13% de ces tˆaches ont ´et´e envoy´ees depuis janvier 2006 sur les sites de Grif. On rappelle que la f´ed´eration ´etant vue de l’ext´erieur comme une ressource unique on ne peut d´etailler les contributions de chaque membre⁵⁾. Parmi les diff´erentes tˆaches, environ 28% provenaient de la collaboration Atlas.

4)La version de la g´eom´etrie utilis´ee dans la simulation est tr`es d´ependante des versions de Data Challenge utilis´ees et en g´en´eral correspond `a un d´etecteur de plus en plus r´ealiste. Dans l’usage courant on parle de g´eom´etrie “TDR”, “DC1” etc, faisant r´ef´erence `a la version de la simulation utilis´ee effectivement durant le Data Challenge correspondant.

1.6. UTILISATION DES RESSOURCES DE CALCUL

Fig. 1.14: Publication des t ˆaches effectu´ees de janvier 2006 `a juillet 2007 par les centres de calcul

franc¸ais en fonction des diff´erentes organisations virtuelles (en haut) et fonction des sites de production (en bas).

La figure 1.15 montre la progression de la puissance de calcul consomm´ee par les diff´erentes organisations virutelles utilisant les ressources de Grif pour chaque mois ´ecoul´e depuis le mois de janvier 2006. Depuis janvier 2006, l’exp´erience Atlas a utilis´e environ 34% des ressources de Grif. La compr´ehension pr´ecise de cette courbe n´ecessite une compr´ehension d´etaill´ee `a la fois de l’´etat de chaque site de Grif (quelles sont les ressources disponibles et quand ?) et les besoins des diff´erentes exp´eriences (sont-elles en production ou non ?).

La collaboration Atlas France s’est structur´ee de mani`ere `a obtenir une collaboration efficace en mati`ere de calcul entre les membres des laboratoires franc¸ais du CEA et de l’IN2P3. Le mandat du groupe Calcul Atlas France [86] est en particulier d’analyser les besoins des groupes

1.

L’EXP ´ERIENCE ATLAS

Fig. 1.15: Puissance de calcul (en heures) utilis ´ee par chaque organisation virtuelle utilisant les

res-sources de Grif pour chaque mois ´ecoul´e depuis le mois de janvier 2006.

franc¸ais sur tous les aspects du calcul hors-ligne dans Atlas, de communiquer les besoins au Centre de Calcul et de fournir des recommandations sur l’´evolution et l’utilisation du Centre de Calcul comme Tier-1 d’Atlas, ainsi que des centres Tier-2 et Tier-3. Le groupe a aussi mis en place la production centralis´ee de donn´ees de simulation.

Le site Grif du LPNHE a largement contribu´e `a l’effort de production de donn´ees Monte Carlo de l’exp´erience Atlas. Il a fonctionn´e avec une tr`es bonne efficacit´e. Un certain nombre de disfonctionnements ont bien sur eu lieu au d´ebut et des p´eriodes d’arrˆet pour maintenance ont lieu de temps en temps. Le fonctionnement permanent du site, aussi bien pour la produc-tion d’Atlas que pour celle d’autres collaboraproduc-tions, est d’ores et d´ej`a riche d’enseignements et permttra au site et `a l’´equipe en charge d’am´eliorer les performance en vue du d´emarrage du LHC. Il reste cependant encore beaucoup de travail pour am´eliorer les performances de la pro-duction d’Atlas, qui est la convolution des efficacit´es des diff´erents sites, des entr´ees et sorties vers les Tier-1 et des syst`emes de suivi des tˆaches. La grille de calcul a plus que prouv´e sont int´erˆet pour la production et la reconstruction des donn´ees de simulation. Un d´efi tout aussi im-portant, et demandant une implication croissante des groupes d’analyse, concerne la migration de nos analyses de physique des centres habituels (Cern et Lyon) vers une utilisation massive de la grille. C’est sur ce chantier que doivent d´esormais tout particuli`erement porter nos efforts.