DSSI J.-Ph. Nominé .
1
Calcul haute performance au CEA Calcul haute performance au CEA
Du programme TERA
Du programme TERA à à un un é é cosyst cosyst è è me global me global
MFN 2011 MFN 2011
Roscoff Roscoff
Jeudi 9 juin 2011 Jeudi 9 juin 2011
Jean- Jean -Philippe Nomin Philippe Nominé é, Charg , Chargé é d d’ ’affaire PRACE affaire PRACE
CEA/DAM, DIF/DSSI CEA/DAM, DIF/DSSI
jean jean - - philippe.nomine@cea.fr philippe.nomine@cea.fr
Dé D épartement des Sciences de la Simulation et de l partement des Sciences de la Simulation et de l’ ’Information Information
TERA 100
TGCC
DSSI J.-Ph. Nominé .
2
• Un peu d’histoire et de géographie
• TERA
• CCRT
• TGCC et CURIE
• PRACE et accès aux tier0 et tier1
• Ecosystème
DSSI J.-Ph. Nominé .
3
Un peu d’histoire et de géographie
Le CEA : opérateur scientifique, opérateur de centres de
calcul
DSSI J.-Ph. Nominé .
4
Commissariat à l’Energie Atomique et aux Energies Alternatives
www.cea.fr
• Energies bas carbone
• Défense et sécurité
• Technologies pour l’information
• Technologies pour la santé
et recherches fondamentales associées
DSSI J.-Ph. Nominé .
5
partenaires
Défense, recherche, industrie…
1996 2001
2005 2003
Astrophysics Biology
Nuclear Energy Deterrence Security
Climate
Aeronautics
TERA-10
TERA-1
CCRT
2007
CCRT-B
CRAY T90
2009
CCRT-GENCI
2010-2011 TERA 100
PRACE
DSSI J.-Ph. Nominé .
6
Calcul scientifique au CEA/DAM
Depuis 1960, quelques moments clés:
1960 -1990 IBM, CDC, CRAY…
1997 Limeil Bruyères 2001 Arrêt du T90, TERA 1
2003 CCRT (convergence des CDC DAM/non DAM) 2005 TERA 10
2010 TERA 100, TGCC et PRACE…
http://www-hpc.cea.fr/fr/complexe/historique.htm
CDC 6400 1970-1975 CRAY 1S 1982-1990 CRAY T3E 1996-2001 CRAY T90 1996-2002
DSSI J.-Ph. Nominé .
7
Paris
Saclay
CEA/DIF (Bruyères-Le-Châtel)
Complexe de calcul du CEA
DSSI J.-Ph. Nominé .
8
Complexe de calcul CEA en 2011
C am pu s TER
@ T E C
T GC C
le centre de calcul « ouvert » national
Centre de calcul Recherche et technologie : CCRT CCRT le centre de calcul « européen » hébergé au TGCC TGCC le centre de calcul défense
qui héberge le projet TERA TERA : TERA1, TERA10, TERA 100…
DSSI J.-Ph. Nominé .
9
Centre de Calcul Défense
TERA
Le Complexe de Calcul Scientifique du CEA
Très Grand Centre de Calcul TGCC
CCR T
Pôle
d’expertise et de veille technologique
Mutualiser
la veille technologique
l’expertise dans
les domaines du HPC
Répondre aux besoins
du programme Simulation
des projets scientifiques et industriels
des grands programmes de recherche européens
Maîtriser
la complexité des
grands équipements de calculs
DSSI J.-Ph. Nominé .
12
• Un peu d’histoire et de géographie
• TERA
• CCRT
• TGCC et CURIE
• PRACE et accès aux tier0 et tier1
• Ecosystème
DSSI J.-Ph. Nominé .
13
Le centre de calcul TERA TERA La machine
L’environnement
Les infrastructures
DSSI J.-Ph. Nominé / G. Wiber / P. Grégoire .
14
Programme Simulation de la DAM
•Projet TERA
fournir la puissance informatique nécessaire
à la garantie des armes de la dissuasion sans test
•Partie Numérique du programme Simulation
• Moyens de calcul ET logiciels scientifiques
– Forte connexion programmes armes / calcul
01 02 03 04 05 06 07 08 09 10 11 12 13 14 20
Anciens modèles 1 million de mailles TERA-1: 5 Tflops
Modélisation améliorée 10 millions de mailles
TERA-10: 60 Tflops TERA-100 : 1000 Tflops
Modélisation améliorée 100 millions de mailles
15
Extension de la garantie TERA-1000
Centaines de nœuds Passage au
parallèle
Centaines de nœuds
Flux de données
Milliers de nœuds
Complexité x 10
Modularité – Fluidité
Intégration - Fiabilité
Standard 2004 Standard 2010
DSSI J.-Ph. Nominé .
15
Le présent : TERA 100
• Vu la complexité de l’architecture du projet TERA10 (aussi bien au niveau machines qu’infrastructure), il était nécessaire de
démarrer très à l’avance (2007-2008) les préparatifs pour l’acquisition d’un nouveau calculateur en 2010 :
– C’est le projet TERA100
Nouveaux concepteurs Anciens
concepteurs
97 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17
x 40 x 10 x 20 x 30 x 30
TERA-10 : 60 Tflops 3D 150 106 mailles
TERA-100 :1+ Pflops 3D > 109 mailles TERA-1 : 5 Tflops
3D 15 106 mailles 50 Gflops
2D 106 mailles
…
Livraison
Installation Test
Pré-production Production
Besoins Etudes R&D
Commande
Livraison…
D D é é but R&D but R&D
TERA 1000
TERA 1000… …
DSSI J.-Ph. Nominé .
16
Un cluster ? Machine de production polyvalente
• Des nœuds de calcul
• Des câbles électriques pour alimenter
• Des switchs réseau pour les interconnecter
• Des disques pour stocker les résultats
• Des câbles réseau pour les relier
• Des belles armoires pour ranger le tout !
DSSI J.-Ph. Nominé .
17
Déclinaisons…
TERA 1 2001
2500 cœurs
Proc 1C
Serveur 4P=4C
3 To 50 To 0.6 MW 5 TFlops
TERA 10 2005
10000 cœurs
Proc 2C
Serveur 8P=16C
30 To 1000 To 1.5 MW 60 Tflops
TERA 100 2010
140000 cœurs
Proc 4+C Serveur 4+P
300 To 5000 To <5 MW 1,25 PFlops ou
1250 TFlops
~constant : 200+ armoires, qq 100 m
2pro to
Mémoire Disques Conso max Perf. crête
Plus d'un million de milliard d'opérations par seconde
27 switches Voltaire 36 Ports 14 switches Voltaire 324 Ports
300 Go/sec 4300 Nœuds, 138000 cœurs
Mémoire globale : 291 To
Débit interne 6 To/sec
Îlots de calcul Îlot de
service
…X9… …X9…
ARCHITECTURE TERA100
10560 disques
GL100 15 Po
15000 disques
T100 8,64 Po
200 Go/sec 13 To/sec
Système initial Îlots de calcul Îlot de Extension
service Îlot mixte
Ecosystème TERA 100
150 Go/s
200 Go/s 20 Go/s
FC SAN 300 Go/s
Σ= 100 Go/s
Post Processing NAS haute
performance
T100 calculateur
Stockage privé T100
GL100
Stockage mutualisé
Bandes
Serveurs SHERPA
Disques ST100
Baie
35 kW
Ecosyst
Ecosyst è è me TERA 100 me TERA 100
Calculer
Calculer
Stocker
Stocker
Visualiser
Visualiser
Exploiter les r
Exploiter les r é é sultats sultats
Stockage des données
Calcul
Refro
idissement
Refroidissement Refroidissement
8m 2m 1,2m 2,8m 2m
INFRASTRUCTURES DU BATIMENT TERA
Alimentation électrique
DSSI J.-Ph. Nominé .
26
TERA 100
•Programme de R&D pour une machine pétaflopique – Acquisition et maintenance en options
– Validation par une machine de démonstration – Appel à candidature en janvier 2008
– Avis favorable pour Bull en juillet 2008
– Pilotage du programme de R&D par le CEA – Collaboration Bull/CEA sur le logiciel
•Juin 2009
– Installation d’un démonstrateur (~40 Tflops)
•Juin 2010
– Installation de la machine définitive
•Novembre 2010
– Top6/Top500, No 1 en Europe
– 1.05 PFlop/s HPL, 84% efficacité
DSSI J.-Ph. Nominé .
27
Jean Gonnord, CEA Sophie Houssiaux, Bull
New-Orleans, November 2010
DSSI J.-Ph. Nominé .
28
Portage des codes sur TERA 100
• Démonstrateur dès juin 2009 – 40 TFlop/s nœuds ‘fins’
• Codes DAM = multiphysique – Hydro + neutro + radiatif…
• Codes déjà portés TERA1, TERA10 – Génériques IA64, x86_32/64
– MPI
• Effort de portage ‘intra nœud’ = très modeste – Sources quasi inchangés
– Passer d’Itanium à Xeon va dans le sens de la souplesse
Outils plus standard, même processeurs que sur stations….
DSSI J.-Ph. Nominé .
29
Portage des codes sur TERA 100
• Difficulté majeure: passage à l’échelle – I/O
– Filesystem – MPI
• Vers plus d’hybridation MPI+Threads
– MPC = synthèse MPI/OpenMP/TBB etc. + extensions
http://mpc.sourceforge.net/
MultiProcessor Computing framework
• Nous bénéficions d’une longue habitude de composants partagés maintenus par des spécialistes
– Gestion des flux de données GME, Hercule – Maillages (libs et outils pré-processing)
– Post-traitement
– Framework OO ARCANE…
Efforts mutualisés
DSSI J.-Ph. Nominé .
30
Portage des codes sur TERA 100 et au-delà…
• Etudes déjà lancées sur l’après TERA 100
• Nous étudions aussi le calcul hybride depuis des années
– Extension CCRT GPGPU en 2008
– Modèles de programmation HMPP, CUDA, OpenCL
– Souci particulier de tenir compte des codes
« legacy »
Simulations de dynamique moléculaire classique sur TERA-100
La dynamique résout l’équation fondamentale de la dynamique pour un ensemble de N particules en interaction mutuelle.
Pourvu que N soit suffisamment grand, elle peut permettre de faire le lien entre le calcul quantique et la mécanique des milieux continus.
Performances du code Stamp sur TERA-100 entre 250 millions et un milliard d’atomes, et jusqu’à
10 000 processeurs.
Ejection de matière lors de la réflexion d’un choc sur une surface libre. 125 millions d’atomes, 4000 cœurs, potentiel interatomique assez simple mais temps physique de simulation très long (pour la dynamique moléculaire) : de l’ordre de la nanoseconde.
Plastification du diamant au passage d’une onde de choc. Relativement peu d’atomes (1,3 millions, 6400 cœurs) mais potentiel interatomique extrêmement complexe.
Retombées industrielles et commerciales de TERA 100
1+ Pflop/s
1,7+ Pflop/s
300 Tflop/s
DSSI J.-Ph. Nominé .
33
• Un peu d’histoire et de géographie
• TERA
• CCRT
• TGCC et CURIE
• PRACE et accès aux tier0 et tier1
• Ecosystème
DSSI J.-Ph. Nominé .
34
Le CCRT
DSSI J.-Ph. Nominé .
35
CCRT: Missions et Objectifs
Le CCRT a 2 missions principales:
Répondre aux besoins de ses partenaires en matière de grandes simulations numériques
Créer une synergie entre la recherche, le monde académique et le monde industriel en favorisant les échanges, les collaborations scientifiques entre partenaires
Il a été localisé sur le site du CEA-DIF pour bénéficier des
compétences existantes du Centre de calcul classifié (Tera) et créer un complexe de calcul haute performance de dimension européenne s’inscrivant dans la dynamique Ter@tec
Depuis 2008: sous l’égide de GENCI, s’ouvrir à toutes les communautés
scientifiques via des appels à projets
36
DSSI J.-Ph. Nominé.
36
36
Partenaires CCRT
GENCI 20,0%
Astrium 1,0%
Cerfacs 0,7%
Techspace Aero 0,8%
Turbomeca 4%
DEN 13.7%
DSM 13.6%
DSV 4,5%
DAM 12,2%
EDF 21,7%
Snecma 6,9%
ONERA 1,0%
Crédit C. Ménaché
37
DSSI J.-Ph. Nominé.
37
37
Partenaires CCRT
09/06/2011 38
DSSI J.-Ph. Nominé .
Architecture du CCRT 2010
2 Gb/s utilisateurs
utilisateurs Serveur NFS 6 Liens 10 Gb/s
8 Liens 10 Gb/s 47.7 Tflops
Mémoire 23.2 To Disques 420 To
8 Liens 1Gb/s
8 Liens 10 Gb/s
Système de stockage
SGI Altix 450 DMF
Niveau 1: 1 Po disques Sata DDN
Niveau 2:
robotique SUN- SL8500 (9940, T10000)
48serveurs Tesla S1070 46 080cœurs NVIDIA 4 Go/GPU
192 Tflops-SP
1 092 nœuds Bull 8736 cœurs Intel/nehalem 3 Go/cœur
103 TFlops Machine NEC
SX8 SX9
8 nœuds 3 nœuds 2 Tflops 4.8 Tflops
0.9 To 3 To
40 To de Disques
Calculateur Bull Hybride (CPU/GPU)
Calculateur BULL Itanium
Cluster HP de dépouillement
Backbone Ethernet 10Gb/s
38 nœuds graphiques
mémoire 3.2 To, disques 100 To
Disques 500To
DSSI J.-Ph. Nominé .
39
Accès au CCRT
• Unités CEA
• Industriels via accords de partenariat (3 ans)
• Partie GENCI
• Via DARI ‘national’ https://www.edari.fr/
Demande d'Attribution de Ressources Informatiques
Commune à CCRT+CINES+IDRIS
DAM / Île de France- C.Ménaché
CCRT: les colloques scientifiques
Des colloques à thématiques scientifiques organisées régulièrement:
17 Juin 2004:
« Dynamique des matériaux »
10 Février 2005:
« Bilan et perspectives CCRT »
17 Octobre 2005:
« Gestion des grands volumes de données »
17 Octobre 2006:
« Dynamique des fluides »
12 Décembre 2007:
« Le passage à l’échelle » 17 Octobre 2008:
« Simulation et physique multi-échelle » 28 septembre 2009:
« Grands challenges Genci-CCRT » 5 Novembre 2010:
« Simulation et innovation » 20 Octobre 2011
SAVE THE DATE!
DSSI J.-Ph. Nominé .
41
• Un peu d’histoire et de géographie
• TERA
• CCRT
• TGCC et CURIE
• PRACE et accès aux tier0 et tier1
• Ecosystème
DSSI J.-Ph. Nominé .
42
Le TGCC
http://www-hpc.cea.fr/fr/complexe/tgcc.htm
Très Grand Centre de Calcul du CEA
DSSI J.-Ph. Nominé .
43
TGCC - Mai 2009
DSSI J.-Ph. Nominé .
44
TGCC - Décembre 2009
DSSI J.-Ph. Nominé .
45
Très Grand Centre de Calcul du CEA
DSSI J.-Ph. Nominé .
46
Très Grand Centre de calcul du CEA
Salles machines: 2 * 1300 m2
Zone de servitudes: 3000 m2
Dimensionnement des servitudes:
7.5 MW - 2010
12 MW - 2013
Refroidissement par eau et par air
Ligne électrique: 60 MW – 225 kV
Salle de conférence - 200 places
Espace de travail collaboratif
DSSI J.-Ph. Nominé .
47
Salles machines du TGCC
Espace conférence
Pompes et distributio
n d’eau Salle1
1300 m
2Salle2 1300 m
238 m
36 m
DSSI J.-Ph. Nominé .
48
Sous-sol du TGCC – Equipements électriques et mécaniques
Salle 1 1300 m2
Salle 2 1300 m2
Equipement mécanique:
32 climatiseurs 270 kW
Equipement
électrique : 870 m2
5 sous-stations à transfos MT/BT +5 Switch BT 4 salles onduleurs + batteries
Groupes
froid
DSSI J.-Ph. Nominé .
49
CURIE: premier occupant(e) du TGCC…
• Machine acquise par GENCI
– Installée au TGCC, administrée par le CEA
• Vocation « européenne » PRACE
« cousine » de TERA 100
100 TFflop/s installés fin 2010 1.6 PFlop/s mi 2011
90 000+ cœurs x86 au final 4 Go/coeur
Ouverture janvier 2011
Projets PRACE en production
• dès janvier (« preparatory »)
• puis en mai 2011 (« regular »)
50
Synoptique de la configuration
Nœuds Larges
360 BullX S6010 Intel NH EX 2,26 GHz
11520 cœurs
32 =>128 cœurs/nœud 128 Go => 512 Go/noeud
4 Go/cœur
105 TFlops
Nœuds fins
5040 BullX B510
Intel Sandy Bridge >2,3 GHz 80 640 cœurs
16 cœurs/nœud 4 Go/cœur
> 1,5 PFlops
Nœuds hybrides
144 Bullx B505
184 + 11 Tflops
Interconnect Infiniband QDR
Système de fichiers Lustre
5 Po - 150 GB/s
51
Zoom sur les nœuds hybrides
Noeuds de calcul « hybrides »
144 lames de calcul BULL B505 avec par lame
• 2 processeurs Intel Westmere 2.66 GHz (4 coeurs)
• 3 Go de mémoire par coeur
• Un disque SSD 120 Go
• Un lien Infiniband QDR
• 2 processeurs nVIDIA M2090A (512 coeurs)
• 6 Go de mémoire par processeur
184 Tflops DP pour la partie hybride (11 Tflops pour la partie scalaire)
Installés pendant l’été 2011
Utilisés pendant la prochaine école d’automne PRACE
”Advanced Hybrid Programming” fin octobre 2011
2 x CPUs 2 x GPUs
52
Système d’exploitation : Linux 64 bits (base RHEL 6.x)
Système de fichiers parallèle : Lustre 2.0
Outil de soumission des travaux : SLURM
Environnement de développement Intel : compilateurs, profilers (Trace collector, Vtune), MKL
Licence site DDT pour le debugging des applications
BullxMPI : distribution BULL MPI optimisée et compatible OpenMPI
Librairies numériques parallèles : SuperLU, Scalapack, PETSc, FFTw, ...
Bullx Cluster Director : gestion et administration du cluster
CURIE, l’environnement logiciel
53
La gestion des données
150 GB/s
100 GB/s
Stockage GL-TGCC Stockage HSM-TGCC
Niveau 1 : 1 Po sur disque 5 Po sur disque
Niveau 2 : 10 Po sur bandes CURIE
Réseau de stockage Infiniband QDR
54
Assistance utilisateurs:
Hotline.tgcc@cea.fr
Site WEB avec formulaires d’ouverture de comptes:
http://www-hpc.cea.fr
Autour de Curie
DSSI J.-Ph. Nominé .
55
• Un peu d’histoire et de géographie
• TERA
• CCRT
• TGCC et CURIE
• PRACE et accès aux tier0 et tier1
• Ecosystème
DSSI J.-Ph. Nominé .
56
PRACE: quizz pays / drapeaux…
Scoop
Hongrie 21
èmemembre de PRACE AISBL…
(8 juin 2011)
DSSI J.-Ph. Nominé .
57 Tier-0
Tier-1
Tier-2
PRACE
DEISA/PRACE
capability
# of systems
Une infrastructure ESFRI
PRACE AISBL créée en avril 2010
21 membres, 4 pays hébergeurs/financeurs de tier0
(Allemagne, France, Espagne, Italie pour 400 M€ - TCO sur 5 ans)
France: tier0 = CURIE au TGCC
Des projets d’accompagnement soutenus par l’EC (FP7) Phase préparatoire PRACE 2008-2009
Phase d’implémentation 2010-2013
De 50 à 70 M€ de subvention en tout / 21 pays
Partnership for Advanced Computing in Europe
1
stCouncil
June 9th, 2010
DSSI J.-Ph. Nominé .
58
PRACE http://www.prace- ri.eu/?lang=en
• Modalités d’accès, types d’allocations
– http://www.prace-ri.eu/Calls-for-Proposals?lang=en
• Ressources et exigences minimales
– http://www.prace-ri.eu/PRACE-Resources?lang=en
• Portail de soumission
– https://prace-peer-review.cines.fr/
• Autres ressources: formation
– Ecoles http://www.prace-ri.eu/Training-Events?lang=en
– Portail spécialisé à venir
en attendant: http://www.prace-project.eu/hpc-training
www.prace-ri.eu
• Preparatory Access
– Intended for preliminary resource use required to prepare proposals for Project Access
– Technical review
• Project Access
– Intended for individual researchers and research groups including multi-national research groups
– Technical and Scientific review
• Program Access
– Available to major European projects or infrastructures that can benefit from PRACE resources
– Planned for 2 years allocation
Call for proposals
59
www.prace-ri.eu
• Applications accepted at any time
• Assessment at least every two months
• Continuous call
– Code scalability testing
• Obtain scalability data for future PRACE project calls
• Max: 2 months allocation & limit on resources
– Code development and optimisation by the applicant
• Max: 6 months allocation & limit on resources
– Code development with support from experts
• Experts involved in PRACE projects will support
• Max: 6 months allocation & limit on resources
• Allocation time includes submission of final report
60
Proposals for Preparatory Access
www.prace-ri.eu
• Applications accepted on call
– http://www.prace-ri.eu/Calls-for-Proposals
• For projects which use codes that may have been previously tested and must have demonstrated high scalability and optimisation
• Current call
– Opened May 2nd, 2011
– Closes June 22nd, 2011, 16:00 CEST
– Administrative validation, Technical Review, Peer Review, Response from applicants, Access Committee and panels analysis
– Access Committee, prioritization panel meeting, October 18th, 2011
– Anticipated allocation decisions: end of October 2011 – Start access: November 1st, 2011
• Final report mandatory after the end of the access
• Next call will open in November, 2011
61
Proposals for Project Access
www.prace-ri.eu
62
Peer Review Process
Reject
Feedback PRACE office
No
Call for Proposals
Proposal Submission
Time Allocated
Yes
Decision Allocation Scientific Yes
Assessment
Applicant’s Right to Reply
Prioritisation by Panel Technical
Assessment
www.prace-ri.eu
Scientific Steering Committee
• The SSC is responsible for giving opinions on all
matters of a scientific and technical nature
• Maximum of 21 members
• Members appointed by Council based on a list of candidates prepared by the SSC
• Two year term (renewable twice)
• Proposes the members of the Access Committee
• Resolutions by simple majority
Richard Kenway (UK, particle physics), Chair Jose M. Baldasano (Spain, environment) Kurt Binder (Germany, statistical physics) Paolo Carloni (Italy, biological physics) Giovanni Ciccotti (Italy, statistical physics)
Dann Frenkel (Netherlands, molecular simulations) Sylvie Joussaume (France, environment)
Ben Moore (Switzerland, astrophysics)
Gernot Muenster (Germany, particle physics) Risto Nieminen (Finland, materials)
Modesto Orozco(Spain, life sciences)
Maurizio Ottaviani (France, plasma physics) Michelle Parrinello (Switzerland, chemistry) Olivier Pironneau (France, mathematics) Thierry Poinsot (France, engineering)
Simon Portegies Zwart (Netherlands, astrophysics) Kenneth Ruud (Norway, chemistry)
Wolfgang Schroeder (Germany, engineering) Luis Silva (Portugal, plasma physics)
Alfonso Valencia (Spain, bioinformatics)
63
www.prace-ri.eu
Access Committee
• Responsible for giving opinions on the scientific use of Tier-0 Infrastructure, and providing recommendations on the allocation of Association
computational resources based on the Peer Review process
• Proposed by the SSC based on their personal experience in the areas of science
• Appointed by the Council
• Minimum of 5 members
• Two years term (renewable once)
• Half of the members shall be replaced every year
Kenneth Ruud (Chair)
Roberto Capuzzo Dolcetta (Astrophysics) Peter Nielaba (Chemistry and Materials) Manuel Peitsch (Life Sciences)
Andreas Schaefer (Particle Physics) Jean-Claude Andre (Environment)
Hester Bijl (Engineering and applied mathematics)
64
www.prace-ri.eu
Ressources
65
• JUGENE, BG/P, 1 PF - GCS@FZJ
• CURIE, Bull bullx/x86, 1.7 PF - TGCC@CEA (GENCI)
• HERMIT, Cray XE6, 1+ PF - GCS@HLRS (fractions de ces machines)
Puis:
• 2012: SUPERMUC x86 IBM ~3 PF - GCS@LRZ
• 2012: CINECA
• 2013: BSC
Exigences “capability”
• 2k coeurs sur CURIE FN
• 4k coeurs sur CURIE TN
• 8k coeurs sur JUGENE
• …
www.prace-ri.eu
www.prace-ri.eu
• Tier-0
– JUGENE, CURIE FN+TN, HERMIT – 676 million compute core hours
– Nov 2011 / Nov 2012
• Tier-1
– DECI Distributed European Compute Initiative (ex DEISA)
– Synchronised call with tier-0, with a separate peer reviex process
– Closer integration between tier-1/tier-0 call foreseen for future calls
67
3rd regular call, Tier-0 + Tier-1
www.prace-ri.eu
3rd regular call: Tier-1 available resources
68
www.prace-ri.eu
69
Early Access Call - JUGENE
Principal Investigator Organisation Title of project Awarded Hours
Dr. Jochen Blumberger University College London, UK Simulation of electron transport in organic solar cell
materials 24.700.000
Prof. Paolo Carloni
German Research School for Simulation Sciences GmbH, Germany
Excess proton at water/hydrophobic interfaces: A Car-
Parrinello MD study 40.500.000
Prof. Peter Coveney University College of London, UK Parallel space-time approach to turbulence: computation of
unstable periodic orbits and the dynamical zeta function 17.000.000 Prof. Zoltán Fodor Bergische Universitaet Wuppertal,
Germany
QCD Thermodynamics with 2+1+1 improved dynamical
flavors 63.000.000
Prof. Frank Jenko Max Planck Institute for Plasma
Physics (IPP), Germany Ab initio Simulations of Turbulence in Fusion Plasmas 50.000.000 Prof. Harmen Jonker Delft University, The Netherlands Providing fundamental laws for weather and climate models 35.000.000 Dr. Nuno Loureiro Instituto Superior Técnico, Portugal Plasmoid Dynamics in Magnetic Reconnection 20.000.000
Prof. Dr. Dierk Raabe Max-Planck-Institut für Eisenforschung, Germany
A dislocation dynamics study of dislocation cell formation and interaction between a low angle grain boundary and an in-coming dislocation
15.600.000
Dr. Friedrich Roepke Max-Planck-Gesellschaft, Germany Type Ia supernovae from Chandrasekhar-mass white dwarf
explosions 23.600.000
Prof. Silvano Simula Sezione di Roma Tre, Italy QCD Simulations for Flavor Physics in the Standard Model
and Beyond 35.000.000
324.400.000
www.prace-ri.eu
70
1st Regular Call - JUGENE
Principal Investigator Organisation Title of project Awarded Hours
Dr Jeremie Bec Observatoire de la Côte d'Azur FRANCE
Droplet growth by coalescence in turbulent clouds: kinetics,
fluctuations, and universality 50.000.000
Prof. Paolo Carloni
German Research School for Simulation Sciences GmbH GERMANY
Ab initio molecular dynamics simulations of proton transport
in a biological ion channel 48.758.784
Prof Javier Jimenez Sendin
Universidad Politecnica Madrid
SPAIN Entrainment effects in rough-wall boundary layers 40.000.000
Dr Sandor Katz Eotvos University
HUNGARY QCD Thermodynanics with Wilson fermions 72.000.000
Prof Dominik Marx Ruhr-Universität Bochum GERMANY
Investigating the effects of quantum nuclear motion in an
enzyme that employs hydrogen tunnelling 32.000.000 Dr Maarten van Reeuwijk Imperial College London
UNITED KINGDOM
Turbulent entrainment due to a plume impinging on a
density interface 30.000.000
Dr Edilberto Sánchez EURATOM-CIEMAT Association
SPAIN Non diffusive transport in ITG plasma turbulence 20.000.000
Dr Luis Silva Instituto Superior Técnico PORTUGAL
Predictive full-scale fast ignition with PW plasma amplified
laser pulses 31.000.000
Prof Federico Toschi Eindhoven University of Technology NETHERLANDS
Large scale high resolution blood flow simulations in
realistic vessel geometries 39.000.000
362.758.784
www.prace-ri.eu
71
2nd Regular Call (1 of 2)
Principal
Investigator Organisation Title of project Awarded
CURIE
Awarded JUGENE
Aake Nordlund University of Copenhagen
Niels Bohr Institute Ab Initio Modeling of Solar Active Regions 60.000.000 Antoine Joux Univ. Versailles St‐Quentin‐en‐Yvelines
PRISM
Discrete logarithm on a 160‐bit elliptic curve over
F(p^6) 1.900.000
Arne Johansson KTH
Department of Mechanics Linne FLOW Centre
REFIT ‐Rotation effects on flow instabilities and
turbulence 46.000.000
Erik Lefebvre CEA, DAM, DIF DPTA
SOULAC
(Simulation Of Ultra‐intense Laser ACceleration of ions)
7.500.000
Fabrizio Cleri
University of Lille I Institute of Electronics
Microelectronics and Nanotechnology Physics
Ion‐switched biomolecular recognition as an
assembly tool for nanotechnology 3.100.000
Frederic Bournaud
CEA Saclay DSM/IRFU
Service d'Astrophysique
MHD turbulence in the Interstellar Medium: Linking
Star Formation and Galaxy Dynamics 9.000.000 Gabriel
Staffelbach
CERFACS CFD
Large‐Eddy Simulation of high‐frequency
instabilities under transcritical conditions 8.500.000 Gustavo Yepes
Universidad Autonoma de Madrid Departamento de Fisica Teorica Grupo de Astrofisica
Large Scale simulations of Ly‐alpha and Ly‐break galaxies in the high‐z universe: Probing the epoch of reionization.
5.000.000
Hartmut Wittig University of Mainz Nuclear Physics, Theory
Probing the Limits of the Standard Model with
Lattice Simulations 55.000.000
www.prace-ri.eu
72
2nd Regular Call (2 of 2)
Principal
Investigator Organisation Title of project Awarded
CURIE
Awarded JUGENE
Ivo Seitenzahl
Max Planck Gesellschaft (MPG) Max Planck Institute for Astrophysics Emmy Noether Research Group
Diversity of Type Ia supernovae from initial
conditions of the exploding white dwarf star 21.600.000
Michele Parrinello
ETH Zurich
Department of Chemistry and Applied Biosciences
Group of Computational Science
Structural and conformational requisites in the folding process of the DNA quadruplex aptamer TBA
6.000.000
Mike Ashworth
STFC Daresbury Laboratory
Computational Science & Engineering Advanced Research Computing
Extreme Earthquake Wave Propagation
Modelling (E2WPM) 20.000.000
Modesto Orozco
Institute for Research in Biomedicine Department: Structural and Computational Biology
The molecular bases of the transport cycle of
APC antiporters 33.700.000
Peter Coveney
University College of London Department of Chemistry
Centre for Computational Science
Understanding and Predicting the Properties of Clay‐Polymer Nanocomposites using Petascale Computing
40.500.000
Roger Horsley
University of Edinburgh
School of Physics and Astronomy Particle Physics Theory (PPT)
LHCb Physics and Nucleon Distribution
Amplitudes 61.000.000
Turlough Downes
Dublin City University
School of Mathematical Sciences Astrophysics Group
Accretion disk dynamics: the multifluid
regime 14.000.000
Vincent Moureau
CORIA ‐CNRS UMR6614 Combustion
Combustion modeling
MS‐COMB: Multi‐Scale Analysis and Numerical Strategies for the Simulation of Premixed Turbulent Combustion in Realistic Geometries
5.000.000
DSSI J.-Ph. Nominé .
73
DSSI J.-Ph. Nominé .
74
• Un peu d’histoire et de géographie
• TERA
• CCRT
• TGCC et CURIE
• PRACE et accès aux tier0 et tier1
• Ecosystème
Ecosystème: un monde multipolaire…
TERA
PRACE
CCRT Sites
DAM
IDRIS CINES (Renater) Europe
DEISA
TGCC CEA/DAM/DIF/DSSI
TER@TEC
DSSI J.-Ph. Nominé .
76
Bruyères-Le-Châtel Ollainville
Arpajon
HUREPOIX
Capitale historique Dourdan
Capitale économique Arpajon!
DSSI J.-Ph. Nominé .
77
Ecosystème: du local au global
TERATEC: plus de 60 membres Pôle européen de compétence
en simulation et calcul haute performance Toute la chaîne de valeur du HPC
Technologies, logiciels, laboratoires, centre de calcul, utilisateurs recherche et industrie
PME, grands comptes, constructeurs informatiques…
Forte implication dans Systematic Collaboration CEA/Bull
Exascale Computing Research Laboratory @ UVSQ Intel, CEA, UVSQ, GENCI
http://www.exascale-computing.eu/
Mutualisation de compétences et moyens
Cercle vertueux Défense / Recherche / Industrie
DSSI J.-Ph. Nominé .
78
Campus TERATEC
Première pierre
Mai 2011
(G. Roucairol)
DSSI J.-Ph. Nominé .
79
Ecosystème CEA-Bull – une vue
« technique »
Crédit P. Leca
DSSI J.-Ph. Nominé .
80
DSSI J.-Ph. Nominé .
81
Le complexe de calcul du CEA
Le CEA a ses propres moyens de calcul mais assure bien plus
TERA = défense
CCRT = recherche (CEA et nationale) + industrie
TGCC
Europe puis autres
(CCRT-C…)
DSSI J.-Ph. Nominé .
82
TERA 10 @ CEA/DAM 2005: 60 Tflop/s
TERA 100 @ CEA/DAM 2010: 1.25 Pflop/s