Intégration Continue sur Infrastructure de calcul haute performance

(1)

Intégration Continue sur

Infrastructure de calcul haute performance

(2)

2

Sommaire

1. Infrastructure générale

1.1. plateformes de calcul 1.2. plateformes «logiciels»

2. Description du besoin 3. Réponse au besoin

3.1. ci.inria.fr

3.2. gitlab et les runners 3.3. solutions

(3)

1. Infrastructure générale de l’Inria

(4)

4

1. Infrastructure générale de l’Inria

Les plateformes de calcul

● Dans les différents centres

Lille

Paris Saclay

Nancy

Grenoble

Sophia Bordeaux

Rennes &

Nantes

 Au plus près des Équipes de Recherche

 Au plus près des Équipes de support et de soutien à la recherche

(5)

1. Infrastructure générale de l’Inria

Lille

Paris Saclay

Nancy

Grenoble

Sophia Bordeaux

Rennes &

Nantes

 Igrida – cluster de centre

 Gen’Ouest – bioinformatique

 Rioc & Cleps – HPC, IA …

 Nef – multi usage

 Sif – IA, sécurité, modélisation, contrôle et optimisation de systèmes complexes - OpenStack

 Gulliver & Margaret – HPC

 Grid5k – grille multisite (HTC, IA, HPC … )

 PlaFRIM – HPC

(6)

6

1. Infrastructure générale de l’Inria

● Avec différents partenaires

Lille

Paris Saclay

Nancy

Grenoble

Sophia Bordeaux

Rennes &

Nantes

 CNRS

 Inrae

 Les différentes universités des campus où l’Inria est présente

 Etc…

● et des financements variables aussi

 CPER, Projets Européens, PIA …

(7)

1. Infrastructure générale de l’Inria

● Avec différentes cibles

Lille

Paris Saclay

Nancy

Grenoble

Sophia Bordeaux

Rennes &

Nantes

HPC

(8)

8

1. Infrastructure générale de l’Inria

Lille

Paris Saclay

Nancy

Grenoble

Sophia Bordeaux

Rennes &

Nantes

HPC

HTC

(9)

1. Infrastructure générale de l’Inria

Lille

Paris Saclay

Nancy

Grenoble

Sophia Bordeaux

Rennes &

Nantes

HPC

HTC

IA

(10)

10

1. Infrastructure générale de l’Inria

Lille

Paris Saclay

Nancy

Grenoble

Sophia Bordeaux

Rennes &

Nantes

HPC

HTC

IA

GPUs Bi-sockets Low Latency

...

Architecture matérielle

(11)

1. Infrastructure générale de l’Inria

Lille

Paris Saclay

Nancy

Grenoble

Sophia Bordeaux

Rennes &

Nantes

HPC

HTC

IA

GPUs Bi-sockets Low Latency

...

Architecture matérielle Nature thématique des recherches

(12)

12

1. Infrastructure générale de l’Inria

Les plateformes «logiciel»

● Cycle de développement logiciel et les plateformes outils logiciel

 Gestionnaire de version (forge, gitlab)

 Analyse statique (SonarQube)

 Intégration continue (CI, gitlab-runner)

Lille

Paris Saclay

Nancy

Grenoble

Sophia Bordeaux

Rennes &

Nantes

(13)

1. Infrastructure générale de l’Inria

Lille

Paris Saclay

Nancy

Grenoble

Sophia Bordeaux

Rennes &

Nantes

(14)

14

1. Infrastructure générale de l’Inria

Lille

Paris Saclay

Nancy

Grenoble

Sophia Bordeaux

Rennes &

Nantes

(15)

1. Infrastructure générale de l’Inria

3 partenaires historiques

 CNRS - LaBRI

 Université de Bordeaux – IMB

 Inria - Bordeaux

● Réseaux Omnipath, Infinipath et mellanox

● FS lustre & BeeGFS 115To

● IRods

Nœuds généralistes

● 42 nœuds Cascade Lake

● 88 nœuds Haswell

● 18 nœuds Ivybridge

● 5 nœuds AMD Rome interconnectés

● 21 nœuds AMD Rome dédiés séquentiel Nœuds spécialisés

● 1 nœud ARM ThunderX2

● des GPU

● 5 nœuds 4 x K40m

● 7 nœuds 2 x P100

● 4 nœuds 2 x V100

● 1 nœud AMD + A100

● des nœuds « mémoire »

● 2 nœuds 1 To

● 1 nœud 3 To

● 4 nœuds Intel KNL

● 18 nœuds 2 x Xeon Phi

● 4 nœuds 2 x Quadro RTX8000

Simulation NumériqueAlgèbre linéaireSupport d’exécution

Recherche

 42 projets (ANR , DGA, PIA, ERC, H2020, FETHPC, G8)

 394 articles revues/conférences

 22 thèses

 21 dépôts APP

 12 ADT

Un projet européen majeur

● EOSC - WP7

 Partenariat Inria/Inra

Des collaborations Avec Dell & Intel

 Avec la cellule de veille technologique du GENCI

 Le Mésocentre MCIA

Enseignement

 filière HPC de Enseirb-Matmeca

 Partenaire de workshop,

hackathon, formations (PRACE..)

Thématiques Ressources 1.6 ETP

 0.8 DSI & 0.8 SED OUVERTE A TOUS - INRIA ET PARTENAIRES

 Inscription sur plafrim.fr

Ω1 Ω2

Ω3

Ω4 Γ 1111 1111 1111 1111

11111111

1111111111

11111111111111

111111111111111111

11111111111111111111

1111111111111111111111111

POTRF TR SM SYRK GEMM

(16)

2. Description du besoin

(17)

2. Description du besoin

(18)

18

2. Description du besoin

Les plateformes «logiciel» - ci.inria.fr

(19)

2. Description du besoin

Les plateformes «logiciel» - ci.inria.fr

(20)

20

2. Description du besoin

Les plateformes «logiciel» - gitlab.inria.fr

(21)

2. Description du besoin

(22)

22

2. Description du besoin

(23)

2. Description du besoin

Quel est le besoin ?

(24)

24

2. Description du besoin

Tests unitaires, fonctionnels, de performance La vectorisation, le parallélisme, les accélérateurs analyse des perfs et régression

vérification de l’ordre des schémas numériques

(25)

2. Description du besoin

Supports d’exécution

Algèbre linéaire Simulation Numérique

(26)

26

2. Description du besoin

Supports d’exécution

Algèbre linéaire Simulation

Numérique algorithmie

sse avx2 avx512 ^noyaux

(27)

2. Description du besoin

Les plateformes et le matériel le matériel a sa diversité mais …

Provided templates (non exhaustive):

- Windows 10, Windows 7 - Mac OS X 10.9

- Ubuntu 18.04, CentOS 6.3, Fedora 29

(28)

28

2. Description du besoin

Et la reproductibilité ?

(29)

3. Réponse au besoin

(30)

30

3. Réponse au besoin

3.1. CI et l’infrastructure de Calcul

3.2. Gitlab et l’infrastructure de Calcul 3.3. Solutions

(31)

3. Réponse au besoin

Data Storage nodes

(32)

32

3. Réponse au besoin

Data Storage nodes

?

(33)

3. Réponse au besoin

Data Storage nodes

Infra matérielle ressources

(34)

34

3. Réponse au besoin

Data Storage nodes

création compte création

compte

(35)

3. Réponse au besoin

Data Storage nodes

compte

définition

ressources définition règles TCP

tunnel ssh

(36)

36

3. Réponse au besoin

Data Storage nodes

compte

définition

ressources _définition règles TCP

tunnel ssh

définition ressources

gestion VM GatewayPorts authorized_keys

(37)

3. Réponse au besoin

Data Storage nodes

compte

définition

tunnel ssh

configuration compte gitlab

(38)

38

3. Réponse au besoin

Data Storage nodes

compte

définition

tunnel ssh

configuration compte gitlab

(39)

3. Réponse au besoin

Data Storage nodes

création compte

création compte procédures

différentes

(40)

40

3. Réponse au besoin

Data Storage nodes

création compte

création compte procédures

différentes

Jenkins master

(41)

3. Réponse au besoin

Lille

Paris Saclay

Nancy

Grenoble

Sophia Bordeaux

Rennes &

Nantes

Gestion commune des identités

(42)

42

3. Réponse au besoin

Lille

Paris Saclay

Nancy

Grenoble

Sophia Bordeaux

Rennes &

Nantes

Gestion commune des identités

TRAVAIL EN COURS

(43)

3. Réponse au besoin

(44)

44

3. Réponse au besoin

3.2. gitlab et l’infrastructure de Calcul

Data Storage nodes

(45)

3. Réponse au besoin

Data Storage nodes

Règle la question des identités

(46)

46

3. Réponse au besoin

Data Storage nodes

curl -L https://packages.gitlab.com/install/repositories/runner/gitlab-runner/

$ gitlab-runner register

$ gitlab-runner start

$ gitlab-runner run ~/.gitlab-runner/config.toml.

(47)

3. Réponse au besoin

Data Storage nodes

curl -L https://packages.gitlab.com/install/repositories/runner/gitlab-runner/

$ gitlab-runner register

$ gitlab-runner start

$ gitlab-runner run ~/.gitlab-runner/config.toml.

(48)

48

3. Réponse au besoin

1. infra logicielle 2. infra matérielle 3. plein de tests

(49)

3. Réponse au besoin

Data Storage nodes

450 utilisateurs ...

(50)

50

3. Réponse au besoin

Data Storage nodes

(51)

3. Réponse au besoin

Data Storage nodes

WLM

1. partage des ressources

2. soumission via WLM 3. équilibre du projet

(52)

52

3. Réponse au besoin

Data Storage nodes

WLM

450 users

(53)

3. Réponse au besoin

Data Storage nodes

WLM

450 users

Règle au moins la question des

Identités ...

(54)

54

3. Réponse au besoin

Data Storage nodes

WLM

450 users

runner partagé

(55)

3. Réponse au besoin

(56)

56

3. Réponse au besoin

3.3. Solutions

Cycle de vie du matériel

3 ans 5 ans

Phase de conception Phase expérimentale Besoin de disponibilité

Phase de conception Phase expérimentale

Intégration Continue

Formation

Workshop/Séminaire

Déconnexion de l’ordonnanceur

(57)

Avenir

(58)

58

Conclusions

● CI et gitlab ont un rôle à jouer

● CI et gitlab sont des plateformes outils d’une infrastructure plus large

➢ Réflexion sur les identités

➢ Réflexion globale sur les moyens de calcul

➢ Intégration de nouvelles solutions

➢ Calendrier d’intégration des matériels et nouvelles techno