Les Clouds de production :
Panorama pour les sciences de la vie
Jérôme PANSANEL <[email protected]>
Directeur technique – France Grilles École Cumulo Numbio – Aussois 2015
Sommaire
●
Clouds de production
●
Clouds commerciaux
●
Clouds communautaires pour les sciences de la vie
●
Clouds académiques
●
Clouds de production
●
Clouds commerciaux
●
Clouds communautaires pour les sciences de la vie
●
Clouds académiques
Quel Cloud ?
Applications logicielles disponibles à la demande (Science gateway, Cloud broker, DIRAC, ...)
SaaS
Système d'exploitation avec un ensemble de briques logicielles pré- configurées (grille de calcul EGI, ...)
Ressources d'infrastructure virtualisées (Cloud IFB, FG-Cloud , EGI FedCloud, Helix Nebula, …)
Stockage virtualisé avec services associés (FG-iRODS, Renater, CNRS)
PaaS
IaaS
DaaS
La production
La production en informatique :
● Mise en production de services et de ressources
● Maintenance des services en condition opérationnelle
● Gestion de la transition
● Outils de surveillance et de métrologie
● Procédures
● Contrat d'utilisation
● Support utilisateur
● Pérennité
● Gestion de l'infrastructure en suivant les recommandations de bonnes pratiques (ITIL)
Les points clés
Avant de choisir un fournisseur de service, plusieurs points sont à étudier :
● Conditions d'utilisation
● Sécurité et confidentialité
● Prix / rétribution
● Fonctionnalités techniques (taille des VMs, débit, images, ...)
● Emplacement et contrôle d'accès aux données
● Disponibilité des services
● Support utilisateur
● Critères sociaux
● Pérennité de la structure
● Possibilité de changer de fournisseur (API, engagement, ...)
Intérêts
Facilité de déploiement – Eli Lilly :
Mise en production d'un nouveau cluster de 64 nœuds : 3 mois Mise en production d'un cluster sur le Cloud : à partir de 5 minutes Optimisation des coûts – GlaxoSmithKline :
L'utilisation des services en ligne a permis de réduire de 30 % le coût des opérations
Optimisation du temps :
Moins de temps passé sur l'infrastructure, c'est plus de temps à exploiter réellement les outils d'analyse / modélisation / …
Mettre à disposition d'autres laboratoires des services
→ mutualisation
●
Clouds de production
●
Clouds commerciaux
●
Clouds communautaires pour les sciences de la vie
●
Clouds académiques
Amazon AWS
● Leader des Clouds commerciaux IaaS
● Créé en 2006
● Nombreux services dont EC2 (Elastic Compute Cloud), S3 (Simple Storage Service) et EBS (Elastic Block Service)
● Datacentres également disponible en Ireland et en Allemagne
● Virtualisation basé sur XEN
● Interface Web, API REST et SOAP, CLI
● Import et export de VMs (nombreux formats supportés, dont RAW et OVA)
● Big mem : 16 cœurs, 244 Go RAM et 240 Go SSD
● Possibilité d'avoir du GPU
● Très nombreuses flavor
● Tarification à l'heure
● Exemple : cluster 64 cœurs / 128 Go RAM → ~ 101 € / jour
https://aws.amazon.com/fr/ec2/
Microsoft Azure
● Cloud IaaS et PaaS créé par Microsoft en 2010
● Accessible via une API REST et un SDK documenté
● Hébergé dans les datacentres Microsoft
● Cloud géré par Microsoft Azure Fabric Controller
● Disponibilité de serveurs Windows et Linux
● 2 datacentres en Europe (Irlande et Pays-Bas)
● Doit respecter le Patriot Act
● Respect la directive européenne sur la protection des données (95/46/EC)
● La confidentialité et de la sécurité sont gérées par le Microsoft Azure Trust Center
● Très nombreuses flavor
● Tarification à la minute
● Exemple: cluster 64 cœurs / 128 Go RAM → ~ 103 € / jour
http://azure.microsoft.com/fr-fr/
Google Cloud Platform
● Composé d'offres IaaS (Google Compute Engine – 2012), PaaS (App Engine – 2008) et SaaS
● Datacentres disponibles en Europe (Belgique, Finlande, Irlande et Pays-Bas)
● Pour GCE, facturation à la minute (avec un minimum de 10 minutes)
● Possibilité d'utiliser ses propres images
● Accessible via une interface Web, une API REST ou un CLI
● Puissance processeur comptabilité en GCEU
● SSD disponible
● Tarification à la minute
● Offre spécifique génomique
● Exemple : cluster 64 cœurs / 128 Go RAM → ~ 118 € / jour
https://cloud.google.com/compute
IBM Cloud
● Créé en 2011 (SmartCloud)
● Offre IaaS, PaaS et SaaS accessible comme Cloud public
● Possibilité également d'acquérir l'outil de gestion de Cloud IBM pour réaliser un Cloud privé ou hybride
● Service et matériel pré-configuré (Cloud in a box avec IBM Workload Deployer et Cloudburst)
● IBM est un partenaire actif de plusieurs groupes de standardisation (→ CIMI)
● Un partenaire pour les productions critiques et le besoin d'accompagnement
http://www.ibm.com/marketplace/cloud
CloudWatt
http://www.cloudwatt.com
● Société appartenant à Orange depuis mars 2015 (projet Andromède – Cloud souverain)
● Offre IaaS disponible depuis 2014
● Datacentre à Val de Reuil
● API et CLI OpenStack
● Taille de machine virtuelle maximum en ligne : 16 vCPU / 60 Go RAM
● Images Ubuntu (12.04 et 14.04), CentOS, RedHat, Suse, Debian, Fedora, Windows server (2008 et 2012)
● Règlement par CB pour les commandes sur Internet
● Exemple : cluster 64 cœurs / 128 Go RAM → ~ 85 € / jour
Numergy
● Société créé en 2012 par SFR et BULL (projet Andromède – Cloud souverain)
● 3 Datacentres en France
● API et CLI OpenStack
● Images Linux (Ubuntu, CentOS, RedHat) et Windows 2008 disponible
● Taille de machine virtuelle maximum en ligne : 2 vCPU / 8 Go RAM
● Nombre maximum de VM payable en ligne : 5
● Pour les configurations de taille importante, il faut passer par un revendeur
● Projet Numergy Santé
● Règlement par CB ou partenaire
● Exemple : cluster 64 cœurs / 128 Go RAM → ~ 54 € / jour
http://www.numergy.com
Difficultés
● Difficulté d'achat des heures (peu de fournisseurs acceptent les bons de commande)
● Aspects légaux sur les données
● Coût du stockage et du transfert des données (la simulation coûte moins chère que l'analyse)
● Saveurs d'image limitées – risque de payer pour des services qui ne sont pas nécessaires
● Gestion de la production et des mises à jour des VMs (responsabilité)
●
Clouds de production
●
Clouds commerciaux
●
Clouds communautaires pour les sciences de la vie
●
Clouds académiques
Cloud IFB
● Cloud créé en 2011
● Ouvert à la communauté des sciences de la vie
● Plus d'une dizaine d'appliances (Galaxy, nœud de calcul, bureau virtuel, biologie structurale, …)
● Catalogue d'images pré-configurées en fonction des applications
● Taille des VMs en adéquation avec les problèmes en biologie (grand nombre de CPUs / volume important de RAM)
● Stockage Cloud
● Formations régulières
● Hébergé à l'IDRIS
● Accès :
https://cloud.france-bioinformatique.fr/accounts/login/
Le projet e-Biothon
Un projet CNRS, IBM, IFB et INRIA pour la phylogénie, l'épidémiologie et la génomique
L'infrastructure :
● 2 baies Blue Gene/P IBM avec 200 To de stockage
● 2x1024 nœuds de 4 cœurs
● Jusqu'à 28 TFlops crête
● SysFera-DS pour l'accès web aux ressources
2 modes de calcul :
● Standard (MPI)
● HTC (1024 jobs indépendants en parallèle)
https://www.e-biothon.fr
e-Biothon : résultats
Étude et caractérisation de la biodiversité en Guyane française
● 16000 espèces d'arbre (contre 300 en Europe)
● Plus de biodiversité sur 1ha de forêt en Guyane que sur l'Europe Valeur ajoutée de e-Biothon dans ce projet :
● Une puissance de calcul supérieure à celle disponible dans le mésocentre de Bordeaux
● Millions de lecture
● Calcul de distance exact sans heuristique (score d'alignement)
● Plusieurs To de données produites chaque semaine
Sources :
● Alain Franc
● https://hal.archives-ouvertes.fr/hal-00927495
●
Clouds de production
●
Clouds commerciaux
●
Clouds communautaires pour les sciences de la vie
●
Clouds académiques
Cloud Privé CNRS
● Cloud disponible depuis octobre 2012
● 3 configurations disponibles :
• 1 vCPU – HDD 50 Go – RAM 2 Go / 4 Go / 8 Go
• 2 vCPU – HDD 50 Go – RAM 4 Go / 8 Go / 16 Go
• 4 vCPU – HDD 50 Go – RAM 8 Go / 16 Go / 24 Go
● Offre payante
● Catalogue d'images validées et compatibles
● Option de sauvegarde
● Basé sur les technologies VMWare
● Hébergé dans deux datacentres opérés par BULL
● Garantie de ressources CPU / RAM < 100 %
● Exemple : cluster 64 cœurs / 128 Go RAM → ~ 40 € / jour
● Contact :
http://www.offres-de-services-unites.net/serveur.html
HelixNebula
● Initiative portée par des organismes publiques et privés paneuropéens
● Cloud multi-disciplinaire durable pour la recherche scientifique
● Services accessible aux partenaires privés et académiques
● Projet ouvert à de nouveaux fournisseurs de ressources (conditions réglementaires et qualité de service)
● Utilisation basée sur le broker HNX (SlipStream)
● Cas d'utilisation EMBL :
• Développement d'un portail pour l'analyse des grands génomes
• Permettre aux scientifiques de réaliser des analyses de génome à grande échelle sans investir dans des infrastructures
• Fournir des pipelines pour l'analyse génomique
• Développement la recherche d'outils génomiques utilisant les Clouds
http://hnx.helix-nebula.eu/
HelixNebula
© Bob Jones
Strategic Plan
Establish multi- tenant, multi- provider cloud infrastructure Identify and adopt policies for trust, security and privacy Create governance structure
Define funding schemes
Strategic Plan
Establish multi- tenant, multi- provider cloud infrastructure Identify and adopt policies for trust, security and privacy Create governance structure
Define funding schemes
To support the computing capacity needs
for the ATLAS experiment To support the
computing capacity needs
for the ATLAS experiment
Setting up a new service to simplify
analysis of large genomes, for a
deeper insight into evolution and
biodiversity Setting up a new service to simplify
analysis of large genomes, for a
deeper insight into evolution and
biodiversity
To create an Earth Observation platform, focusing
on earthquake and volcano
research To create an
Earth Observation platform, focusing
on earthquake and volcano
research
To improve the speed and quality
of research for finding surrogate biomarkers based
on brain images To improve the speed and quality
of research for finding surrogate biomarkers based
on brain images
Adopters Suppliers Additional Users:
HelixNebula
Le Cloud fédéré EGI
● Fédération de Clouds privés académiques
● Disponible en tant que Cloud IaaS pour les scientifiques en Europe et au-delà
● Basé sur l'utilisation de standards
ouverts : OCCI, CDMI, OVF, GLUE, ...
● Implémentation hétérogène : pas de
contraintes pour la technologie Cloud du site dès lors qu'il expose les standards choisis
● Surveillance centralisée des infrastructures
● Equipe de sécurité internationale
● Catalogue important de VMs
Le Cloud fédéré EGI
Avril 2015 Ressources
● 13 NGIs fournissant 22 ressources certifiées
● 4 NGIs en cours d'intégration
● 5 NGIs intéressées
Utilisation – Mai/Déc. 2014
● 244.913 VMs certifé
● 10,6M d'heures CPU
Le Cloud fédéré EGI
Allocation de ressources e-Grant
Accès au Cloud fédéré EGI
Accès pour l'utilisateur :
● Rejoindre l'un des groupes existants (VO)
● Rechercher une VO sur le portail des opérations
http://operations-portal.egi.eu/
Allocation de ressources par les RPs
● Ressources dédiées à un projet scientifique
● Soumission des demandes sur https://e-grant.egi.eu Rejoindre le Cloud comme RP :
● Installer les briques logicielles nécessaires à l'intégration au Cloud fédéré
● Contacter l'équipe Opérations de EGI [email protected]
Le Cloud fédéré France Grilles – FG-Cloud
● Objectifs
• Mettre en place un service de Cloud fédéré IaaS multi-disciplinaire pour la recherche scientifique
• Définir la stratégie et construire l'infrastructure nationale
• Rédiger les conditions d'utilisation, la documentation
• Définir les services aux utilisateurs
● Obstacles
• Co-existence avec des initiatives existantes (approche bottom-up)
• La stratégie France Grilles doit être compatible avec celle des parties tierces (sites, tutelles et partenaires)
• Fonctionnement avec les différents logiciels de déploiement de Cloud
• Les ressources doivent être accessibles simplement
• Démontrer les bénéfices d'un Cloud fédéré
Les sites partenaires du projet FG-Cloud
● Sites en production
• OpenStack@CC-IN2P3
• OpenStack@IPHC
• CloudMip@IRIT
• StratusLab@LAL
• StratusLab@LUPM
● Sites en pré-production
• StratusLab@LLR
• OpenStack@UNIV-LILLE
• OpenStack@LSPC
● Plus d'information
• http://www.france-grilles.fr/6-Cloud
FG-Cloud : projets en cours & perspectives
● Projets en cours
• Cloud Challenge (utilisation de l'intégralité des ressources par un projet scientifique)
• Vérification que le service fonctionne en mode de production (redondance des services, surveillance, catalogue de services, …)
• Extension des ressources disponibles et de la communauté d'utilisateurs
● Perspectives
• Valider VM-DIRAC avec StratusLab
• Faciliter le déploiement des images du Marketplace
• Finaliser le Cloud Challenge
• Déployer la solution de surveillance et mettre en place les procédures de fiabilité et de disponibilité
• Proposer l'expertise acquise en déploiement de Clouds à d'autres groupes
