Cloud Computing : quels intérêts et
quelles solutions pour les développeurs ?
Sommaire
●
Cloud Computing : quels usages pour le développeur ?
●
Clouds commerciaux
●
Clouds académiques
●
Cloud Computing : quels usages pour le développeur ?
●
Clouds commerciaux
●
Clouds académiques
Quel Cloud ?
Applications logicielles disponibles à la demande (Science gateway, Cloud broker, DIRAC, ...)
SaaS
Système d'exploitation avec un ensemble de briques logicielles pré- configurées (grille de calcul EGI, ...)
Ressources d'infrastructure virtualisées (FG-Cloud, Cloud IFB, EGI FedCloud, Helix Nebula, Cloud CNRS, …)
Stockage virtualisé avec services associés (FG-iRODS, CNRS, Renater, ...)
PaaS
IaaS
DaaS
Usages pour le développeur
Les Clouds de type IaaS peuvent être utilisés pour :
● Hébergement des outils de base de développement (SCM, CI, …)
● Utiliser différents types et versions d'OS (cas spécial : Mac OS X)
● Déployer un ensemble d'OS pour automatiser le packaging
● Déployer rapidement des infrastructures pour le test de logiciels (par exemple client / serveur)
● Tester simultanément sur un ensemble d'OS
● Tester le passage à l'échelle des applications
● Pouvoir tester sans casser
● Mettre en place des formations
● Faciliter la distribution de logiciels en livrant des appliances
L'intégration continue au CC-IN2P3
Fonctionnalités :
● Être alerté rapidement des tests en erreur (unitaires et intégration)
● Exporter les processus de compilation sur des environnements
"neutres" et variés (JDK6, JDK7, ...)
● Permettre à des utilisateurs de lancer des compilations
● Plus de 800 plugins disponibles
● Gestion avancée des utilisateurs et des privilèges Solution basée sur :
● Jenkins – http://jenkins-ci.org/
● Infrastructure OpenStack du CC-IN2P3
● Horizon (dashboard OpenStack)
→ Poster JDEV
https://ci.in2p3.fr/
L'intégration continue au CC-IN2P3
tps://ci.in2p3.fr/
Les points clés
Avant de choisir un fournisseur de service, plusieurs points sont à étudier :
● Conditions d'utilisation
● Sécurité et confidentialité
● Prix / rétribution
● Fonctionnalités techniques (taille des VMs, débit, images, ...)
● Emplacement et contrôle d'accès aux données
● Disponibilité des services (production ?)
● Support utilisateur
● Critères sociaux
● Pérennité de la structure
● Possibilité de changer de fournisseur (API, engagement, ...)
●
Cloud Computing : quels usages pour le développeur ?
●
Clouds commerciaux
●
Clouds académiques
Amazon AWS
● Leader des Clouds commerciaux IaaS
● Créé en 2006
● Nombreux services dont EC2 (Elastic Compute Cloud), S3 (Simple Storage Service) et EBS (Elastic Block Service)
● Datacentres également disponible en Ireland et en Allemagne
● Virtualisation basé sur XEN
● Interface Web, API REST et SOAP, CLI
● Import et export de VMs (nombreux formats supportés, dont RAW et OVA)
● Big mem : 16 cœurs, 244 Go RAM et 240 Go SSD
● Possibilité d'avoir du GPU
● Très nombreuses flavor
● Tarification à l'heure
Exemple : cluster 64 cœurs / 128 Go RAM → ~ 101 € / jour
https://aws.amazon.com/fr/ec2/
Microsoft Azure
● Cloud IaaS et PaaS créé par Microsoft en 2010
● Accessible via une API REST et un SDK documenté
● Hébergé dans les datacentres Microsoft
● Cloud géré par Microsoft Azure Fabric Controller
● Disponibilité de serveurs Windows et Linux
● 2 datacentres en Europe (Irlande et Pays-Bas)
● Doit respecter le Patriot Act
● Respect la directive européenne sur la protection des données (95/46/EC)
● La confidentialité et de la sécurité sont gérées par le Microsoft Azure Trust Center
azure.microsoft.com/fr-fr/
Google Cloud Platform
● Composé d'offres IaaS (Google Compute Engine – 2012), PaaS (App Engine – 2008) et SaaS
● Datacentres disponibles en Europe (Belgique, Finlande, Irlande et Pays-Bas)
● Pour GCE, facturation à la minute (avec un minimum de 10 minutes)
● Possibilité d'utiliser ses propres images
● Accessible via une interface Web, une API REST ou un CLI
● Puissance processeur comptabilité en GCEU
● SSD disponible
● Tarification à la minute
● Offre spécifique génomique
● Exemple : cluster 64 cœurs / 128 Go RAM → ~ 118 € / jour
https://cloud.google.com/compute
IBM Cloud
● Créé en 2011 (SmartCloud)
● Offre IaaS, PaaS et SaaS accessible comme Cloud public
● Possibilité également d'acquérir l'outil de gestion de Cloud IBM pour réaliser un Cloud privé ou hybride
● Service et matériel pré-configuré (Cloud in a box avec IBM Workload Deployer et Cloudburst)
● IBM est un partenaire actif de plusieurs groupes de standardisation (→ CIMI)
● Un partenaire pour les productions critiques et le besoin d'accompagnement
ww.ibm.com/marketplace/cloud
CloudWatt
http://www.cloudwatt.com
● Société appartenant à Orange depuis mars 2015 (projet Andromède – Cloud souverain)
● Offre IaaS disponible depuis 2014
● Datacentre à Val de Reuil
● API et CLI OpenStack
● Taille de machine virtuelle maximum en ligne : 16 vCPU / 60 Go RAM
● Images Ubuntu (12.04 et 14.04), CentOS, RedHat, Suse, Debian, Fedora, Windows server (2008 et 2012)
● Règlement par CB pour les commandes sur Internet
● Exemple : cluster 64 cœurs / 128 Go RAM → ~ 85 € / jour
Numergy
● Société créé en 2012 par SFR et BULL (projet Andromède – Cloud souverain)
● 3 Datacentres en France
● API et CLI OpenStack
● Images Linux (Ubuntu, CentOS, RedHat) et Windows 2008 disponible
● Taille de machine virtuelle maximum en ligne : 2 vCPU / 8 Go RAM
● Nombre maximum de VM payable en ligne : 5
● Pour les configurations de taille importante, il faut passer par un revendeur
tp://www.numergy.com
Difficultés
● Difficulté d'achat des heures (peu de fournisseurs acceptent les bons de commande)
● Aspects légaux sur les données
● Coût du stockage et du transfert des données (la simulation coûte moins chère que l'analyse)
● Saveurs d'image limitées – risque de payer pour des services qui ne sont pas nécessaires
● Gestion de la production et des mises à jour des VMs (responsabilité)
●
Cloud Computing : quels usages pour le développeur ?
●
Clouds commerciaux
●
Clouds académiques
Cloud IFB
● Cloud communautaire créé en 2011
● Ouvert à la communauté des sciences de la vie
● Plus d'une dizaine d'appliances (Galaxy, nœud de calcul, bureau virtuel, biologie structurale, …)
● Catalogue d'images pré-configurées en fonction des applications
● Taille des VMs en adéquation avec les problèmes en biologie (grand nombre de CPUs / volume important de RAM)
● Stockage Cloud
● Formations régulières
● Hébergé à l'IDRIS
● Accès :
https://cloud.france-bioinformatique.fr/accounts/login/
Cloud Privé CNRS
● Cloud disponible depuis octobre 2012
● 3 configurations disponibles :
• 1 vCPU – HDD 50 Go – RAM 2 Go / 4 Go / 8 Go
• 2 vCPU – HDD 50 Go – RAM 4 Go / 8 Go / 16 Go
• 4 vCPU – HDD 50 Go – RAM 8 Go / 16 Go / 24 Go
● Offre payante
● Catalogue d'images validées et compatibles
● Option de sauvegarde
● Basé sur les technologies VMWare
● Hébergé dans deux datacentres opérés par BULL
● Garantie de ressources CPU / RAM < 100 %
HelixNebula
● Initiative portée par des organismes publiques et privés paneuropéens
● Cloud multi-disciplinaire durable pour la recherche scientifique
● Services accessible aux partenaires privés et académiques
● Projet ouvert à de nouveaux fournisseurs de ressources (conditions réglementaires et qualité de service)
● Utilisation basée sur le broker HNX (SlipStream)
● Cas d'utilisation EMBL :
• Développement d'un portail pour l'analyse des grands génomes
• Permettre aux scientifiques de réaliser des analyses de génome à grande échelle sans investir dans des infrastructures
• Fournir des pipelines pour l'analyse génomique
• Développement la recherche d'outils génomiques utilisant les Clouds
http://hnx.helix-nebula.eu/
HelixNebula
Strategic Plan
Establish multi- tenant, multi- provider cloud infrastructure Identify and adopt policies for trust, security and privacy Create governance structure
Strategic Plan
Establish multi- tenant, multi- provider cloud infrastructure Identify and adopt policies for trust, security and privacy Create governance structure
To support the computing capacity needs
for the ATLAS experiment To support the
computing capacity needs
for the ATLAS experiment
Setting up a new service to simplify
analysis of large genomes, for a
deeper insight into evolution and
biodiversity Setting up a new service to simplify
analysis of large genomes, for a
deeper insight into evolution and
biodiversity
To create an Earth Observation platform, focusing
on earthquake and volcano
research To create an
Earth Observation platform, focusing
on earthquake and volcano
research
To improve the speed and quality
of research for finding surrogate biomarkers based
on brain images To improve the speed and quality
of research for finding surrogate biomarkers based
on brain images
Suppliers Additional Users:
HelixNebula
Le Cloud fédéré EGI
● Fédération de 22 Clouds privés académiques
● Disponible en tant que Cloud IaaS pour les scientifiques en Europe et au-delà
● Basé sur l'utilisation de standards ouverts : OCCI, CDMI, OVF, GLUE, ...
● Implémentation hétérogène : pas de
contraintes pour la technologie Cloud du site dès lors qu'il expose les standards choisis
● Surveillance centralisée des infrastructures
● Équipe de sécurité internationale
● Catalogue important de VMs
● Utilisation – Mai / Déc. 2014 :
• 244.913 VMs certifiées
• 10,6M d'heures CPU
Accès au Cloud fédéré EGI
Accès pour l'utilisateur :
● Rejoindre l'un des groupes existants (VO)
● Rechercher une VO sur le portail des opérations
http://operations-portal.egi.eu/
Allocation de ressources par les RPs
● Ressources dédiées à un projet scientifique
● Soumission des demandes sur https://e-grant.egi.eu Rejoindre le Cloud comme RP :
● Installer les briques logicielles nécessaires à l'intégration au Cloud fédéré
Contacter l'équipe Opérations de EGI
Le Cloud fédéré France Grilles – FG-Cloud
● Objectifs
• Mettre en place un service de Cloud fédéré IaaS pour la recherche scientifique
• Définir la stratégie et construire l'infrastructure nationale
• Rédiger les conditions d'utilisation, la documentation et les services aux utilisateurs
• Mettre en place les outils et les procédures pour avoir un niveau Production
• Promouvoir la certification des sites au sein du Cloud fédéré EGI
● Réalisations
• Pilotage par un groupe technique ouvert
• Authentification et Marketplace communs aux différents sites
• VM-DIRAC et SlipStream disponibles pour accéder aux différentes ressources
• Financement des sites (infrastructure, EGI)
• Conditions d'utilisation pour les utilisateurs
Formations utilisateurs (administrateurs prévue second semestre 2015)
● Sites en production
• OpenStack@CC-IN2P3 (*)
• OpenStack@IPHC (*)
• CloudMIP@IRIT
• Stratuslab@LAL (*)
• StratusLab@LUPM
● Sites en pre-production
• StratusLab@LLR (*)
• StratusLab@LPSC (*)
• OpenStack@UNIV-LILLE
L'infrastructure FG-Cloud
Obtenir un accès
● Simplement en quelques étapes
• Envoyer une demande à [email protected]
• Formulaire en retour (pour vérifier la faisabilité technique et améliorer l'accompagnement)
• Signature électronique des conditions d'utilisation
• Création des comptes
• Formation CLI / SlipStream
• Image / saveur spécifique
• Accompagnement sur le script d'instanciation
• Remerciements
http://www.france-grilles.fr/Pour-les-chercheurs-ou-ingenieurs
