Redefine IT Tour
Mars-Avril 2015
#EMCTour
2
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.
Les Architectures du
Software Defined Storage
Emmanuel Bernard Principal SE
@veemanuel
Qu’est-ce que le Software-Defined Datacenter ?
Logiciel Matériel
Machines
virtuelles Réseaux
virtuels Stockage virtuel
Capacité de
traitement Capacités
réseau Capacité de stockage
Applications
Indépendamment du site
Utilisation des applications
Poste de travail Bureau virtuel Ordinateur portable
Tablette Smartphone
1 2
4 6
Abstraction. Pool. Automatisation.
3
Gest io n , au to mat isat io n , o p érat io n s
5
4
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.
Règle de stockage basée sur les exigences des applications
vSphere
« Control plane » suivant des règles prédéfinies
Pool de stockage en attachement direct
Pool de stockage externe
VASA
« Data plane » virtuel
Pourquoi ces deux approches ?
Le SDDC doit prendre en charge toutes charge applicative, tout type de client :
Diversité
Diverses architectures de stockage traitent différentes charges applicatives avec : différents comportements, SLA
et aspects économiques.
Le datacenter d’aujourd’hui Applications traditionnelles
VM VM VM VM
vSphere
Concevoir une architecture pour aujourd’hui… et pour demain
Le datacenter de demain
Applications Cloud nouvelle génération
VM VM VM VM
vSphere
VSAN – Pool de stockage interne VSAN – Pool de
stockage interne
Pool de stockage externe
VNX Isilon
Systèmestiers
VMAX
VASA
6
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.
Le datacenter d’aujourd’hui Applications traditionnelles
VM VM VM VM
vSphere
Concevoir une architecture pour aujourd’hui… et pour demain
Pool de stockage externe
VNX Isilon
Systèmestiers
VMAX
Le datacenter de demain
Applications Cloud nouvelle génération
VM VM VM VM
vSphere
VSAN – Pool de stockage interne
Standard Standard Standard
Pool de stockage externe
VSAN – Pool de stockage interne
VASA
Contrôleur ViPR
Services de
données
ViPR
Contrôleur ViPR
Services de données ViPR
Baies de stockage Matériel de série
VNX Isilon XIO
Systèmestiers
VMAX
Le Stockage Software-Defined avec EMC et VMware
Hypervisor Stockage convergé
vSphere
SAN virtuel Services de données virtuels
Gestion basée sur des règles
vSphere
VASA VVOL
VASA
VVOL
8
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.
BLOCK FILE FILE BLOCK FILE OBJECT HDFS
# ./symdev -sid 78 list –noport
# ./symconfigure -sid 78 list -freespace -units CYLINDER
# ./symdisk -sid 78 list -by_diskgroup
#./symconfigure -sid 78 -cmd "create dev
count=1,size=18414,emulation=FBA,config=RAID- 5,data_member_count=7,disk_group=1;" prepare
# disk assign lun3 -p0
# disk assign lun3 -p1
# disk assign lun4 -p0
# disk assign lun4 –p1
# aggr create siteAaggr -m -d lun1 lun2
# aggr create sitebaggr -m -d lun3 lun4
# naviseccli –h 1.2.3.4 - user < > -password < > -scope 0 connection –addset -name mv_iscsi_connection_to_456
# naviseccli –h 1.2.3.4 - user < > -password < > -scope 0 connection –addpath –name mv_iscsi_connection_to_456 –target
<MirrorView iSCSI port IP address on target SP-a> –sp a – portid < MV ISCSI port ID on 123 array’s SPA>
# fdisk /dev/sdc
# fdisk /dev/sdd
# mdadm --zero-superblock /dev/sdc /dev/sdd
# mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sdc1 /dev/sdd1
# mkfs.ext3 /dev/md0
# mkdir /raid1
# mount /dev/md0 /raid1
#create enhancedGlobalMirrorGroup
userLabel="enhancedGlobalMirrorGroupName"
(remoteStoragesubsystemName="storagesubsystemName
" | remoteStoragesubsystemWwn="wwID") interfaceType=(FC | iSCSI)
[remotePassword="password"
syncInterval=integer (minutes | hours | days) warningSyncThreshold=integer (minutes | hou)
# objectcfg volume geo-replication datastore
remote.emc.net:/object/geo-replication config remote-syncd /usr/lib/object/syncd
# objectcfg volume geo-replication datastore remote.emc.net:/object/geo-replication/ start
# objectcfg volume geo-replication datastore remote.emc.net:/object/geo-replication/ status
# ./hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
# ./hadoop fs -mkdir
hdfs://nn1.example.com/user/hadoop/dir hdfs://nn2.example.com/user/hadoop/dir
# ./hadoop fs -put localfile /user/hadoop/hadoopfile
# ./hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
# ./hadoop fs -get /user/hadoop/file localfile
Le Stockage aujourd’hui !
NEW PLATFORMS &
APPROACHES
END USER DEMAND FOR CLOUD
ET L’AVENIR SERA ASSUREMENT
MASSIVE DATA GROWTH
PIRE
10
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.
Réduction des Coûts
Liberté de
choix Passer au
Storage-as-
a-Service
Regroupement du stockage en Virtual
Arrays Simplifier l’infrastructure physique
12
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.
Définition de classes de services
Basé sur des règles pour répondre aux demandes
HIGH Performance High Availability Disaster Recovery Medium Performance High Availability Disaster Recovery Medium Performance Disaster Recovery Array-based Copies Medium Performance Array-based Copies
Low Performance
Archive Storage Oracle Database
Manufacturing – Cork Ireland
Le Self-Service libère utilisateurs et les équipes IT
Experience Cloud Public On Premise
Étapes 5
maximum
14
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.
Efficacité & Agilité améliorées
Les administrateurs se concentrent sur les activités à valeur ajoutée
<60 secondes: Découverte et import de nouveau stockage
5 étapes : L’utilisateur accède au stockage en mode self- service
63%: réduction moy. du temps de provisionnement stockage
“Réduire les risques d’erreur humaine et le temps des
processus de validation fastidieux rend votre organisation plus agile”
– Principled Technologies
Realizing Software-Defined Storage with EMC ViPR, Principled Technologies, 2014
Jusqu’à 73%: Réduction du coût de provisionnement de stockage
100%: Economies sur les tâches relatives au zoning SAN
Jusqu’à 63%: Réduction du coût de
provisionnement des VMs
Services basés sur des règles
AUTOMATISATION
Baies matérielles
ABSTRACTION
Ressources Hétérogènes
POOLS
APIs REST
OUVERT
Gestion du Storage
SELF-SERVICE
Stockage EMC & tiers
FLEXIBLE
Répétable, Best Practices
INTELLIGENCE
Out-of-the-Box
INTEGRATION
16
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.
Gérer tout type de stockage depuis une seule plateforme
EMC : VMAX, VNX, VNXe, Isilon, ScaleIO, XtremIO
Storage tiers : Hitachi, IBM, HP, SolidFire, NetApp, & Oracle
ViPR Controller
Self Service
Provisioning Automation Reporting
Protection : VPLEX, RecoverPoint, SRDF,
Data Domain
Intégration aux plateformes Cloud VMware, Microsoft and OpenStack
Infrastructures convergées:
VCE Vblock Systems
STOCKAGE EMC & TIERS
De nouvelles données émergent !
Qui ne peuvent être gérées par les systèmes classiques
Réseaux sociaux, UGC Données
publiques
Données de localisation Internet des
Objets
Sources émergentes de données
Données non structurées
Données invisibles Données
structurées
Sources de données traditionnelles
18
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.
Il faut centraliser ces données
Pour y accèder depuis toute localisation et application
Data Lake
CONTENU NON STRUCTURE
Réseaux sociaux, UGC
Données de localisation Internet des
Objets
Pourquoi du stockage mode Objet ?
Système fichiers classique Stockage Objet
Méthode d’accès NFS / CIFS HTTP
Accès depuis Un seul site Multi site (Read Write)
Provisioning L’application doit indiquer le
volume de stockage nécessaire Pas de provisioning nécessaire Acceptance WAN
Adhésion Développeurs User Metadata
Chemin Donnée Client <-> App <-> Stockage Ex: Client <-> Stockage objet
20
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.
Commodity hardware helps reducing costs
But having specialized software creates new silos
Unlocks Services, Data &
Apps Locked in Silos To Write Once, Run Anywhere
Third-Party Isilon
VMAX VNX Commodity
Appliance ECS
Plusieurs cas d’usages
• Plateforme Scale-out de
stockage basé sur du matériel banalisé et automatisée par ViPR
• 1ère plateforme par EMC qui répond aux besoins des
applications 3ème Plateforme
– Mobile, Cloud, Big Data et Social
22
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.
SIMPLICITY
Powered by Intel
®Xeon
®Processors
CONVERGED SYSTEM REFERENCE
ARCHITECTURE HYPER
CONVERGED RACKSCALE SYSTEM
Aujourd’hui Nouveau
Aujourd’hui
EVOLUTION DES SOLUTIONS D’INFRASTRUCTURE CONVERGEE (CI)
2H 15
24
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.
INFRASTRUCTURE HYPER-CONVERGEE
+
MEMORY
COMPUTE NETWORK
+
MANAGEMENT
+
24
STORAGE
+
VIRTUAL VIRTUAL VIRTUAL VIRTUAL VIRTUAL
SIMPLE A GERER
SOFTWARE DEFINED
ARCHITECTURE SCALE OUT
ENJEUX ACTUELS DES EQUIPES IT
• Comment planifier mon budget IT sur 3 ans ?
• Mon IT va t-elle croître assez vite ?
• Mon choix va t-il répondre à mes besoins ?
• Cette infrastructure sera assez agile ?
• Comment gérer plusieurs composants ?
• Comment négocier avec plusieurs fournisseurs ?
• Comment migrer vers le Cloud ?
• Comment garantir la disponibilité de mes
applications ?
26
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.
L’IINFRASTRUCTURE… SIMPLIFIEE
Agile, scalable et sûr, VSPEX BLUE simplifie le déploiement, la gestion et l’extension de votre infrastructure IT.
AVANT
Powered by Intel
®Xeon
®Processors
L’IINFRASTRUCTURE… SIMPLIFIEE
Agile, scalable et sûr, VSPEX BLUE simplifie le déploiement, la gestion et l’extension de votre infrastructure IT.
VSPEX BLUE est simple…
• Commander : une seule référence
• Configurer : basé sur des assistants
• Gérer : avec VSPEX BLUE Manager
• Croître : jusqu’à quatre appliances
• Maintenir : Support EMC 24/7
…et il…
• Evite une planification complexe de la croissance
• Est équipé de processeurs Intel ® Xeon ®
APRES
28
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.
APPLIANCE VSPEX BLUE
PROCESSEURS (PAR NOEUD)
• Intel Xeon (maxi 130W)
• Dual processor
MEMOIRE/PROCESSEURS (PAR NOEUD)
• 4 Canaux DDR3 (1333)
• Jusqu’à 8 slots DIMM DDR3 ECC R par serveur E/S (PAR NOEUD)
• Dual GbE ports
• Optionnel: IB QDR/FDR ou 10GbE integré
• 1 x 8 PCIe Gen3 I/O Mezz Option (Quad GbE ou Dual 10GbE)
• 1 x 16 PCIe Gen3HBA slots
• BMC intégrée avec support RMM4 CHASSIS
• Chassis 2U avec 4 serveurs demi-largeur hot-swap
• 2 x alim redondantes 1200W (80+ & CS Platinum) hot-swap
• Refroid/node dédié (pas de SPoF) – 3 ventilo x 40mm
• Façade avec commandes séparées par serveur
• 17.24” x 30.35” x 3.46”
DISQUES
• Contrôleur intégré 4-Port SAT/SAS (RAID logiciel)
• Jusqu’à 16 HDD 2.5” (quatre par noeud)
NODE 3 NODE 1
NODE 4 NODE 2
Powered by Intel
®Xeon
®Processors
DEPLOIEMENT DE VSPEX BLUE
Connecter les 4 noeuds de chaque appliance à un commutateur Top-of-Rack (TOR)
– 2X ports 10GbE par node
– 8X ports 10GbE ports pour les 4 noeuds Se connecter au commutateur avec un
navigateur Web
– Connection directe ou VLAN
Configurer le switch TOR
– Activer multicast, IGMP Snooping, et IGMP Querier
Démarrer VSPEX BLUE
Accéder à VSPEX BLUE depuis le navigateur 1
2
3
4
5
30
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.
1. VSPEX BLUE MANAGER
– Il apporte la surveillance matérielle et l’intégration aux fonctions de support & maintenance
– VSPEX BLUE Market : accès aux logiciels apportant une valeur ajoutée
2. VMWARE EVO:RAIL
– Automatise le déploiement, la configuration, la croissance et les mises à jour sans interruption
– Interface simplifiée et configuration des VMs à l’aide de templates
3. ARCHITECTURE CLUSTER
– Datastores distribués avec VSAN à tolérance de panne
– Continuité avec VMotion lors des opérations de maintenance et DRS pour l’équilibrage de charge
4. BLOCS pour le SOFTWARE-DEFINED DATA CENTER (SDDC)
– Combinant calcul, stockage, réseau et management dans une couche logicielle unique : vSphere & VSAN
LA SOLUTION
VSPEX BLUE POSSEDE 4 FONCTIONS CLES
• Interface HTML5 standardisée
• Architecture intégrée au client Web vCenter
• Interface utilisateur simplifiée
• Simplification des tâches par automatisation
• Validation des paramètres entrés par l’utilisateur
SIMPLE A PARAMETRER
32
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.
• Configuration du vCenter Server
• Configuration des ESXi et de VSAN sur tous les noeuds
• Excute toutes les
confiigurations jusqu’à
maintenant impossible sans adresse IP
CONFIGURATION ENTIEREMENT AUTOMATISEE
INITIALIZING CONFIGURING
BUILDING
FINISHING
AUTOMATISATION VSPEX BLUE
• Registering ESXi hosts with vCenter
• Creating storage policies on vCenter
• Setting up host names on ESXi hosts
• Renaming vCenter Server network on ESXi hosts
• Setting up NIC bonding on ESXi hosts
• Setting up VSAN, VMotion, VM networks on ESXi hosts
• Setting up NIC teaming on ESXi hosts
• Setting up DNS on ESXi hosts
• Restarting loudmouth on ESXi hosts
• Setting up clustering for ESXi hosts
• Renaming datastore
• Configuring password on ESXi hosts
• Copying file to VSAN datastore
• Configuring password on vCenter Server
• Configuring private DNS server on vCenter Server
• Setting up management network on ESXi hosts
• Configuring time on ESXi hosts
• Configuring Syslog on ESXi hosts
• Configuring host name on vCenter Server
• Restarting loudmouth
• Accepting vCenter Server EULA
• Creating vCenter Sever database
• Creating appliance architecture in vCenter Server
• Configuring password on ESXi hosts
• Initializing SSO subsystem
• Starting vCenter Server
VSPEX BLUE automatise plus de 200 tâches de configurations
34
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.
PROVISIONNER DES VMs
• Règles de déploiement basées sur la taille et niveau de sécurité des VMs
• Interface intuitive : création, cloning, démarrage et arrêt des VMs en quelques clics
• Vue unifiée de l’ensemble des VMs sur l’ensemble des noeuds
• interoperabilité bi-directionnelle
avec le client web vCenter
MONITORING DES ALERTES ET ETATS
• Tableaux de bord intuitifs avec fonctions de filtre et tri
• Supervision au niveau VMs, noeud ou appliances dans un cluster
• Analyses et tendances temps réel
• Accès au client web vCenter pour une surveillance
approfondie
36
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.
SCALE-OUT FACILE
• Découverte automatique de chaque appliance et de ses noeuds sur le réseau
• Ajout d’un appliance au cluster: 1 clic
• Configuration automatiquement distribuée et création d’un groupe de stockage
• Scales out jusqu’à 4 appliances et
16 noeuds
PATCHES & UPDATES SANS IMPACT
• Patches et mises à jour logicielles sans interruption de service
• MAJ d’un cluster complet en quelques clics
• Mise à jour effectuées après validation
• Déplacement automatique des VMs
entre noeuds
38
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.
VSPEX BLUE MANAGER
ECOSYSTEME PARTENAIRE
(A VENIR) EMC
24X7 SUPPORT EMC RECOVERPOINT
for VMs VDPA EMC CLOUDARRAY
PLUS VALUE DE VSPEX BLUE
VSPEX BLUE Market
Tableau de bord unique
– integration native EMC & VMware
Support EMC – Chat Online
– Forum & base de connaissances
Integré à VMware LogInsight
– Alertes matériel, application et VM
VSPEX BLUE Market
– Accès aux logiciels certifiés VSPEX BLUE
Maintenance et mises à jour – Patches automatisés – Mises à jour logiciel
Assistance sur site
– Accès distant via ESRS – Remplacement FRU/CRU
EMC VSPEX BLUE MANAGER
40
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.
ENVIRONNEMENT CLIENT EMC GLOBAL SUPPORT
EMC VSPEX BLUE AVEC ESRS
• Connexion proactive bi-directionnelle à vos équipements EMC, sécurisée, à haut débit et opérée 24x7
• Supervision et détection état permanents, notification et diagnostic à distance
pour un niveau de disponibilité 15% supérieur
• Diagnostic distant rapide et résolution des problèmes potentiels avant impact sur la
production se traduisant par une résolution 5x plus rapide que la moyenne
• Réception automatique et des mises à jour du support
ESRS
EMC VSPEX BLUE AVEC RECOVERPOINT FOR VMs
• Chaque appliance VSPEX BLUE inclut une licence pour 15 VMs
• Moteur basé sur RecoverPoint
• Granularité à la VM
• Continuous Data Protection
• Orchestration and Automatisation intégrée
• Intégré à VMware vCenter
• Réplication locale ou distante, Synch/Asynch
• Retour en production à n’importe quel point de restauration (PiT)
Continuité d’activité pour VSPEX BLUE
42
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.
EMC VSPEX BLUE
AVEC VDPA & DATA DOMAIN
Moteur basé sur EMC Avamar – Intégration native à vSphere – Interface basée sur des assistants
– Stockage des sauvegardes intégrée à EMC Data Domain – Réplication optimisée réseau vers EMC Avamar et VDP-A
Virtual appliance, jusqu’à 8To de capacité
Déduplication pour des sauvegardes rapides – Réduction du trafic réseau de 95%
– Réduction du temps de sauvegarde de 90%
– Réduction de 10x à 30x de l’espace de stockage
Restauration One-step avec vérification – Restauration avec optimisation réseau
– Restauration 6 x plus rapide : Changed Block Tracking
Restauration rapide et sûre depuis Data Domain
STOCKAGE CLOUD
VIRTUELLEMMENT ILLIMITE
• EMC CloudArray étend l’espace de stockage VSPEX BLUE vers les fournisseurs de stockage Cloud.
• Use case: Extension du stockage primaire ou du NAS, archivage, backup offsite ou disaster recovery.
• Supporte Block/File, Services de fichiers
• Jusqu’à 10To inclus avec VSPEX BLUE
• La mise en cache de CloudArray supprime la latence et assure la performance pour garantir l’expérience utilisateur
CLOUD PROVIDER
vCloud Air
EMC VSPEX BLUE
& CLOUDARRAY
44
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.
VSPEX BLUE MARKET
1ère place de marché hyper-convergée
Accès aux solutions d’EMC – CloudArray
– RecoverPoint for VMs – VDPA
Accès aux solutions Partenaires – Logiciels
– Appliances supplémentaires – Mises à jout
Achat de Services Cloud
– Ex: VMware vCloud ® Air™
USAGES DE VSPEX BLUE
Applications
métiers Desktops
virtuels Environnements
virtualisés Test et
Développement Sites
distants Infogérance
sur site
Déploiements spécifiques ou intégrés à une infrastructure Cloud privée/hybride
46
© Copyright 2014 EMC Corporation. All rights reserved.
© Copyright 2014 EMC Corporation. All rights reserved.