Agenda. Exemple : données et back à Eurecom SANs and NAS. Les bases: SANs. Back-up Partage de fichier. Disques et Raid SCSI et FCP

(1)

G. Urvoy-Keller

Storage Area Networks (SAN) ‏

(2)

Agenda

2

 Exemple : données et back à Eurecom

 SANs and NAS

 Back-up

 Partage de fichier

 Les bases:

 Disques et Raid

 SCSI et FCP

 SANs

 Terminologie

 Protocoles SCSI et FC

 Exemple (suite) SAN à Eurecom

(3)

Données et back-up à Eurecom

3

(4)

Données à Eurecom

4

 Eurecom :

– École d'ingénieur/centre de recherche à Sophia-Antipolis

– > 600 machines/serveurs

 Types de données :

– Données utilisateur

– Données serveurs : mail, bscw, intranet web, extranet web, contrôleurs domaines Windows

 Image des servers (peuvent inclure les données)‏

 Données spécifiques à des projets : beaucoup de base de données, résultats de simulation, fichiers de trace de trafic, etc

(5)

Data à Eurecom

5

Data from users

Data from projects

Images from servers

Other data from servers, e.g., mails

(6)

Back-up à Eurecom

6

2003_11 2004_01 2004_03 2004_05 2004_07 2004_09 2004_11 2005_01 2005_03 2005_05 2005_07 2005_09 2005_11 2006_01 2006_03 2006_05 2006_07 2006_09 2006_11 2007_01 2007_03 2007_05 2007_07 2007_09

0 1000 2000 3000 4000 5000

0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30

Evolution du volume sauvegardé par mois

Taille (Go) Nb de cartouches

Amount of Data

Number of tapes (400 GB)‏

(7)

Backup

7

 Backup incrémental sur un mois :



Back-up complet au début du mois



Incremental chaque jour après le premier jour

 Capacité de back-up est le goulet d'étranglement



30 heures pour un back-up complet (chiffre 2008)



Problème n'est pas spécifique à Eurecom

 Question:



Sachant que le disques sont très fiables grâce au

mécanisme (RAID 5) – Pourquoi faire des backup ?

(8)

DAS/NAS/SAN

8

(9)

Storage strategies

9

Cost

(10)

fqsd

11

Row 1 Row 2 Row 3 Row 4

0 2 4 6 8 10 12

Column 1 Column 2 Column 3

(11)

12

 Utilise NFS et/ou SMB/CIFS

 NAS Filer: l'entité qui parle NFS ou SMB/CIFS

(12)

Qu'est-ce qu'un SAN ?

13

 Réseau dédié pour le stockage où les appareils communiquent via SCSI qui est transporté par le protocole Fibre Channel.

 On peut trouver un filer NAS attaché au SAN (voir exemple Eurecom à la fin)

 Avec un SAN, le stockage est accessible non plus seulement au filer mais au différents serveurs, ex. serveur Oracle de base de données.

(13)

Back-up et SAN

 Solution 1 : A l'origine, un lecteur de bande par serveur

 Solution 2 : lecteurs de bande consolidés dans un serveur centralisé avec une biblioothèque de bande attachée

 Le réseau (LAN) devient le goulet d'étranglement-

 Solution 3 : Pour résoudre ce problème : media servers

 Gestion centrale du back-up

 Mais avec des back-up qui sont gérés localement (sous le contrôle du media server)

 Solution 4 : SAN

14

(14)

15

1 1

2

3 4=SNA

(15)

Stockage

 Solutions typiques en entreprise

 NFS (Network File System) de SUN pour machines UNIX – depuis 1984

 SMB (Small Message Block) pour Windows – 1984 aussi

 Ils passent à l'échelle mais peuvent être lents suivant la quantité de données accédées

 Evolutions récentes :

 SMB a muté en CIFS (Common Internet Filw System)

 Nouveau type de serveurs CIFS : boîte Linux avec SAMBA – libre et populaire

 NFS v3 fonctionne au dessus de TCP et non plus seulement UDP

16

(16)

Stockage et NAS

 Serveurs NFS et CIFS sont :

 Des composants clefs

 Complexes à gérer

 Plutôt lents

 D'où l'émergence de NAS avec deux objectifs :

 Réduire les couts de gestion

 Améliorer les performances

 Premier fournisseur NAS était Auspex

 Idée centrale : déchargée la CPU qui avait a traité toutes les requêtes NFS par des processeurs réseaux (dédiés)

 Fournisseur qui a émergé par la suite : Network Appliance

 Ré-écriture complète du client NFS et du noyau Unix.

 Performances meilleures qu'un DAS 17

(17)

Stockage vs. Back-up

18



NAS s'est imposé pour le stockage



NAS sont faciles à gérer, offrent de bonnes perf



Mais difficiles à « back-uper”



Développement d'un protocole commun à tous les NAS : (Network Data Management Protocol)



A l'opposé, SAN est une bonne solution pour stockage et back-up



Mais plus difficiles à gérer car des composants multiples



Et plus chers

(18)

Commençons par les bases....

• Disques et RAID

• SCSI, FCP et iSCCI

19

(19)

20

Plateaux (platters), plages (tracks) et secteurs (sectors)

(20)

21

(21)

22

(22)

23

(23)

24

(24)

Qu'est-ce que le RAID ?

25



Redundant Array of Inexpensive or Independent Disks



RAID est un terme utilisé pour décrire la résistance

d'un système de stockage aux pannes de disques

individuels en répartissant l'information sur plusieurs

disques et en utilisant des techniques de correction

d'erreurs.

(25)

RAID : Software et Hardware

26

●

RAID peut être en mode Software (logiciel) ou Hardware (matériel)

●

RAID logiciel utilisé pour duplication/miroir

●

RAID matériel offre la protection par bit des parité (pour correction d'erreur)

(26)

RAID Logiciel

27

●

RAID logiciel utilise plus de disques et induit des ralentissements dans les opérations d'écriture

●

RAID logiciel a un coût plus faible que le RAID matériel car il n'utilise pas de contrôleur

dédié.

●

Surtout utilisé pour du mirroring sur site distant.

(27)

RAID matériel

28



RAID matériel demande un contrôleur par sous- système (groupe de disques)



RAID matériel décharge le processeur central du

calcul des parités

(28)

RAID 0

29

Séquences de blocs de données écrit sur plusieurs

disques en bande

(29)

RAID 0

30

 RAID 0 n'est pas tolérant aux pannes.

 RAID 0 améliore les perf en lecture/écriture en répartissant sur plusieurs disques.

 RAID 0 transforme un ensemble de disques en

un disque unique du point de l'application

(30)

RAID 1

31

(31)

RAID 1

32

 RAID niveau 1 est tolérant au panne.

Egalement nommé mirroring de disques.

 Améliore les performances en lecture (mais peut dégrader en écriture).

 Souvent utilisé pour le système d'exploitation

d'un serveur : 2 petits disques en miroir

(32)

Parité XOR

33

 Considerons le OU exclusif (XOR) de A et C X=A + C

 Si vous faîtes un XOR de 2 valeurs (A,C ou X), vous obtenez la troisième :

B=X + C

 RAID (2, 3,) 4, 5 écrivent les données XOR sur le

disque

(33)

RAID 4

34

(34)

RAID 5

35

(35)

RAID 4 et 5

36



RAID 4 stocke toutes les parités sur un disque alors que RAID 5 répartit les parités



Données et parités telles qu'elles ne sont jamais sur le même disque



RAID 5 a des performances proches de RAID 1 et est tolérant aux pannes.



RAID 4 a un goulet d'étranglement en écriture. Peu

(non?) utilisé.

(36)

SCSI et FCP

37

(37)

SCSI

38

(38)

39

(39)

40

(40)

Standards

41

 Pourquoi découper le standards en des composantes distinctes ?



Leçons des modèles en couche du réseau!



Pour ne pas être limité à un seul type de connecteur



... On veut du SCSCI sur FC (pour les SANs) et du SCSI

sur IP

(41)

FC

42

(42)

43

(43)

44

(44)

45

(45)

46

(46)

47

(47)

iSCSI

48

 Pourrait être le futur car Ethernet moins cher

 Compromis fiabilité (aucune fiabilité sur Ethernet/IP) débit (Ethernet Giga et 10 Giga)

 TCP est utilisé pour la fiabilité



Utilise TOE (TCP Offload Engine) pour limiter les calculs sur les processeurs des machines

 Evolution récente d'Ethernet dans les datacenters :

Ethernet sans perte

(48)

TECHNOLOGIE SAN

49

(49)

Agenda

50

 Composants du SAN

 Comment le cœur du SAN fonctionne-t-il,

 Stockage/Back-up

 L'exemple du SAN d'Eurecom

(50)

SAN

51

 Un SAN offre une zone de stockages partagée à plusieurs serveurs

 Chaque serveur peut accéder à la zone de stockage comme si c'était un DAS, c'est-à-dire avec des

commandes SCSI

 Une SAN offre un support centralisé du stockage

 Les SANs permettent un back up et une

restauration des données rapide

(51)

SAN vs. Stockage LAN

52

 Un SAN est basé sur le protocole Fibre Channel



Fibre Channel n'implique pas de la fibre. Cela peut être du câble cuivre.

 Topologies FC:



Point-à-point



Fabric: un ou plusieurs commutateurs FC



Boucle arbitrée: soit une vraie boucle, soit avec un

hub

(52)

FC topologies

53

p2p

Fabric

loop (unreliable)

loop (reliable)

(53)

SAN avec commutateur: les composants

54

HBA: Host Bus Adapter

SP: Storage Processor Fiber link

(54)

Composants SAN

55



Un ou plusieurs serveurs (1) attachés à des baies de disques (2) au travers d'un ou plusieurs commutateurs



Un cœur (fabric) (4) existe dès qu'il y a un commutateur, mais en pratique, c'est souvent 2 pour la redondance.

 Le protocole FC (Fiber Channel) régule les échanges dans le cœur.



HBA (5) et SP (6) sont les interfaces côté serveurs et côté

baies de disques

(55)

Comment un SAN fonctionne

56

1 Quand un serveur veut accéder à un périphérique de stockage dans le SAN, il envoie une requête niveau bloc = commande SCSI

2 Commandes SCSI encapsulatées dans paquets FC. . 3 Commutés par équipement réseaux et reçues par SP.

(56)

Composants SAN en détail

57

 Storage processors



Traite les requêtes des serveurs



Implémente la fonctionnalité Raid



Expose les LUN (Logical Unit), qui sont l'unité de stockage (disques virtuels) vue par les serveurs

 Une LUN peut être un groupe RAID ou une partie d'un groupe RAID

 Une Meta LUN aggrège plusieurs groupes RAID similaires

(57)

Amélioration performance/fiabilité

58

 Multi-chemins:plusieurs chemeins possibles pour accéder au LUNs dans le cœurs du SAN

 Baie de disque Active/Active:

Des SP distincts peuvent accéder simultanément une même LUN

 Active/Passive, SPs travaillent en parallèle, mais sur des

LUNs différentes

(58)

Adressage/Routage/Gestion de Sessions

59



Adressage:



WWN (World Wild Name) assignées par vendeurs

 64 bits, similaires aux adresses MAC



Puis, 2 types d'adresses dynamiques :

 Permet le routage des données

 Similaire aux adresses IP

 24 bits en mode fabric (cœur) assignées par les commutateurs FC



Gestion de Session : maintient ordre des données, etc.



Perdre des données n'est pas possible → contrôle de

flux

(59)

60

(60)

61

(61)

Gestion Accès aux LUNs

62



Zoning



Contrôle d'accès dans le SAN



Définit quel HBA peut parler à quel SP



Typiquement, une zone par groupe de serveurs utilisant une LUN partagée ‏



SPs et HBAs peuvent être dans plusieurs zones → équivalent aux VLANs



Masquage de LUN



Contrôle quels serveurs ont droit d'écrire sur quelle LUN



Implémenté au niveau du SP (ou du serveur)

(62)

Gestion Accès aux LUNs

63

(63)

Gestion Accès aux LUNs

64

 Zoning:

(64)

Backup

65

 Serveurs de bande ou

 Évolution en cours : serveur de bande virtuel.



Ressemble à un serveur de bandes classique



Mais dispose d'un ensemble de disques en amont et les bandes seulement en aval



Intérêt.

 Disques sont plus rapides

 Copies sur bande en tâche de fond

(65)

Types de back-up

66



LAN free: le client à back-uper envoie ses données au lecteur de bande via le SAN



Client free: le serveur de back-up a ses propres

disques attachés au SAN et les SP lui permettent de voir directement les LUNs et de les backuper.



Server free: plus de serveurs de back-up. C'est le SP qui assure cette fonctionnalité



Le serveur gère les méta-données mais plus les données

(66)

Types de back-up

67

Routeur = Faux ami – convertit de FC

en //

(67)

SAN d' EURECOM

68

(68)

69

(69)

EMC² Clariion CX300 Disk Bay

• 2 processors CPU at 800 Mhz.

• 2 GB cache memory.

• 4 connexions 2Gb/s.

• Support up to 64 servers in high availability mode (128 connections).

• Up to 4 Disk Array Enclosure DAE.

• Up to 60 (4 x 15) disks of 146 GB 10.000 rotations/min and/or ATA 320 GB à 5400 rotations/min.

• Up to 50 000 I/Os per second.

• Up to 680 MB of total aggregate rate.

• Up to 512 LUNs.

70

(70)

71

(71)

Affectation des LUNs aux serveurs

Lun id Raid Groupid Taille Go

Systeme de

Fichiers Host1 Host2 Host3

Storage Processor

0 0 11 DART NAS rasta_server2_0 rasta_server2_1 Auto

6 0 240 Data NAS rasta_server2_0 rasta_server2_1 Auto

7 0 240 Data NAS rasta_server2_0 rasta_server2_1 Auto

8 1 250 /users murena arumbaya A

9 1 250 /datas murena arumbaya B

10 1 300 /unsaved murena arumbaya A

11 1 150 B

12 1 100 A

13 1 20 B

14 2 100 P:\profiles karma A

15 2 300 F:\datas karma B

16 3 350 /imap dina A

17 3 450 /archives murena arumbaya B

18 3 270 /laptop murena arumbaya A

72

(72)

Challenges/Solutions pour Eurecom

 Améliorer disponibilité des données

– Machines Unix utilisant NFS.

– Machines Windows utilisant SMB/CIFS.

 Maximiser utilisation du SAN

 Passage à l'échelle

 Maintenance

 Performances

 Sun Cluster HA 3.1

● NFS Agent

● Samba Agent

 EMC PowerPath (multiple paths in fabric)‏

 DAE - EMC MetaLUN

 Symmetric Cluster

 Symmetric Cluster Active/Active.

73

(73)

Sun Cluster Architecture

74

(74)

Montage des LUNs

 Vue solaris des disques

– /dev/dsk/c_t_d_s_

– Controller id = HBA ID from Sun Server.

– Target id = WWN of Clariion SP

– Disk id = Lun identifier

– Slice id = partition number.

75