Hadoop Distributed File System (HDFS)
Data science Master 2 ISIDIS
S´ebastien Verel verel@lisic.univ-littoral.fr
http://www-lisic.univ-littoral.fr/~verel
Universit´e du Littoral Cˆote d’Opale Laboratoire LISIC Equipe OSMOSE
Introduction
Syst` eme de fichier - File Sytem
Rappels `a travers une question :
Qu’est-ce qu’un syst`eme de fichier (File System) ?
Quelles sont les commandes relatives `a un FS ? Quelles sont les propri´et´es attendues d’un FS ?
Introduction
Syst` eme de fichier - File Sytem
Rappels `a travers une question :
Qu’est-ce qu’un syst`eme de fichier (File System) ?
Quelles sont les caract´eristiques d’un FS ? Quelles sont les commandes relatives `a un FS ? Quelles sont les propri´et´es attendues d’un FS ?
Nouvelles probl´ ematiques, nouvelles solutions
Nouveaux big besoins On d´esire :
Avoir acc`es aux donn´ees depuis de nombreux clients `a travers le r´eseau
Sauvegarder une tr`es grande quantit´e de donn´ees Garantir les services classiques d’un file system
Question :
Quelles solutions peut-on imaginer pour faire cela ?
Introduction
Hadoop Distributed File System (HDFS)
Hadoop Distributed File System (HDFS) est : un syst`eme de fichier (file system) un syst`eme de fichier distribu´e
Buts de ce File System
Stocker une grande quantit´e de donn´ee (fichiers)
Donner acc`es aux donn´ees `a de nombreux clients distribu´es sur le r´eseau
Garantir l’acc`es aux fichiers Remarque :
Projet de la fondation Apache, Open Source.
Support de cours
Bilel Derbel, Universit´e de Lille 1
Programmation Parall`ele et Distribu´e,
https://sites.google.com/site/bilelderbelpro/
home/teaching Benjamin Renaut,
MBDS universit´e de Nice Sophia Antipolis Cours big data,
http://cours.tokidev.fr/bigdata/
Source du concepteur Hordon :
https://fr.hortonworks.com/apache/hdfs/
