Entrepôt  de  données   et  l’Analyse  en  ligne

Entrepôt  de  données   et  l’Analyse  en  ligne  

Maguelonne  Teisseire  

Hugo  Alatrista  Salas  –  hugo.alatrista-­‐salas@teledetec9on.fr   Flavien  Bouillot  

Déroulement  du  cours  

•  17  janvier  :  cours  et  TD  

•  20  janvier  :  cours?  et  TP  

•  20  janvier  :  CC  noté  

•  ý  Une  par9e  de  l’examen  final  portera  sur  ce  cours  

2  

Plan  de  cours  

1.  Systèmes  d’informa9on  décisionnelles   2.  Entrepôt  de  données  (Data  Warehouse)   3.  Analyse  Mul9dimensionnelle  

3  

Systèmes  d’information  décisionnelles  

4  

Contexte    

Pilotage

Indicateurs

Operations

(Administratif + Métier) 5  

Contexte    

Pilotage

Indicateurs

Operations

(Administratif + Métier)

Décisionnel  

Fonc9onnel  

6  

Problématique  1  

•  Les  entreprises  possèdent  de  nombreuses  sources  de  données   poten9ellement  exploitables    

7  

Problématique  2  

•  Les  sources  de  données  sont  disséminées  sur  diverses  bases   de  données    

Ventes  

Stock  

RH  

8  

Problématique  3  

•  Le  besoin  d’analyse  exprimé  est  transversal  afin  de  perme`re   la  prise  de  décision  stratégique    

Ventes   Stock  

RH  

9  

Problématique  4  

•  Type  de  données  :  données  opéra9onnelles  (de  produc9on)    

•  Bases  de  données,  fichiers,  9ckets  case,  bulle9ns  de  paie,  ...    

•  Caractéris9ques  des  données  :    

•  Distribuées  :  systèmes  éparpillés    

•  Hétérogènes  :  systèmes  et  structures  de  données  différents    

•  Détaillées  :  organisa9on  de  données  selon  les  processus   fonc9onnels  et  données  trop  abondantes  pour  l’analyse    

•  Peu/pas  adaptées  à  l’analyse  :  des  requêtes  lourdes  peuvent   bloquer  le  système  transac9onnel    

•  Vola9les  :  pas  d’historisa9on  systéma9que     ₁₀  

L’idée  –  centralisation  1  

Ventes   Stock  

RH   11  

L’idée  –  centralisation  2  

Ventes   Stock  

RH  

Data  Warehouse  

+  OLAP   12  

Du  transactionnel  au  décisionnel  

Schème opérationnelle

Données opérationnelles

Schème du Data Warehouse

Données consolidées

Schème utilisateur

Données derivées

Système OLTP Data Warehouse Applications OLAP

13  

Pour  quoi  pas  utiliser  OLTP?  

OLTP   Data  Warehouse  

Données   Atomiques  

Orientée  applica9on   A  jour  

Dynamiques  

Résumées   Orientée  sujet   Historiques     Sta9ques     U9lisateurs   Employés  de  bureau  

Nombreux   Concurrents   Mises  à  jour  

Requêtes  prédéfinies   Réponses  immédiates    

Analystes     Peu  

Non  concurrents   Interroga9ons  

Requetés  spécifiques   Réponses  moins  rapides  

Access  à  peu  de  données   Access  à  beaucoup  d’informa9on   14  

Métaphore  du  restaurant    

h`p://www.kimballgroup.com/2004/01/01/data-­‐warehouse-­‐dining-­‐experience/  

Raw  materials   The  kitchen   The  dinning  room  

Prepara1on  :  the  kitchen   Quality,  consistency,  and   integrity  

Presenta1on  :  the  dinning   room    

Food,  decor,  service,  cost  

15  

L’entrepôt  de  données     (Data  Warehouse)  

16  

Les  fondateurs  

Edgar  Frank  Codd  

•  Fondateur  du  modèle  rela9onnelle  (1970)  

•  Ecrit  les  douze  lois  du  traitement  analy9que  en  ligne  (1993)  

Ralph  Kimball  

•  Des  premiers  travaux  sur  la  informa9que   décisionnelle  ‘70  

•  Proposé  le  modèle  Bo`on-­‐up   Bill  Inmon  

•  Formalisé  du  concept  d’entrepôt  de   données  (1994)  

•  Proposé  le  modèle  Top-­‐down  

17  

DéNinition  (B.  Inmon)  -­‐  1994  

•  «  Un  entrepôt  de  données  est  une  collec9on  de  données   orientées  sujet,  intégrées,  non  vola9les  et  historiées,  

organisées  pour  le  support  d’un  processus  d’aide  à  la   décision  »    

•  «  Un  entrepôt  de  données  ne  s’achète  pas,  il  se  construit…  »    

18  

Les  approches  académiques    

R.  Kimball  

www.kimballgroup.com     B.  Inmon  

www.inmoncif.com    

Processus   Bo`om-­‐up   Top-­‐down  

Organisa9on   Data  marts   Data  Warehouse  

Schéma9sa9on   Etoile   Flocon  

19  

Approche  Top-­‐down  (Inmon)  

Qui  veut   par9ciper?  

Ventes   Stock  

RH  

Nous!!!  

20  

Schéma  général    

Ventes   Stock  

RH  

ETL  

RH  

Stock  

Ventes   Data  Warehouse  

Datamarts  

21  

Approche  Down-­‐top  (Kimball)  

Veux-­‐tu  

par9ciper?   Veux-­‐tu  

par9ciper?  

Oui  

Oui  

RH   Stock  

22  

Schéma  général    

Ventes   Stock  

RH  

ETL  

RH  

Stock  

Ventes   Data  Warehouse  

Data  marts  

Bus  

23  

Data  Mart  

•  Un  magasin  de  données  (Data  mart)  est  un  sous-­‐ensemble  de   l'entrepôt  

•  Il  correspond  à  une  classe  de  décideurs  intéressés  par  le   même  thème  

•  Son  volume  réduit  permet  un  accès  plus  rapide  aux  données    

•  Généralement  le  magasin  est  modélisé  sous  forme   mul9dimensionnelle    

•  Les  ou9ls  ETL  peuvent  être  u9lisés  à  ce  niveau    

24  

Les  phases  

1.  La  concep9on  (et  la  phase  ETL)   2.  La  phase  de  structura9on  

3.  La  phase  OLAP  

25  

Conception    

•  Piloter  quelle  ac9vité́  de  l’entreprise  

•  Déterminer  et  recenser  les  données  à  u9liser  

•  Définir  les  aspects  techniques  de  la  réalisa9on  

•  Construire  les  modelés  de  données  

•  Me`re  au  point  les  démarches  d’alimenta9on  (ETL)  

•  Définir  les  stratégies  d’administra9on  

•  Définir  des  espaces  d’analyse  

•  Définir  le  mode  de  res9tu9on  

•  …   ₂₆  

ETL  

Alimenta9on  du  Data  Warehouse  et  extrac9on  des  Data  marts  

•  Extract  

•  Accès  aux  différentes  sources  

•  Selon  des  règles  (déclencheurs)  ou  requêtes    

•  Périodique  

•  Transform    

•  Unifica9on  des  modèles  (sources  hétérogènes)    

•  Ges9on  des  inconsistances  des  données  sources,  élimina9on  des   doubles,  etc.    

•  Load  

•  Chargement  dans  l'entrepôt  ou  dans  les  magasins  

•  Périodicité́  parfois  longue     ²⁷  

Ex.  d’intégration  des  données  

m,  f   h,  f  

homme,  femme  

homme,  femme  

Transforma9on  

FRF   USD   EUR  

EUR  

Transforma9on  

char(10)   dec(13,3)   numeric(7)  

numeric(7)  

Transforma9on  

28  

La  structuration  1  

1.  Extrac9on  des  données    

•  Besoin  d’ou9ls  spécifiques  pour  :  

•  Accéder  aux  bases  de  produc9on  (requêtes  sur  des  BD  hétérogènes)  

•  Améliorer  la  qualité́  des  données  :  ne`oyer,  filtrer,  …  

•  Transformer  les  données  :  intégrer,  homogénéiser  

•  Dater  systéma9quement  les  données    

29  

La  structuration  2    

2.  Référen9el    

•  La  métabase  con9ent  des  métadonnées  :  des  données  sur  les   données  de  l’entrepôt  de  données  

•  Quelles  sont  les  données  «entreposées»,  leur  format,  leur   Significa9on,  leur  degré́  d’exac9tude  

•  Les  processus  de  récupéra9on/extrac9on  dans  les  bases  sources  

•  La  date  du  dernier  chargement  de  l’entrepôt  

•  L’historique  des  données  sources  et  de  celles  de  l’entrepôt  

30  

La  structuration  3    

2.  Les  modèles  (ils  sont  détaillées  ensuite)  

•  Modèle  en  étoile  

•  Modèle  en  flocon    

•  Modèle  en  constella9on  

31  

Modèle  en  étoile  

•  Une  table  de  faits  :  iden9fiants  des  tables  de  dimension  ;  une  ou   plusieurs  mesures  

•  Plusieurs  tables  de  dimension  :  descripteurs  des  dimensions

•  Une  granularité́  définie  par  les  iden9fiants  dans  la  table  des  faits  

•  Avantages  :    

•  Facilité  de  naviga9on  

•  Performances  :  nombre  de  jointures  limité  ;  ges9on  des  données   creuses.  Ges9on  des  agrégats  

•  Fiabilité́  des  résultats    

•  Inconvénients  :    

•  Toutes  les  dimensions  ne  concernent  pas  les  mesures  Redondances   dans  les  dimensions  

•  Alimenta9on  complexe     32  

Schéma  en  étoile  

  Table  de    

faits   Dimension  1  

Dimension  2  

Dimension  3  

Dimension  n   33  

Exemple  de  schéma  en  étoile  

Faits  

numComm   codProd   cleDate   quan9te   prix  

Commande   numComm   detaille  

Produit   codProd   detaille   categorie  

Date   cleDate   jour   mois  

annee   34  

Modèle  en  Nlocon  

•  Le  modèle  doit  être  simple  à  comprendre  :  on  peut  augmenter  sa   lisibilité́  en  regroupant  certaines  dimensions  

•  On  définit  ainsi  des  hiérarchies  :  celles-­‐ci  peuvent  être   géographiques  ou  organisa9onnelles  

Mod.  flocons  de  neige  =  Mod.  étoile  +  normalisa5on  des  dimension    

•  Avantages  :    

•  Réduc9on  du  volume  

•  Perme`re  des  analyse  par  pallier  (drill  down)  sur  la  dimension   hiérarchisée  

•  Inconvénients  :  

•  Naviga9on  difficile  

•  Nombreuses  jointures   ³⁵  

Schéma  en  Nlocon  

    Table  de    

faits  

  36  

Exemple  de  schéma  en  Nlocon  

Faits  

numComm   codProd   cleDate   quan9té   prix  

Commande   numComm   detaille    

Produit   codProd   detaille   codCate  

Categorie   codCate   descrip9on  

Date   cleDate   Jour   cleMois  

Mois   cleMois   mois  

cleAnnee  

Annee   cleAnnee   annee  

37  

Modèle  en  constellation  

•  La  modélisa9on  en  constella9on  consiste  à  fusionner  plusieurs   modèles  en  étoile  qui  u9lisent  des  dimensions  communes.    

•  Un  modèle  en  constella9on  comprend  donc  plusieurs  tables   de  faits  et  des  tables  de  dimensions  communes  ou  non  à  ces   tables  de  faits.    

38  

Concernant  l’hiérarchie    

Hiérarchie  Simple   Hiérarchie  Mul1ple  

Produit   Categorie  

Jour  

Mois   Semaine  

Annee  

39  

L’analyse  multidimensionnelle  

40  

L’analyse  multidimensionnelle  

•  Objec9f  :  obtenir  des  informa9ons  déjà̀  agrégées  selon  les   besoins  de  l’u9lisateur  :  simplicité́  et  rapidité́  d’accès    

•  HyperCube  OLAP  :  représenta9on  de  l’informa9on  dans  un   hypercube  à  N  dimensions    

•  OLAP  (On-­‐Line  Analy9cal  Processing)  :  fonc9onnalités  qui   servent  à  faciliter  l’analyse  mul9dimensionnelle  :  opéra9ons   réalisables  sur  l’hypercube    

41  

(Hyper)Cube  de  données  1  

Faits  

numComm   codProd   cleDate   quan9te   prix  

Commande   numComm   detaille  

Produit   codProd   detaille   categorie   Date  

cleDate   jour   mois  

annee   Commande  

Produit  

Fait  

42  

Composantes  d’un  cube  

•  Chaque  cellule  du  cube  correspond  à  une  occurrence  du  fait  

•  Chaque  cellule  con9ent  des  indicateurs  (variables,  métriques   ou  mesures)  

•  Les  axes  d'analyse,  également  appelés  dimensions,   con9ennent  un  ensemble  de  valeurs  

•  Des  hiérarchies  sont  spécifiées  sur  les  dimensions  afin  de   perme`re  une  consolida9on  des  indicateurs    

•  Chaque  indicateur  a  une  fonc1on  d’agrégat  afin  d’être   exploité  sur  la  hiérarchie    

43  

(Hyper)Cube  de  données  2  

Commande  

Produit  

Axes   d’analyse  

quan9te   prix  

Indicateurs  

Fait  

44  

Exemple  1  

MAGASIN

Paris

Lille

Londres

Tokyo France

Anglaterre

Japan Europe

Asie

PRODUITS

Sac-à-main

Bottes

Foulard Gants Cuir

Laine

2012 Janvier

Décembre Janvier

Décembre 2013

DATES Quantité Montants VENTES

45  

Exemple  2  

MAGASIN

34000

34090

59100

08090 Montpellier

Lille

Ardennes Sud

Nord

JEUX VIDEO

Resident Evil

Darkness 2

Fifa 2013 PES 2014 Action

Sport

2012 Janvier

Décembre Janvier

Décembre 2013

DATES Unités vendues

Prix unitaire VENTES

46  

L'implémentation  du  OLAP    

•  MOLAP  (Mul9dimensional  OLAP)  

•  Le  cube  est  stocké  sous  forme  propriétaire  par  un  SGBD   mul9dimensionnel  dans  une  matrice  

•  On  trouve  en  colonne  tous  les  axes,  puis  tous  les  indicateurs  

•  Chaque  cellule  du  cube  est  stockée  par  une  ligne  dans  la  matrice    

•  ROLAP  (Rela9onal  OLAP)    

•  Le  stockage  peut  s'effectuer  sur  un  SGBD  rela9onnel  classique  

•  Le  cube  est  stocké  selon  le  modèle  en  étoile  (flocon  ou   constella9on)  

•  HOLAP  (Hybride  OLAP)    

•  ROLAP  +  MOLAP   ₄₇  

Operateurs  algébriques  OLAP  

•  Modèle  rela9onnel  :  projec9on,  jointure,  restric9on,  union,   division,  intersec9on,  etc.  

•  Modèle  OLAP  :  drill-­‐up,  drill-­‐down,  slice,  dice,  pivot,  switch,   etc.  

48  

Catégories  d'opérations  OLAP  1  

•  Restructura9on  :  opéra9ons  liées  à  la  structure,  manipula9on   et  visualisa9on  du  cube  :    

•  Rotate/pivot  :  effectuer  à  un  cube  une  rota9on  autour  d’un  de  ses  trois   axes  passant  par  le  centre  de  2  faces  opposées,  de  façon  à  présenter  un   ensemble  de  faces  différents  

•  Switch  :  consiste  à  inter-­‐changer  la  posi9on  des  membres  d’une   dimension    

•  Split  :  consiste  à  présenter  chaque  tranche  du  cube  et  de  passer  d’une   présenta9on  tridimensionnelle  d’un  cube  à  sa  présenta9on  sous  la   forme  d’un  ensemble  de  tables    

•  Nest  :  imbrica9on  des  membres  à  par9r  du  cube      

•  Push  :  combiner  les  membres  d’une  dimension  aux  mesures  du  cube     49  

Catégories  d'opérations  OLAP  2  

•  Granularité́  :  concerne  un  changement  de  niveau  de  détail  :   opéra9ons  liées  au  niveau  de  granularité́  des  données  :    

•  Roll-­‐up  :  consiste  à  représenter  les  données  du  cube  à  un  niveau  de   granularité́  supérieur  conformément  à  la  hiérarchie  définie  sur  la   dimension.  Une  fonc9on  d’agréga9on  (somme,  moyenne,  etc.)  en  

paramètre  de  l’opéra9on  indique  comment  sont  calculés  les  valeurs  du   niveau  supérieur  à  par9r  de  celles  du  niveau  inférieur    

•  Drill-­‐down  :  consiste  à  représenter  les  données  du  cube  à  un  niveau  de   granularité́  de  niveau  inférieur,  donc  sous  une  forme  plus  détaillée  (selon   la  hiérarchie  définie  de  la  dimension)    

50  

Catégories  d'opérations  OLAP  3  

•  Ensembliste  :  concerne  l’extrac9on  et  lʼOLTP  classique  :    

•  Slice  :  correspond  à  une  projec9on  selon  une  dimension  du  cube  

•  Dice  :  correspond  à  une  sélec9on  du  cube    

51  

Rotate/pivot  

2013   Foulard   Botes   Gants  

Nimes   40   60  

Lille   20   30  

Paris   10   20  

Foulard   2010   2011   2012   2013  

Nimes   50   60   40  

Lille   70  

Paris   100   30   10  

MAGASIN Nimes Lille

Paris

PRODUITS Gants

Foulard Botes

ANNEES

2010 2011 2012 2013

50 60 40

70

100 30 10

50 70

60 40

50 50 60

40 40

60

30 20

20

10

52  

Switch  

MAGASIN Nimes Lille

Paris

PRODUITS Gants

Foulard Botes

ANNEES

2010 2011 2012 2013

50 60 40

70

100 30 10

50 70

60 40

50 50 60

40 40

60

30 20

20

10

MAGASIN Nimes Lille

Paris

PRODUITS Gants

Foulard Botes

ANNEES

2010 2011 2013 2012

50 60 40

70

100 30 10

50 70

60 40

50 60 50

40

40 50

60 10

20

2013   Foulard   Botes   Gants  

Nimes   40   60  

Lille   20   30  

Paris   10   20  

2012   Foulard   Botes   Gants  

Nimes   40   50  

Lille   10   60  

Paris   20  

53  

Split  

Foulard   2010   2011   2012   2013  

Nimes   50   60   40  

Lille   70  

Paris   100   30   10  

Botes   2010   2011   2012   2013  

Nimes   70   40  

Lille   20   20  

Paris   30   30  

Gants   2010   2011   2012   2013  

Nimes   50   50   60  

Lille   70   10   30  

Paris   30   20  

MAGASIN Nimes Lille

Paris

PRODUITS Gants

Foulard Botes

ANNEES

2010 2011 2012 2013

50 60 40

70

100 30 10

50 70

60 40

50 50 60

40 40

60

30 20

20

10

54  

Nest  

MAGASIN Nimes Lille

Paris

PRODUITS Gants

Foulard Botes

ANNEES

2010 2011 2012 2013

50 60 40

70

100 30 10

50 70

60 40

50 50 60

40 40

60

30 20

20

10

Nimes   Lille   Paris  

Foulard  

2010   50   70   100  

2011   60   30  

2012   40  

2013   10  

Botes  

2010   70  

2011   20   50  

2012  

2013   40   20  

Gants  

2010   20  

2011   50   10  

2012   50  

2013   60   30   20  

nest(produit,  annee)  

55  

Push  

MAGASIN Nimes Lille

Paris

PRODUITS Gants

Foulard Botes

ANNEES

2010 2011 2012 2013

50 60 40

70

100 30 10

50 70

60 40

50 50 60

40 40

60

30 20

20

10

push(annee)   _{Foulard   Botes   Gants}  

Nimes  

2010     50   2011     60   2012     40  

2010    70       2013    40  

2011    50   2012    50   2013    60  

Lille  

2010   70        

2010     10   2012    50   2013    20  

2011    20       2013    30  

Paris  

2010     100   2011     30  

  2013    10  

    2012    40  

2011    50       2013    20  

56  

Roll-­‐up  et  Drill-­‐down  

•  Roll-­‐up  :  représente  les  données  du  cube  à  un  niveau  de   granularité́  supérieur  conformément  à  la  hiérarchie  définie   sur  la  dimension  

•  Drill-­‐down  :  représente  les  données  du  cube  à  un  niveau  de   granularité́  de  niveau  inférieur,  donc  sous  une  forme  plus   détaillée  

tout-­‐lieu  

nord   centre   sud  

Lille   …   Paris   …   Nimes   …   57  

Exemples  de  Roll-­‐up  

Foulard   Botes   Gants  

Nimes   150   110   160  

Lille   70   80   90  

Paris   140   20   80  

tout-­‐ANNEES  

MAGASIN Nimes Lille

Paris PRODUITS

Gants Foulard

Botes

ANNEES

2010 2011 2012 2013

50 60 40

70

100 30 10

50 70

60 40

50 50 60

40 40

60

30 20

20

10

220 90 40 10 10

60 110

tout-MAGASIN 58  

Exemple  de  Drill-­‐down  

MAGASIN Nimes Lille

Paris

PRODUITS Cuir

Laine

ANNEES

2010 2011 2012 2013

50 60 40

70

100 30 10

50 70

60 40

100 100

50

10

MAGASIN Nimes Lille

Paris

PRODUITS Gants

Foulard Botes

ANNEES

2010 2011 2012 2013

50 60 40

70

100 30 10

50 70

60 40

50 50 60

40 40

60

30 20

20

10

50 50

20

59  

Slide  (projection)  

MAGASIN Nimes Lille

Paris

PRODUITS Gants

Foulard Botes

ANNEES

2010 2011 2012 2013

50 60 40

70

100 30 10

50 70

60 40

50 50 60

40 40

60

30 20

20

10

π

2010   2011   2012   2013   Foulard   220   90   40   10  

Botes   90   20   60  

Gants   100   50   110  

220 90 40 10 10

PRODUITS Gants Foulard

Botes

ANNEES

2010 2011 2012 2013

60 90 110

50 60

110 100

20

tout-MAGASIN

10 40

90 220

60  

Dice  (selection)  

MAGASIN Nimes Lille

Paris

PRODUITS Gants

Foulard Botes

ANNEES

2010 2011 2012 2013

50 60

70

100 50

70 60

50 50 60

60

ventes  ≥  50  

MAGASIN Nimes Lille

PRODUITS Foulard

Botes

ANNEES 2010 2011

50 60

70 50

70 60

(MAGASIN  =  Nimes  OR  MAGASIN  =  Lille)  AND   (ANNEE  =  2010  OR  ANNEE  =  2011)  AND  

(PRODUITS  =  Foulard  OR  PRODUITS  =  Botes)    

61  

Langages  pour  OLAP  

•  SQL  étendu  (Extensions  de  SQL-­‐3  /  SQL-­‐99  pour  OLAP)  :    

•  Nouvelles  fonc9ons  SQL  d’agréga9on:  Rank,  N_9le  

•  Nouvelles  fonc9ons  de  la  clause  GROUP  BY  :    

•  ROLLUP    

•  CUBE  

•  GROUPING  SETS  (mul9ple  GROUP  Bys)    

•  Fenêtre  glissante  :    

•  WINDOWS/OVER/PARTITION  

•  MDX  (Mul9  Dimensional  eXpression)  :    

•  Langage  de  requêtes  OLAP    

•  Proposé  par  Microso„  (1997)     ⁶²  

Références  

•  Cours  Systèmes  d’informa9on  décisionnels,  E.  GRISLIN-­‐LE   STRUGEON  et  D.  DONSEZ    

•  Cours  de  Entrepôts  de  données  et  analyse  en  ligne,  Bernard   ESPINASSE    

•  h`p://www.kimballgroup.com/  

•  SQL  Server  Microso„  et  OLAP  

•  Cours  de  Introduc9on  aux  systèmes  d’informa9on   décisionnelle,  O.  Boussaid  

63