Master Data Management et intégration des données clients

(1)

Master Data Management et intégration des données clients

Patrick Aboussouan Salon du BI

6 novembre 2012

(2)

Objectifs de la présentation

• Aider les participants à mieux comprendre

• ce qu’est le MDM, notamment le MDM Client

• la valeur stratégique d'une solution de MDM Client

• les problèmes d'affaires ciblés

• les rôles et responsabilités associés au MDM

• les processus associés au MDM

• l’architecture de la solution

• Sensibiliser les participants à l'importance de

l'équilibre entre les aspects technologiques et non technologiques de la problématique

• Illustrer les risques et les pièges qui guettent les

initiatives MDM Client au moyen d'exemples concrets

Le quoi

Le pourquoi Le qui

Le comment

(3)

Table des matières

• La problématique

• Qu’est-ce que le MDM Client ?

• Comment bâtir un MDM Client ?

• Planifier

• Construire

• Entretenir

• Les pièges à éviter

• Conclusion

(4)

Table des matières

• La problématique

• Qu’est-ce que le MDM Client ?

• Comment bâtir un MDM Client ?

• Planifier

• Construire

• Entretenir

• Les pièges à éviter

• Conclusion

(5)

Définition préalable : données de référence

• Master Data Management : Gestion des données de référence

• Les données de référence sont les entités de données

fondamentales non transactionnelles d'une organisation et partagées par les différents processus d'affaires

Acteurs (Party) Produits et Services

Comptes/

Ententes

Unités Organi-

sationnelles Géographie Rubriques comptables

Etc.

5

(6)

Un paysage fragmenté

(7)

Qui dit vrai ?

Système A ID : DUP123

NOM : Frédéric Dupont DN: 1960/08/09

SEXE: M

NAS: 123 456 789

ADR: 123, rue Principale, Montréal, QC, H1A 1H1

TEL : (514) 878-1129

Système B ID : 0874672 NOM : F Dupond

DN: 09-08-60 SEXE: 1

ADR: 123 Principale, Montreal, PQ, H1A 1H1

TEL : +1-514-909-4321

Système C ID : 123456798 NOM : F A Dupont

DN: 08-09-1960 SEXE: Masculin NAS: 123 456 798

ADR: 456 rue Secondaire, St- Sauveur, Quebec, H1A 1H1

TEL : (450) 227-1129

Système N

ID : DUPF60080915 NOM : Fred A Dupont

ADR: 789 rue Centrale, Montréal, QC, H2B 2H2

TEL : (514) 878-1129

COUR: jean.dupont@hotmail.com

(8)

Répercussions commerciales importantes

M. Dupont, pouvez-vous nous dire quels sont tous les produits que vous avez achetés chez nous dans les dernières années ?

Mais Madame, vous me sollicitez pour m’offrir un produit que j’ai déjà !

- Mais je vous ai déjà informé de mon changement d’adresse il y a quelques jours!

- Ah bon ? Avec quel département avez-vous communiqué ?

J’ai rejeté la demande de M. Dupont, mais je ne savais pas que c’était un client Platine dans notre filiale de Québec.

Annie, tu ne peux pas t’imaginer. Je passe mon temps à faire du

rapprochement de données ! Je n’ai pas le temps de faire d’analyse.

Pourquoi nos projets informatiques coûtent-ils toujours aussi cher ?

(9)

Vue 360 ^o des clients : une priorité de l’industrie

(10)

Table des matières

• La problématique

• Qu’est-ce que le MDM Client ?

• Comment bâtir un MDM Client ?

• Planifier

• Construire

• Entretenir

• Les pièges à éviter

• Conclusion

(11)

Le MDM à la rescousse

Le Master Data Management (MDM), ou Gestion des données de référence, est une discipline d’entreprise impliquant les secteurs

d’activité et les technologies de l'information qui définit un ensemble de politiques, de processus et d’outils visant à définir,

stocker, maintenir, distribuer et imposer une vue uniforme, complète, fiable et à jour des données de référence au sein de

l’entreprise, et ce, indépendamment des canaux de

communications, des secteurs d'activité ou des subdivisions métiers ou géographiques.

Le MDM Client (ou Customer Data Integration/CDI) réfère au sous-domaine du MDM associé à la gestion des données de

référence Acteur

(12)

Meilleure version de la vérité

Système A ID : DUP123 NOM : Frédéric Dupont

DN: 1960/08/09 SEXE: M NAS: 123 456 789

ADR: 123 rue Principale, Montréal, QC, H1A 1H1

TEL : (514) 878-1129

DN: 09-08-60 SEXE: 1

ADR: 123 Principale, Montreal, QC, H1A 1H1

TEL : +1-514-909-4321

ADR: 456 rue Secondaire, St-Sauveur, QC, H1A 1H1

TEL : (450) 227-1129

Système N ID : DUPF60080915 NOM : Fred A Dupont

TEL : (514) 878-1129 COUR: jean.dupont@hotmail.com

EID : 958273945 NOM : Frédéric F Dupont

DN: 1960/08/09 SEXE: M NAS: 123 456 789

ADR PRINC: 123 rue Principale, Montréal, QC, H1A 1H1 TEL DOM : 514 878-1129

ADR SEC: 456 rue Secondaire, St-Sauveur, QC, J0R 1R1 TEL SEC : 450 227-1129

(13)

Qu’est-ce que la Vue 360 ^o ?

Identification

Coordonnées

Profil Réseau

relationnel

Comptes

(14)

Le MDM n’est pas qu’une solution

technologique

(15)

La solution technologique en un coup d’œil

(16)

Des processus interreliés

Gouvernance des données

Intendance de données

Gestion de la solution technologique

Vente/CRM

Gestion des commandes Gestion des

comptes à recevoir Soutien à la

clientèle

Données de référence

Client

Processus MDM

Processus d’affaires

Gestion des règles de divulgation et

d’accès

On veille à la qualité des

données

On produit et consomme les données

(17)

Processus MDM

Establishes strategy, policies, standards, processes, roles, responsibilities,

disclosure and access rules,

metrics & controls

Information Technologies

 Perform ongoing data quality task resolution

 Improve data entry validation

 Configure

data quality task generation & reports

 Configure access rules

Data Stewards

Data Quality Improvement

Loop

Data Governance

Master Data

Data Producers &

Consumers

(18)

Qu’est-ce que la qualité des données ?

(19)

Gouvernance de données

(20)

Intendance de données

(21)

Gestion de la qualité des données

Profilage

Validation

Normalisation

Nettoyage Enrichissement

Appariement

Résolution de conflit

(22)

Qui est propriétaire du MDM Client ?

• Les données de référence clients sont partagées : il n’y a pas 1 propriétaire du MDM Client, mais des copropriétaires avec des aires communes et des aires privatives.

• De nombreuses fonctions commerciales y contribuent d’une manière ou une autre Tous les fonctions commerciales sont responsables de maintenir les données

clients conformes aux politiques de gouvernance et aux normes de qualité établies

• Il est essentiel de créer un partenariat de collaboration

• Secteurs commerciaux, gouvernance des données, intendance des données,

architecture, équipes de projet ²²

(23)

MDM vs …

(24)

Table des matières

• La problématique

• Qu’est-ce que le MDM Client ?

• Comment bâtir un MDM Client ?

• Planifier

• Construire

• Entretenir

• Les pièges à éviter

• Conclusion

(25)

Le rendement du capital investi

• Malgré les nombreux bénéfices récoltés après coup, il est très difficile de démontrer au départ la valeur économique d'une initiative MDM

• La meilleure façon d’évaluer les bénéfices du MDM est de déterminer les coûts associés à des données de référence de piètre qualité et aux efforts requis pour compenser pour des processus sous-optimaux

• 21% des entreprises aux ÉU estiment que cela leur coûte entre 10 et 100 millions $/an ; 6% au-delà de 50 millions (Dr Dave Waddington, Senior VP and Head of Research, The Information Difference, June 2008)

(26)

Un partenariat TI – Affaires

• De nombreuses initiatives MDM trébuchent pour des raisons associées à des problèmes organisationnels et de gouvernance plutôt qu'à des

problèmes technologiques

• Il est donc essentiel :

• d’harmoniser la vision MDM Client avec la vision d'affaires

• Compte tenu de l'ampleur de la tâche, d'obtenir le parrainage indéfectible de la haute direction

• d’impliquer les gens d'affaires. Une initiative MDM Client doit être cogérée par les gens d'affaires et les TI

• d’élaborer un programme de communication autour du MDM afin que les parties prenantes soient informées en tout temps et que leurs attentes soient

bien gérées ²⁶

(27)

Organigramme type

Escalade

Délégation des responsabilités

Responsabilités Rôles

Parrainage

Fournit fonds et ressources

Soutient le programme de gouvernance des données

Haute direction

Orientations et stratégie d'entreprise Définit les orientations en matière de besoins de l'entreprise

Soutient les exigences en données et en technologie

Propriétaires des principaux secteurs et processus commerciaux

Gouverneur des données

Chef de l’architecture d’entreprise

Politiques et procédures

Établit les politiques de gouvernance des données, les procédures et les normes pour les données, les droits d’accès, les processus et les technologies.

Facilite la gestion du processus de gouvernance

Comité de gouvernance des données Intendants de données

Responsables des secteurs et des processus commerciaux

Architectes d’entreprise

Analystes d’affaires d’entreprise

Mise en œuvre

Conçoit et met en œuvre les politiques et les procédures relatives aux données au sein des processus commerciaux et des applications, puis les exécute au quotidien

Intendants de données Architectes d’entreprise

Équipes de projets: architectes de solution, architectes de données, analystes d’affaires, analystes, concepteurs, développeurs, DBA, etc.

Niveau haute direction

Niveau stratégique

Niveau Gouvernance de données

Niveau d’exécution

(28)

Un plan de transition prudent

% Acteurs Vue

Cible 360^o

100%

(29)

Table des matières

• La problématique

• Qu’est-ce que le MDM Client ?

• Comment bâtir un MDM Client ?

• Planifier

• Construire

• Entretenir

• Les pièges à éviter

• Conclusion

(30)

Composants fonctionnels d’un MDM Client

Référentiels de données

Acteur

Intégration

Publication/

Synchro- nisation Services

d’accès aux données de référence

(CRUD)

Consolidation des données

Identification Appariement Normali-

sation, Validation, Nettoyage

Gestion des références

croisées

Homolo- gation et création du

Golden Record Détection de

variations de données

(CDC)

Outils d’intendance de données

Édition des règles d’homologation

Gestion des relations et

des hiérarchies

Utilitaires et rapports

(vues, recherche,

etc.)

Journalisation et gestion de l’historique

Journa- lisation pour

fins d’audit

Gestion des versions et

de l’historique ETL

Sécurité et confidentialité

Authenti-

fication Autorisation

Gestion des règles de divulgation

Gestion des rôles

Établisseme nt des relations et

des hiérarchies

Produit & Service Instrument financier Entente Géographie Unité organisationnelle Finances/Comptabilité Canal de distribution Actif

Tables de référence Profilage de

données

Résolution des tâches Appariement Désapparie

ment

Gestion des métadon-

nées Enrichis-

sement au moyen de sources externes

Application des règles

de divulgation

(31)

Choix du produit

• Construire un MDM Client est une initiative complexe qui implique une multitude de technologies

• Cœur : engin d’appariement, engin de création de l’enregistrement de référence, etc.

• Mais aussi : BD, outil de profilage de données, services Web, ETL, ESB, etc.

• Se rappeler

• qu’un produit ne couvre que 70-80% des besoins d’une entreprise. La panacée n’existe pas.

Le reste devra être développé

• le produit est essentiel, mais ne constitue qu’une infime partie du projet. La complexité réside dans l’intégration de la solution dans l’écosystème de l’entreprise : intégration, consolidation, synchronisation, etc.

31

(32)

Modèles d’architecture

• 4 modèles types

• Référentiel de type registre

• Référentiel de consolidation

• Référentiel de coexistence

• Référentiel transactionnel

(33)

Référentiel de type registre

(34)

Référentiel de consolidation

(35)

Référentiel de coexistence

(36)

Référentiel transactionnel

(37)

Normalisation

Système A MDM Client Système A MDM Client

Country Pays ID Piece

d'identite

Canada Arménie Carte maladie CAM

USA Canada P. de conduire Permis de

conduire

France États-Unis Autre Passeport

USSR France Carte de

citoyenneté

Russie Autre

Ukraine Ukraine

Système A MDM Client

Phone Telephone

Main Domicile

Alternate Cellulaire

Bureau Chalet

?

(38)

Appariement/Dédoublonnage (Matching) : clé de voûte du MDM Client

(39)

Appariement : faux positifs et faux négatifs

(40)

Références croisées

40 Système A

ID : DUP123 NOM : Frédéric Dupont

DN: 1960/08/09 SEXE: M NAS: 123 456 789

TEL : (514) 878-1129

DN: 09-08-60 SEXE: 1

TEL : +1-514-909-4321

TEL : (450) 227-1129

Système N ID : DUPF60080915 NOM : Fred A Dupont ADR: 789, rue Centrale, Montréal, QC,

H2B 2H2 TEL : (514) 878-1129 COUR: jean.dupont@hotmail.com

Système ID EID

A DUP123 958273945

B 0874672 958273945

C 123456798 958273945

N DUPF60080915 958273945

(41)

Homologation (Survivorship) et création de l’enregistrement de référence (Golden Record)

Système X MDM Client Système Y

Champ Valeur Mise à jour Champ Valeur Mise à jour Champ Valeur Mise à jour

ID DUP123 2003-08-17 EID 958273945 ID 874672 2010-04-28

Prénom Frédéric 2003-08-17 Prénom Frédéric 2003-08-17 Prénom

Nom Dupont 2003-08-17 Nom Dupont 2003-08-17 Nom F Dupond 2010-04-28

DN 1960-09-08 2003-08-17 DN 1960-08-09 2010-04-28 DN 09-08-60 2010-04-28

SEXE M 2003-08-17 SEXE M 2010-04-28 SEXE 1 2010-04-28

NAS 123 456 789 2003-08-17 NAS 123 456 789 2003-08-17 NAS 123 456 798 2010-04-28

ADR

123 rue Principale Montréal, PQ H1A 1H1

2012-12-11 ADR

123 rue Principale Montréal, QC H1A 1H1

2012-12-11 ADR

789 rue Centrale Montréal, QC H2B 2H2

2011-09-26

TEL (514) 878-1129 2012-12-11 TEL (514) 878-1129 2012-12-11 TEL 1-514-909-4321 2011-09-26

Enregistrement de référence (Golden

Record) Légende : Règles d'homologation (Survivorship)

Le plus récent l'emporte

La source la plus fiable (après profilage) pour ce champ l'emporte Le plus complet l'emporte

(42)

Génération du Golden Record

Système A ID : DUP123 NOM : Frédéric Dupont

DN: 1960/08/09 SEXE: M NAS: 123 456 789

TEL : (514) 878-1129

DN: 09-08-60 SEXE: 1

TEL : +1-514-909-4321

TEL : (450) 227-1129

Système N ID : DUPF60080915 NOM : Fred A Dupont

TEL : (514) 878-1129 COUR: jean.dupont@hotmail.com

EID : 958273945 NOM : Frédéric F Dupont

DN: 1960/08/09 SEXE: M NAS: 123 456 789

ADR PRINC: 123 rue Principale, Montréal, QC, H1A 1H1 TEL DOM : 514 878-1129

ADR SEC: 456 rue Secondaire, St-Sauveur, QC, J0R 1R1 TEL SEC : 450 227-1129

(43)

Publication et synchronisation

MDM Client Système A

Système C

Système B

Système D

Chargement initial

Deltas aux heures

Deltas en temps quasi réel

Services en temps réel

Deltas en temps quasi réel

Chargement initial

Deltas hebdomadaires

Extractions mensuelles complètes Chargement initial

Deltas quotidiens

Chargement initial

Deltas quotidiens Chargement initial

Chargement initial

(44)

Table des matières

• La problématique

• Qu’est-ce que le MDM Client ?

• Comment bâtir un MDM Client ?

• Planifier

• Construire

• Entretenir

• Les pièges à éviter

• Conclusion

(45)

Métriques : mesurer pour mieux progresser

• La qualité des données est au cœur de la mission du MDM

• En l'absence de métriques permettant de mesurer la qualité des données et son incidence sur les affaires, il

n'existe aucune base sur laquelle mesurer les progrès engendrés par une initiative MDM

• Établir ces métriques et définir des objectifs de succès en harmonie avec les objectifs stratégiques de

l'entreprise

• Développer un tableau de bord périodique de manière à évaluer l'écart entre les objectifs et le réel

0 1 2 3 4

Integrity5

Accuracy

Timeliness

Validity Consistency

Completeness

Tableau de bord Qualité des données

(46)

Atteindre la maturité des processus

Tableau de bord de maturité des processus MDM Un exemple

Processus 1 -

Embryonnaire

2 - Planifié, géré et reproductible

3 - Défini, maîtrisé et

normalisé

4 - Quantifié, mesuré et

contrôlé

5 - Optimisé et continuel- lement enrichi Gouvernance de données

Intendance de données

Gestion des règles de divulgation et d'accès Gestion de la solution technologique

Gestion de projet

Désorganisé Organisé

(47)

Table des matières

• La problématique

• Qu’est-ce que le MDM Client ?

• Comment bâtir un MDM Client ?

• Planifier

• Construire

• Entretenir

• Les pièges à éviter

• Conclusion

(48)

Parrainage et financement

• Réalisation du MDM exclusivement comme un projet informatique

• Manque d’adhésion de la haute direction et de collaboration de toutes les parties prenantes

• Appropriation/détournement du projet MDM par un secteur d’affaires ou un projet particulier, notamment pour le

financement et le calendrier de réalisation

• Sous-estimation de la sensibilité politique des règles de

divulgation

(49)

Gestion de projet

• Immaturité de la gestion de projet (estimation des coûts, calendrier de réalisation, gestion du risque, etc.)

• Gestion du projet comme un projet d’intégration de données (avec un début et une fin) plutôt que comme un actif

d’entreprise pérenne

• Perte du contrôle de la portée

• Sous-estimation du manque de qualité des données dans les systèmes sources (GIGO) et de son impact sur les efforts de consolidation et de normalisation

• Essoufflement de l’équipe de projet et de la direction

(50)

Architecture, conception, réalisation

• Abandon d’une architecture cible évolutive au profit d’un projet spécifique

• Refus de modifier les systèmes patrimoniaux

• Immaturité des équipes de développement et de test

• Sous-estimation des obstacles techniques (mapping, élaboration du modèle canonique, survivorship, boucles infinies, séquencement des messages, etc.)

• Introduction brutale d’un trop grand nombre de nouvelles technologies

• Complexité des tests intégrés bout en bout et de la mise

en place d’environnements de test appropriés

(51)

Table des matières

• La problématique

• Qu’est-ce que le MDM Client ?

• Comment bâtir un MDM Client ?

• Planifier

• Construire

• Entretenir

• Les pièges à éviter

• Conclusion

(52)

Projet complexe…

• Obtenir l’adhésion indéfectible de la direction

• Prévoir un budget transversal récurrent et des budgets spécifiques aux secteurs d’affaires

• S’assurer d’avoir la maturité nécessaire pour s’y embarquer à tous les niveaux

• S’équiper d’une équipe technique solide

• Bien structurer les différents rôles et responsabilités

• Faire une planification prudente avec un budget et

des dates réalistes auxquelles tout le monde adhère

(53)

… mais le jeu en vaut la chandelle

• Vue uniforme, complète, fiable et à jour des données de référence client

• Capacité analytique accrue

• Diminution des erreurs dans la relation avec nos clients

53

• Diminution des coûts de consolidation et de rapprochement des données

• Diminution des coûts informatiques

Des clients mieux servis !

Une organisation et des employés plus efficaces !

(54)

(55)

Master Data Management et intégration des données clients