DQM (Data Quality Management)

• définir les règles et modalités de synchronisation des référentiels ou hub avec les systèmes opérationnels et de reporting, afin de garantir que tous les systèmes utilisent, à tout moment, les bonnes données (même valeur, même version).

Une solution MDM tend donc à couvrir l’ensemble des besoins de gestion des données de références. Nous invitons le lecteur à avancer dans le chapitre suivant pour une description complète des fonctions d’un outil MDM.

5.3 DQM (DATA QUALITY MANAGEMENT)

La gestion de la qualité des données a pour objectif de garantir la fiabilité des données et, via des méthodes de contrôle continu, de permettre le suivi et le main-tien de la qualité des données de l’entreprise.

Son positionnement en fait une brique indissociable des méthodologies MDM et Business Intelligence, et plus généralement, de tout processus visant à consolider et à harmoniser les données au sein du système d’information de l’entreprise. La motiva-tion des entreprises pour la mise en œuvre de telles solumotiva-tions est née de la prise de conscience qu’une mauvaise qualité des données génère des informations erronées pouvant entraîner des pertes financières importantes. Nous verrons que les outils de DQM sont aussi très utiles lors des phases de migration des données entre applica-tions.

Comme nous l’avons décrit au chapitre 2, les dimensions clés (intrinsèques) d’une gestion de la qualité de la donnée sont :

• Unicité : existe-t-il de multiples et redondantes représentations des mêmes instances de données dans l’ensemble des instances détenues ?

• Complétude : toutes les informations requises sont-elles disponibles ?

• Exactitude : les objets de données représentent-ils bien les valeurs « du monde réel » qu’elles sont censées modéliser ?

• Conformité : l’information doit-elle se conformer à des formats standard ?

• Intégrité : les relations importantes entre objets sont-elles toutes présentes ?

• Cohérence : deux instances distinctes de données du même objet sous-jacent produisent-elles de l’information conflictuelle ?

Les domaines fonctionnels couverts sont :

• Profilage : génération de statistiques, analyse d’anomalie et évaluation.

• Nettoyage et normalisation des données :

– conformité des valeurs aux domaines de restriction, aux constantes d’inté-grité et aux règles métier ;

– recomposition dans des dispositifs conformes aux standards industriels ou locaux, aux règles métier, et aux bases de connaissances.

• Analyse de similarité et consolidation : identification, liens et fusion des données similaires au sein des ensembles de données.

• Enrichissement : addition d’informations (par exemple, localisation géogra-phique du client).

• Surveillance : mise en place des contrôles permanents assurant la conformité des données vis-à-vis des règles métier définissant la qualité des données de l’entreprise.¹

5.3.1 Zoom sur l’évaluation des sources de données

Cette étape est souvent nommée « profiling » ou « quality assesment ». Elle repose sur une démarche maintenant classique :

• analyse des colonnes (indicateurs qualité pour la complétude des données) ;

• analyse des lignes (indicateurs statistiques de conformité) ;

• analyse des tables (détermine les dépendances fonctionnelles) ;

• analyse des clés primaires ;

• analyse croisée des tables (redondance des données) ;

• analyse des relations entre tables (clés étrangères ou secondaires) ;

• normalisation (prépare les données pour des analyses ultérieures facilitées).

Il est également nécessaire de confronter avec le métier :

• l’évaluation du modèle par la partie MOA du projet ;

• la complétion éventuelle des règles métier et du modèle de données par la MOA.

Notre présentation est largement inspirée des méthodes Informatica et IBM.

La figure 5.2 schématise les résultats obtenus à l’aide d’un outil DQM de profiling.

1. Voir notamment Informatica sur le sujet : http://www.informatica.com/products/data_quality/.

Voir aussi IBM (depuis de rachat d’Ascential) : http://www.redbooks.ibm.com/abstracts/

sg247508.html?Open et http://www.redbooks.ibm.com/abstracts/sg247546.html?Open

91 5.3 DQM (Data Quality Management)

Figure 5.2– Profiling et corrections des données

5.3.2 Zoom sur la qualité et la migration des données

La figure 5.3 explique comment améliorer la qualité des données pour un projet incluant une migration de données. Il s’agit d’un processus itératif d’évaluation et d’amélioration.

Figure 5.3 – Amélioration de la qualité des données dans un projet de migration de données

L’amélioration de la qualité de la donnée est un processus répété qui doit être mesurable, limité dans le temps (charge contre gains) et validé par les métiers.

Les étapes de la migration s’appuient donc sur des outils de DQM issus de l’offre des grands éditeurs ETL (Informatica, IBM, SAS, SAP/BO…). On combine en fait les outils d’ETL (Power Center pour Informatica, Datastage pour IBM), de profiling (Data Explorer pour Informatica, Information Analyser pour IBM) et de qualité des données (Data Quality pour Informatica, Qualitystage pour IBM). Le principe est, dans un premier temps, de transférer les données à migrer dans une base intermé-diaire et de les analyser. Cette analyse demande un travail préparatoire de charge-ment et de normalisation des données. On génère ensuite un rapport statistique dont chaque écart pourra être challengé en atelier afin d’établir des actions correctrices.

La deuxième étape consiste à améliorer la qualité de ces données via les mécanis-mes évoqués de normalisation, déduplication, consolidation et enrichissement. Ces données de meilleure qualité sont ensuite stockées dans une nouvelle base intermé-diaire qui peut être utilisée lors de la migration.

Bien entendu, ce processus est à renouveler, les règles et dictionnaires (voir ci-après cette notion) étant progressivement enrichis à l’aide des métiers. Ces derniers sont aussi sollicités pour arbitrer dans tous les cas qui ne peuvent être automatisés.

La dernière étape est le chargement de la base de données de l’application cible.

En ce qui concerne le MDM, il est bon d’anticiper une telle démarche, au moins pour le chargement initial.

5.3.3 Zoom sur l’amélioration de la qualité des données

Cette phase du processus doit viser quatre objectifs :

• la standardisation (noms, raisons sociales, adresses par exemple) ;

• la détermination des règles de rapprochement et d’identification de doublons ;

• la fixation des règles de fusion ;

• les règles d’exactitude et de complétude.

Standardisation

La standardisation permet de normaliser des données. Elle s’appuie pour cela sur des dictionnaires ad hoc, comme : type de voie (Rue, Avenue, Boulevard…), civilité (M., Mme, Melle…), statut juridique des entreprises (SA, SARL, SAS, GMBH…).

Il est indispensable de mener à bien cette opération avant l’étape de rapprochement.

Rapprochement (scoring)

Il s’agit d’identifier les objets susceptibles d’exister sous plusieurs instances ou enre-gistrements dans un même fichier ou une même base de données en vue de leur dédoublonnage : ce sont soit des objets identiques, soit des objets équivalents. Cette tâche se fait par hypothèses et vérifications successives à partir de critères de rappro-chement fournis par le métier.

93 5.3 DQM (Data Quality Management)

On utilisera soit des règles simples, basées sur des clefs identifiées ou des attributs précis (règles déterministes), soit des règles plus complexes s’appuyant sur plusieurs attributs (règles probabilistes). Cette approche déterministe repose sur une compa-raison réalisée sur de gros volumes de données et sur les analyses d’écarts statistiques entre les valeurs ou les chaînes comparées avec l’ensemble des données détenues.

Les comparaisons sont renforcées par l’usage d’algorithmes phonétiques permet-tant la lecture des chaînes de caractère non plus lettre à lettre mais phonème par phonème. Ainsi, une erreur de saisie peut être gommée ou des noms proches identi-fiés (par exemple, Dupont et Dupond).

Cette démarche produit des scores statistiques. Le score obtenu peut déclencher, en fonction du dépassement de seuils prédéterminés, des actions de fusion automati-que, des processus humains, le rejet de doublons. La définition de ce qu’est un dou-blon est établie par le métier.

Par exemple, dans un système de facturation et de recouvrement, deux

« payeurs » sont considérés comme un doublon si leur adresse et leurs coordonnées bancaires sont respectivement identiques. En l’occurrence, le nom du payeur n’est pas retenu comme critère de rapprochement.

Définition des paramètres de fusion (matching)

On cherche les meilleurs paramètres sur un échantillon connu dans lequel les doublons sont déjà identifiés, on utilise ensuite ces paramètres sur l’ensemble des données :

• création d’indicateur sur les doublons (par exemple, fréquence par type) ;

• pour chaque type de doublon identifié, on spécifie les règles de fusion : les attributs conservés, les seuils de déclenchement automatique de la fusion ou d’alerte pour un traitement manuel, les sources préférentielles.

Exactitude et complétude

Les règles effectives sont à définir au cas par cas. Elles sont principalement utilisées en décisionnel. En MDM, exactitude et complétude sont vérifiées par l’application référentielle.

5.3.4 Positionnement DQM versus MDM

MDM et DQM correspondent à des solutions bien séparées et complémentaires.

Le DQM permet le nettoyage des données (normalisation, consolidation, enri-chissement, surveillance, analyse, profilage) conformément à des règles spécifiques de gestion de la qualité. Le périmètre des données traitées est plus large que celui des données de référence (données client, financières, produits) : il peut s’agir de tout type de données provenant de sources hétérogènes.

Le MDM représente les modèles communs des données de référence, transverses au niveau métier et organisation. Il met à disposition des applications une vue fiable,

exhaustive et à jour de la donnée de référence. Le MDM, en tant que source de vérité unique des données, nécessite un processus de qualification des données avant intégration et une mise à disposition des processus et des applications du SI.

En conclusion, le DQM est une brique complémentaire, souvent essentielle au MDM pour fiabiliser l’information, et il intervient en ce sens dans les différents sta-des d’acquisition et d’enrichissement de la donnée de référence : assainissement sta-des données lors de l’acquisition (normalisation et consolidation des données créées ou modifiées, déduplication), validation de la conformité tout au long du cycle de vie de la donnée de référence. Le DQM permet donc au noyau du référentiel de dis-poser d’une donnée de référence fiable. Cette complémentarité est telle que les outils MDM prennent pleinement en compte la dimension DQM.

Ainsi, le marché du MDM se divise entre les outils qui fonctionnent au travers de connecteurs (EBX Platform d’Orchestra Networks), ceux qui offrent des connec-teurs et intègrent la démarche qualité dans leur processus de gestion (MDM Server d’IBM), ceux qui intègrent certains algorithmes de normalisation et de rapproche-ment ainsi que des connecteurs d’accès à des fonctions plus sophistiquées (SAP MDM), ceux enfin qui offrent des fonctions intégrées complètes (Initiate Systems).

On remarquera que les outils spécialisés dans la gestion des tiers (personnes physi-ques, personnes morales) sont, en moyenne, mieux dotés.

La figure 5.4 schématise cette complémentarité et décrit le processus de traite-ment d’un objet entre le MDM et le DQM.

Figure 5.4 – Complémentarité DQM et MDM

95