CONSERVATOIRE NATIONAL DES ARTS ET METIERS PARIS
___________________
MEMOIRE
présenté en vue d'obtenir le DIPLOME D'INGENIEUR CNAMSPECIALITE : Informatique OPTION : Système d’information
par
Frédéric CESBRON
___________________Mise en place d’une solution ETL dans le cadre de la
rationalisation d’un système d’information
Soutenu le 25 mars 2015
_________________
JURY
PRESIDENT : Mme Isabelle WATTIAU Professeur - CNAM Paris
MEMBRES : M. Jacky AKOKA Professeur - CNAM Paris
Mme Faten ATIGUI Maître de conférences - CNAM Paris
Mme Marie-France BARAS DSI - CGA
Remerciements
Ce mémoire est la conclusion d’un cursus commencé au CNAM Nantes en 2001. Durant ce long parcours, j’ai pu compter sur de nombreux soutiens.
Je remercie particulièrement l’ensemble des professeurs, intervenants et auditeurs que j’ai pu rencontrer et avec qui j’ai pu échanger pendant ces nombreuses années au CNAM Pays de la Loire et au CNAM Paris.
Je remercie également mes parents qui m’ont encouragé en 2001 à me lancer dans cette aventure CNAM.
Concernant le projet qui fait l’objet de ce mémoire, je tiens à remercier spécifiquement M. Akoka, professeur au CNAM Paris, qui m’a apporté conseils et suivi tout au long du projet.
Je souhaite également remercier tous les membres de la DSI de CGA qui savent maintenir une bonne ambiance au sein du service qui, de fait, est propice à un travail efficace.
Je remercie Marie-France Baras, Directrice des Systèmes d’Information de CGA, qui aura été mon sponsor sur ce projet et qui aura su être compréhensive de par son expérience d’auditrice CNAM.
Enfin, un grand merci à ma compagne qui a su entretenir mon niveau de motivation et d’investissement pendant toute cette année de travail. Elle m’a soutenu tout au long de ce projet malgré les impacts sur nos loisirs, vacances…
Liste des abréviations
AD : Active Directory
API : Application Programming Interface
BDDF : Banque de Détail en France
CFONB : Comité Français d’Organisation et de Normalisation Bancaires
CFT : Cross File Transfer
CGA : Compagnie Générale d’Affacturage
CSV : Comma-Separated Values
DAT : Dossier d’Architecture Technique
DBA : DataBase Administrator
DCOM : Distributed Component Object Model
DICP : Disponibilité Intégrité Confidentialité Preuve
DNS : Domain Name System
DPR : Direction des PRogrammes
DRC : Direction de la Relation Client
DRSP : Direction des Règlements et Services Partagés
DSI : Direction des Systèmes d’Information
EAI : Enterprise Application Integration
EEI : Enterprise Information Integration
EJB : Enterprise JavaBeans
ETL : Extract Transform and Load
ETP : Equivalent Temps Plein
FCI : Factors Chain International
FTP : File Transfer Protocol
GED : Gestion Electronique des Documents
GTB : Global Transaction Banking
GTPS : Global Transaction and Payment Services
HTTP : HyperText Transfer Protocol
IBFS : International Banking and Financial Services
IFS : Integrated File System
JDBC : Java DataBase Connectivity
JEE : Java Enterprise Edition
JMS : Java Message Service
JPEG : Joint Photographic Experts Group
LDAP : Lightweight Directory Access Protocol
MOA : Maitrise d’Ouvrage
MOE : Maitrise d’œuvre
MOM : Message Oriented Middleware
ODBC : Open DataBase Connectivity
OSI : Opérations Structurées et Internationales
PDF : Portable Document Format
PMBOK : Project Management Body Of Knowledge
POC : Proof of Concept
PRA : Plan de Reprise d’Activité
ROI : Return On Investment
RPG : Report Program Generator
SEPA : Single Euro Payments Area
SFTP : Secure File Transfer Protocol
SG : Société Générale
SI : Système d’information
SQL : Structured Query Language
SSO : Single Sign On
SWIFT : Society for Worldwide Interbank Financial Telecommunication
TIFF : Tagged Image File Format
VM : Virtual Machine
Table des matières
Remerciements ... 2
Liste des abréviations ... 3
Table des matières ... 6
Introduction ... 8
I LE CONTEXTE... 9
I.1 LA SOCIETE GENERALE... 9
I.2 LA COMPAGNIE GENERALE D’AFFACTURAGE... 10
I.2.1 Les métiers de CGA... 10
I.2.2 Focus sur l’affacturage... 11
I.2.3 L’organisation... 12
I.2.4 La direction des systèmes d’information ... 14
I.2.5 Le système d’information ... 16
I.2.6 Le schéma directeur ... 18
II LA PROBLEMATIQUE... 20
II.1 LES ENJEUX... 20
II.2 FOCUS SUR LES SOLUTIONS D’INTEGRATION DE DONNEES... 22
II.2.1 La définition des ETL... 22
II.2.2 Les normes et standards... 22
II.2.3 Les tendances... 23
II.2.4 Les outils et acteurs... 24
III L’ACQUISITION D’UNE SOLUTION ETL ... 26
III.1 L’APPEL D’OFFRE... 26
III.2 LA REPONSE AU BESOIN ET LE CHOIX DE LA SOLUTION... 36
III.3 LA PRESENTATION GENERALE DE LA SOLUTION RETENUE... 39
III.4 LE BILAN DE LA PHASE D’ACQUISITION... 45
IV LA MISE EN PLACE DE LA SOLUTION... 46
IV.1 L’INSTALLATION DE LA SOLUTION CHEZ CGA ... 46
IV.2 L’INTEGRATION DE L’ETL DANS LE SI DE CGA... 50
IV.2.1 La gestion des droits ... 50
IV.2.2 La mise en production des jobs... 51
IV.2.3 L’exécution des jobs ... 52
IV.2.4 La supervision des jobs... 52
IV.2.5 Le kit méthodologique ... 53
IV.3 LA MISE EN PLACE DES BONNES PRATIQUES D’UTILISATION DE LA SOLUTION... 55
IV.3.1 La gestion des projets... 55
IV.3.2 La conception des travaux Datastage ... 55
IV.3.3 L’exploitation de la solution ... 57
IV.4 LE BILAN DE LA PHASE DE MISE EN PLACE... 58
V LA REALISATION DES PREMIERS PARAMETRAGES... 59
V.1 LE LOT 1 :PROJETS CONTRAINTS... 59
V.1.1 La migration d’un client majeur sur une nouvelle plateforme de financement... 59
V.1.2 L’intégration d’une nouvelle filiale ... 67
V.1.3 La refonte complète du site transactionnel de CGA ... 70
V.2.1 Le remplacement d’un outil ETL existant ... 74
V.2.2 L’étude pratique sur les fichiers multi-format ... 80
V.2.3 L’étude sur l’intégration des fichiers volumineux ... 83
V.2.4 La mise en place de templates ... 87
V.3 LE BILAN DE LA PHASE REALISATION... 90
VI LE PILOTAGE DU PROJET... 91
VI.1 LE LANCEMENT DU PROJET... 91
VI.2 LE SUIVI DU PROJET... 94
VI.3 LA CLOTURE DU PROJET... 96
VII LE BILAN... 98
VII.1 LE BILAN DU PROJET... 98
VII.2 LE BILAN PERSONNEL... 101
VII.3 LES PERSPECTIVES... 102
Conclusion... 103
Références ... 104
Table des annexes... 105
Annexe 1 Adéquation aux besoins ... 106
Annexe 2 Analyse des coûts... 108
Annexe 3 Classement des réponses... 109
Annexe 4 Business Case... 111
Annexe 5 Format du fichier Monoprix en entrée ... 113
Annexe 6 Format du fichier Monoprix en sortie ... 114
Annexe 7 Format du fichier d’items multi-format ... 115
Annexe 8 Matrice des responsabilités ... 116
Annexe 9 Fiche de Suivi de Projet ... 118
Annexe 10 Reste A Faire... 119
Liste des figures... 120
Introduction
a Compagnie Générale d’Affacturage aborde une nouvelle phase de son essor, passant par l’exploitation de nouveaux relais de croissance et l’amplification de son rôle au sein du groupe Société Générale.
Pour assurer l’atteinte de ses objectifs stratégiques, CGA doit adapter son système d’information notamment en termes d’agilité, de simplicité et d’automatisation. Dans ce contexte, l’établissement et l’acceptation d’un schéma directeur du système d’information est en cours depuis le début de l’année 2014.
L’un des aspects principaux de ce schéma directeur est l’acquisition d’outils performants et intégrés permettant de simplifier et de rationaliser durablement le système d’information. Pour répondre à cet objectif, un ensemble de projets a été identifié parmi lesquels celui qui fait l’objet de ce mémoire et qui consiste à mettre en place une solution d’intégration des flux de données basée sur un outil ETL (Extract – Transform – Load) du marché.
Le projet qui m’a été confié consiste donc à choisir un outil ETL adapté au contexte de CGA, à le mettre en place, à l’intégrer au système d’information, à définir les bonnes pratiques et à réaliser les premiers développements avec cet outil.
Ce mémoire rend compte des travaux réalisés pour répondre à ces objectifs. Il est structuré en 7 parties. La première partie décrit le contexte dans lequel ce projet est mené. La seconde partie détaille la problématique à l’origine de ce projet et en décrit les enjeux. La troisième partie est consacrée à la phase d’acquisition de l’outil menant au choix de l’outil. La quatrième partie définit la mise en place de l’outil choisi au sein du système d’information de CGA. La cinquième partie présente les premiers développements réalisés grâce à la solution choisie. La sixième partie explique la méthode de pilotage du projet. Enfin, la dernière partie est consacrée au bilan du projet pour CGA mais également d’un point de vue personnel.
, /HFRQWH[WH
, /D6RFLpWp*pQpUDOH
6RFLpWp *pQpUDOH HVW O¶XQ GHV SUHPLHUV JURXSHV HXURSpHQV GH VHUYLFHV ILQDQFLHUV 6¶DSSX\DQW VXU XQ PRGqOH GLYHUVLILp GH EDQTXH XQLYHUVHOOH OH *URXSH DOOLH VROLGLWp ILQDQFLqUHHWVWUDWpJLHGHFURLVVDQFHGXUDEOHDYHFO¶DPELWLRQG¶rWUHODEDQTXHUHODWLRQQHOOH UpIpUHQFHVXUOHVPDUFKpVSURFKHGHVHVFOLHQWVFKRLVLHSRXUODTXDOLWpHWO¶HQJDJHPHQWGH VHVpTXLSHV
$FWHXU GH O¶pFRQRPLH UpHOOH GHSXLV DQV 6RFLpWp *pQpUDOH HPSORLH SOXV GH FROODERUDWHXUVSUpVHQWV GDQVSD\V HWDFFRPSDJQHDXTXRWLGLHQPLOOLRQVGHFOLHQWV GDQV OH PRQGH HQWLHU HQ RIIUDQW XQH ODUJH SDOHWWH GH FRQVHLOV HW VROXWLRQV ILQDQFLqUHV VXU PHVXUH DX[ SDUWLFXOLHUV HQWUHSULVHV HW LQYHVWLVVHXUV LQVWLWXWLRQQHOV TXL V¶DSSXLH VXU WURLV S{OHVPpWLHUVFRPSOpPHQWDLUHV
• %'') %DQTXHGH'pWDLOHQ)UDQFH /DEDQTXHGHGpWDLOHQ)UDQFHDYHFOHVHQVHLJQHV 6RFLpWp*pQpUDOH&UpGLWGX1RUGHW%RXUVRUDPDTXLRIIUHQWGHVJDPPHVFRPSOqWHVGH VHUYLFHVILQDQFLHUV DYHF XQHRIIUHPXOWLFDQDOjODSRLQWHGHO¶LQQRYDWLRQGLJLWDOH$X VHLQ GH FH S{OH *736 *OREDO 7UDQVDFWLRQ 3D\PHQW 6HUYLFHV RIIUH XQH JDPPH FRPSOqWH HW LQWpJUpH GH VHUYLFHV UHSRVDQW VXU O¶H[SHUWLVH GHV PpWLHUV GH 7UDQVDFWLRQ %DQNLQJ HW GH 3D\PHQW 6HUYLFHV *7% *OREDO 7UDQVDFWLRQ %DQNLQJ LQWqJUH O¶HQVHPEOH GHV H[SHUWLVHV HW GHV VHUYLFHV GHVWLQpV j IDFLOLWHU HQ GRPHVWLTXH HW j O¶LQWHUQDWLRQDO OHV DFWLYLWpV WUDQVDFWLRQQHOOHV TXRWLGLHQQHV GHV JUDQGV DFWHXUV pFRQRPLTXHVHWILQDQFLHUV
• ,%)6 ,QWHUQDWLRQDO %DQNLQJ DQG )LQDQFLDO 6HUYLFHV /D EDQTXH GH GpWDLO j O¶LQWHUQDWLRQDO VHUYLFHV ILQDQFLHUV HW DVVXUDQFHV DYHF GHV UpVHDX[ SUpVHQWV GDQV OHV ]RQHV JpRJUDSKLTXHV HQ GpYHORSSHPHQW HW GHV PpWLHUV VSpFLDOLVpV OHDGHUV GDQV OHXUV PDUFKpV
• *%,6 *OREDO %DQNLQJ DQG ,QYHVWRU 6ROXWLRQV /D EDQTXH GH ILQDQFHPHQW HW G¶LQYHVWLVVHPHQW EDQTXH SULYpH JHVWLRQ G¶DFWLIV HW PpWLHU WLWUHV DYHF OHXUV H[SHUWLVHV UHFRQQXHVSRVLWLRQVLQWHUQDWLRQDOHVFOpVHWVROXWLRQVLQWpJUpHV
, /D&RPSDJQLH*pQpUDOHG¶$IIDFWXUDJH
/D &*$ &RPSDJQLH *pQpUDOH G¶$IIDFWXUDJH HVW XQH ILOLDOH j GX JURXSH 6RFLpWp *pQpUDOH GHSXLV G¶DERUG VRXV OD PDUTXH 6RJH)DFWRULQJ SXLV VRXV OD GpQRPLQDWLRQ &*$ j SDUWLU GH (OOH HVW SUpVHQWH GHSXLV VXU O¶vOH GH OD 5pXQLRQ HW HQ $OOHPDJQHGHSXLV/¶HIIHFWLIGH&*$HVWGHFROODERUDWHXUV&*$HVWUDWWDFKpHj OD EUDQFKH *7% GX S{OH *736 GX JURXSH 6RFLpWp *pQpUDOH (OOH pYROXH VXU OH PDUFKp IUDQoDLVHWjO¶LQWHUQDWLRQDOHWDGKqUHDXUpVHDXGHIDFWRUVLQWHUQDWLRQDO)&, (QWHUPHVGHSHUIRUPDQFH&*$RFFXSHODqPHSRVLWLRQHQYROXPHGHFUpDQFHVDFKHWpHV VXUOHPDUFKpIUDQoDLVGHO¶DIIDFWXUDJH , /HVPpWLHUVGH&*$ (QWDQWTXHVSpFLDOLVWHGHODVSKqUHGHVPpWLHUVGXFUpGLWLQWHUHQWUHSULVHV&*$SURSRVHj VHVFOLHQWVTXDWUHSULQFLSDX[VHUYLFHVHQ)UDQFHHWjO¶LQWHUQDWLRQDO • O¶RSWLPLVDWLRQILQDQFLqUHDXWUDYHUVGXILQDQFHPHQWGHOHXUSRVWH&OLHQWVODPLVHHQ SODFHGHSURJUDPPHVjFDUDFWqUHGpFRQVROLGDQW • ODJHVWLRQDGPLQLVWUDWLYHHWFRPSWDEOHGXSRVWH&OLHQWVHWVRQUHFRXYUHPHQW • ODVpFXULVDWLRQGHOHXUGpYHORSSHPHQWFRPPHUFLDOSDUODFRXYHUWXUHGHOHXUVULVTXHV FOLHQWV
• OD PLVH HQ °XYUH GH SURJUDPPHV GH ILQDQFHPHQW GX FUpGLW IRXUQLVVHXU 6XSSO\ &KDLQ)LQDQFH
&*$ GLVSRVH G¶XQH GHV JDPPHV GH SURGXLWV OD SOXV ODUJH GX PDUFKp GH O¶DIIDFWXUDJH /¶RIIUHGH&*$HVWGHVWLQpHjWRXWHWDLOOHG¶HQWUHSULVHV GHOD30(jODPXOWLQDWLRQDOH HW DX[ DVVRFLDWLRQV &*$ WRWDOLVH DLQVL FOLHQWV FRUUHVSRQGDQWV j GHV PDUFKpV WUqV GLYHUVLILpV
, )RFXVVXUO¶DIIDFWXUDJH
/¶DIIDFWXUDJHSHXWrWUHGpILQLWFRPPH©XQHWHFKQLTXHTXLSHUPHWjXQYHQGHXUGHELHQVRX VHUYLFHV GH WUDQVIpUHU VHV FUpDQFHV SURIHVVLRQQHOOHV VXU VHV DFKHWHXUV j XQ RUJDQLVPH VSpFLDOLVpOHIDFWRUTXLOHVSUHQGHQFKDUJHª>@ /¶DIIDFWXUDJHHVWGRQFXQHUHODWLRQWULSDUWLWHGpFULWHSDUOHVFKpPDVXLYDQW )LJXUH 3ULQFLSHVGHO¶DIIDFWXUDJH /HIDFWRUSURSRVHVHUYLFHVSULQFLSDX[jO¶HQWUHSULVHFOLHQWH OHILQDQFHPHQWGHVFUpDQFHV ODJHVWLRQGXSRVWHFOLHQWHWODJDUDQWLHFRQWUHOHULVTXHG¶LPSD\pV &HWWHGpILQLWLRQVLPSOLILpHGHO¶DIIDFWXUDJHHVWELHQVUFRPSOLTXpHSDUODUpDOLWpGXPDUFKp TXLLPSOLTXHGHVPRQWDJHVSOXVFRPSOH[HVHQIRQFWLRQGHVVSpFLILFLWpVGHVDGKpUHQWV 2QSHXWQRWDPPHQWFLWHU • O¶DIIDFWXUDJHH[SRUW O¶DGKpUHQWWUDYDLOOHDYHFXQFOLHQW GpELWHXU ORFDOLVpGDQVXQ SD\V pWUDQJHU /H IDFWRU Q¶D\DQW SDV OHV PR\HQV WHFKQLTXHV GH IDLUH GX UHFRXYUHPHQWjO¶pWUDQJHUXQFRQWDFWHVWSULVDYHFXQIDFWRUFRUUHVSRQGDQW IDFWRU GXSD\VGXGpELWHXU
• O¶DIIDFWXUDJH LPSRUW O¶DGKpUHQW ORFDOLVp j O¶pWUDQJHU WUDYDLOOH DYHF XQ FOLHQW GpELWHXU VLWXpHQ)UDQFH/HIDFWRUpWUDQJHUQ¶D\DQWSDVOHVPR\HQVWHFKQLTXHVGH IDLUHGXUHFRXYUHPHQWHQ)UDQFHLOSUHQGFRQWDFWDYHFOHIDFWRUIUDQoDLV • O¶DIIDFWXUDJHLQYHUVp ODUHODWLRQG¶DIIDFWXUDJHHVWHQWUHOHGpELWHXU JpQpUDOHPHQW XQGRQQHXUG¶RUGUHLPSRUWDQW HWOHIDFWRU • O¶DIIDFWXUDJHQRQQRWLILp OHFOLHQWQHVRXKDLWHSDVGLYXOJXHUDXGpELWHXUVRQFRQWUDW G¶DIIDFWXUDJH'DQVFHFDVODJHVWLRQGXSRVWHFOLHQWHVWFRQVHUYpHSDUOHFOLHQW
, /¶RUJDQLVDWLRQ /¶RUJDQLVDWLRQGH&*$UHVSHFWHO¶RUJDQLJUDPPHFLGHVVRXV )LJXUH 2UJDQLJUDPPH&*$ /DGLUHFWLRQGHO¶H[SORLWDWLRQUHJURXSH
• /D GLUHFWLRQ FRPPHUFLDOH GpSOR\pH GDQV OHV GpOpJDWLRQV UpJLRQDOHV GX JURXSH 6RFLpWp*pQpUDOHDVVXUHODSUpVHQFHGH&*$GDQVOHVDJHQFHVGXUpVHDXDXFRQWDFWGHV SURVSHFWV (OOH GLVWULEXH DXVVL OHV SURGXLWV &*$ DXSUqV G¶HQWUHSULVHV QRQ FOLHQWHV GX UpVHDX6*DXPR\HQG¶XQHIRUFHGHYHQWHGpGLpHHWLPSODQWpHHQUpJLRQ&HWWHIRUFHGH YHQWH V¶DSSXLH VXU XQ UpVHDX G¶DSSRUWHXUV &UpGLW GX 1RUG &UpGLW 0XWXHO $UNHD FRXUWLHUVHWF«
• /D GLUHFWLRQ UHODWLRQ FOLHQWV '5& DVVXUH OD UHODWLRQ DYHF O¶DGKpUHQW DX TXRWLGLHQ JUkFHDX[JHVWLRQQDLUHVHWFKDUJpVGHFOLHQWqOHDLQVLTXHOHUHFRXYUHPHQWGHVFUpDQFHV (OOHVXSHUYLVHKLpUDUFKLTXHPHQWODVXFFXUVDOHUpXQLRQQDLVH
• /DGLUHFWLRQGHVULVTXHVHWDIIDLUHVMXULGLTXHVJDUDQWLWDX[FOLHQWVODSUpVHUYDWLRQGH OHXUVLQWpUrWVYLVjYLVGHVGpELWHXUV
• /D GLUHFWLRQ RSpUDWLRQV VWUXFWXUpHV HW LQWHUQDWLRQDOHV 26, GpYHORSSH O¶DFWLYLWp GDQV XQ VRXFL GH UHQWDELOLWp GH ILGpOLVDWLRQ GHV UHODWLRQV DGKpUHQWV HW DSSRUWHXUV GH UHFKHUFKH G¶RSWLPLVDWLRQ GHV SURFHVVXV GH JHVWLRQ GH VXLYL GHV HQJDJHPHQWV HW GH PDvWULVHGHVULVTXHVSRXUOHVSURGXLWVGHODJDPPH$IIDFWXUDJHHQ*HVWLRQ'pOpJXpH GHVRSpUDWLRQVVSpFLDOHVGHVSURGXLWVVSpFLILTXHVHWSRXUGHVQRXYHDX[SURGXLWV
• /DGLUHFWLRQGHVUqJOHPHQWVHWVHUYLFHVSDUWDJpV '563 HVWXQSUHVWDWDLUHLQWHUQHDX VHUYLFH GH OD '5& G¶26, D\DQW SRXU PLVVLRQV SULQFLSDOHV OH WUDLWHPHQW GHV
UqJOHPHQWVODJHVWLRQDGPLQLVWUDWLYHGHVFRQWUDWVHWGHVFRPSWHVGpELWHXUVODJHVWLRQ GHV IOX[ GpELWHXUV HQWUDQWV HQ VXSSRUW DX UHFRXYUHPHQW O¶DFFXHLO WpOpSKRQLTXH GHV FOLHQWVHWGHVGpELWHXUVDLQVLTXHGHVPLVVLRQVGHUHSRUWLQJSRXUOHVGLUHFWLRQVFOLHQWHV &HWWHGLUHFWLRQSHUPHWGHIOXLGLILHUHWGHILDELOLVHUOHWUDLWHPHQWG¶RSpUDWLRQVjFDUDFWqUH HVVHQWLHOWRXWHQRSWLPLVDQWOHVUHVVRXUFHVHWHQYDORULVDQWOHWUDYDLOGHVFROODERUDWHXUV TXLODFRPSRVHQW /DGLUHFWLRQVXSSRUWVUHJURXSH • /DGLUHFWLRQGHVV\VWqPHVG¶LQIRUPDWLRQTXLHVWGpFULWHDXFKDSLWUHVXLYDQW
• /D GLUHFWLRQ GHV UHVVRXUFHV KXPDLQHV GRQW OD UHVSRQVDELOLWp HVW G¶rWUH IDFLOLWDWHXU GDQV OD JHVWLRQ GHV FRPSpWHQFHV G¶rWUH VXSSRUW HW FRQVHLO GX PDQDJHPHQW G¶rWUH JDUDQWGXUHVSHFWGHODOpJLVODWLRQVRFLDOHHWGHYpULILHUO¶HQVHPEOHGHVGURLWVHWGHYRLUV LVVXVGXFRQWUDWGHWUDYDLO
• /D GLUHFWLRQ ILQDQFLqUH TXL WLHQW OD FRPSWDELOLWp HW JqUH OD WUpVRUHULH (OOH DVVXUH pJDOHPHQWODUHODWLRQDYHFOHVFRPPLVVDLUHVDX[FRPSWHVpWDEOLWOHVFRPSWHVVRFLDX[HW FRQVROLGpVHWHIIHFWXHOHUHSRUWLQJUpJOHPHQWDLUH
• /D GLUHFWLRQ SURJUDPPH HW TXDOLWp TXL UHJURXSH OH VHUYLFH 0DLWULVH G¶RXYUDJH DSSOLFDWLYHTXLSLORWHGHVSURMHWVGHGLIIpUHQWHVQDWXUHV RUJDQLVDWLRQQHOVVWUDWpJLTXHV ILQDQFLHUV FRQILpVSDUOD'LUHFWLRQ*pQpUDOHDLQVLTXHOHVVHUYLFHV4XDOLWpHW3ODQVHW 3URFpGXUHV
/HVHFUpWDULDWJpQpUDODVVXUHOHVUHODWLRQVDYHFOHVDGPLQLVWUDWHXUVOHVDFWLRQQDLUHVHWOHV
DXWRULWpVGHWXWHOOH,ORUJDQLVHOHVUpXQLRQVGXFRQVHLOG¶DGPLQLVWUDWLRQGXFRPLWpG¶DXGLW HW OHV DVVHPEOpHV JpQpUDOHV ,O FRPSUHQG pJDOHPHQW OH FRQWU{OH LQWHUQH TXL LQFOXW OHV IRQFWLRQVVXLYDQWHV FRQWU{OHLQWHUQHSHUPDQHQWFRQWU{OHGHODFRQIRUPLWpOXWWHFRQWUHOH EODQFKLPHQWHWVXSHUYLVLRQGHVPLVVLRQVG¶DXGLWSpULRGLTXHVVRXVWUDLWpHVDX[DXGLWHXUVGH OD6RFLpWp*pQpUDOH
, /DGLUHFWLRQGHVV\VWqPHVG¶LQIRUPDWLRQ /HVPLVVLRQVGHOD'6,VRQWQRPEUHXVHV • DVVXUHUODFRQWLQXLWpGHVV\VWqPHVVXSSRUWDQWOHPpWLHU • DVVLVWHUOHVXWLOLVDWHXUVLQWHUQHVHWOHVFOLHQWV • SUpYRLUO¶pYROXWLRQGHVUHVVRXUFHVQpFHVVDLUHV • RUJDQLVHUODGLUHFWLRQGDQVOHUHVSHFWGXEXGJHW • SDUWLFLSHUjO¶pODERUDWLRQGXSODQGHWUDYDLOJDUDQWLUODFRQILGHQWLDOLWpHWODVpFXULWp GHVGRQQpHV • DVVXUHUODPDvWULVHG¶°XYUHGHVpYROXWLRQVLQIRUPDWLTXHVQpFHVVDLUHV • JpUHUOHSDUFPDFKLQHGDQVOHUHVSHFWGHVHQJDJHPHQWVHQYLURQQHPHQWDX[GH&*$ HWGXJURXSH6*
3RXU PHQHU j ELHQ VHV PLVVLRQV OD GLUHFWLRQ GHV V\VWqPHV G¶LQIRUPDWLRQ HVW VWUXFWXUpH VHORQO¶RUJDQLJUDPPHFLGHVVRXV
)LJXUH 2UJDQLJUDPPH'6,
/D '6, HVW SLORWpH SDU XQH GLUHFWULFH GHV V\VWqPHV G¶LQIRUPDWLRQ HW GpFRXSpH HQ TXDWUH EUDQFKHVSULQFLSDOHV
• /HVHUYLFH(WXGHV FROODERUDWHXUVLQWHUQHVFROODERUDWHXUVH[WHUQHV ,OHVWGLULJp SDU XQ FKHI GH VHUYLFH TXL SLORWH GLUHFWHPHQW OHV UHVSRQVDEOHV GH FHQWUH GH FRPSpWHQFHV&HVFHQWUHVGHFRPSpWHQFHVVRQWHQFKDUJHGXGpYHORSSHPHQWGHVSURMHWV LQLWLpVSDUODGLUHFWLRQJpQpUDOHHWIRUPDOLVpVSDUODGLUHFWLRQGHVSURJUDPPHV&KDTXH
FHQWUH GH FRPSpWHQFHV HVW FRQVWLWXp G¶XQ UHVSRQVDEOH GH FKHIV GH SURMHW HW GH GpYHORSSHXUVHWDQDO\VWHVH[WHUQHV/¶DGMRLQWDXUHVSRQVDEOHGHVpWXGHVSLORWHOHVS{OHV ©0DLQWHQDQFHª ©4XDOLWpª HW ©$UFKLWHFWXUH 5DWLRQDOLVDWLRQª /H S{OH ©0DLQWHQDQFHª SUHQG HQ FKDUJH OHV GHPDQGHV G¶pYROXWLRQV HW GH FRUUHFWLRQV GHV DSSOLFDWLRQVOLYUpHVSDUOHVFHQWUHVGHFRPSpWHQFHV/HS{OH©4XDOLWpªJqUHOHVRXWLOV GH JHVWLRQ GHV PLQL HQYLURQQHPHQWV HW G¶DXWRPDWLVDWLRQ GHV WHVWV /H S{OH ©$UFKLWHFWXUH5DWLRQDOLVDWLRQªLQWHUYLHQWGDQVFKDTXHSURMHWSRXURULHQWHUOHVFKRL[ G¶DUFKLWHFWXUHHWSLORWHUO¶XVDJHGHVRXWLOVWUDQVYHUVHV&¶HVWDXVHLQGHFHS{OHTXHMH WUDYDLOOHDFWXHOOHPHQWHWTXHMHPqQHFHSURMHW
• /H VHUYLFH 6pFXULWp FROODERUDWHXU LQWHUQH FROODERUDWHXUV H[WHUQHV /H UHVSRQVDEOH VpFXULWp PHW HQ SODFH OHV FRQWUDLQWHV GH VpFXULWp GDQV OH V\VWqPH G¶LQIRUPDWLRQ HW YpULILH OD ERQQH DSSOLFDWLRQ GH FHOOHVFL /HV DVSHFWV VpFXULWp GX 6, VRQW pWXGLpV HQ VXLYDQW OHV D[HV ',&3 'LVSRQLELOLWp ± ,QWpJULWp ± &RQILGHQWLDOLWp ± 3UHXYH
• /H VHUYLFH 02$ 6, FROODERUDWHXUV LQWHUQHV FROODERUDWHXUV H[WHUQHV ,O IDLW O¶LQWHUIDFH HQWUH OD 02$ PpWLHU HW OD 02( HQ WUDGXLVDQW OHV FDKLHUV GHV FKDUJHV HQ VSpFLILFDWLRQV 6, /HV FROODERUDWHXUV GH OD 02$ 6, LQWHUYLHQQHQW pJDOHPHQW GDQV OD UHFHWWHWHFKQLTXHGHVSURMHWVHWDSSOLFDWLRQV
• /H VHUYLFH ,QIUDVWUXFWXUH HW 3URMHWV 7HFKQLTXHV FROODERUDWHXUV LQWHUQHV FROODERUDWHXUV H[WHUQHV ,O HVW GLULJp SDU XQ FKHI GH VHUYLFH TXL HQFDGUH GLUHFWHPHQW OHVS{OHV+RWOLQH)LDELOLVDWLRQHW3URMHWVWHFKQLTXHV/D+RWOLQHHVWXQH70$GRQWOD WkFKH SULQFLSDOH HVW OD SULVH HQ FKDUJH GHV DSSHOV HW OD UpVROXWLRQ GHV LQFLGHQWV GH QLYHDX /H S{OH ©)LDELOLVDWLRQª JqUH OD UpGDFWLRQ HW O¶DSSOLFDWLRQ GHV SURFpGXUHV G¶H[SORLWDWLRQ HW LQLWLH GHV SURFHVVXV SHUPHWWDQW GH ILDELOLVHU OH 6, /H S{OH ©3URMHWV WHFKQLTXHVª DVVXUH OH VXLYL HW OD UpDOLVDWLRQ GHV SURMHWV G¶LQIUDVWUXFWXUHV /H UHVSRQVDEOH LQIUDVWUXFWXUH HVW HQ FKDUJH GH O¶DGPLQLVWUDWHXU GHV EDVHV GH GRQQpHV '%$ HW GHV S{OHV ©3URGXFWLRQª ©6\VWqPH HW UpVHDX[ª HW ©3URMHWV PpWLHUV HQYLURQQHPHQWVª FH GHUQLHU PHWWDQW j GLVSRVLWLRQ OHV GLIIpUHQWV HQYLURQQHPHQWV GH GpYHORSSHPHQWHWGHUHFHWWHSRXUOHVEHVRLQVGXVHUYLFH(WXGHV
, /HV\VWqPHG¶LQIRUPDWLRQ
'DQV XQ FRQWH[WH GH PDUFKp WUqV SRUWHXU OH V\VWqPH G¶LQIRUPDWLRQ GH &*$ V¶HVW FRQVLGpUDEOHPHQWGpYHORSSpFHVGHUQLqUHVDQQpHV(XpJDUGjO¶pODUJLVVHPHQWGHVRQRIIUH FRPPHUFLDOH HW DX QRPEUH FURLVVDQW GH SURGXLWV SURSRVpV j VD FOLHQWqOH OH V\VWqPH G¶LQIRUPDWLRQGH&*$VHFDUDFWpULVHSDUVDORXUGHXUHWVDFRPSOH[LWp
• /¶LQIUDVWUXFWXUH
/HV\VWqPHG¶LQIRUPDWLRQGH&*$UHSRVHSULQFLSDOHPHQWVXUXQHSODWHIRUPH,%03XUHIOH[ SK\VLTXHPHQW ORFDOLVpH FKH] XQ KpEHUJHXU &H VHUYHXU VXSSRUWH OHV SDUWLWLRQV $6 SURGXFWLRQKRPRORJDWLRQHWGpYHORSSHPHQW TXLFRQWLHQQHQWOHVDSSOLFDWLRQVUHSUpVHQWDQW OH F°XU GX 6, DLQVL TXH OHV VHUYHXUV ,QWHO YLUWXDOLVpV OHV SOXV VHQVLEOHV VHUYHXUV G¶DSSOLFDWLRQ VHUYHXUV GH ILFKLHUV VHUYHXUV G¶LPSUHVVLRQ VHUYHXUV GH PHVVDJHULH« &HUWDLQVVHUYHXUV,QWHOPRLQVVHQVLEOHVVRQWWRXMRXUVORFDOLVpVDXVLqJHVRFLDOGH&*$PDLV XQHRSpUDWLRQGHYLUWXDOLVDWLRQHWGHPLJUDWLRQGHVVHUYHXUVSK\VLTXHVHVWDFWXHOOHPHQWHQ FRXUV/¶H[SORLWDWLRQGHO¶LQIUDVWUXFWXUHHVWSLORWpHSDUGHQRPEUHX[RXWLOV $/'21/0, HW /0( RXWLO GH OLYUDLVRQ HW GH YHUVLRQLQJ SHUPHWWDQW G¶LQGXVWULDOLVHU OHV PLVHV HQ SURGXFWLRQ 5RERW VFKHGXOHU FHQWUDO SHUPHWWDQW GH GpFOHQFKHU OHV WUDLWHPHQWV EDWFKV GH PDQLqUH pYqQHPHQWLHOOH RX SODQLILpH %ULGJH DLJXLOOHXU GH IOX[ SHUPHWWDQW OH WUDQVIHUWGHVILFKLHUVHQWUHOHVGLIIpUHQWVVHUYHXUVGX6, *DWHZD\ SDVVHUHOOHSHUPHWWDQWGH JpUHU OHV pFKDQJHV GH ILFKLHUV HQWUH &*$ HW O¶H[WpULHXU 7DQJR RXWLO GH VXSHUYLVLRQ SHUPHWWDQWGHPRQLWRUHUO¶H[pFXWLRQGHVWUDLWHPHQWV
(QWHUPHVGHSRVWHVFOLHQWXQFKDQWLHUGHPLVHjMRXUHVWpJDOHPHQWHQFRXUVSRXUPLJUHU OHV SRVWHV GH :LQGRZV ;3 YHUV :LQGRZV HQ UHVSHFWDQW OHV FRQWUDLQWHV pGLFWpHV SDU OH JURXSH6RFLpWp*pQpUDOH • /HSDWULPRLQHDSSOLFDWLI /HF°XUGHPpWLHUHVWFRPSRVpGXSURJLFLHOG¶DIIDFWXUDJH$TXDULXVDXTXHOHVWUDWWDFKpHOD TXDVLWRWDOLWpGHVDSSOLFDWLRQV©FRQQH[HVª&HOOHVFLXWLOLVHQWOHVGRQQpHVG¶$TXDULXVVRLW HQOHFWXUHVRLWHQpFULWXUHDSSOLFDWLRQVVRQWMXJpHVFULWLTXHVFDUHOOHVFRQWULEXHQWDX[ VHUYLFHVFOpVGLVWULEXpVSDU&*$ OHILQDQFHPHQWODGpOLYUDQFHGHVOLJQHVFUpGLWODUHODQFH
HW OH UHFRXYUHPHQW GHV FUpDQFHV O¶HQFDLVVHPHQW GHV UqJOHPHQWV GpELWHXUV OH SRUWDLO LQWHUQHWFOLHQW
$ILQ G¶DFFURvWUH O¶HIILFDFLWp RSpUDWLRQQHOOH GHV H[SORLWDQWV QRWDPPHQW JHVWLRQQDLUHV HW FKDUJpV GH FOLHQWqOH &*$ D DXWRPDWLVp OH SOXV SRVVLEOH DX ILO GHV DQQpHV WRXWHV FHV DFWLYLWpV $LQVL OH 6, GH &*$ HVW FRQVWLWXp j FH MRXU G¶XQH TXLQ]DLQH GH SURJLFLHOV GX PDUFKp HW G¶XQH FHQWDLQH G¶DSSOLFDWLRQV LQWHUQHV GpYHORSSpHV YLD XQH TXLQ]DLQH GH WHFKQRORJLHVGLIIpUHQWHV -DYD53*&RERO/DQVD:LQGHY:HEGHY • /HVIOX[GHGRQQpHV /¶DFWLYLWpDIIDFWXUDJHVHFDUDFWpULVHSDUO¶pFKDQJHGH IOX[FRPPHUFLDX[HWILQDQFLHUV'H QRPEUHXVHVDSSOLFDWLRQVOLVHQWWUDQVIRUPHQWRXFUpHQWGHVIOX[TXLIRQWpYROXHUOHVWDWXW GHVGRQQpHVLQKpUHQWHVDX[FRQWUDWVWLHUVHWLWHPV /HWUDLWHPHQWGHIOX[GHGRQQpHVHVW GRQFDXF°XUGXPpWLHUGH&*$ 8QJUDQGQRPEUHGHILFKLHUVVRQWpFKDQJpVTXRWLGLHQQHPHQW&HVpFKDQJHVVHIRQWDXVVL ELHQ DYHF O¶H[WpULHXU FOLHQWV IRXUQLVVHXUV HW SDUWHQDLUHV GH &*$ TX¶j O¶LQWpULHXU GX 6, HQWUH OHV GLIIpUHQWHV EULTXHV DSSOLFDWLYHV /HV ILFKLHUV SURYHQDQW RX j GHVWLQDWLRQ GH O¶H[WpULHXUVRQWWUDQVIpUpVYLDGLYHUVFDQDX[ XQVLWHH[WUDQHWWUDQVDFWLRQQHOXQHSDVVHUHOOH HWXQJHVWLRQQDLUH&)74XHOTXHVRLWOHXUSURYHQDQFH LQWHUQHRXH[WHUQH WRXVOHVILFKLHUV WUDQVLWHQW SDU OH SODQLILFDWHXU GH IOX[ LQVWDOOp VXU OD SODWHIRUPH FHQWUDOH L6HULHV &HV WUDQVIHUWVGHILFKLHUVVRQWVRLWpYpQHPHQWLHOVVRLWGpFOHQFKpVSDUOHSODQLILFDWHXUGHWkFKHV LQVWDOOpVXUODSODWHIRUPHFHQWUDOHL6HULHV
(QWHUPHVGHYROXPpWULHILFKLHUVWUDQVLWHQWTXRWLGLHQQHPHQWSDUOH SODQLILFDWHXUGH IOX[ DYHF GHV SLFV j ILFKLHUV HQ ILQ GH PRLV &HUWDLQV ILFKLHUV pFKDQJpV HQWUH OHV DSSOLFDWLRQVUHSUpVHQWHQWGHVYROXPHVFRQVpTXHQWV H[ OHFKDUJHPHQWTXRWLGLHQGHVLWHPV HQWUHOHORJLFLHOF°XUGHPpWLHUHWOHVLWHWUDQVDFWLRQQHOUHSUpVHQWHHQUHJLVWUHPHQWV HQ PR\HQQH TXRWLGLHQQHPHQW /HV W\SHV GH ILFKLHUV pFKDQJpV VRQW PXOWLSOHV ILFKLHUV &69DYHFVpSDUDWHXUVILFKLHUVWH[WHDXIRUPDWIL[HILFKLHUV;0/ILFKLHUV3')ILFKLHUV LPDJH 7,))« « /HV IRUPDWV GHV ILFKLHUV pFKDQJpV VRQW PDMRULWDLUHPHQW GpILQLV SDU &*$ ILFKLHUV GH IDFWXUHV ILFKLHUV UHWRXUV« 'HV IRUPDWV VSpFLILTXHV DX[ FOLHQWV DLQVL TXHGHVIRUPDWVQRUPDOLVpV &)21%6(3$« VRQWpJDOHPHQWpFKDQJpV
, /HVFKpPDGLUHFWHXU
/HV\VWqPHG¶LQIRUPDWLRQGH&*$V¶HVWFRQVWUXLWSURJUHVVLYHPHQWGHSXLVSOXVGHGL[DQV GDQV XQH ORJLTXH © EXVLQHVV ª JUkFH j OD FRPSpWHQFH GHV DFWHXUV GH &*$ $ FH MRXU OH QLYHDXGHFRPSOH[LWpDDWWHLQWVHVOLPLWHVHWOD'6,VHGRLWG¶LQGXVWULDOLVHUHWPRGHUQLVHUOH V\VWqPH G¶LQIRUPDWLRQ DILQ G¶DLGHU &*$ j SRXUVXLYUH VD FURLVVDQFH 'DQV FHWWH RSWLTXH &*$DHQWDPpXQHGpPDUFKHGHVFKpPDGLUHFWHXU
&HWWH GpPDUFKH LQLWLpH HQ DYHF XQ FDELQHW VSpFLDOLVp GDQV OD UDWLRQDOLVDWLRQ GHV V\VWqPHVG¶LQIRUPDWLRQDSHUPLVGDQVXQSUHPLHUWHPSVGHFRQVWDWHUOHVOLPLWHVGDQVOH6, DFWXHOGH&*$YLVjYLVGHVHVDPELWLRQVGHGpYHORSSHPHQWV
• O¶DXWRPDWLVDWLRQ GHV PRGHV GH IRQFWLRQQHPHQW HVW DX PD[LPXP GH FH TXH SHUPHWWHQW OHV V\VWqPHV DFWXHOV &HSHQGDQW GHV WkFKHV FULWLTXHV QH VRQW SDV DXWRPDWLVpHV (OOHV H[SRVHQW O¶HQWUHSULVH j GHV ULVTXHV ILQDQFLHUV HW JpQqUHQW GHV LPSDFWVRSpUDWLRQQHOVPXOWLSOHVSRXUO¶HQWUHSULVH
• OH V\VWqPH DFWXHO FRPSRUWH GH QRPEUHXVHV DSSOLFDWLRQV GXSOLTXpHV HW IRUWHPHQW FRXSOpHV TXL OLPLWHQW O¶pYROXWLYLWp IRQFWLRQQHOOH GX 6, ,O HQ UpVXOWH XQ DFFURLVVHPHQW GHV FRWV GH PDLQWHQDQFH HW G¶pYROXWLRQ GX IDLW GHV QRPEUHX[ LPSDFWVjJpUHU
• OH IRLVRQQHPHQW GHV WHFKQRORJLHV SRXU DVVXUHU OH IRQFWLRQQHPHQW GX SDWULPRLQH DSSOLFDWLI FRPSOH[LILH OH 6, ,O LPSOLTXH pJDOHPHQW OH PDLQWLHQ GH FRPSpWHQFHV LQIRUPDWLTXHV PXOWLSOHV SRXU IDLUH IDFH j O¶KpWpURJpQpLWp DSSOLFDWLYH HW WHFKQLTXH GHVRXWLOV
&HWWH DQDO\VH D SHUPLV GDQV XQ VHFRQG WHPSV GH GpWHUPLQHU OHV REMHFWLIV VXLYDQWV TXL SHUPHWWURQW j &*$ GH UHFRQILJXUHU VRQ 6, HW GH V¶HQJDJHU VXU XQH YRLH GH O¶LQGXVWULDOLVDWLRQ
• IDYRULVHUO¶LQGXVWULDOLVDWLRQHWODGpPDWpULDOLVDWLRQGHVROXWLRQVVWDQGDUGLVpHV 'DQVFHWWHRSWLTXHGHX[DUFKLWHFWHVRQWUHMRLQWOD'6,GH&*$SRXULQWHUYHQLUGDQV OHV SKDVHV G¶DYDQWSURMHW HW DLQVL XQLIRUPLVHU OHV GpFLVLRQV SULVHV HQ WHUPHV G¶DUFKLWHFWXUH ORJLTXH HW WHFKQLTXH HW QRWDPPHQW SULYLOpJLHU OH FKRL[ GH VROXWLRQV VWDQGDUGLVpHVSOXW{WTXHOHUHFRXUVjGHVGpYHORSSHPHQWVVSpFLILTXHV
• PRGHUQLVHUOH6,HWLQWpJUHUOHVQRXYHDX[XVDJHVHWOHVEHVRLQVG¶DJLOLWp3RXU UpSRQGUHjFHEHVRLQGHQRPEUHX[SURMHWVVRQWGpMjHQFRXUVDILQGHUHPSODFHUOHV pOpPHQWVYLHLOOLVVDQWVGX6, SODQLILFDWHXUDLJXLOOHXUGHIOX[VXSHUYLVHXU« • DPpOLRUHU O¶HIILFDFLWp RSpUDWLRQQHOOH /D UpRUJDQLVDWLRQ GX VHUYLFH (WXGHV YD
QRWDPPHQWrWUHHQWUHSULVHGDQVFHVHQVDYHFODFUpDWLRQG¶XQS{OHPDLQWHQDQFHTXL SUHQGUD HQ FKDUJH OD PDLQWHQDQFH pYROXWLYH HW DSSOLFDWLYH HW SHUPHWWUD DX[ DXWUHV S{OHVGHVHFRQFHQWUHUXQLTXHPHQWVXUOHVQRXYHDX[SURMHWV
• UDWLRQDOLVHUOH6,HWHQUpGXLUHOHVFRWV&HWREMHFWLIYDQRWDPPHQWrWUHUpDOLVp JUkFH j OD GLVSDULWLRQ GH O¶DQFLHQ SURJLFLHO HW OH GpFRPPLVVLRQQHPHQW GHV DSSOLFDWLRQV FRQQH[HV OLpHV j FHOXLFL 8QH UpIOH[LRQ HVW pJDOHPHQW PHQpH SRXU PD[LPLVHU O¶XWLOLVDWLRQ GHV IRQFWLRQQDOLWpV H[LVWDQWHV GDQV OH SURJLFLHO F°XU GH PpWLHUHWDLQVLpUDGLTXHUOHVDSSOLFDWLRQVFRQQH[HVLQXWLOHV
• UpYLVHUOHVSULQFLSHVGHJRXYHUQDQFHHWGHJHVWLRQGHSURMHWVHQWUHOHVpTXLSHV '6, 02( 'LUHFWLRQ GH 3URJUDPPH 02$ HW OHV OLJQHV PpWLHU GH &*$ 'DQV FHWWH RSWLTXH GHV LQWHUORFXWHXUV FOpV RQW pWp LGHQWLILpV DX VHLQ GHV GLIIpUHQWHV GLUHFWLRQVGH&*$8QUDSSURFKHPHQWHQWUH02(HW02$HVWpJDOHPHQWHQFRXUV DYHFODUpRUJDQLVDWLRQGHOD'35HWODFUpDWLRQG¶XQVHUYLFH02$'6,
II La problématique
II.1 Les enjeux
Dans le cadre du schéma directeur et notamment de son objectif de rationalisation du SI, un portefeuille de projets a été identifié. Le projet de mise en place d’une solution d’intégration des données fait partie de ce portefeuille. Il se justifie particulièrement au vu de l’activité principale de CGA qui se caractérise par la gestion de flux. Suite à une étude sur les types de solutions existantes (cf. chapitre suivant), CGA souhaite donc acquérir un ETL en mode « moteur », c’est-à-dire un logiciel disposant d’un moteur de transformation des données capable d’assurer des transformations complexes de données indépendamment des langages de manipulation de données des SGBD sources et cibles. Cet ETL sera apte à paralléliser massivement des traitements sur des données issues de sites différents et hétérogènes.
L’ETL devrait nous permettre la synchronisation massive d’informations d’une banque de données vers une autre. L’ETL permettra d’éviter la réalisation de programmes batchs répétitifs, souvent semblables, dont il faut également assurer la maintenance. Le principe étant que l’intégration d’un nouveau flux de données ne requiert aucun développement et s’opère par une simple configuration interactive. On choisit les éléments de données dans le référentiel source, on indique les transformations qu’ils doivent subir, et on précise la destination de la donnée dans la cible.
Dans le contexte de CGA, l’ETL doit permettre notamment de s’affranchir des développements inhérents aux mises en place de flux avec les nouveaux clients. Il doit également permettre de faire disparaître certaines briques logicielles (ETL existant, outils de chargement inter-applications, convertisseur de formats …) et de simplifier des chaînes de traitement existantes.
La solution retenue deviendra une brique centrale du SI de CGA et devra, de ce fait, être prise en compte dans chaque nouveau projet lors de la définition de l’architecture logicielle. Enfin, ce nouvel outil nous permettra également de moderniser notre SI et de pouvoir intégrer de nouveaux profils dans nos équipes en s’affranchissant des compétences AS400 qui se raréfient.
/HSURMHWTXLP¶HVWFRQILpVHUDGRQFGpVLJQpFKH]&*$VRXVOHQRP©0LVHHQSODFHG¶XQ (7/ª
&HVSULQFLSDOHVSKDVHVVRQW
• FKRLVLUODVROXWLRQ(7/ODSOXVDGDSWpHDXFRQWH[WHGH&*$
• LQVWDOOHU OD VROXWLRQ UHWHQXH GDQV OHV HQYLURQQHPHQWV GH SURGXFWLRQ HW GH QRQ SURGXFWLRQ
• LQWpJUHU FHWWH VROXWLRQ HQ PHWWDQW HQ SODFH OHV LQWHUDFWLRQV QpFHVVDLUHV DYHF OHV DXWUHVEULTXHVWHFKQLTXHVGX6,
• GpYHORSSHUOHVSUHPLHUVIOX[LQFOXVGDQVOHVSURMHWVFRQWUDLQWV
• GpILQLUOHVERQQHVSUDWLTXHVOLpHVjO¶XWLOLVDWLRQGHO¶(7/HQIRXUQLVVDQWQRWDPPHQW GHVWHPSODWHVHWGHVPpWKRGHVjVXLYUHDX[GpYHORSSHXUV
$XFXQH FRQWUDLQWH GH FRWV Q¶HVW GpILQLH SRXU FH SURMHW (Q UHYDQFKH XQH FRQWUDLQWH GH GpODLHVWLPSRVpHSXLVTXHOHSUHPLHUIOX[LGHQWLILpSRXUrWUHWUDLWpSDUO¶(7/FRQFHUQHXQ QRXYHDXFOLHQWPDMHXUGRQWOHFRQWUDWGpPDUUHHQMXLQ
(Q WHUPHV GH PpWKRGRORJLH MH VXLYUDL OD PpWKRGH GH FRQGXLWH GH SURMHW H[LVWDQWH FKH] &*$ FI FKDSLWUH 9, TXH M¶HQULFKLUDL JUkFH DX[ FRQQDLVVDQFHV DFTXLVHV ORUV GH PRQ FXUVXVDX&1$0DYHFQRWDPPHQWOHVSUpFRQLVDWLRQVGX30%2.>@
,, )RFXVVXUOHVVROXWLRQVG¶LQWpJUDWLRQGHGRQQpHV
-¶DL PHQp GDQV XQH SKDVH G¶DYDQWSURMHW XQ UDSLGH pWDW GHV OLHX[ VXU OHV VROXWLRQV G¶LQWpJUDWLRQ GH GRQQpHV H[LVWDQWHV VXU OH PDUFKp -¶DL pJDOHPHQW SURILWp GH FHWWH SKDVH SRXU LQVWDOOHU XQ (7/ RSHQVRXUFH 7DOHQG VXU PRQ SRVWH DILQ G¶DSSUpKHQGHU OHV SRVVLELOLWpVRIIHUWHVSDUXQ(7/
,, /DGpILQLWLRQGHV(7/
©([WUDFW±7UDQVIRUP±/RDGªHVWFRQQXVRXVOHWHUPH(7/,OV¶DJLWG¶XQHWHFKQRORJLH SHUPHWWDQW GH FRQVWUXLUH GH IDoRQ VLPSOH GHV SURFHVVXV TXL SHUPHWWHQW G¶H[WUDLUH GHV GRQQpHVGHV\VWqPHVKpWpURJqQHVGHOHVWUDQVIRUPHUSXLVGHOHVFKDUJHUGDQVXQV\VWqPH FLEOH
/HVVROXWLRQV(7/UHSRVHQWVXU
• GHVFRQQHFWHXUVVHUYDQWjH[SRUWHURXLPSRUWHUOHVGRQQpHV
• GHV WUDQVIRUPDWHXUV DJUpJDWHXUV ILOWUHV FRQYHUWLVVHXUV« TXL PDQLSXOHQW OHV GRQQpHV
• GHVPLVHVHQFRUUHVSRQGDQFH GHVPDSSDJHV
$O¶RULJLQHOHV(7/VRQWDSSDUXHVSRXUOHFKDUJHPHQWUpJXOLHUGHGRQQpHVDJUpJpHVGDQV OHV HQWUHS{WV GH GRQQpHV GH O¶LQIRUPDWLTXH GpFLVLRQQHOOH 'DWDZDUHKRXVH DYDQW GH VH GLYHUVLILHUYHUVODSUREOpPDWLTXHSOXVJOREDOHG¶LQWpJUDWLRQGHGRQQpHV ,, /HVQRUPHVHWVWDQGDUGV ,OQ¶\DSDVGHVWDQGDUGVSURSUHVjO¶(7/OHVVWDQGDUGVXWLOLVpVVRQWFHX[OLpV • jO¶DFFqVDX[EDVHVGHGRQQpHV HVVHQWLHOOHPHQW2'%&-'%&PrPHVLOHVDFFqV QDWLIVSOXVSHUIRUPDQWVVRQWSULYLOpJLpV • DX[EXVGHFRPPXQLFDWLRQ '&20 0LFURVRIW (-% SODWHIRUPH-(( RX020 0HVVDJHULH2ULHQWpHV0HVVDJHV • DX[QRUPHVGXWUDQVIHUWGHILFKLHUV )73V)73«
• DX[IRUPDWVGHVpFKDQJHV ;0/6:,)7« ,, /HVWHQGDQFHV /HVWHFKQRORJLHV(7/RQWpYROXp/¶REMHFWLIGHVWHFKQRORJLHV(7/V¶HVWGpVRUPDLVpODUJLj O¶LQWpJUDWLRQGHO¶HQWUHSULVHSDUVHVGRQQpHV
/HV (7/ GH FRQWHQX SHUPHWWHQW GH PDQLSXOHU GHV GRQQpHV QRQ VWUXFWXUpHV WHOV TXH OHV GRVVLHUV HW OHV GRFXPHQWV &HV VROXWLRQV VRQW XWLOLVpHV SRXU GHV SURMHWV GH PLJUDWLRQ GH GRFXPHQWV SDU H[HPSOH ORUV G¶XQH PLJUDWLRQ G¶XQH DSSOLFDWLRQ *(' /HXU FKDPS G¶DSSOLFDWLRQSHXWpJDOHPHQWV¶pWHQGUHjGHVSURMHWVG¶DUFKLYDJHpOHFWURQLTXH
/HV (7/ V¶RULHQWHQW GDYDQWDJH YHUV GHV SUREOpPDWLTXHV JOREDOHV G¶LQWpJUDWLRQ GHV GRQQpHV WHPSV UpHO HW UpFXSpUDWLRQ GHV GRQQpHV GLUHFWHPHQW HQ SURGXFWLRQ &H VRQW GHV SUREOpPDWLTXHVGHW\SH(QWUHSULVH$SSOLFDWLRQ,QWHJUDWLRQ ($, RX(QWUHSULVH,QIRUPDWLRQ ,QWHJUDWLRQ (,,
• /¶RULHQWDWLRQ($,
/¶(7/ V¶RULHQWH GH SOXV HQ SOXV YHUV GHV DOLPHQWDWLRQV GH W\SH ©WHPSV UpHOª FH TXL OH UDSSURFKH j FH WLWUH GHV ($, (W VL OHV GLVFRXUV PDUNHWLQJ GHV pGLWHXUV SRUWHQW VRXYHQW j FRQIXVLRQ VXU GHV RIIUHV TXL IHUDLHQW WRXW LO GHPHXUH WRXWHIRLV GHV GLIIpUHQFHV IRQGDPHQWDOHV
ODYRFDWLRQGHO¶(7/HVWGHPLJUHUGHJURVYROXPHGHGRQQpHVG¶XQHEDVHjO¶DXWUH OH SOXV VRXYHQW HQ PRGH EDWFK HW j GHVWLQDWLRQ GH V\VWqPHV HVVHQWLHOOHPHQW GpFLVLRQQHOV
ODYRFDWLRQGHO¶($,HVWGHV\QFKURQLVHUYLDXQ ©EXVDSSOLFDWLIªGHVDSSOLFDWLIV PpWLHUV HQWUH HX[ YLD GHV pFKDQJHV V\QFKURQHV GH IDLEOHV YROXPHV GH GRQQpHV /¶($,UHQWUHGDQVODFRXFKHWUDQVDFWLRQQHOOH/HV($,V¶DSSXLHQWVXUXQUpIpUHQWLHO GHUqJOHVPpWLHUDORUVTXHOHV(7/V¶DWWDFKHQWjIDLUHFRUUHVSRQGUHGHVVFKpPDVGH GRQQpHVQRQFRPSDWLEOHV
• /¶RULHQWDWLRQ(,, /¶(,,HVWXQRXWLOGRWpGHIRQFWLRQGHPDSSLQJYLVDQWO¶LQYRFDWLRQHQPRGHV\QFKURQHGH UHTXrWHVGLVWULEXpHVHQWUHSOXVLHXUVDSSOLFDWLRQVPpWLHUVKpWpURJqQHV ,OV¶DJLWDLQVLG¶rWUH HQPHVXUHGHUpFXSpUHUGHVGRQQpHVGHSURGXFWLRQ©jODYROpHªSXLVGHOHVFRPSDUHUjGHV GRQQpHVKLVWRULTXHVTXLVRQWHOOHVKpEHUJpHVGDQVOHGDWDZDUHKRXVH /HVpGLWHXUVG¶(,,VRQWSRXUO¶LQVWDQWGLVWLQFWVGHFHX[GHO¶(7/SXLVTX¶LOVSU{QHQWO¶DFFqV GLUHFWDX[GRQQpHVGHSURGXFWLRQFRQWUDLUHPHQWjFHX[G¶(7/GRQWODUDLVRQG¶rWUHHVWGH FRQVWUXLUH XQH EDVH GH GDWDZDUHKRXVH LQWHUPpGLDLUH /¶DVVRFLDWLRQ G¶RXWLOV (,, DX GpFLVLRQQHO ODLVVH FHSHQGDQW HQWHQGUH TX¶j WHUPH OHV RXWLOV G¶DQDO\VH LQWHUURJHURQW GLUHFWHPHQWOHVEDVHVGHSURGXFWLRQFHTXL©FRXUWFLUFXLWHUDªOHVpWDSHVGHFRQVROLGDWLRQ GDQVXQHQWUHS{WGHGRQQpHVGHW\SHGDWDZDUHKRXVH3RXUO¶KHXUHFHWWHSHUVSHFWLYHVHPEOH HQFRUHWUqVORLQWDLQHHWFHSRXUGHX[UDLVRQV
OHV H[LJHQFHV GH FRKpUHQFH GHV GRQQpHV O¶H[SORLWDWLRQ GH VRXUFHV KpWpURJqQHV LPSOLTXHTXHOHVGpILQLWLRQVVRLHQWSDUWDJpHVHWKRPRJqQHV
OHV SHUIRUPDQFHV LO HVW GpOLFDW GH IDLUH FRKDELWHU j OD IRLV XQH DFWLYLWp WUDQVDFWLRQQHOOH TXLEORTXHGHVHQUHJLVWUHPHQWVGHEDVHGHGRQQpHV HWXQHDFWLYLWp GpFLVLRQQHOOHTXLSDUFRXUWGHODUJHVSDUWLHVGHODEDVHGHGRQQpHV
/HV pGLWHXUV (7/ TXL V¶pWDLHQW HQJRXIIUpV VXU OH PDUFKp GHV DSSOLFDWLRQV DQDO\WLTXHV RQW GHSXLVIRUWHPHQWGpVLQYHVWLGDQVOHGRPDLQH,OVRQWSUpIpUpODLVVHUFHFUpQHDXDX[DFWHXUV GHODUHVWLWXWLRQTXLHX[RQWpYROXpYHUVGHVSODWHIRUPHVGpFLVLRQQHOOHVLQWpJUpHVHWSURFKHV GH OD FRQQDLVVDQFH PpWLHU /HV pGLWHXUV (7/ RQW DX PLHX[ FRQVHUYp GHV HQYLURQQHPHQWV SUpFRQILJXUpVPDLVRQWFHVVpWRXWGpYHORSSHPHQWG¶DSSOLFDWLRQVFOpVHQPDLQ
/HV pGLWHXUV LQYHVWLVVHQW OH YROHW 4XDOLWp GH GRQQpHV $ O¶RULJLQH GHVWLQpV j GHV EHVRLQV VSpFLILTXHV WHOV TXH OHV FDPSDJQHV PDUNHWLQJ FHWWH IRQFWLRQQDOLWp HVW GH SOXV HQ SOXV VRXYHQWVROOLFLWpHSRXUDPpOLRUHUOHVLQIRUPDWLRQVpFKDQJpHVHQWUHOHVSURJLFLHOV ,, /HVRXWLOVHWDFWHXUV /HPDUFKpGHO¶(7/HVWSRUWpSDUOHVHIIRUWVGHVHQWUHSULVHVSRXUJDJQHUjODIRLVHQTXDOLWp HWVpFXULWp JRXYHUQDQFHGHVGRQQpHV HQUDSLGLWpGHPLVHHQ°XYUH 7LPH7R0DUNHW HW HQDJLOLWp RSWLPLVDWLRQFRQWLQXHGHVSURFHVVXVPpWLHU
Le marché de l’ETL se concentre et se restructure autour des nouvelles fonctionnalités (cf. chap. II.2.3). De fait, les quelques éditeurs purs « players » sont de plus en plus concurrencés par les éditeurs décisionnels, base de données, voir middleware qui intègrent l’ETL dans leurs suites intégrées.
Les outils purement dédiés ETL vont probablement devenir sur les prochaines années des outils de niche, restreints à l’ultra performance et à l’interopérabilité ou aux besoins les plus basiques.
Seuls les plus gros éditeurs (IBM, Informatica, SAP, Oracle et Microsoft) sont en mesure de proposer des solutions d’intégration de données et non plus seulement d’ETL.
Des solutions Open Source existent également (Talend…) mais une richesse fonctionnelle en retrait et un support de moindre qualité restreignent leur utilisation. Ceux-ci sont aujourd’hui utilisés dans des niches, des contextes d’exigences fonctionnelles et de performances limitées, de périmètre limité à un projet (et non l’entreprise entière) et enfin et surtout où le coût est le facteur primordiale.
Figure 4 : Magic Quadrant – Outil d’intégration de données
Le Magic Quadrant de Gartner nous fournit une vision des acteurs du marché des outils d’intégration de données.
,,,/¶DFTXLVLWLRQG¶XQHVROXWLRQ(7/
/DSKDVHG¶DFTXLVLWLRQHVWODSKDVHLQLWLDOHGXSURMHW(OOHFRQVLVWHjDFTXpULUXQHVROXWLRQ G¶LQWpJUDWLRQGHVIOX[GHGRQQpHVUpSRQGDQWDX[DWWHQWHVGH&*$ &HWWHSKDVHDpWpPHQpHHQV¶LQVSLUDQWGHVERQQHVSUDWLTXHVGpFULWHVGDQVOHGRPDLQHGX PDQDJHPHQW GHV DSSURYLVLRQQHPHQWV GX 30%2. DGDSWpHV DX[ SUDWLTXHV H[LVWDQWHV GDQV O¶RUJDQLVDWLRQ&*$HWDXFRQWH[WHGXSURMHW,,,/¶DSSHOG¶RIIUH
6HORQOH30%2.OHSURFHVVXV©3ODQLILHUOHVDSSURYLVLRQQHPHQWVªHVW©OHSURFHVVXVTXL FRQVLVWH j GRFXPHQWHU OHV GpFLVLRQV G¶DSSURYLVLRQQHPHQWV GX SURMHW j VSpFLILHU OHV DSSURFKHVHWjLGHQWLILHUOHVYHQGHXUVSRWHQWLHOVª/HV GRQQpHV G¶HQWUpH GH FH SURFHVVXV VRQW OHV H[LJHQFHV H[SULPpHV GDQV OH VFKpPD GLUHFWHXUGXV\VWqPHG¶LQIRUPDWLRQ&*$QRWDPPHQWGDQVODGpILQLWLRQGHO¶HQMHXSULQFLSDO G¶RSWLPLVDWLRQGHVFRWVGRQWO¶REMHFWLIHVWGHUDWLRQDOLVHUOHVFRWVLQIRUPDWLTXHV SURMHWV HWRXPDLQWHQDQFH jWUDYHUVODPLVHHQSODFHGHQRUPHVHWGHSURFHVVXVLQGXVWULDOLVpV/HV DFFRUGV GH SDUWHQDULDW HQWUH &*$ RX OH JURXSH 6RFLpWp *pQpUDOH HW OHV IRXUQLVVHXUV SRWHQWLHOVVHURQWpJDOHPHQWLQIOXHQWVGDQVFHSURFHVVXV
/HV WHFKQLTXHV XWLOLVpHV SRXU SURGXLUH OHV OLYUDEOHV VRQW QRWDPPHQW OH MXJHPHQW G¶H[SHUWV j WUDYHUV OHV LQWHUYLHZV GX UHVSRQVDEOH VpFXULWp HW GHV FROODERUDWHXUV D\DQW H[SpULPHQWpOHVVROXWLRQVG¶LQWpJUDWLRQGHGRQQpHVGDQVOHXUVH[SpULHQFHVSUpFpGHQWHV HW O¶DQDO\VHGHO¶pWDWGHO¶DUWGHV(7/
&H SURFHVVXV D DERXWL j OD UpGDFWLRQ G¶XQ GRFXPHQW G¶DSSURYLVLRQQHPHQW XQ DSSHO G¶RIIUH WUDQVPLVDX[GLIIpUHQWVFRQVXOWpVHWjODGpWHUPLQDWLRQGHVFULWqUHVGHVpOHFWLRQGHV UpSRQVHV
/¶DSSHO G¶RIIUH GpFULW XQH YLVLRQ PDFURVFRSLTXH GHV DWWHQWHV GH &*$ YLVjYLV GH OD VROXWLRQDSSRUWpHSDUOHIRXUQLVVHXU&HWDSSHOG¶RIIUHHVWFRQVWLWXpGH
• XQHGHVFULSWLRQGXFRQWH[WH&*$ FI&KDSLWUH,
• XQHGHVFULSWLRQGXV\VWqPHG¶LQIRUPDWLRQH[LVWDQW FI&KDSLWUH, • XQIRFXVVXUOHWUDLWHPHQWGHVIOX[GHGRQQpHV
Ce focus permet notamment d’appréhender l’intérêt attendu de la solution ETL au regard de la complexité existante dans le SI de CGA.
Le schéma ci-dessous représente les différents types de flux existants actuellement.
Figure 5 : Schéma simplifié des flux du SI CGA actuel
Les clients peuvent transmettre leurs fichiers (bordereaux, images…) à CGA par l’intermédiaire d’un upload (ou d’une saisie) sur le site transactionnel. Ils peuvent également recevoir des fichiers, que CGA leur met à disposition, en les téléchargeant sur le site transactionnel (états PDF, fichiers retour CSV).
Les clients peuvent transmettre leurs fichiers (factures, avoirs, débiteurs…) à CGA par l’envoi d’un mail à une boîte aux lettres générique.
Les clients et autres tiers (prestataires, banques…) peuvent transmettre et recevoir des fichiers par liaison sécurisée au travers de la Gateway de CGA.
La Gateway communique avec l’AS400 via CFT (encapsulé dans le planificateur de flux).
Le site transactionnel communique avec l’AS400 (transfert de fichier et intégration dans la base SQL Server) via le planificateur de flux.
Les fichiers de chargement de base de données SQL Server (datawarehouse, applications connexes…) sont construits à partir des fichiers de l’application métier (DB2
AS400) par des programmes spécifiques sur l’AS400 puis transférer via le planificateur de flux.
Les fichiers AS400 (IFS et DB2) sont déplacés à l’intérieur de l’AS400 via le planificateur de flux.
Les fichiers AS400 (IFS et DB2) sont manipulés (transformation, conversion) par des programmes spécifiques développés par la DSI CGA.
L’ETL Seti-Map récupère les messages dans la boîte aux lettres générique, extrait les pièces jointes contenues, les décompresse, leur applique une transformation et les dépose sur l’IFS.
Les fichiers DB2 AS400 sont utilisés par des programmes d’édition de rapports de traitement.
Les rapports générés à l’étape 10 sont ensuite transmis par mail aux clients.
Certains tiers (prestataires…) peuvent transmettre et recevoir des fichiers directement via CFT (encapsulé dans le planificateur de flux).
Le schéma ci-dessous, représentant la cible à atteindre, décrit l’objectif de centralisation et de simplification des différents flux grâce à l’ETL. Ce dernier s’intégrera en tant que brique centrale du SI permettant la gestion des transformations de flux entre les applications et les SGBD. L’ETL pourra également intervenir dans des opérations de nettoyage des données afin d’augmenter la qualité de celles-ci et dans des opérations ponctuelles (migration, chargement bulk…)
)LJXUH 6FKpPDVLPSOLILpGHVIOX[GX6,&*$LQWpJUDQWO¶(7/ • XQHGHVFULSWLRQGHVREMHFWLIVGHO¶DFTXLVLWLRQG¶XQ(7/ FI&KDSLWUH,, • OHVIRQFWLRQQDOLWpVDWWHQGXHVSRXUO¶RXWLO(7/ /¶RXWLO(7/SURSRVpVHUDMXJpQRWDPPHQWVXUOHVIRQFWLRQQDOLWpVVXLYDQWHV 3ODWHIRUPHV6*%'VXSSRUWpV
/HV SODWHIRUPHV GX V\VWqPH G¶LQIRUPDWLRQ &*$ pWDQW L6HULHV HW :LQGRZV OD VROXWLRQ GHYUD SRXYRLU rWUH LQVWDOOpH VXU O¶XQH RX O¶DXWUH GH FHV SODWHIRUPHV 'DQV OH FDV G¶XQH LQVWDOODWLRQ VXU L6HULHV OD EDVH GH GRQQpHV ' GHYUD rWUH VXSSRUWpH 'DQV OH FDV G¶XQH LQVWDOODWLRQVXU:LQGRZVODEDVHGHGRQQpHV64/6HUYHUGHYUDrWUHVXSSRUWpH
)LFKLHUVVXSSRUWpV
/HV pFKDQJHV HW FRQYHUVLRQV GH ILFKLHUV SODWV VRQW QRPEUHX[ DX VHLQ GX 6, &*$ HW FRQFHUQHQW SULQFLSDOHPHQW GHV ILFKLHUV 7;7 &69 ;0/ ;/6 3') 7,)) -3(* &HV W\SHV GH ILFKLHUV GHYURQW GRQF rWUH VXSSRUWpV /H IRUPDW GHV ILFKLHUV SHXW rWUH PRQR RX PXOWLIRUPDW
$FFqVDX[GRQQpHV
/HV6*%'VXLYDQWVVRQWXWLOLVpVGDQVOH6,GH&*$HWGHYURQWGRQFrWUHVXSSRUWpVSDUOD VROXWLRQ '%64/6HUYHU0\64/ 2UDFOH'DQVXQVRXFLG¶pYROXWLYLWpOHVXSSRUWGH 6*%' VXSSOpPHQWDLUHV VHUD DSSUpFLp /D VROXWLRQ GHYUD pJDOHPHQW SURSRVHU GHV FRQQHFWHXUV SRXU DFFpGHU DX[ GRQQpHV FRQWHQXHV GDQV GHV DSSOLFDWLRQV KpWpURJqQHV
(LDAP, Sage…). Une solution compatible avec les sources de données ODBC serait un atout non négligeable.
Interface graphique intuitive
L’outil n’étant pas uniquement manipulé par des développeurs, sa prise en main et sa manipulation devront être aisées. Les traitements devront pouvoir être exécutés par cette interface graphique mais également en ligne de commande ou via des API incluses dans la solution.
Processus
L’outil doit permettre de séquencer plusieurs transformations. Ces processus devront pouvoir être déclenchés par message (JMS, MQSeries, Mail…) ou par polling (polling directory, polling base de données, déclenchement par trigger…).
Exploitation et Administration
Les tâches d’administration standard devront être disponibles : reprise sur incident, gestion des erreurs, visualisation de l’historique des traitements, pistes d’audit …
La gestion des droits d’accès à la solution devra être explicitée par le consulté (synchronisation avec un annuaire LDAP ou gestion autonome). Dans le cas d’une gestion autonome, les notions de type d’utilisateurs, complexité des mots de passe, péremption, historique des connexions, blocage des comptes devront être gérées.
Le produit devra intégrer des dispositifs d’alerte pour pouvoir idéalement être intégré dans une solution de supervision globale.
Sécurité
Les aspects « sécurité » de la solution devront faire l’objet d’une description détaillée de la part du consulté. Les notions de disponibilité, intégrité, confidentialité et preuve devront être abordées. Le consulté devra faire part de ces préconisations en termes d’architecture (haute disponibilité, PRA, sauvegarde / restauration). La gestion des licences doit également être abordée.
Caractéristiques spécifiques
La solution devra fournir des traitements spécifiques tels que : la manipulation de courriels (récupération et envoi de mails), la décompression ainsi que le cryptage/décryptage de fichiers archives (zip, tar…).
/D JHVWLRQ G¶HQYLURQQHPHQW GHYUD pJDOHPHQW rWUH JpUpH 'pYHORSSHPHQW +RPRORJDWLRQ 3URGXFWLRQ /HV FRQILJXUDWLRQV FUppHV GHYURQW rWUH WUDQVSRUWDEOHV HQWUH FHV HQYLURQQHPHQWV/HVWUDQVIHUWVGHILFKLHUGHYURQWXWLOLVpVGHVSURWRFROHVFRQQXVSDU&*$ )73V)73&)7«/DVROXWLRQGHYUDV¶LQWHUIDFHUGDQVO¶RUGRQQDQFHXU VFKHGXOHU GHMREV H[LVWDQW/HVWUDQVIRUPDWLRQVGLVSRQLEOHVGHYURQWrWUHQRPEUHXVHV MRLQWXUHVWUDQVFRGDJHV « HW OH FRQVXOWp GHYUD SUpFLVHU GDQV TXHO ODQJDJH FHOOHVFL VRQW FRGpHV 64/ ODQJDJH SURSULpWDLUHODQJDJHVFULSW« • OHVVHUYLFHVDWWHQGXVGHODSDUWGXFRQVXOWp /HFRQVXOWpGHYUDrWUHHQPHVXUHGHIRXUQLUj&*$XQHDVVLVWDQFHjODPLVHHQSODFHGHOD VROXWLRQGDQVOH6,GH&*$HQWHUPHVG¶LQVWDOODWLRQHWGHSDUDPpWUDJHGHVSUpUHTXLV /HFRQVXOWpGHYUDpJDOHPHQWrWUHHQPHVXUHGHIRXUQLUj&*$XQHDVVLVWDQFHjO¶XWLOLVDWLRQ HQWHUPHVGHFRQVHLOHWG¶DLGHDXSDUDPpWUDJH/HVXSSRUWWHFKQLTXHGHYUDpJDOHPHQWrWUH GLVSRQLEOHHWUpDFWLI (QILQOHFRQVXOWpGHYUDSURSRVHUXQHIRUPDWLRQjO¶RXWLOSURSRVp • OHVLQVWUXFWLRQVJpQpUDOHVFRQFHUQDQWODUpSRQVHDWWHQGXH /HVLQVWUXFWLRQVFRQFHUQDQWOHVHQJDJHPHQWVGH&*$HWGXFRQVXOWpODFRQILGHQWLDOLWpHWOH FRQWHQXGHVUpSRQVHVVRQWGpFULWHV &HSURFHVVXVDpJDOHPHQWSHUPLVGHGpWHUPLQHUOHVFULWqUHVGHVpOHFWLRQGHVVRXUFHV$LQVL &*$QRWHUDHWFODVVHUDOHVFRQVXOWpVVXUODEDVHGHFULWqUHVTXDOLWDWLIVHWDWWULEXHUDODSOXV JUDQGH SULRULWp DX[ FULWqUHV VXLYDQWV DGpTXDWLRQ GH OD VROXWLRQ DX[ EHVRLQV H[SULPpV VLPSOLFLWpGHODPLVHHQ°XYUHFRWJOREDO VROXWLRQHWVHUYLFHV HWTXDOLWpGHODUpSRQVH
La mise en place d’un outil ETL nous permettra de simplifier un certain nombre de scénarios existants actuellement dans le SI de CGA. Les scénarios suivants sont des traitements courants dans les développements actuels et futurs du SI de CGA, ils sont décrits dans un document joint à l’appel d’offre pour éclairer les consultés sur nos besoins détaillés :
Figure 7 : Cas d’utilisation : Réception de fichiers clients non standards
CGA échange de nombreux fichiers avec ses clients (factures, avoirs, débiteurs…). Les formats de ces fichiers sont déterminés par CGA mais certains clients importants refusent de s’y soumettre et préfèrent nous transmettre un format personnel. Les changements de version des formats de fichier posent également problème car nous ne pouvons demander aux clients « historiques » de changer leur format. Donc, pour un même type de fichier, nous recevons différents formats (versions différentes). Pour gérer l’ensemble de ces problématiques, un grand nombre de programmes spécifiques ont été développés, la maintenance et le développement de ces programmes sont lourds.
L’ETL a pour but de simplifier et d’optimiser cette étape en permettant de paramétrer ces conversions en s’affranchissant de toute programmation. Il apportera également une plus grande souplesse vis-à-vis des formats échangés.
Figure 8 : Cas d’utilisation : Réception de fichiers clients par mail
Certains clients nous transmettent leurs fichiers en tant que pièces jointes zipées dans un mail. CGA dispose d’un outil (SETI-Map) permettant de scruter une boîte aux lettres générique, d’extraire de chaque mail reçu les pièces jointes, de décompresser ces pièces jointes puis de convertir les fichiers obtenus en y appliquant des règles de mappage. L’ETL a pour but de remplacer la solution SETI-Map en permettant donc les mêmes fonctionnalités (scrutation BAL, décompression, conversion).
Figure 9 : Cas d’utilisation : Chargement inter-applications
La plateforme principale de CGA est un iSeries OS400 V6R1. L’application métier et de nombreuses applications connexes sont hébergées sur cette plateforme sous forme de
fichiers DB2 AS400. D’autres applications connexes sont hébergées sur des plateformes Windows avec des bases de données SQL Server. De nombreux échanges ont lieu entre ces différentes applications. L’ETL a vocation à fluidifier les échanges entre les applications DB2 AS400 et les applications SQL Server et inversement.
Figure 10 : Cas d’utilisation : Conversions complexes avec accès à un référentiel
Des conversions complexes entre un format source plat et un format cible XML (par exemple) sont réalisées par des programmes spécifiques et complexes de conversion. Ces programmes enrichissent le fichier cible avec des données contenues dans des référentiels DB2 AS400. L’ETL a vocation à remplacer ces développements en permettant notamment l’enrichissement par l’accès aux référentiels CGA.
Figure 11 : Cas d’utilisation : Extraction des données métiers vers un fichier plat
De nombreuses applications sont réalisées à partir des données de la plateforme principale iSeries sous forme de programmes spécifiques ou querys. Ces extractions sont produites au format CSV pour être transmises aux prestataires et clients mais également en interne aux
utilisateurs du SI. L’ETL a vocation à remplacer un maximum de ces développements/querys.
Figure 12 : Cas d’utilisation : Contrôles et traitements spécifiques de fichiers reçus
Certains fichiers nécessitent des traitements spécifiques : décompression, contrôle de contenu du zip, émission d’un rapport listant les erreurs de format dans le fichier reçu… L’ETL devra pouvoir réaliser ces traitements spécifiques et ainsi remplacer les programmes spécifiques développés pour ces besoins.
Dans le cadre d’opérations ponctuelles de migration ou de chargement massif, l’ETL sera amené à intervenir. Il permettra de simplifier les étapes suivantes : extraction de données, nettoyage des données, analyse des données, transformation des données, chargement des données dans l’application cible.
Ces opérations sont exceptionnelles (mise en place de la nouvelle version d’une application, remplacement d’une application existante par une autre, acquisition d’une nouvelle application) mais souvent lourdes en termes de charge et non réutilisables (one-shot).
,,,/DUpSRQVHDXEHVRLQHWOHFKRL[GHODVROXWLRQ
4XDWUH IRXUQLVVHXUV VRQW FRQVXOWpV GDQV OH FDGUH GX SURMHW &H SDQHO D pWp pODERUp HQ IRQFWLRQ GHV SUpFRQLVDWLRQV GX JURXSH 6* GH OD UpSXWDWLRQ GH FHV IRXUQLVVHXUV GDQV OH GRPDLQHpWXGLpHWGHVUHODWLRQVTXHQRXVHQWUHWHQRQVGpMjDYHFFHX[FL
6HORQOH30%2.OHSURFHVVXV©3URFpGHUDX[DSSURYLVLRQQHPHQWVªHVW©OHSURFHVVXVTXL FRQVLVWH j REWHQLU OHV UpSRQVHV GHV YHQGHXUV j VpOHFWLRQQHU XQ YHQGHXU HW j DWWULEXHU XQ FRQWUDWª
/HVGRQQpHVG¶HQWUpHSULQFLSDOHGHFHSURFHVVXVRQWpWpOHVUpSRQVHVGHVFRQVXOWpVjQRWUH DSSHOG¶RIIUH&HSURFHVVXVSDUWLFXOLqUHPHQWGpFLVLIGDQVODUpXVVLWHGXSURMHWDpWpUpDOLVp HQSOXVLHXUVpWDSHV
• 3UpVHQWDWLRQGHVVROXWLRQV $YDQWGHUHQGUHOHXUUpSRQVHjQRWUHDSSHOG¶RIIUHOHV IRXUQLVVHXUV VRQW YHQXV QRXV SUpVHQWHU OHV IRQFWLRQQDOLWpV VWDQGDUG GH OHXUV VROXWLRQV
• $QDO\VH GHV UpSRQVHV /D UpFHSWLRQ GHV UpSRQVHV j O¶DSSHO G¶RIIUH D pWp OH GpFOHQFKHXU G¶XQH SUHPLqUH SKDVH G¶DQDO\VH FRQVLVWDQW HQ OD OHFWXUH DWWHQWLYH GHV UpSRQVHVHWTXHOTXHVHQWUHWLHQVWpOpSKRQLTXHVDYHFOHVFRQVXOWpVSRXUDSSRUWHUGHV pFODLUFLVVHPHQWV/DFRQFOXVLRQGHFHWWHpWDSHDpWpODVpOHFWLRQG¶XQHVKRUWOLVWGH ODTXHOOH O¶XQ GHV IRXUQLVVHXUV D GLVSDUX FDU VD VROXWLRQ QH FRXYUDLW TXH WURS SDUWLHOOHPHQWOHVDWWHQWHVH[SULPpHV
• 6RXWHQDQFHV &KDTXHIRXUQLVVHXUHVWYHQXFKH]&*$QRXVSUpVHQWHUVDUpSRQVHj QRWUHDSSHOG¶RIIUHHQHVVD\DQWGHQRXVGpPRQWUHUFRQFUqWHPHQW OD UpVROXWLRQGHV SUREOpPDWLTXHVH[SULPpHVGDQVO¶H[SUHVVLRQGHEHVRLQV
• $QDO\VH ILQDOH GHV UpSRQVHV &HWWH DQDO\VH HVW O¶pWDSH SULPRUGLDOH TXL QRXV DPqQHUDjSUpFRQLVHUXQHVROXWLRQYLVjYLVGHFHVFRQFXUUHQWHV3RXUUpDOLVHUFHWWH DQDO\VHGHVWHFKQLTXHVG¶DQDO\VHFRPSDUDWLYHRQWpWpXWLOLVpHV1RWUHDQDO\VHDpWp PHQpH VXU OHV TXDWUH FULWqUHV LGHQWLILpV ORUV GX SURFHVVXV GH SODQLILFDWLRQ GHV DSSURYLVLRQQHPHQWV
/¶DGpTXDWLRQ GH OD VROXWLRQ DX[ EHVRLQV HVW pYDOXpH SDU O¶XWLOLVDWLRQ G¶XQH JULOOH UpFDSLWXODQW OHV EHVRLQV LGHQWLILpV HW OD UpSRQVH GHV IRXUQLVVHXUV j FKDTXH EHVRLQ FI $QQH[H
/HV FRWV GHV GLIIpUHQWHV VROXWLRQV SURSRVpHV VRQW FRPSLOpV GDQV XQ GRFXPHQW G¶DQDO\VHGHVFRWV FI$QQH[H
/D VLPSOLFLWp GH PLVH HQ °XYUH HVW pYDOXpH DX WUDYHUV G¶HQWUHWLHQV FRPSOpPHQWDLUHV DYHF OHV IRXUQLVVHXUV DLQVL TXH O¶pYDOXDWLRQ GHV GXUpHV HW PpWKRGHV G¶LPSOpPHQWDWLRQ SURSRVpHV
/DTXDOLWpGHODUpSRQVHHVWXQHpYDOXDWLRQSOXVVXEMHFWLYHTXLUHJURXSHQRWDPPHQWOH UHVSHFW GHV LQVWUXFWLRQV GRQQpHV ORUV GH O¶DSSHO G¶RIIUH OD SUHVWDWLRQ ORUV GH OD VRXWHQDQFHHWOHVUHODWLRQVDYHFOHVLQWHUORFXWHXUVGXIRXUQLVVHXU /HUpVXOWDWGHFHVWUDYDX[DERXWLWjXQFODVVHPHQWYDORULVpGHVUpSRQVHV FI$QQH[H HWXQGLDJUDPPHH[SOLTXDQWQRWUHSUpFRQLVDWLRQ &RWV $GpTXDWLRQDX[EHVRLQV 6LPSOLFLWpPLVHHQ RHXYUH 4XDOLWpGHODUpSRQVH $;:$< ,%0 ,1)250$7,&$ )LJXUH 'LDJUDPPHG¶pYDOXDWLRQGHVIRXUQLVVHXUV
• 3UpVHQWDWLRQ j OD 'LUHFWLRQ *pQpUDOH /H UpVXOWDW GHV DQDO\VHV HVW DUJXPHQWp GHYDQWODGLUHFWLRQJpQpUDOHTXLDFFHSWHQRWUHSUpFRQLVDWLRQFRQFHUQDQWOHFKRL[GH OD VROXWLRQ OD SOXV DGDSWpH j QRV EHVRLQV HW QRWUH FRQWH[WH 1RXV OXL IRXUQLVVRQV pJDOHPHQW XQ EXVLQHVV FDVH TXLQTXHQQDO FI $QQH[H SRXU pYDOXHU OH 52, SUpYLVLRQQHO LQKpUHQW j OD PLVH HQ SODFH GH OD VROXWLRQ DX FRXUV GHV SURFKDLQHV DQQpHV/¶pODERUDWLRQGHFHEXVLQHVVFDVHHVWEDVpVXUGHVK\SRWKqVHVSURYHQDQWGH O¶H[SpULHQFHGHVSURMHWVFKH]&*$HWGHO¶H[SpULHQFHGXIRXUQLVVHXUVXUVDVROXWLRQ &H EXVLQHVV FDVH PHW HQ DYDQW OHV JDLQV HVSpUpV HQ WHUPHV GH QRXYHDX GpYHORSSHPHQW SOXV UDSLGH GH PDLQWHQDQFH DSSOLFDWLYH SOXV VLPSOH GH
PDLQWHQDQFH ORJLFLHOOH pFRQRPLH VXU OHV EULTXHV DSSOLFDWLYHV VXSSULPpHV HW G¶DXWRPDWLVDWLRQ LQWpJUDWLRQGHVWUDYDX[GHWHVWVGHILFKLHUVUpDOLVpVPDQXHOOHPHQW SDUXQ(73 • 'pFLVLRQILQDOH /DGpFLVLRQILQDOHDpWpHQWpULQpHSDUXQGRFXPHQWG¶HQJDJHPHQW GHGpSHQVHVVLJQpSDUODGLUHFWLRQJpQpUDOH /DGRQQpHGHVRUWLHPDMHXUHGHFHSURFHVVXVHVWOHFRQWUDWG¶DSSURYLVLRQQHPHQWVLJQpDYHF OHIRXUQLVVHXUUHWHQX
,,,/DSUpVHQWDWLRQJpQpUDOHGHODVROXWLRQUHWHQXH
/D VROXWLRQ UHWHQXH HVW ,QIRVSKHUH 'DWDVWDJH G¶,%0 &HWWH VROXWLRQ HVW XQ pOpPHQW GH OD VXLWH ,QIRUPDWLRQ 6HUYHU SODWHIRUPH G¶LQWpJUDWLRQ GHV GRQQpHV TXL HVW FRQVWLWXpH GH PRGXOHVUHSRVDQWVXUXQVRFOHWHFKQLTXHXQLILp • ,QIRUPDWLRQ$QDO\]HU FRPSUpKHQVLRQDXWRPDWLVpHGHGRQQpHVSRXUOHYHUOHYRLOH VXUOHFRQWHQXGHVGRQQpHVVRXUFHVHWOHXUVWUXFWXUH • 4XDOLW\6WDJH QHWWR\DJHHWDPpOLRUDWLRQGHODTXDOLWpGHVGRQQpHVSRXULGHQWLILHU FRUULJHUIDLUH FRUUHVSRQGUHVWDQGDUGLVHUHWUpFRQFLOLHUGHVGRQQpHVLPSUpFLVHVRX UHGRQGDQWHV • )HGHUDWLRQ6HUYHU IpGpUDWLRQRXYLUWXDOLVDWLRQG¶DFFqVDX[GRQQpHVDILQGHUHQGUH DFFHVVLEOHFKDTXHLQIRUPDWLRQGRQQpHjWRXV XWLOLVDWHXUVDSSOLFDWLRQV6*%'« • 'DWD6WDJH WUDQVIRUPDWLRQ HW GLVWULEXWLRQ GHV GRQQpHV SRXU REWHQLU OHV GRQQpHV
TXHOOHVTXHVRLHQWOHXUFRPSOH[LWpHWOHXUVRXUFHIRUPDWpHVVHORQOHVH[LJHQFHVHW GLVWULEXpHVjQ¶LPSRUWHTXHOOHFLEOHDXERQPRPHQW )LJXUH /DVXLWH,QIRUPDWLRQ6HUYHU ,QIRVSKHUH'DWDVWDJHSHUPHWG¶DFFRPSOLUOHVREMHFWLIVVXLYDQWV • FRQVWUXLUHGHVIORWVGHGRQQpHVTXLH[WUDLHQWOHVLQIRUPDWLRQVSURYHQDQWGHVRXUFHV PXOWLSOHVWUDQVIRUPHQWOHVGRQQpHVDXIRUPDWDWWHQGXHWGpOLYUHQWOHVGRQQpHVDX[ EDVHVGHGRQQpHVRXDSSOLFDWLRQVFLEOHV
• VH FRQQHFWHU GLUHFWHPHQW DX[ DSSOLFDWLRQV GH O¶HQWUHSULVH HQ WDQW TXH VRXUFHV RX FLEOHVSRXUV¶DVVXUHUTXHOHVGRQQpHVVRQWSHUWLQHQWHVFRPSOqWHVHWH[DFWHV • UpGXLUHOHVWHPSVGHGpYHORSSHPHQWHWDPpOLRUHUODFRKpUHQFHGHODFRQFHSWLRQHW GXGpSORLHPHQWjO¶DLGHGHIRQFWLRQVSUpGpILQLHV • UpGXLUHOHF\FOHGHUpDOLVDWLRQGXSURMHWHQWUDYDLOODQWDYHFXQHQVHPEOHFRPPXQ G¶RXWLOVGDQVODVROXWLRQ /HVSRLQWVIRUWVGHO¶RXWLO'DWDVWDJHVRQW • ODFRQQHFWLYLWpjXQODUJHpYHQWDLOGHIRUPDWGHILFKLHUVEDVHGHGRQQpHVJUkFHDX[ QRPEUHX[FRQQHFWHXUVIRXUQLV • XQHELEOLRWKqTXHGHSOXVGHIRQFWLRQVSUpGpILQLHVLQFOXDQWGHVWUDQVIRUPDWLRQV FRPSOH[HV • XQHH[pFXWLRQGHVMREVSRVVLEOHVHQEDWFKHQWHPSVUpHORXFRPPHVHUYLFH:HE • XQWUDLWHPHQWSDUDOOqOHKDXWHSHUIRUPDQFH 'DWDVWDJHHVWDYDQWWRXWXQRXWLORSpUDWLRQQHOGHPDQGDQWGHFRPSUHQGUHODSUREOpPDWLTXH PpWLHUDYDQWGHVHODQFHUGDQVO¶LQWpJUDWLRQ ,OSHUPHWGHV¶DIIUDQFKLUGHVSUREOpPDWLTXHV WHFKQLTXHV GH SURJUDPPDWLRQ IDVWLGLHXVHV DILQ GH VH FRQFHQWUHU VXU OD ILQDOLWp PpWLHU /D FRQFHSWLRQV¶DSSURFKHGHVPpWKRGRORJLHVGHGpYHORSSHPHQWUDSLGHG¶DSSOLFDWLRQVJUkFHj XQHLQWHUIDFHGHJHVWLRQGHVIOX[YLVXHOV
/HV FRQFHSWLRQV UpDOLVpHV VRQW RUJDQLVpHV SDU SURMHW &HV SURMHWV VRQW GHV FRQWDLQHUV TXL RUJDQLVHQWHWIRXUQLVVHQWODVpFXULWpDX[MREV/HVMREVVRQWOHVWUDYDX[FRUUHVSRQGDQWjXQ IOX[GHGRQQpHVDXVHQVODUJH ,OH[LVWHGHX[W\SHVGHWUDYDX[ OHVWUDYDX[SDUDOOqOHVTXL VRQWOHVWUDYDX[XQLWDLUHVSHUPHWWDQWODWUDQVIRUPDWLRQG¶XQHVRXUFHHQFLEOHHWOHVWUDYDX[ VpTXHQFHVTXLVRQWOHVWUDYDX[SHUPHWWDQWGHVSpFLILHUXQHVpTXHQFHGHWUDYDX[SDUDOOqOHVj H[pFXWHU/HVWUDYDX[VpTXHQFHVFRQWU{OHQWO¶LQWHUDFWLRQHWODJHVWLRQGHVHUUHXUVHQWUHOHV WUDYDX[ LQGLYLGXHOV LOV IRUPHQW DLQVL XQ PRGXOH GH ERXWHQERXW /HV MREV VRQW FRQoXV JUDSKLTXHPHQWHWVRQWFRPSRVpGHVWDJHVTXLVRQWOHVRSpUDWHXUVpOpPHQWDLUHVGHWUDLWHPHQW GHVGRQQpHV
/HVSULQFLSDX[VWDJHVGLVSRQLEOHVSRXUFRQFHYRLUXQMRESDUDOOqOHVRQW • OHVVWDJHVILFKLHUV
6HTXHQWLDO )LOH FH VWDJH SHUPHW G¶H[WUDLUH VRXUFH RX GH FKDUJHU FLEOH OHV GRQQpHVGDQVXQILFKLHUWH[WHVpTXHQWLHOPRQRIRUPDW
'DWDVHW FHVWDJHSHUPHWGHFUpHURXGHOLUHGHVILFKLHUVGHGRQQpHVGDQVXQIRUPDW ELQDLUHVSpFLILTXHj'DWDVWDJH/HVGDWDVHWVVRQWXWLOLVpVSRXUWUDQVPHWWUHGHVGRQQpHVHQWUH OHVMREV'DWDVWDJH
&RPSOH[ )ODW )LOH FH VWDJH SHUPHW G¶H[WUDLUH VRXUFH RX GH FKDUJHU FLEOH OHV GRQQpHVGDQVXQILFKLHUWH[WHVpTXHQWLHOPXOWLIRUPDW
2'%& &RQQHFWRU FH VWDJH SHUPHW G¶H[WUDLUH VRXUFH RX GH FKDUJHU FLEOH GHV GRQQpHVGDQVXQHEDVHGHGRQQpHVDFFHVVLEOHVSDUGHVVRXUFHV2'%& • OHVVWDJHVWUDLWHPHQWV &RS\ FHVWDJHSHUPHWGHFRSLHUXQIOX[HQWUDQWHQQIOX[VRUWDQWV $JJUHJDWRU FHVWDJHSHUPHWG¶DJUpJHUOHVHQUHJLVWUHPHQWVG¶XQIOX[jSDUWLUG¶XQH FOpG¶DJUpJDW pTXLYDOHQWGX*5283%<GDQV64/ )LOWHU FHVWDJHSHUPHWGHILOWUHUOHVHQUHJLVWUHPHQWVG¶XQIOX[HQSDUDPpWUDQWXQH FRQGLWLRQVSpFLILTXHVXUXQRXSOXVLHXUVGHFHVFKDPSV pTXLYDOHQWGX:+(5(GDQV64/ -RLQ0HUJH/RRNXS FHVVWDJHVSHUPHWWHQWGHUpDOLVHUWRXVOHVW\SHV GH MRLQWXUHV LQWHUQHV H[WHUQHV JDXFKH GURLWH SRVVLEOHV HQWUH SOXVLHXUV IOX[ HQWUDQW /¶XWLOLVDWLRQGHO¶XQRXO¶DXWUHGHFHVVWDJHVHVWUpJLWSDUOHYROXPHGHVIOX[ QRWDPPHQWOD GLIIpUHQFHHQWUHOHIOX[SULQFLSDOHWOHIOX[GHUpIpUHQFH
Remove Duplicates : ce stage permet de supprimer les doublons dans les enregistrements d’un flux à partir d’une clé (simple ou composée).
Sort : ce stage permet de trier les enregistrements d’un flux sur une clé (simple ou composée).
Transformer : ce stage est le plus complet, il permet de filtrer les données sur une condition donnée et permet la définition de nouvelles données en réalisant des dérivations basées sur un ensemble de fonctions prédéfinies (fonctions de conversion, de calcul…)
Les principaux stages disponibles pour concevoir un job séquence sont :
StartLoop et EndLoop : permet de créer des boucles de traitement à partir
d’un compteur ou d’une liste d’items.
Job Activity : permet d’exécuter des jobs Datastage (job parallèle ou séquence).
Nested Condition : permet d’intégrer une condition dans le flux (équivalent du IF
dans la plupart des langages de programmation).
Notification Activity : permet de déclencher une notification par mail.
WaitForFile Activity : permet de scanner la présence d’un fichier dans un
répertoire.
Execute Command : permet d’exécuter une commande sur le système d’exploitation
(QWHUPHVG¶DUFKLWHFWXUHORJLTXHODVROXWLRQHVWFRPSRVpHGHVpOpPHQWVVXLYDQWV • ODSODWHIRUPH,QIRUPDWLRQ6HUYHU ,QIRUPDWLRQ6HUYHU3ODWIRUP &HWWHSDUWLHVHUYHXUHVWFRQVWLWXpH GXPRWHXUG¶H[pFXWLRQSDUDOOqOHTXLH[pFXWHOHVWkFKHV,QIRUPDWLRQ6HUYHUHWTXLHVW FRQVWLWXp GH O¶,QIRUPDWLRQ 6HUYHU (QJLQH TXL H[pFXWH OHV MREV 'DWD6WDJH GHV 6HUYLFH $JHQWV SURFHVVXV IRXUQLVVDQW OD FRPPXQLFDWLRQ HQWUH OHV 6HUYLFHV HW OH 0RWHXU HWGHV&RQQHFWRUV TXLIRXUQLVVHQWO¶DFFqVDX[GRQQpHVORUVGXGHVLJQHWGH O¶H[pFXWLRQ
GX PRGXOH 6HUYLFHV TXL HVW O¶HQVHPEOH GH VHUYLFHV SDUWDJpV SHUPHWWDQW GH FHQWUDOLVHU OHV WkFKHV GH EDVH OHV &RPPRQ 6HUYLFHV TXL UpDOLVHQW OHV WkFKHV GH VpFXULWp ORJJLQJ UHSRUWLQJ PHWDGDWD HW H[pFXWLRQ OHV 3URGXFWVSHFLILF 6HUYLFHV TXL IRXUQLVVHQW OHV WkFKHV VSpFLILTXHV DX[ SURGXLWV 'DWD6WDJH QRWDPPHQW HW OH VHUYHXU G¶DSSOLFDWLRQ :HEVSKHUH PRWHXU GH WUDQVDFWLRQV KDXWHSHUIRUPDQFH SHUPHWWDQWGHFRQVWUXLUHHWH[pFXWHUGHVDSSOLFDWLRQV:HEG\QDPLTXHVLPSOLTXDQW W\SLTXHPHQWOHSURWRFROH+773
GX UpIpUHQWLHO 5HSRVLWRU\ TXL VWRFNH OHV REMHWV GH WRXV OHV SURGXLWV GH OD VXLWH ,QIRUPDWLRQ6HUYHU&HUpIpUHQWLHOHVWXQHEDVHGHGRQQpHVSRXYDQWrWUHKpEHUJpVXU GHPXOWLSOHV6*%' • OHVPRGXOHVFOLHQWV (QG8VHUV 7URLVFOLHQWVORXUGVVRQWIRXUQLVSRXUO¶XWLOLVDWLRQGH'DWDVWDJH OH'HVLJQHU TXLSHUPHWDX[GpYHORSSHXUVODFRQFHSWLRQJUDSKLTXHGHVWUDYDX[VXU OHVGRQQpHV
OH 'LUHFWRU TXL SHUPHW GH VXLYUH O¶H[pFXWLRQ GHV WUDYDX[ DX F°XU GHV SURMHWV 'DWDVWDJH
O¶$GPLQLVWUDWRU TXLSHUPHWGHJpUHUO¶HQVHPEOHGHVSURMHWVG¶XQVHUYHXU /DVROXWLRQHVWFRPSOpWpHSDUGHX[FRQVROHVG¶DGPLQLVWUDWLRQ:HE
XQH FRQVROH SRXU OD JHVWLRQ GX VHUYHXU G¶DSSOLFDWLRQ :HE6SKHUH SHUPHWWDQW QRWDPPHQWGHJpUHUOHVGURLWVG¶DFFqVjODVROXWLRQ
- une console pour la gestion de la suite InfoSphere offrant notamment la possibilité d’effectuer des exports et imports de composants afin de réaliser les livraisons entre les différents environnements.
