Talented Together
L’ÉCHANGE DE DONNÉES TEMPS RÉEL
Retours d’expériences avec Talend
SOMMAIRE
1|Sopra & Talend
2|L’évolution du marché de la donnée
3|Échange temps réel : Zoom Projet Transport
4|Échange temps réel : Projets Ministère Intérieur & Orange 5|Retours d’expériences
Ludovic MONNIER
Architecte Sopra
Expert EAI‐ESB sur des projets d’intégration
Julien DULOUT
Manager Sopra Consulting
Expert des offres BI, MDM & BigData
SOPRA & TALEND
Sopra Stéria Group
+ 35000 collaborateurs 3,1 Mds€ de CA en 2013 Top 10 des ESN en Europe 4 métiers : Conseil, Services, Edition, Infrastructure
Sopra & Talend
Partenaires depuis 2008 + 150 projets
+ 100 collaborateurs expérimentés
Partenariat étendu au Big Data en 2014
Centres de Services Talend
Paris, Lille, Bordeaux, Toulouse Partage de bonnes pratiques
Capitalisation sur un socle applicatif autour des solutions Talend ETL et Talend ESB
Pourquoi Platinum Partner ?
Offre cohérente pour outiller transport, contrôle et transformation de la donnée (ESB‐ETL‐DQM‐MDM)
Solutions Open Source pertinentes plus fonctionnalités industrielles en souscription Apport d’accélération et d’industrialisation sur nos projets
L’ÉVOLUTION DU MARCHÉ DE LA DONNÉE
A nouvelle donne
Explosion des volumes Multiplication des sources
Prédominance du non structuré
Prise de conscience du potentiel de valeur porté par les données
Nouveaux besoins
Partager plus les données Fluidifier les échanges
Gérer les référentiels pour faciliter les croisements Contrôler et garantir la qualité des données
Analyser la sémantique Prédire les comportements
Nouveau
Une bonne partie des réponses …
PROJET SECTEUR TRANSPORT
Solution
Moderniser le système d’échange et de diffusion des informations commerciales auprès des usagers via les sites web et les afficheurs passagers
Rassembler les données de production des plans de transport de plusieurs sources pour alimenter les différents canaux de diffusion lors des journées de perturbation
Accéder aux données de perturbation en temps réel depuis une IHM avant la diffusion de l’information
Architecture
Talend Data Services
Talend Administration Center PostgresSQL
Web services
Pilotage de la plate‐forme via IHM
Appli 1
Diffuseur
Canaux de diffusion
finaux
Appli 2 Appli
3
Enjeux
Centraliser , homogénéiser et accéder en temps réel aux données des perturbations
PROJET SECTEUR TRANSPORT ZOOM INDUSTRIALISATION
Normes de nommage
Application des règles de nommage standardisées sur différents projets ETL Talend SOPRA pour les jobs et les
composants
Utilisation des règles de nommage
proposées par TALEND pour les services
Gestion des contextes
Création d’un job générique pour une meilleure gestion du chargement et du contrôle d’existence du fichier de
contexte
Centralisation de l’ensemble des données de contexte par environnement dans un fichier unique
Template pour les web services
Utilisation d’un job chapeau paramétrable couvrant les fonctionnalités techniques applicables à toute opération
Appel à un Joblet générique de validation du format de la requête SOAP par chargement du schéma attendu
Utilisation d’un deuxième Joblet pour couvrir le besoin fonctionnel de l’opération et générer la réponse SOAP
Réutilisation du code
Création de jobs techniques génériques pour :
Gestion des erreurs Chargement du contexte Chargement du schéma XML
Les jobs spécifiques sont dédiés aux aspect fonctionnels de la solution
PROJET SECTEUR TRANSPORT
INDUSTRIALISATION DE LA MISE EN ŒUVRE DES WEBSERVICES
Gestion unifiée des erreurs
au niveau le plus haut avec retour SOAP Utilisation d’un « sous‐job » générique
pour la gestion du contexte (fichier)
Pattern implémentation haut niveau:
‐contrôle de la requête systématique
‐implémentation de la fonctionnalité via Joblet avec I/O standardisées
PROJET MINISTÈRE DE L’INTÉRIEUR – SCHENGEN NSIS
Solution
Partage des alertes au sein de l’espace Schengen
14 catégories de signalement
(Personnes recherchées, Véhicules, Documents, …)
2 niveaux : NSIS et CSIS
Mise en production : Avril 2013
Architecture
Talend ESB (open source ) 700 messages/minutes émis
Enjeux
Permettre la coopération policière au sein de l’espace Schengen
PROJET ORANGE – PHARAON
(
PORTAIL HABILITÉ POUR L’ANALYSE ET LA RESTITUTION DES DEMANDES, DES INTERVENTIONS, DES CLIENTS)
Enjeux
Centraliser les accès aux applications principales du processus commande et livraison Offrir un outil national unique de consultation destiné aux utilisateurs « Production en Unités d’Intervention » sur 32 UI
Améliorer l'ergonomie, permettre des gains de productivité et de fiabilité des données.
Architecture
Talend Data Integration
Consultation des données via IHM GWT et moteur Exalead
600Go de données / 6 M de lignes par jour / 10 VMs d’acquisition Talend
Solution
Projet Agile
Intégration et indexation de données en temps réel Optimisations ETL (Parallélisation, Ordonnancement)
Optimisations BDD (Gestion de sessions, optimisation et partitionnement Oracle)
Talented Together
L’ÉCHANGE DE DONNÉES TEMPS RÉEL
Retours d’expériences avec Talend
RETOURS D’EXPÉRIENCES – VISION « PRODUIT »
Routage/Transformation
Variété des connecteurs disponibles Création de connecteur « Custom »
Conteneur d’application
Rechargement à chaud des bundles Contrôle individuel des routes
Traitements ETL continus
Administration
Versionning des services
Gestion de la haute disponibilité (Service Locator)
Déploiement outillé
Exposition des services
Intégration de CXF : Service Web créé à partir du WSDL
RETOURS D’EXPÉRIENCES – VISION « MISE EN ŒUVRE »
Développement
Validation des routes par les tests unitaires
Tuning fin des traitements Talend Mode collaboratif possible
Simplicité de prise en main via le studio
Architecture
Accompagnement d’une démarche SOA auprès de nos clients
TalendESB : une solution OpenSource en appui sur des produits éprouvés (Camel, CXF, Karaf)
Industrialisation
1 produit : installation, déploiement et exploitation simplifiés
Réutilisabilité de composants génériques
Performance
Scalabilité via Zookeeper
Paramétrage détaillé du niveau de parallélisme
Maîtrise de la mémoire RAM
Privilégier la charge sur le SGBD (ELT)
