Flux de SAP ECC vers ORTEMS

La mise en place d'une connexion directe entre DataStage et la base de données de SAP étant interdite pour des raisons de support, l'extraction des données depuis SAP se fait au moyen de fichiers texte. La conception des flux allant de SAP vers ORTEMS requiert donc de procéder aux tâches suivantes:

Création d'un programme d'extraction dans SAP. Le programme doit sélectionner les données dans les tables du système, puis les extraire dans des fichiers texte de type CSV.
Création des tables dans la base données intermédiaire. Par mesure de simplicité, ces

tables doivent être créées avec un format identique à celui des BDM. Ainsi, les développements DataStage devront procéder à des mappings très simplifiés.

Développement des mappings dans l'intergiciel DataStage.
Conception de la logique d'intégration dans l'outil VIC.

Mise en place du traitement ordonnancé pour coordonner l'exécution de l'ensemble des tâches sur les différents types de systèmes.

La conception de la logique d'intégration dans l'outil VIC ne sera pas abordée au cours de cette partie. Ce travail fut réalisé par des consultants ORTEMS et une équipe locale dédiée.

7.2.1.1 Programme d'extraction SAP

Le développement des programmes d'extraction de données dans des fichiers de type texte est simple. En fonction des champs contenus dans le BDM, il suffit d'écrire des requêtes au format ABAP SQL (un dérivé proche du SQL) puis de transférer les résultats dans des fichiers au travers de fonctions standards de SAP. Si la structure des données est plate, c'est à dire dans le cas où une seule requête est nécessaire, alors uniquement un fichier devra être créé. En revanche, si la structure est plus complexe alors plusieurs fichiers d'extraction seront nécessaires.

Robial Benoît - Mise en place d'interfaces dans le cadre d'un projet d'implémentation du PGI SAP ECC

Les écrans de sélection des programmes d'extraction de chaque interface doivent contenir les informations nécessaires permettant de filtrer les données. Il est de plus nécessaire de renseigner le nom des fichiers ainsi qu'un caractère de séparation qui sera utilisé pour distinguer les valeurs. La plupart des interfaces utilisent la barre verticale « | » comme séparateur. L'illustration ci- dessous représente l'écran de sélection du programme d'extraction des ordres de planification. Les champs « Plants », « MRP Group » et « Prod. Sched. Profile » permettent de filtrer les données à extraire, tandis que « File Name » et « Separator » sont des paramètres de spécification du fichier résultat.

Illustration 48: Ecran de sélection d'un programme SAP d'extraction de données pour DataStage.

Les interfaces de type batch ne font aucune distinction entre les données nouvelles et celles déjà transmises par le passé. Ainsi lors de chaque exécution toutes les informations disponibles dans le système sont sélectionnées, extraites puis traitées sans se limiter aux seuls objets changés.

7.2.1.2 Création des tables dans la base de données intermédiaire

Le SGBD utilisé étant Oracle, la création des tables dans la base de données intermédiaire fut réalisée au travers de l'outil Toad. Cette tâche consista uniquement à créer des tables de structure identique aux formats des BDM, et par conséquent aussi similaires aux fichiers extraits depuis SAP. Une fois terminé, le mapping doit être renseigné dans les onglets « ORTEMS Sub » des documents de spécification des BDM.

7.2.1.3 Développement DataStage

Dans notre scénario d'intégration, les développements sur l'intergiciel DataStage consistent à lire un fichier texte contenant des valeurs séparées par un caractère déterminé, puis à enregistrer chaque ligne du fichier dans une table de même format. Pour éviter les collisions, la première étape sera de vider entièrement les tables de la base de données intermédiaire avant d'insérer les enregistrements issus des fichiers.

Robial Benoît - Mise en place d'interfaces dans le cadre d'un projet d'implémentation du PGI SAP ECC

DataStage étant optimisé pour l'exécution de processus d'échange de données massifs, les développements se réalisent de manière différente que dans l'EAI WebMethods qui est lui conçu pour les traitements objet par objet. Ainsi, les développements sont découpés en services contenant chacun des étapes appelées « Stages ». Pour chacune, l'exécution du traitement s'effectue le plus rapidement possible et débute dès qu'un premier enregistrement est reçu. Les étapes ne sont donc pas exécutées une à une pour chaque fichier à traiter. Par exemple l'exécution du second « Stage » débute dès que le premier enregistrement est extrait de l'étape initiale. L'illustration ci-dessous représente le développement d'un service DataStage composé d'un service de lecture de fichier texte envoyant des données à un « Stage » de mapping, lui même connecté à un dernier « Stage » insérant les enregistrements dans la table INB_PL_HEADER de la base de données intermédiaire.

Illustration 49: Exemple de service DataStage.

7.2.1.4 Traitement ordonnancé

Le schéma ci-dessous illustre les enchainements des étapes permettant d'exécuter chaque interface d'extraction. En règle générale toutes ces interfaces sont déclenchées au même moment, en soirée lorsque l'activité sur les systèmes est réduite.

Illustration 50: Enchaînement des étapes du flux transférant les données de SAP ECC vers ORTEMS.

Robial Benoît - Mise en place d'interfaces dans le cadre d'un projet d'implémentation du PGI SAP ECC

1. Appel du programme d'extraction

ControlM, l'ordonnanceur global du système informatique de Givaudan, appelle le programme d'extraction sur le progiciel SAP ECC. A la fin de son exécution, des fichiers de données sont générés sur le serveur de type Unix qui héberge SAP.

2. Déplacement des fichiers

L'ordonnanceur exécute des commandes système afin de déplacer les fichiers de données vers le serveur Unix sur lequel l'intergiciel DataStage est installé.

3. Déclenchement de l'intergiciel

Les processus DataStage sont déclenchés par ControlM. A la fin de ce traitement, les données des fichiers d'extraction sont copiées dans les tables de la base de données intermédiaire selon les règles de mapping développées.

4. Déclenchement de l'outil VIC

Dès lors que les traitements DataStage sont terminés, l'ordonnanceur active le processus d'intégration de VIC. Selon les règles implémentées par les équipes locales, ce dernier synchronise ORTEMS avec le contenu de la base de données intermédiaire. La fin de cette opération clot le scénario d'exportation des données de SAP vers ORTEMS.

Pour chaque site utilisant l'application ORTEMS, ces étapes sont déclenchées le soir vers 22 heures en horaire local.