L’analyse des données peut nécessiter la mise en place d’un workflow de traitement utilisant des chaînes logicielles. Il existe des environnements virtuels de recherche (VRE Virtual Research Environment) qui facilitent la mise en place de ces méthodes d’analyse complexes.
VIP, the Virtual Imaging Platform, est un portail qui permet à ses utilisateurs d’accéder simplement à leurs données, de les traiter facilement avec des logiciels préinstallés sur la plateforme. Traitements et données sont distribués sur l’infrastructure EGI (infrastructure de grille de calcul européenne). Pour répondre au besoin d’interopérabilité des données, l”API CARMIN(API web) est maintenant utilisée par VIP. Cette présentation explique les différentes étapes du fonctionnement du système mis en place.
VIP : towards data interoperability through CARMIN, vidéo
Axel Bonnet, Pascal Wassong, Frederic Cervenansky, Camarasu-Pop Sorina, CREATIS et , Tristan Glatard, Concordia UniversityJCAD 2019, Toulouse.
Virtual Imaging Platform
Sorina Camarasu-Pop, Axel Bonnet, Frédéric Cervenansky, CREATIS, Tristan Glatard, Concordia UniversityJCAD 2018
Pangeoest une communauté qui travaille au développement de logiciels et d’infrastructures pour faciliter la mise en œuvre des géosciences, dans le domaine du « Big Data ». Cette communauté développe tout un écosystème d’outils open source pour les géosciences.
Cet écosystème a été présenté lors des JCAD 2019 et 2018 :
Analyse de simulations numériques de l’océan en préparation aux missions satellite : cas d’utilisation des outils PANGEO
A. Albert, F. Briol, L. Brodeau, G. Dibarboure, G. Eynard-Bontemps, J. Le Sommer, A. PonteJCAD 2019, Toulouse.
Guide de Bonnes Pratiques sur la gestion des données de la Recherche
Jupyter, Dask : traitement distribué simple et interactif en Python sur HPC avec l’écosystème Pangeo Guillaume Eynard-Bontemps, Centre National d’Etudes SpatialesJCAD 2018, Lyon.
D’autres environnements de management de workflow existent :
WRENCH : Workflow Management System Simulation Workbench
Frederic Suter, Henri Casanova, Rafael Ferreira Da Silva, CC IN2P3JCAD 2018, Lyon.
enfin, les environnements de notebooks sont des outils de plus en plus utilisés dans le cadre de l’analyse de données. Les notebooks sont des programmes qui contiennent à la fois du texte et du code, dans différents langages (Python, Julia, R, Scala . . . ), exécutables via une interface web. Ces outils sont de plus en plus couramment utilisés en sciences des données. Jupyter est l’application de notebooks la plus utilisée actuellement.
Plusieurs interventions ont eu lieu sur ce sujet. La première, exposée lors des JCAD 2019, met particulièrement en avant l’intérêt des notebooks pour la reproductibilité.
Towards reproducible Jupyternotebooks Ludovic Courtès, INRIAJCAD 2019, Toulouse.
La présentation suivante, qui a eu lieu lors des JCAD 2018, expose les services de notebooks proposés par l’infrastruc- ture de grille européenne EGI.
EGI Notebooks : Jupyter as a Service and EGI Check-In AAI Baptiste Grenier, egi.euJCAD 2018, Lyon.
Enfin, ce dernier exposé, des JCAD 2018, montre l’utilité des notebooks pour la pédagogie et la formation.
RomeoLAB, le portail web HPC : cas d’utilisation pour la pédagogie et les logiciels à la demande Arnaud RENARD, Université de Reims Champagne-ArdenneJCAD 2018, Lyon.
5.3.1 Qualité logicielle
Ces chaînes de traitement sont très souvent associées à des instruments complexes et nécessitent ainsi de s’interfacer parfaitement avec le reste de l’instrument. Dans ce contexte, il convient d’assurer le suivi des exigences liées au logiciel, la gestion des interfaces avec le reste de l’instrument et l’activité Assurance Qualité Logiciel. Cette dernière permet notamment de répondre à des exigences applicables à un logiciel, du développement à la maintenance de celui- ci. L’ensemble des activités, normes, contrôles et procédures mis en place doit couvrir la totalité de la durée de vie d’un logiciel. Il est par exemple important de vérifier et valider au travers de tests la bonne santé du code et de constamment veiller à la traçabilité qui lui est liée.
Unejournée du réseau Qualité en Recherchea été entièrement consacrée à ce sujet en 2019. Plusieurs exposés ont permis d’illustrer les concepts associés à la qualité logicielle :
Qu’est-ce qu’un logiciel et qu’est-ce que la qualité ?
Henri VALEINS, Journée thématique Assurance Qualité Logiciel 2019, Paris.
Plans de Gestion de Logiciel et Assurance Qualité Logiciel, les apports de PRESOFT Geneviève Romier, CC-IN2P3, Journée thématique Assurance Qualité Logiciel 2019, Paris.
Référentiels et normes de codage
Z.Tucsnak, Journée thématique Assurance Qualité Logiciel 2019, Paris.
Qualité Logiciel dans un projet de Nanosatellite
Colin Gonzalez, AstroParticules et Cosmologie, Journée thématique Assurance Qualité Logiciel 2019, Paris.
5.3.2 Retours d’expérience
Dans le domaine environnemental, les chaines logicielles sont également mises en place pour automatiser et ecnhaine un certain nombr de traitements comme :
— le contrôle qualité basé sur des paramètres physiques de l’instrument — le contrôle qualité spécifique à un type d’instrument
— les corrections — le filtrage — les aggrégations
— le stockage en base de données
Plusieurs présentations issues des journées du réseau SIST illustrent des mises en oeuvre de chaîne logicielle d’analyse de données :
Filtrage interactif de données multidimensionnelles
Patrick Brockmann, Laboratoire des Sciences du Climat et de l’EnvironnementSIST16 OSU OREME 2016, Montpel- lier.
Chaînes de traitement en temps quasi réel des mesures de gaz à effet de serre du TGIR ICOS
Lynn Hazan, Laboratoire des Sciences du Climat et de l’EnvironnementSIST18 2018, Observatoire Versailles.
Vie d’une données sismologique de sa naissance sur le terrain jusqu’à sa distribution
David Wolyniec, OSU Grenoble - Jonathan Schaeffer, OSU GrenobleSIST16 OSU OREME 2016, Montpellier.
Guide de Bonnes Pratiques sur la gestion des données de la Recherche