L’idée première derrière la notion de reproductibilité est qu’un scientifique puisse reproduire une expérience qui a été partagée au sein de la communauté scientifique dans
36 ] s y s t è m e s m u lt i-agents et simulation
le but d’obtenir les mêmes résultats. Dans le cadre d’expériences numériques, Dao et al. (2016) proposent un état de l’art des définitions issues de la littérature. Deux dimensions de la reproductibilité y sont dégagées : la reproduction de l’expérience numérique et la reproduction exacte du résultat calculé (i.e. reproductibilité numérique). La nuance entre reproductibilité et répétabilité est également mise en avant : la répétabilité « consiste à retrouver les mêmes résultats lorsque deux expériences sont menées avec les mêmes paramètres d’entrées, avec des matériels, des méthodes et des contextes identiques ». La reproductibilité se veut donc plus générale que la répétabilité. Parmi les apports de la reproductibilité, Dao et al. (2016) nous rappelle qu’elle « constitue une méthode et un standard pour juger de la pertinence d’une expérience numérique publiée et donc des conclusions qui en découlent. »
Entre la notion de répétabilité et de reproductibilité, différents degrés sont suggérés dans la littérature. Dalle (2012) propose par exemple quatre niveaux de reproductibilité, selon la disponibilité du code source, les aspects non-déterministes du calcul et la similitude du plan d’expérience et des sorties du modèle. Dans leur rapport, Stodden et al. (2013) définissent également plusieurs niveaux de reproductibilité :
l’examen par les pairs, qui est la méthode traditionnelle de publication (les travaux et résultats décrits sont jugés crédibles par la communauté scientifique) ;
la recherche réplicable, où les outils permettant de reproduire les même résultats sont fournis ;
la recherche vérifiable, où les même conclusions peuvent être atteintes indépendamment du code source fournit par l’auteur ;
la recherche validable, où suffisamment de ressources (sources et données) sont archivées afin de permettre de défendre les résultats fournis ;
la recherche ouverte, où tous les éléments utilisés pour arriver aux résultats présentés sont fournis en accès libre et documentés.
Les conclusions établies par Stodden et al. (2013), Dalle (2012) et Dao et al. (2016) se rejoignent. Nous les synthétisons de la manière suivante : pour permettre un degré de reproductibilité se rapprochant de la « recherche ouverte », un changement dans la culture de publication est nécessaire. Ce changement doit être impulsé non seulement par les auteurs, mais également par les éditeurs. Il est recommandé aux premiers de fournir les éléments permettant de reproduire l’expérience de simulation (données, code source, . . .), et aux seconds d’encourager cet effort durant le processus de publication en offrant les supports numériques d’archivage et de diffusion de ce contenu.
Dans le cadre de cette thèse, nous nous intéressons particulièrement à la reproductibilité de l’expérience numérique, pour permettre à une simulation orientée agent d’être reproduite une fois publiée avec des matériels et des outils différents. Nous négligeons cependant les aspects de reproductibilité numérique, qui prennent une dimension « bas niveau » avec des problématiques liées par exemple à la comparaison de nombres à virgule flottante, au soupassement arithmétique ou aux spécificités des architectures matérielles.
La notion de reproductibilité est en lien avec les problématiques soulevées par le domaine de la vérification et de la validation (V&V). La V&V s’attache à décomposer l’ensemble des
s y s t è m e s m u lt i-agents et simulation [ 37
étapes de conception d’un modèle de simulation afin d’identifier les sources d’introduction d’erreurs pendant le processus de modélisation. La figure 1.13 illustre l’ensemble des étapes de la conception d’un modèle. Entre la spécification du modèle conceptuel et son implémentation, deux vérifications s’imposent (Sargent,2005) :
la vérification des spécifications, qui permet de vérifier si les spécifications sont sa-tisfaisantes et qu’elles permettent une implémentation non ambigüe sur le système informatique cible ;
et la vérification de l’implémentation, qui permet de s’assurer que l’implémentation du modèle est conforme aux spécifications et que le simulateur n’introduit pas d’autres biais. Théorie du système Monde réel Monde de la simulation Système (objet d'étude) Système (données, résultats) expérimentation abstraction formulation d'hypothèses Modèle conceptuel Spécification du modèle de simulation Modèle de simulation Données, résultats du modèle modélisation formulation d'hypothèses spécification implémentation expérimentation Validation modèle conceptuel Vérification de la spécification Vérification de l’implémentation Validation opérationnelle (résultats) Validation de la théorie
Figure 1.13 Relation entre le monde réel et le monde de la simulation, repris de Sargent (2005).
Michel (2004) s’est particulièrement intéressé à la relation de simulation. Selon lui, la relation de simulation « soulève la question de la neutralité du simulateur vis-à-vis du modèle. Il s’agit de garantir autant que possible que le simulateur exécute le modèle tel qu’il a été formulé et qu’il n’introduit pas de biais dans le processus de simulation dus à sa propre implémentation ». Lorsque cette relation n’est pas vérifiée, il parle de phénomène de divergence implémentatoire. Sa conclusion est la suivante : le manque de spécifications des modèles multi-agents associé à l’absence d’un formalisme adéquat favorise l’introduction de biais dans le processus de modélisation et de simulation.
inévita-38 ] s y s t è m e s m u lt i-agents et simulation
blement d’une longue période de transition pour atteindre le degré de recherche ouverte décrit par Stodden et al. (2013). Selon nous, cette transition doit s’accompagner des moyens permettant aux chercheurs de spécifier et publier leurs modèles avec les outils existants, indépendamment d’une plateforme, afin d’atteindre au moins le niveau de « recherche vérifiable » à l’aide des méthodes traditionnelles de publication.
Puisque nos travaux concernent les modèles de simulation basés sur le paradigme agent, nous proposons dans la suite de cette section d’énumérer les freins à la reproductibilité d’un modèle SMA. Nous donnons ensuite quelques éléments de solution sur lesquels nous basons nos contributions.