Réseau Bayésien et validation croisée : Apprentissage et utilisation d’un modèle de prédiction

L’objectif de la modélisation proposée dans (Camara, 2009) est la prédiction de l’impact du changement sur les processus. Pour cela, nous devons prédire les valeurs des métriques opérationnelles de variation (attributs exogènes) à partir des métriques structurelles de changement et de variation, et des métriques d’effort de gestion (attribut endogènes). Nous avons donc besoin de réaliser ce que la typologie des méthodes de datamining appelle la fonction d’explication (ou apprentissage supervisé) (Han & Kamber, 2001) (Rakotomalala, 2000).

(Camara, 2009) montre que, si une structure renfermant les relations de dépendance entre les variables est disponible, alors un apprentissage des paramètres est suffisant. Dans notre étude, nous ne disposons a priori que des relations entre les dimensions du changement, de l’impact opérationnel et des moyens de gestion. Ces relations n’étant que des hypothèses issues de la littérature non-encore prouvées, nous ne pouvons pas nous en servir pour construire la structure du réseau. Mais l’apprentissage permet de construire un modèle de la réalité à partir de données constituées d’individus (objets, observations, enregistrements) caractérisés par des descripteurs (attributs, variables, champs, caractères).

Un réseau bayésien, pour un ensemble de variables aléatoires, est une paire (D, P). Le graphe dirigé sans cycle, ou DAG (Directed Acyclic Graph), D définit la structure du réseau. Il est composé d’un ensemble fini de nœuds et d’un ensemble fini d’arcs dirigés entre les nœuds. L’ensemble des distributions de probabilités locales de tous les nœuds est P. Un réseau bayésien avec des variables continues est un modèle de prédiction qui permet la réalisation de la fonction d’explication. Les métriques opérationnelles de variation dans le coût, le délai et la non-qualité sont les variables de réponse des modèles à apprendre. Les variables structurelles de changement

et de variation sont toutes calculables automatiquement à partir des modèles « en-cours » et « en- devenir » (ou «implémentés») des processus. Les variables correspondant à l’effort de gestion du changement sont fixées par l’utilisateur du modèle. Ces trois catégories de métriques sont les variables explicatives des modèles à construire. Il n’est donc pas nécessaire de chercher l’influence qu’elles subissent, mais plutôt celle qu’elles exercent. Les arcs des réseaux bayésiens sont donc dirigés des variables explicatives vers les variables de réponse.

L’analyse des nouveaux processus nécessite un modèle bayésien validé. La vraisemblance à postériori p(D | d) représente la probabilité qu’une structures D soit correcte sachant que les données d ont été observées. p(D | d) et p(D* | d), sont alors utilisées pour comparer deux DAG, D et D*. En principe, il est possible de calculer les scores de tous les réseaux possibles et de les comparer pour trouver la meilleure structure. Cependant, cela n’est pas réalisable informatiquement si le nombre de variables est important. En effet, le nombre de réseaux possibles augmente exponentiellement avec le nombre de nœuds (Bootcher & Dethlefsen, 2003). La recherche gloutonne (Greedy Search) dans l’espace des réseaux fait partie des algorithmes proposés pour éviter la recherche exhaustive dans cet espace. Elle fait partie des méthodes qui vont identifier la structure qui maximise cette vraisemblance à posteriori (Leray, 2006). La « qualité » du modèle est assurée par deux niveaux de sélection :

· Le premier niveau correspond à la phase de modélisation dans le processus de

datamining. Il met en œuvre une recherche gloutonne qui identifie les variables à intégrer au modèle à partir d’une base d’apprentissage.

· Le second niveau correspond à la phase de validation dans un processus de datamining. Il met également en œuvre une recherche gloutonne dans le cadre d’une validation croisée pour identifier le modèle le plus performant.

(Camara, 2009) a montré la faisabilité de l’apprentissage des réseaux bayésiens par recherche gloutonne à partir des seules données. Cependant, l’application du modèle obtenu sur un projet d’implémentation réelle se heurte aux difficultés liées à la collecte des données. Les contraintes liées à la supervision des processus et le nombre d’observations requis rendent difficile une telle collecte qui consiste en principe à enregistrer les valeurs des métriques structurelles de changement et de variation, les valeurs des métriques d’effort de gestion et les valeurs des métriques opérationnelles de variation de plusieurs individus dans un historique de projets ERP antérieurs.

Pour contourner cette difficulté, nous avons eu recours à la création automatique des observations. Nous avons généré aléatoirement 1499 observations que nous avons ensuite complétées avec l’observation correspondant à un processus de traitement de commandes pour avoir le total de 1500 « individus » requis pour respecter un ratio de 100 « individus » pour chacune de nos 15 variables explicatives (Osborne, 2000).

Dans notre étude, nous appliquons la validation croisée avec dix sous-échantillons. Nous menons ainsi dix expériences dont chacune donne lieu à la création d’un modèle et au calcul de son erreur.

Dans l’expérience n° i, le modèle est « appris » avec tous les sous-échantillons à l’exception du ième sur lequel il sera testé.

L’apprentissage de l’expérience i commence par la création d’un réseau bayésien vide en utilisant la fonction « network » sur la base d’apprentissage. Cela signifie que nous n’avons aucune certitude sur les relations entre les variables au départ et que nous envisageons de tout apprendre à partir des données. Notre réseau de départ contient à présent les nœuds, les arcs interdits et aucun arc normal.

Nous générons ensuite les paramètres des distributions à priori de chaque nœud avec la fonction « jointprior ». Nous spécifions pour cette fonction la taille de la base de données « imaginaire ». Nous utilisons ensuite la fonction « drawnetwork » qui permet de spécifier un réseau bayésien à travers une interface graphique. Nous précisons à cette fonction le réseau à éditer, le data-frame utilisé pour l’apprentissage du réseau et les paramètres à priori générés par la fonction « jointprior ». Pour terminer, nous lançons la méthode « autosearch » qui exécute une recherche gloutonne afin de trouver le réseau le plus probable au vu des données.

La structure du réseau nous renseigne sur les relations de dépendance entre les variables de notre problème et nous permet de vérifier nos hypothèses d’influence. Pour chaque nœud, nous avons son indice, son nom, son type (continu ou discret) et la liste des indices de ses nœuds parents.

Figure 28 : Réseau bayésien expérience i

L’affichage des paramètres d’un nœud correspondant à une variable à expliquer (métrique opérationnelle de variation de coût, de délai ou de qualité) permet de connaître la variance conditionnelle du nœud, l’« ordonnée à l’origine » qui est le premier paramètre de la régression linéaire du nœud sur ses parents continus et enfin les coefficients de régression correspondant aux parents continus dans l’ordre présenté dans l’affichage de la structure du réseau.

Figure 30 : Paramètres noeud MOVD réseau expérience i

Figure 31 : Paramètres du nœud MOVNQ du réseau expérience i

Les poids selon lesquels chacun des parents d’un nœud l’influence permettent de déterminer leur équation de régression :

L’apprentissage du modèle pour l’expérience i est alors terminé. Il faut ensuite le tester sur le sous-échantillon i, afin de calculer son erreur. Il s’agit d’abord de réaliser les prédictions sur les observations de ce sous-échantillon pour les trois nœuds de réponse.

Le calcul de l’erreur commence par l’application de la fonction de perte qui fait l’estimation de la différence entre la valeur de chacun des 3 nœuds dans l’échantillon de test et celle prédite par le modèle. La moyenne des trois erreurs donne l’erreur globale de l’expérience i.

Figure 32 : Calcul erreur moyenne et choix du réseau de l’expérience de plus faible erreur La dernière étape de la démarche de modélisation proposée dans (Camara, 2009) permet de choisir le modèle de plus faible erreur parmi ceux générés lors de 10 expériences. Ce modèle est le résultat final de l’apprentissage-validation et constitue un outil de prédiction et de validation des processus en cours de restructuration.

Un processus en cours de restructuration est un processus dont la restructuration proposée n’est pas encore validée. Cette validation se déroule dans la phase d’adéquation et de configuration, à travers une boucle adéquation-configuration-prototypage (Figure 33). Cette boucle se termine par la décision d’acceptation ou non du processus « en-devenir » proposé. Cette décision fait intervenir des informations issues du prototypage et de la simulation. Le prototypage vérifie que le processus fonctionnera de manière satisfaisante sur l’ERP. Il inclut une identification des trous fonctionnels par l’analyse des écarts. La simulation fournit des prévisions sur les critères de performance du processus en se basant sur la structure de ce dernier et les caractéristiques des ressources.

Figure 33 : Prise en compte du changement dans l'acceptation du processus

La démarche de gestion proactive du changement proposée dans (Camara, 2009) vise à améliorer la décision d’acceptation du processus « en-devenir ». Elle vient compléter les informations fournies par la simulation et le prototypage en tenant compte de l’impact du changement. Une boucle restructuration-extraction-prédiction (Figure 33) est exécutée en préalablement à celle d’adéquation-configuration-prototypage. La restructuration est la proposition d’une version « en- devenir » à partir d’une version « en-cours ». L’extraction est le calcul des variables explicatives par comparaison de ces deux versions du processus. La prédiction est l’application du réseau bayésien issu de la phase d’apprentissage-validation présentée ci-dessus.

5.3 Conclusion et perspectives

Les différentes phases de notre démarche ont été illustrées dans (Camara, 2009) en prenant comme exemple un processus de gestion de réclamations en cas de décès issu de (Küster & al, 2005). Cette étude a démontré la pertinence de la démarche proposée. Cependant, il existe plusieurs contraintes pour passer de la validation théorique à l’application intégrale de la démarche sur des processus réels. Ces contraintes sont d’abord liées à la collecte des données. Mais si nous pensons qu’il est très difficile, pour une entreprise de conseil de recueillir les données nécessaires au cours des différents projets ERP auxquels elle participe pour constituer un historique suffisamment documenté, il est parfaitement possible de contourner cette difficulté

en utilisant l’expertise des consultants pour déterminer les paramètres de notre modèle bayésien. Il s’agit d’aider ces experts à formaliser leurs connaissances.

La seconde limite de l’étude est la non-prise en compte de certaines dimensions abstraites du changement et de son impact. En effet, le changement est très lié au facteur humain qui fait intervenir des aspects culturels, sociologiques et psychologiques. Les approches sur-socialisées de la gestion du changement peuvent aider à combler cette limite.

Une troisième limite de l’étude est liée à l’absence de formalisation claire de l’évolution des compétences lors de la mise en place du progiciel. En effet, la transformation des compétences est indirectement ou implicitement traitée à travers la mesure de l’ampleur du changement sur les activités à réaliser.

6 Contribution à la gestion proactive de l’externalisation des processus