Eliciter « c’est aider l’expert à formaliser ses connaissances pour permettre de les
sauvegarder et de les partager (Cooke, 1991) ». L’élicitation « est un processus de recueil
des jugements d’experts à travers des méthodes de communication verbale ou écrite spécialisées permettant de quantifier un risque (Meyer et Booker, 1993) ».
Introduction au concept d’élicitation du jugement d’expert
5.2.1
O’Hagan et al. (2006) distingue les méthodes d’élicitation des dires d’experts directes et indirectes :
Les méthodes d’élicitation directe correspondent à une élicitation directe des réponses qui implique simplement de demander à l’expert de donner et de préciser sa réponse sur une question donnée.
Les méthodes d’élicitation indirecte correspondent : 1) aux paris qui peuvent être utilisés pour déduire les probabilités subjectives d'un expert (par exemple, on demande à un expert du domaine économique s’il accepte de parier sur l’événement A sachant que le taux de gain correspond à XXX euros) et, 2) aux roues de probabilités qui sont également couramment utilisées dans la méthodologie de paris. Les probabilités sont présentées autour de la circonférence d'un disque, divisé en deux segments : l’un représente la probabilité de l'événement et l'autre son complément. Dans ce cas-là, l’expert manipule la roue pour déterminer une probabilité (de gain par exemple) si l’événement en question se produit.
O’Hagan et al. (2006) mentionnent aussi que les experts peuvent apprendre à donner des avis bien précis et calibrés via des formations d’apprentissage spéciales. Dans le même ordre d’idée, Fischohoff (1982) spécifie plusieurs conditions qui pourraient aider à améliorer le jugement expert :
1. réaliser des pratiques abondantes d’élicitation de jugements d’expert sur un ensemble homogène de tâches ;
2. bien définir les éléments de l’événement que l’on demande aux experts d’évaluer ; 3. accorder une importance spéciale à la tâche d’élicitation pour qu’elle se déroule
dans des conditions parfaites.
Il existe un large consensus scientifique sur les principales étapes des élicitations des valeurs à dires d’experts partagé par plusieurs chercheurs du domaine comme Spetzler et Staelvonholstein (1975) ; Morgan et Henrion (1990) ; Cooke (1991) ; (2004). Dans ce contexte Clemen et Reilly (2001) soulignent trois étapes principales pour une démarche d’élicitation des avis experts : 1) définir le problème, 2) identifier et recruter les experts et, 3) éliciter les dires d’experts.
Définir le problème
Cette étape consiste à : 1) identifier les variables cibles, 2) choisir le format de la procédure d'élicitation (par une interview ou par un formulaire) et, 3) préparer des
Chapitre 5 : Les méthodes de traitement du jugement d’expert
documentations liées au contexte d’étude (le cadre général de l’étude, les objectifs, les attentes, la façon dont les résultats seront utilisés).
Identifier et recruter les experts
Cette étape consiste à : 1) identifier les experts du panel ayant des compétences nécessaires pour évaluer et traiter le problème d’évaluation, 2) déterminer des critères permettant d’identifier le panel d’experts et, 3) prendre des engagements auprès des experts identifiés.
Eliciter les dires d’experts
Cette étape consiste à mettre en œuvre la phase d’élicitation des dires d’experts, après avoir identifié le panel d’experts et identifié toutes les références nécessaires liées au problème d’évaluation afin de réduire toute ambiguïté qui mène à des incertitudes. Le principe est que le problème soit bien exposé pour faciliter l’élicitation et minimiser le nombre de questions posées au panel d’experts.
Dans le même ordre d’idée Garthwaite et al. (2005) présentent, par quatre étapes, un processus d’élicitation des avis experts placé dans un contexte probabiliste :
1- l’étape de préparation de l’élicitation, comprenant l’identification des variables à éliciter, le choix et l’entraînement des experts ;
2- l’étape d’élicitation des éléments spécifiques des variables. Chaque expert élicite les paramètres nécessaires pour formaliser son opinion sous la forme d’une fonction de densité de probabilités. Il s’agit du cœur du processus ;
3- la construction d’une distribution de probabilités à partir des éléments fournis par l’expert. En pratique cette étape est souvent mêlée à la précédente, en ce sens que le choix des éléments à éliciter est souvent influencé par la forme de la distribution que l’on souhaite construire ;
4- l’élicitation est un processus itératif. La quatrième étape implique de vérifier que la distribution correspond bien à l’opinion de l’expert. On peut prendre l’option de revenir à l’étape 2 et de demander plus d’éléments à l’expert.
De façon générale, le choix d'une procédure d'élicitation dépend de plusieurs critères : 1) le type d’information recherchée, 2) les contraintes de temps liées à l’étude et, 3) les résultats attendus. Dans ce contexte, Von Winterfeldt et Edwards (1986) ; Spetzler et Staalvonholstein (1975) et Ferrell, (1994) préconisent un protocole d'élicitation en 5 étapes comprenant: motiver les experts, structurer le questionnaire d’élicitation, organiser la séance d’élicitation, coder la modalité d’élicitation et vérifier le résultat d’élicitation.
1- Motiver les experts
Cette étape consiste à motiver les experts à donner leurs propres avis sur le problème d’évaluation. L’analyste devrait expliquer aux experts que les élicitations souhaitées à évaluer devraient refléter leurs propres croyances accordées aux valeurs car il n’y a pas de bonne réponse attendue (Boyd et Regulinski, 1979).
Chapitre 5 : Les méthodes de traitement du jugement d’expert
Cette étape consiste à préparer les documentations nécessaires à l’élicitation des avis experts. L’analyste devrait préparer une définition univoque de chaque quantité, paramètre ou facteur incertain demandé à être évalué par l’expert (Spetzler et Staelvonholstein, 1975 ; Tetlock, 2005). Il est important de présenter, aux experts, les questions dans un format simple convenant le mieux à leurs connaissances et leurs expériences, afin d'éviter une charge cognitive supplémentaire.
3- Organiser la séance d’élicitation
Cette étape consiste à fournir aux experts les informations nécessaires pour pouvoir éliciter leurs jugements et en discuter. Cela permet aux experts d’avoir des informations sur lesquelles ils fonderont leurs évaluations et leurs jugements. Ce processus peut mettre en évidence des biais cognitifs, et encourager les experts à trouver d'autres manières d’évaluer le problème. Par exemple lors de la discussion, les experts peuvent être invités à examiner divers scénarios qui peuvent conduire à des résultats inattendus. Ces manipulations ont montré leur efficacité pour aider à réduire le biais de sur-confiance qui pourrait entacher les avis experts.
4- Coder la modalité d’élicitation
Cette étape consiste à trouver une meilleure façon de questionner les experts dans le but d’éviter les biais liés au jugement expert. Par exemple, l'analyste pourrait demander aux experts d’éliciter des valeurs extrêmes, et, ensuite de décrire les scénarios qui pourraient mener à des valeurs en dehors de ces valeurs extrêmes élicitées.
5- Vérifier le résultat d’élicitation
Cette étape consiste à évaluer, par l’analyste, si les jugements des experts reflètent fidèlement leurs croyances. A titre d’exemple, l’analyste détermine le résultat final puis, il en discute avec l’expert.
En synthèse
, l’utilisation du jugement expert, notamment sous format probabiliste, nécessite des démarches scientifiques spécifiques pour éliciter des avis experts. Dès lors, il est pertinent d’examiner les différentes méthodes développées dans le domaine de l’ingénierie, de la statistique et de la psychologique ayant comme but de trouver les protocoles et les modalités les plus adaptées pour éliciter les avis experts. Dans la suite, nous proposons d’examiner les démarches d’élicitation à partir de stratégiques d’ordre psychologique, par technique de décomposition ou de modalité d’élicitation.Chapitre 5 : Les méthodes de traitement du jugement d’expert