d’incertitude (Lichtendahl et al., 2013)
Lichtendahl et al. (2013) ont effectué une étude portant sur la détermination d’un meilleur protocole d’agrégation des avis experts. Il est basé sur le protocole de la moyenne des quantiles des élicitations expertes données sous forme d’intervalles d’incertitude - connu sous le nom de « Vincentization (Ratcliff, 1979 ; Thomas et Ross, 1980)».
Ce protocole s’oppose à la façon la plus courante de combiner les élicitations expertes consistant à moyenner les élicitations expertes par une moyenne simple (Stone, 1961) qui a
Chapitre 5 : Les méthodes de traitement du jugement d’expert
toujours été considérée comme une moyenne robuste (Clemen et Winkler, 1986 ; Fildes et Makridakis, 1995 ; Armstrong, 2001 ; Larrick et Soll, 2006).
Par ailleurs, les recherches de Hora (2004) ont montré que lorsque les experts fournissent leurs avis sous forme probabiliste, il n’est pas garanti que la moyenne de ces avis soit calibrée et optimale. En outre, les recherches de Ranjan (2009) ont montré que la moyenne des avis experts fournis sous forme probabiliste est une moyenne sous-confiante car elle peut atteindre des valeurs très élevées qui dépassent les valeurs acceptées. Dans ce contexte les résultats de Lichtendahl et al. (2013) ont montré que la moyenne des quantiles d’intervalle d’incertitude est toujours plus précise et révèle une faible variance par rapport à la moyenne de tous les quantiles d’un seul intervalle d’incertitude.
Au titre d’exemple, pour un intervalle d’incertitude contenant trois quantiles probabilistes (q5%, q50%, q95%) le protocole d’agrégation des avis de e experts se présente mathématiquement par les formules suivantes :
𝑞5% = ∑𝑤𝑒′. 𝑞5%(𝑒) [9]
𝑞50% = ∑𝑤𝑒′. 𝑞50%(𝑒) [10]
𝑞95% = ∑𝑤𝑒′. 𝑞95%(𝑒) [11]
où :
e : numéro désignant l’expert
q5% : quantile ayant une probabilité de 5% élicité par l’expert
q50% : quantile ayant une probabilité de 50% élicité par l’expert
q95% : quantile ayant une probabilité de 95% élicité par l’expert
Intérêts et limites
Ce protocole d’agrégation des avis experts présente plusieurs intérêts
- le modèle permet de garder la forme initiale des élicitations experts présentée par un intervalle d’incertitude et une valeur la plus vraisemblable.
- ce modèle correspond à un modèle général qui ne présente aucun obstacle pour être adapté aux différents contextes d’études comme l’évaluation probabiliste de la fiabilité des ouvrages de génie civil, notamment, les ouvrages de protection contre les inondations.
Toutefois, ce modèle consiste en un protocole simple d’agrégation des avis experts et n’apporte aucune correction des biais experts susceptibles entacher les élicitations expertes,
Chapitre 5 : Les méthodes de traitement du jugement d’expert
ce qui justifie le besoin d’accompagner les démarches de calibration et d’agrégation des avis experts par une démarche spéciale de réduction des biais experts.
Synthèse
5.3.5
L’analyse bibliographique présentée souligne l’importance d’une phase de calibration dans un modèle d’aide à l’évaluation probabiliste à dires d’experts. La calibration permet d’évaluer les avis des experts et de les pondérer en vue de les agréger. La littérature scientifique contient plusieurs modèles de calibration et d’agrégation mathématique ainsi que comportementale. Les modèles mathématiques, plus précisément le modèle Classique de Cooke (1991) présente un intérêt pour notre souhait de développement d’une démarche complète de traitement du jugement expert pour l’évaluation probabiliste de la fiabilité structurelle des digues fluviales à dires d’experts:
1- le modèle permet, via le poids de calibration, d’évaluer la capacité d’un expert à se prononcer pour des variables inconnues d’un domaine d’intérêt. Il apparait donc comme particulièrement intéressant pour notre démarche.
2- Le modèle s’accorde aisément avec les différents protocoles d’élicitation que l’on envisage d’utiliser dans notre travail de recherche pour éliciter à la fois des probabilités courantes et des probabilités rares.
3- Le modèle ne présente aucune contradiction qui pourrait être considérée comme obstacle lors de l’association à une autre méthode mathématique visant à dé-biaiser les avis experts.
4- Ce modèle est compatible, via le poids de calibration, au protocole d’agrégation des avis experts proposé par Lichtendhal et al. (2013).
En outre, la probabilité de défaillance d’un ouvrage de génie civil (soumis à des aléas naturels tels que les inondations et les séismes) ne pourrait pas être déterminée par une seule valeur mais, par un intervalle des valeurs probabilistes (intervalle d’incertitude). Cela exige de traiter et de dé-biaiser les élicitations expertes par rapport à un intervalle de confiance et non pas par rapport à une seule valeur de probabilité. Dès lors, le protocole d’agrégation des avis experts proposé par Lichtendahl et al. (2013) présente un intérêt pour notre souhait de développement d’une démarche complète du traitement du jugement expert puisqu’il permet d’obtenir un intervalle de confiance agrégé de l’ensemble des avis experts, ce qui permet, dans une étape plus avancée, de l’associer aux d’autres démarches plus spécifiques du traitement des biais. Par ailleurs, le modèle proposé par Lichtendahl et al. (2013) traite la lacune du modèle d’agrégation et de dé-biaisage des avis experts proposé par Ranjan et Gneiting (2010) au niveau de la deuxième phase (phase d’agrégation des avis experts). En d’autres termes, on peut remplacer la phase d’addition simple des probabilités subjectives proposée par Ranjan et Gneiting (2010) par le protocole d’agrégation selon la moyenne des quantiles proposé par Lichtendahl et al. (2013).
In fine, la procédure de calibration des avis experts est une procédure ayant comme objectif
Chapitre 5 : Les méthodes de traitement du jugement d’expert
préliminaire de l’ensemble des biais susceptibles d’entacher les avis experts. Dès lors, la question qui se pose est comment est-il possible d’améliorer le résultat agrégé-calibré et, de corriger d’avantage les biais experts ? La réponse à cette question fera l’objectif de sous- chapitre suivant « Méthodes de dé-biaisage des avis experts ».
Chapitre 5 : Les méthodes de traitement du jugement d’expert