Application
8.1.2.1
La phase suivante de l’approche est la phase de « Calibration » des avis experts. Dans cette phase, le modèle de calibration classique de Cooke (1991) est appliqué dans le but d’attribuer un poids de calibration aux élicitations expertes en vue de les combiner. Le poids de calibration se détermine mathématiquement par le score de calibration (évaluation de la justesse des élicitations) et le score d’entropie (évaluation de la précision des élicitations). Nous appliquons cette phase de calibration selon les trois modalités d’application différenciées selon les variables de calibration utilisées :
1ère modalité : les facteurs de sécurité au glissement (FS) et les probabilités de défaillance au glissement (𝑃𝑓𝑐) sont les variables de calibration ;
2ème modalité : les facteurs de sécurité au glissement (FS) sont les variables de calibration ;
3ème modalité : les probabilités de défaillance au glissement (𝑃𝑓𝑐) sont les variables de calibration.
Résultats
8.1.2.2
Résultat de la phase de calibration des avis experts selon la 1ère modalité d’application
Le Tableau 8-5 présente les résultats issus de la mise en œuvre de la phase de calibration selon la 1ère modalité d’application dont les variables de calibration sont les facteurs de sécurité (Fs) et les probabilités de défaillance (𝑃𝑓𝑐) vis-à-vis du mécanisme de rupture par glissement.
Tableau 8-5. Résultats de la phase de calibration selon la 1ère modalité d'application d’« EiCAD » Modalité (1) - (VC = FS + 𝑃𝑓𝑐)
Score de calibration Score d'entropie Poids de calibration individuel
Poids de calibration relatif
N° expert 𝐶𝑒 𝐾𝑒 𝑤𝑒 𝑤′𝑒
1 1,8E-10 1,07 1,9E-10 5,72E-10
2 0,0E+00 1,37 0,0E+00 0,00E+00
3 0,0E+00 1,24 0,0E+00 0,00E+00
4 1,5E-14 1,48 2,2E-14 6,94E-14
5 2,3E-11 0,83 1,9E-11 5,98E-11
6 6,2E-01 0,51 3,1E-01 0,99E+00
Somme 1,00
Les valeurs du score de calibration varient de 0 à 0,62, dont la valeur la plus élevée est obtenue par l’expert (6). Concernant le score d’entropie, les valeurs varient de 0,51 à 1,37, dont la valeur la plus élevée est obtenue par l’expert (2). Ces résultats conduisent à des poids de calibration variant de 0 à 0,99, où la valeur la plus élevée a été obtenue par l’expert (6).
Chapitre 8 : Application de l’approche « EiCAD »
Les résultats montrent les éléments suivants pour l’expert (6) :
- l’avis de l’expert (6) a le score de calibration (évaluation de la justesse des élicitations) le plus élevé (𝐶6 = 6.2𝐸 − 1). Cela signifie que la majorité des vraies valeurs des variables de calibration se trouve dans les intervalles d’incertitude qu’il a élicités (32 sur 60 élicitations du FS et de 𝑃𝑓𝑐) ;
- l’avis de l’expert (6) a le score d’entropie (évaluation de la précision des intervalles d’incertitude élicités) le plus faible (𝐾6 = 0.51). Cela signifie que ses intervalles
d’incertitude élicités sont globalement plus larges que ceux donnés par les autres experts ;
- l’avis de l’expert (6) a le meilleur poids de calibration du panel (𝑊6= 0.99). Les résultats montrent les éléments suivants pour l’expert (2) :
- l’avis de l’expert (2) a un score de calibration (évaluation de la justesse des élicitations) nul (𝐶2 = 0). Cela signifie que les vraies valeurs des variables de
calibration sont majoritairement en dehors des intervalles d’incertitude qu’il a élicités ; - l’avis de l’expert (2) a un score d’entropie (évaluation de la précision des intervalles d’incertitude élicités) bon (𝐾2 = 1.37). Cela signifie que ses intervalles d’incertitude élicités sont globalement plus étroits que ceux donnés par les autres experts ;
- l’avis de l’expert (2) a le plus mauvais poids de calibration du panel (𝑊2 = 0).
Résultat de la phase de calibration des avis experts selon la 2ème modalité d’application
Le Tableau 8-6 présente les résultats issus de la mise en œuvre de la phase de calibration selon la 2ème modalité d’application dont les variables de calibration sont les facteurs de sécurité (FS) vis-à-vis du mécanisme de rupture par glissement.
Tableau 8-6. Résultats de la phase de calibration selon la 2ème modalité d'application d’« EiCAD » Modalité (2) - (VC = FS)
Score de calibration Score d'entropie Poids de calibration individuel
Poids de calibration relatif
N° expert 𝐶𝑒 𝐾𝑒 𝑤𝑒 𝑤′𝑒
1 2,3E-04 1,12 2,6E-04 2,67E-02
2 9,5E-13 1,26 1,2E-12 1,25E-10
3 1,1E-07 0,72 8,2E-08 8,63E-06
4 8,6E-03 1,08 9,2E-03 9,7E-01
5 2,5E-11 0,83 1,9E-11 1,95E-09
6 1,9E-04 0,44 8,3E-05 8,72E-03
Somme 1,00
Les valeurs du score de calibration varient de 0 à 0,0.008, dont la valeur la plus élevée est obtenue par l’expert (4). Concernant le score d’entropie, les valeurs varient de 0,44 à 1,26, dont la valeur la plus élevée est obtenue par l’expert (2). Ces résultats conduisent à des poids de calibration variant de 0 à 0,97, où la valeur la plus élevée a été obtenue par l’expert (4).
Chapitre 8 : Application de l’approche « EiCAD »
Les résultats montrent les éléments suivants pour l’expert (4) :
- l’avis de l’expert (4) a le score de calibration (évaluation de la justesse des élicitations) le plus élevé (𝐶4 = 8.6 𝐸 − 03). Il présente 40% des vraies valeurs des variables de calibration dans les intervalles d’incertitude qu’il a élicités (12 sur 30 élicitations du FS) ;
- l’avis de l’expert (4) a un score d’entropie (évaluation de la précision des intervalles d’incertitude élicités) bon (𝐾4 = 1.08). Cela signifie que ses intervalles d’incertitude élicités sont globalement étroits que ceux donnés par les autres experts ;
- l’avis de l’expert (4) a le meilleur poids de calibration du panel (𝑊4 = 0.97). Les résultats montrent les éléments suivants pour l’expert (2) :
- l’avis de l’expert (2) a un score de calibration (évaluation de la justesse des élicitations) très faible (𝐶2 = 9,5 𝐸 − 13). Cela signifie que les vraies valeurs des variables de calibration sont majoritairement en dehors des intervalles d’incertitude qu’il a élicités ;
- l’avis de l’expert (2) a le meilleur score d’entropie (évaluation de la précision des intervalles d’incertitude élicités) (𝐾2 = 1.26). Cela signifie que ses intervalles
d’incertitude élicités sont globalement plus étroits que ceux donnés par les autres experts ;
- l’avis de l’expert (2) a le faible poids de calibration (𝑊2= 1.25 𝐸 − 10).
Résultat de la phase de calibration des avis experts selon la 3ème modalité d’application
Le Tableau 8-7 présente les résultats issus de la mise en œuvre de la phase de calibration selon la 3ème modalité d’application dont les variables de calibration sont les probabilités de défaillance (𝑃𝑓𝑐) vis-à-vis du mécanisme de rupture par glissement.
Tableau 8-7. Résultats de la phase de calibration selon la 3ème modalité d'application d’« EiCAD » Modalité (3) - (𝑃𝑓𝑐)
Score de calibration Score d'entropie Poids de calibration individuel
Poids de calibration relatif
N° expert 𝐶𝑒 𝐾𝑒 𝑤𝑒 𝑤′𝑒
1 4,0E-10 1,02 4,1E-10 7,29E-10
2 5,4E-14 1,48 8,0E-14 1,42E-13
3 0,0E+00 1,76 0,0E+00 0,00E+00
4 0,0E+00 1,88 0,0E+00 0,00E+00
5 1,3E-13 0,81 1,1E-13 1,09E-13
6 9,8E-01 0,57 5,6E-01 0,99E+00
Somme 1,00
Les valeurs du score de calibration varient de 0 à 0,98, dont la valeur la plus élevée est obtenue par l’expert (6). Concernant le score d’entropie, les valeurs varient de 0,57 à 1,88,
Chapitre 8 : Application de l’approche « EiCAD »
dont la valeur la plus élevée est obtenue par l’expert (4). Ces résultats conduisent à des poids de calibration variant de 0 à 0,99, où la valeur la plus élevée a été obtenue par l’expert (6). Les résultats montrent les éléments suivants pour l’expert (6):
- l’avis de l’expert (6) a le score de calibration (évaluation de la justesse des élicitations) le plus élevé (𝐶6 = 9.8𝐸 − 1). Il présente 70% des vraies valeurs des variables de
calibration dans les intervalles d’incertitude qu’il a élicités (21 sur 30 élicitations de 𝑃𝑓𝑐) ;
- l’avis de l’expert (6) a le score d’entropie (évaluation de la précision des intervalles d’incertitude élicités) le plus faible (𝐾6 = 0.57). Cela signifie que ses intervalles d’incertitude élicités sont globalement plus larges que ceux donnés par les autres experts ;
- l’avis de l’expert (6) a le meilleur poids de calibration du panel (𝑊6= 0.99). Les résultats montrent les éléments suivants pour l’expert (4) ;
- l’avis de l’expert (4) a un score de calibration (évaluation de la justesse des élicitations) nul (𝐶4 = 0). Cela signifie que les vraies valeurs des variables de calibration sont majoritairement en dehors des intervalles d’incertitude qu’il a élicités ; - l’avis de l’expert (4) a le score d’entropie (évaluation de la précision des intervalles d’incertitude élicités) le plus élevé (𝐾4 = 1.88). Cela signifie que ses intervalles
d’incertitude élicités sont globalement plus étroits que ceux donnés par les autres experts ;
- l’avis de l’expert (4) a un poids de calibration nul (𝑊4 = 0).
Discussions
8.1.2.3
D’après les résultats de l’application des trois modalités, nous remarquons que le score de calibration a une influence significative sur le résultat final de la phase de calibration des avis experts tandis que le score d’entropie a une influence limitée. Dans notre cas, les résultats des trois modalités montrent que :
- plusieurs experts fournissent des intervalles d’incertitude étroits / précis mais ne contiennent pas les vraies valeurs, ce qui induit un score d’entropie élevé et un score de calibration faible voire nul ;
- inversement certains experts fournissent des intervalles d’incertitude moins-précis (larges) et contenant les vraies valeurs de variables de calibration, ce qui induit un score d’entropie faible et un score de calibration élevé ;
- dans notre application, le score de calibration apparait plus pénalisant que le score d’entropie. Ainsi, un expert qui souhaiterait obtenir un score global plus élevé aurait intérêt à donner des intervalles d’incertitude plus larges ;
- les résultats de la calibration des avis experts varient selon les variables de calibration utilisées pour la mise en œuvre de la phase de la calibration :
o l’expert (4) donne des meilleurs estimations de la variable de calibration FS, il a donc eu un poids de calibration plus élevé dans la 2ème modalité ;
Chapitre 8 : Application de l’approche « EiCAD »
o l’expert (6) donne des meilleures estimations de la variable de calibration 𝑃𝑓𝑐, il a
donc eu un poids de calibration plus élevé dans la 3ème modalité.
Conclusions
8.1.2.4
Les principales conclusions de la phase de calibration de l’approche « EiCAD » sont les suivantes :
1. La calibration des avis experts permet d’évaluer la justesse des élicitations (score de calibration) et la quantité d’information des élicitations (score d’entropie). Le poids final de la calibration permet d’attribuer un ordre aux avis des experts questionnés. 2. La calibration des avis experts ne permet pas d’effectuer de corrections des biais sur
les avis experts élicités individuellement, elle permet d’obtenir seulement une version agrégée et pondérée des avis experts.
3. La calibration des avis experts via le score d’entropie met en évidence les tendances à la sur-confiance (intervalle d’incertitude précis conduit à un score d’entropie élevé) ou à la sous-confiance (intervalle d’incertitude large conduit à un score d’entropie bas) entachant les avis experts.
4. La calibration des avis experts est une phase sensible au type de variables de calibration utilisé pour sa mise en œuvre.
5. Le score de calibration (évaluation de la justesse des élicitations expertes) a une influence significative sur le résultat final de la calibration des avis experts tandis que le score d’entropie a une influence mineure sur le résultat final de la calibration.
Chapitre 8 : Application de l’approche « EiCAD »