2 Une méta-analyse bayésienne de paramètres de résistance thermique d'une bactérie de
2.3 Compléments
2.3.2 Différents types d’ajustements ou de prévisions
Cette partie présente des travaux entrepris suite à des questions de reviewers lors de la soumission de l’article à la revue IJFM, et concerne des aspects techniques sur les différents types d’ajustements ou de prévisions à utiliser lors de la comparaison de modèles.
Ajustements
Il peut être intéressant de comparer la capacité des différents modèles à décrire les données observées, en comparant les graphes de qualité d’ajustements des modèles (Jaloustre et al., 2011). Chaque ajustement a été représenté par la médiane et par les intervalles de crédibilité à 95% (issus des quantiles d’ordre 0.025 et 0.975) des distributions empiriques a posteriori des variables 3 ou 32 représentées dans les DAG des modèles (Figure 2.2). La comparaison des ajustements et des données observées pour chaque modèle est présentée en Figure 2.7, ainsi que le critère CRPS en Tableau 2.8. La comparaison des graphes et du CRPS montre que les ajustements sont nettement meilleurs pour les modèles intermédiaire (CRPS=-0.04) et complet (CRPS=-0.03) que pour le modèle basique (CRPS=-0.23), et légèrement meilleurs pour le modèle complet que pour le modèle intermédiaire. Les données observées sont en effet rarement contenues dans les intervalles de crédibilité à 95% des ajustements pour le modèle basique, alors qu’elles le sont beaucoup plus pour les modèles intermédiaires et complets. Il est normal que la qualité de l’ajustement augmente avec la complexité du modèle et le nombre de paramètres, cependant ces comparaisons montrent que la structure des données est beaucoup mieux décrite en supposant Dref variable entre les études, alors
que le gain de qualité d’ajustement est moindre quand on suppose zT et zpH variables entre les
études.
Figure 2.7. Graphes de comparaison entre les valeurs observées de Log10D et leurs ajustements
(médiane et intervalles de crédibilité à 95%), pour les modèles basique (a), intermédiaire (b) et complet (c). -1 0 1 2 -1 0 1 2 -1 0 1 2 -1 0 1 2 lo g1 0 D aj u st és ( lo g10 m in )
a) Modèle basique b) Modèle intermédiaire c) Modèle complet
-1 0 1 2
-1
0
1
2
Prévisions de données d’étude connue
Dans l’article, les prévisions présentées en Figure 2.4 ont été obtenues à partir des distributions a posteriori des variables 3,2 S~ 32, P , par validation croisée 10-fold (c’est-à-dire que la prévision de chaque donnée a été faite à partir de lois a posteriori sur les paramètres des modèles estimées à partir de 90% des autres données – voir partie 2.2.2.d). Les études des données à prédire étaient supposées connues, c’est-à-dire que les valeurs de la variable
2 (respectivement des variables 2 , H2 et H2 ) estimée(s) sur chaque étude j dans le
modèle intermédiaire (respectivement dans le modèle complet) ont été utilisées pour les prévisions. La validation croisée a été utilisée pour éviter le sur-ajustement. Comme l’atteste la comparaison graphique et la comparaison des critères CRPS (Figure 2.4 et Tableau 2.4), la qualité des prévisions est globalement bien meilleure dans le cas des modèles intermédiaires et complets (CRPS=-0.10 et - 0.09) que dans le cas du modèle basique (CRPS=-0.18), et légèrement meilleure pour le modèle complet que pour le modèle intermédiaire.
Prévisions de données d’étude inconnue (« prédictives »)
La prévision d’une nouvelle valeur de D, à une température et un pH donnés mais pour une souche inconnue, un milieu de traitement aqueux inconnu, etc., est aussi intéressante. Ce type de prévision est parfois appelé « prédictive » ; ce sont les valeurs potentielles pour un nouvel échantillon Y’ compte tenu du même modèle et de données anciennes (x,y) (x : variables connues explicatives, y : données correspondantes). Ici, ces prévisions sont obtenues à partir des distributions a posteriori des variables 3,2 S~ 32, P , où de nouvelles valeurs des variables
2 , H2 et H2 ont été simulées pour chaque étude à partir des lois a posteriori des
hyperparamètres dans le cas des modèles intermédiaires et complets (par exemple
2 ~ T
U , PU . Dans le cas du modèle basique, ce sont les mêmes prévisions que ci-
dessus si la validation croisée est utilisée. Ici, les prévisions ont été réalisées par validation croisée et sans validation croisée, et les résultats étant quasiment identiques, seuls ceux obtenus sans validation croisée (prédictives) sont présentés ci-dessous. La comparaison graphique des prévisions (Figure 2.8) et du CRPS (Tableau 2.8) montre assez peu de différences entre les trois types de modèles (CRPS = -0.18, -0.19 ou -0.17). 94.4% des données sont comprises dans les intervalles de crédibilité à 95% dans le cas du modèle basique, 95.8% dans le cas du modèle intermédiaire et 95.4% dans le cas du modèle complet, ce qui montre que les prévisions obtenues avec les modèles intermédiaires ou complets, plus larges, sont légèrement meilleures que celles du modèle basique. Un autre critère intéressant possible est le pourcentage de données « extrêmes » par rapport à la distribution prédictive. Le caractère extrême peut être étudié à partir des « p-valeurs prédictives », c’est-à-dire le pourcentage de valeurs de la distribution prédictive supérieures à la donnée observée (Marshall and Spiegelhalter, 2003; Green et al., 2009). Le pourcentage de données de p-valeurs prédictives > 0.975 ou < 0.025 (c’est-à-dire de valeurs supérieures au quantile 0.975 ou inférieures au quantile 0.025 de la distribution prédictive) est de 10.0% pour le modèle basique, 9.3% pour le modèle intermédiaire, et 7.9% pour le modèle complet, indiquant qu’il y a moins de données extrêmes par rapport aux prévisions dans le cas du modèle complet. Finalement, les prédictives
obtenues avec les trois modèles sont donc assez semblables mais avec un petit avantage dans les extrêmes pour les modèles intermédiaire et complet.
Figure 2.8. Graphes de comparaison entre les valeurs observées de Log10D et les prédictives
(médiane et intervalles de crédibilité à 95%), pour les modèles basique (a), intermédiaire (b) et complet (c).
Décrire D d’étude inconnue dans un modèle AQR (« prévisions brutes »)
Dans les modèles d’évaluation quantitative du risque, il est fréquent d’utiliser les modèles primaires ou secondaires d’inactivation (ou de croissance) de manière déterministe, sans utiliser l’erreur P du modèle (Delignette-Muller et al., 2000; Nauta, 2000; Pouillot et al., 2007; Afchain et al., 2008). Il s’agit toujours de prédire une nouvelle valeur de D, à une température et un pH donnés mais pour une souche inconnue, un milieu de traitement aqueux inconnu, etc. Dans ce cas, les distributions obtenues sur les valeurs de D dépendent seulement des distributions d’incertitude et/ou de variabilité sur Dref, zT et zpH. Ici, cela correspond aux distributions sur 32, où de
nouvelles valeurs des variables 2 , H2 et H2 ont été simulées pour chaque étude à partir des lois a posteriori des hyperparamètres dans le cas des modèles intermédiaires et complets (par
exemple 2 ~ TU , PU (comme pour les prédictives). Dans le cas du modèle
basique, ces valeurs correspondent aux ajustements. La comparaison des critères CRPS donne un avantage aux modèles intermédiaires et complets (Tableau 2.8). La comparaison graphique (Figure 2.9) des valeurs de D obtenues pour les trois modèles montre des intervalles de crédibilité à 95% très petits dans le cas du modèle basique, qui ne contiennent les données observées que dans 12.6% des cas. Dans le cas des modèles intermédiaires et complets les intervalles de crédibilité à 95% sont plus larges et englobent environ 95% des données, ce qui s’explique par le fait que ces modèles expliquent une part de la variabilité des données en supposant certains paramètres microbiologiques variables entre les études, alors que dans le cas du modèle basique toute la variabilité non expliquée est contenue dans une large erreur résiduelle σ, non prise en compte ici. Les valeurs de D et leurs intervalles de crédibilité obtenus avec le modèle basique ne sont pas satisfaisants, ce qui montre que si les sources de variabilité ne sont pas prises en compte dans les modèles, il faudrait au minimum les
-1 0 1 2 -1 0 1 2 lo g1 0 D p ré d it ( lo g10 m in )
log10D observé (log10min) log10D observé (log10min) log10D observé (log10min)
-1 0 1 2 -1 0 1 2 -1 0 1 2 -1 0 1 2
prendre en compte par le biais de l’erreur résiduelle σ. Ces comparaisons soulignent de nouveau l’intérêt des modèles complets et intermédiaires, où la prise en compte des sources de variabilité dans le modèle permet d’obtenir des intervalles de crédibilité nettement plus corrects, et d’expliquer la provenance des sources de variabilité.
Figure 2.9. Graphes de comparaison entre les valeurs observées de Log10D et les « prévisions brutes »
de Log10D (médiane et intervalles de crédibilité à 95%), pour les modèles basique (a), intermédiaire
(b) et complet (c).
Tableau 2.8. CRPS obtenus avec les trois modèles pour les ajustements, les prédictives, ou les « prévisions brutes ». Les CRPS les plus proches de 0 correspondent aux meilleurs ajustements/prédictives/prévisions brutes. CRPS Modèle basique Modèle intermédiaire Modèle complet Ajustements -0.23 -0.04 -0.03 Prédictives -0.18 -0.19 -0.17 "Prévisions brutes" -0.23 -0.19 -0.18
En conclusion, l’intérêt de tenir compte de la variabilité inter-étude des paramètres de résistance thermique apparait nettement, tant au niveau des ajustements qu’au niveau des différents types de prévisions.
-1 0 1 2 -1 0 1 2 -1 0 1 2 -1 0 1 2 -1 0 1 2 -1 0 1 2
a) Modèle basique b) Modèle intermédiaire c) Modèle complet
lo g1 0 D p ré d it ( lo g10 m in )