Analyses statistiques 1 Probabilités de transition

En utilisant comme résultats les probabilités de transitions individuelles prédites, des modèles de régression linéaire multiple ont été effectués afin d'évaluer l'impact de chaque facteur de risque sur les probabilités de transition entre les états spécifiques de la schizophrénie.

4.3.5.2 Validation du modèle de prédiction

Afin de valider le modèle prédictif, nous avons évalué les performances du modèle en termes de sa validité interne et externe.

Validation interne

La validité interne consiste à évaluer les propriétés de calibration et de discrimination du modèle. La calibration représente la mesure de la proximité (la concordance) entre nos prévisions et les résultats réels, qui représentent les états spécifiques incidents de la schizophrénie. La discrimination mesure l'efficacité de notre modèle de prédiction en ce qui concerne la capacité de distinguer ceux qui expriment un événement, de ceux qui ne l’expriment pas, par exemple la discrimination entre ceux qui ont un LDS après un FE, de ceux ayant un tout autre événement après un FE. Dans le contexte de risques compétitifs, ces deux performances du modèle de prédiction ont été évaluées au cours de chaque cycle d'un an. La calibration et la discrimination sont des validations sur le plan individuel. Afin d’évaluer la validité du modèle au niveau de la population, nous avons examiné à un an et après une période de cinq ans respectivement, la concordance entre les événements incidents simulés (états spécifiques de la schizophrénie) et les états incidents spécifiques effectivement observés dans l'étude de cohorte.

Tout d'abord, la validité interne a été évaluée par la méthode bootstrap, méthode reconnue comme la technique de validation la plus efficace, capable de refléter toutes les sources d'incertitude du modèle, et plus particulièrement, l’incertitude due à la sélection des variables (222). Pour la validation du modèle de prédiction, 1 000 échantillons bootstrap de tailles égales de 14 320 individus, ont été obtenus à partir de la cohorte originale de l'étude. Pour chaque échantillon bootstrap, nous avons développé un modèle de prédiction afin d'estimer les probabilités de transition entre les états spécifiques de la schizophrénie. Ensuite, les deux performances du modèle, la calibration et la discrimination, ont été évaluées dans la cohorte originale. La moyenne des performances des 1 000 modèles de prédiction obtenus à partir des échantillons bootstrap, peut être utilisée comme l'estimateur de la performance du modèle chez des nouveaux sujets (222). La Figure 11 illustre le processus de validation par la méthode de bootstrap.

Process validation

Calibration / discrimination

The prediction model developed in each bootstrap cohort (1 to 1,000) was evaluated in the study cohort in

relation to the calibration and

discrimination properties of the

model.

Study cohort

Bootstrap cohort 1,000 Internal validation at Individual level

Bootstrap cohort 1 Bootstrap cohort 2 Bootstrap method Average performance

Estimation of future performance in new subjects

=

Transition probabilities

predictions

Pour évaluer la calibration dans le contexte d’un modèle avec risques compétitifs, nous avons montré graphiquement les probabilités de transition observées, contre la moyenne des probabilités de transition prédites dans les percentiles du même état spécifique de la schizophrénie. En ce qui concerne les probabilités de transition observées, elles ont été calculées dans les percentiles des probabilités prédites. La validation de la calibration a elle-même été basée sur le test d’ajustement de Hosmer et Lemeshow (222).

La performance du modèle, en ce qui concerne la discrimination, a été évaluée en utilisant la courbe ROC (Receiver Operating Characteristics) et l'aire sous la courbe ROC (AUC) respectivement. La courbe ROC est un outil graphique permettant de représenter la capacité d'un test à discriminer entre la population des malades (avec l’événement) et des non-malades (sans l’événement). L’axe des y du graphique représente le taux de vrais positifs (la sensibilité), et l’abscisse, le taux de faux positifs (1-spécificité), pour des seuils consécutifs de la probabilité d'un événement. L’aire sous la courbe ROC est estimée par la statistique de concordance c (c-index) (222) et elle peut être interprétée comme la probabilité qu'un patient avec un événement observé (l’état spécifique de la schizophrénie), obtiendrait par le modèle de prédiction, une probabilité prédictive plus élevée d’avoir cet événement, comparativement à un patient choisi au hasard sans l’événement d’intérêt. Pour un modèle parfait, l'aire sous la courbe vaut 1. Pour un modèle sans valeur discriminante, l'aire sous la courbe vaut 0,5. Dans le contexte de l’analyse de survie avec risques compétitifs, une valeur de l'AUC supérieure à 0,65 représente un niveau respectable de précision (223).

La validation interne au niveau populationnel a été effectuée à un an et après une période de cinq ans, respectivement. Elle s’est réalisée en examinant l'incidence cumulative de chaque état spécifique de la schizophrénie, estimée à partir des 1 000 échantillons de simulation, avec l'incidence cumulative de chaque état spécifique de la schizophrénie observée dans la cohorte de l'étude.

La validation interne au niveau individuel a été obtenue en utilisant le logiciel Statistical Analysis System (version 9; SAS Institute, Cary, Caroline du Nord) et tous les tests ont été bilatéraux, avec un seuil de signification de 5%. La validation au niveau populationnel ont été réalisée à l’aide de Tree Age, 2009 Pro (version 1.0.2, TreeAge Software Inc.).

Validation externe

Une revue de la littérature (jusqu'à 2009) a été effectuée pour identifier les études qui décrivent l'évolution de la schizophrénie et les probabilités de transition. Une validation externe de notre modèle a été effectuée en comparant les probabilités de transition prédites par notre modèle avec les probabilités de transition publiées dans la littérature.