Au cours des dernières années, de nouveaux indices statistiques de discrimination notamment ont été développés (cf. paragraphes suivants). Pour rappel, la discrimination d’un modèle est sa capacité à discriminer les sujets faisant un évènement de ceux qui n’en font pas. Autrement dit, un modèle est discriminant s’il prédit une probabilité d’évènement plus importante à un sujet qui fait effectivement un évènement par rapport à celui qui n’en fait pas. Plusieurs méthodes de discrimination sont utilisées à l’heure actuelle dont l’aire sous la courbe ROC, le c de Harrell 97, qui est une adaptation de la courbe ROC aux données censurées et les indices de reclassification 98, d’apparition plus récente.
Courbe ROC
Classiquement, une courbe ROC est un graphique représentant la sensibilité d’un marqueur pour un diagnostic (axe des ordonnées) en fonction de 1-spécificité (axe des abscisses). Autrement dit, il s’agit du taux de vrais positifs en fonction du taux de faux positifs. On obtient alors la représentation graphique suivante (Figure 9). La courbe ROC est couramment utilisée pour évaluer la qualité d’un test diagnostique pour discriminer les malades des non-malades. L’indice qualitatif utilisé à cet effet est l’aire sous la courbe ROC (ou area under the ROC curve = AUC) qui représente la probabilité qu’un sujet malade ait un score au test plus élevé qu’un sujet non malade. Un test parfait ayant une sensibilité et une spécificité de 1 donnera une AUC de 1 (courbe A sur la Figure 9). Un test non discriminant ne fera pas mieux que le hasard et donnera une AUC de 0.5 (droite C). En
Figure 9 : Courbe ROC
Une des difficultés rencontrées avec la courbe ROC est son manque de sensibilité lié au fait qu’elle ne prend pas en compte la valeur des probabilités prédites par le modèle, mais uniquement les rangs des sujets en termes de probabilités prédites. De par cette caractéristique, l’AUC est peu sensible à l’ajout de nouveaux marqueurs dans un modèle, y compris ceux fortement associés à l’évènement. Il était donc nécessaire de développer de nouveaux indices plus sensibles.
Indice c de Harrell
L’indice c de Harrell est une extension de l’AUC adaptée aux données censurées 97. Il est défini comme la proportion de paires de sujets comparables pour lesquelles les temps prédits (T) et observés (X) sont concordants. En pratique, une paire de sujets i et j est comparable si elle contient au moins un évènement (soit évènement + évènement, soit évènement + non-évènement) et si les 2 sujets ont des durées de suivi au moins égales, i.e. si au sein d’une paire, un sujet a présenté un évènement et que l’autre sujet est censuré avant la survenue de cet évènement, la paire n’est pas comparable. Une paire est concordante si pour Xi < Xj, on a Ti < Tj.
Outre le fait que comme l’AUC, le c de Harrell est basé sur les rangs des sujets en termes de délais prédits, c’est également un estimateur biaisé de la probabilité de concordance puisque toutes les paires de sujets ne sont pas comparables (censure avant évènement ou censure des 2 sujets à la date de point). Enfin, l’indice c est sensible à la durée de suivi de l’étude 99. Pour déterminer l’intérêt d’un nouveau biomarqueur dans la prédiction individuelle du risque, on teste la différence à 0 de l’indice c de 2 modèles emboîtés, un modèle sans et un modèle avec le nouveau biomarqueur. Dans cette thèse, nous avons utilisé des méthodes de ré-échantillonnage (bootstrap) pour tester cette différence et obtenir un intervalle de confiance à 95% de la différence.
Méthodes de reclassification
Face aux limites rencontrées avec les précédents indices, certains auteurs ont proposé de nouvelles méthodes basées sur la quantité et la direction de la reclassification des sujets en termes de probabilité d’évènements après l’ajout d’un nouveau marqueur de risque à un
Net Reclassification Index (NRI)
Le NRI représente la proportion de sujets (cas et non cas) correctement reclassés en termes de risque après l’ajout du nouveau biomarqueur. Les sujets sont classés en catégories de risque selon leur probabilité d’évènement prédite par un 1er modèle intégrant les facteurs de risque établi. La 2ème étape consiste à reclasser les sujets partir d’un 2nd modèle de prédiction emboité incluant le nouveau biomarqueur. Cette reclassification est effectuée séparément chez les cas et les non cas : un cas est considéré comme correctement reclassé si son risque prédit augmente après l’ajout du nouveau marqueur ; un non-cas est correctement reclassé si son risque diminue après la prise en compte du nouveau biomarqueur. On obtient ainsi la proportion globale de sujets correctement reclassés. A titre d’exemple, et se basant sur des données issues des sciences cardiovasculaires, les tableaux ci dessous illustrent le calcul du NRI utilisant les catégories de risque de Framingham pour la survenue d’évènements cardiovasculaires.
Reclassification chez les cas
Modèle avec le nouveau marqueur Modèle sans nouveau
marqueur
< 6% 6-20% > 20%
< 6% 6-20% > 20%
Reclassification chez les non-cas
Modèle avec le nouveau marqueur Modèle sans nouveau
marqueur
< 6% 6-20% > 20%
< 6% 6-20% > 20%
Les sujets correctement reclassés sont représentés en vert et les sujets mal reclassés en rouge. Les sujets non reclassés sont en blanc. Le NRI se calcule séparément pour les cas et les non-cas. 𝑁𝑅𝐼!"# = 𝑁𝑠𝑢𝑝, 𝑐𝑎𝑠 − 𝑁𝑖𝑛𝑓, 𝑐𝑎𝑠 𝑁 𝑡𝑜𝑡𝑎𝑙 𝑑𝑒 𝑐𝑎𝑠 𝑁𝑅𝐼!"! !"# = 𝑁𝑖𝑛𝑓, 𝑛𝑜𝑛 𝑐𝑎𝑠 − 𝑁𝑖𝑛𝑓, 𝑐𝑎𝑠 𝑁 𝑡𝑜𝑡𝑎𝑙 𝑑𝑒 𝑛𝑜𝑛 𝑐𝑎𝑠 𝑁𝑅𝐼!"#$%" = 𝑁𝑅𝐼!"#+ 𝑁𝑅𝐼!"! !"#
Le NRI peut être testé simplement (hypothèse nulle : NRI = 0) à l’aide d’un paramètre z suivant une loi normale.
Index ou Improvment (IDI) », indépendant des classes de risque, mais d’interprétation moins intuitive.
Integrated Discrimination Index (IDI)
L’IDI peut être considéré comme une version continue du NRI utilisant les différences de probabilités prédites au lieu de catégories de risque. Une autre définition de l’IDI est la différence des pentes de discrimination entre l’ancien et le nouveau modèle. La pente de discrimination d’un modèle est la différence moyenne entre les probabilités prédites chez les cas et les non-cas.
De la même manière que le NRI, l’IDI peut être testé simplement à 0 à partir de la statistique de test suivante: