3.3 Int´egrer discrimination et calibration
3.3.3 Les courbes de pr´ediction
Un ´equivalent continu des taux de reclassification, qui ne n´ecessite pas la d´efinition de groupes de risque, est la “ courbe de pr´ediction ” (traduction peu fiable de “ predictiveness curve ”) propos´ee par Pepe et al. (2008) et Huang et al. (2007). Cette courbe repr´esente le risque de maladie pr´edit en fonction du quantile de la valeur du marqueur dans la population ´etudi´ee. Si R(ν) correspond au risque associ´e au νi`eme quantile du marqueur, alors :
3.3. Int´egrer discrimination et calibration 52
o`u F est la fonction de r´epartition du marqueur en question. La figure 3.5 repr´esente les courbes de pr´ediction associ´ees `a deux marqueurs, ainsi que leurs courbes ROC respectives.
percentile du marqueur (v) risque de maladie R( v ) 0 0.16 0.34 0.6 0.84 0.96 0.0 0.1 0.2 0.4 0.6 0.8 0.9 1.0 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 1−spécificité sensibilité marqueur 1 marqueur 2
Figure 3.5 – Courbes de pr´ediction associ´ees `a deux marqueurs (`a gauche) et courbes ROC (`a droite).
A un niveau de risque est associ´e un quantile de la distribution du marqueur et vice versa. Cette interpr´etation dans les deux sens n’est possible que lorsque la relation entre le marqueur et le risque pr´edit est monotone croissante. Dans le cas contraire, une d´efinition plus g´en´erale de la courbe de pr´ediction est n´ecessaire :
R(ν) = p : P (risque(Y )≤ p) = ν
Un trait horizontal est rajout´e sur les graphiques : il correspond `a la pr´evalence de la maladie. Un bon marqueur tend `a ce que le risque pr´edit pour les futurs malades soit nettement sup´erieur `a la pr´evalence et le risque pr´edit pour les futurs non malades soit nettement inf´erieur `a la pr´evalence. C’est donc un marqueur dont la courbe de pr´ediction s’´ecarte fortement de la pr´evalence, en ´etant au dessus de la pr´evalence pour les risques ´elev´es et en dessous de la pr´evalence pour les risques faibles.
Dans l’exemple de la figure 3.5, 84 % des patients ont un risque pr´edit en dessous de 90 % pour le marqueur´e 1, ce qui signifie que 16 % ont un risque pr´edit au dessus de 90 %, alors que pour le marqueur 2, il n’y a que 4 % des patients qui ont un risque pr´edit au dessus de
3.3. Int´egrer discrimination et calibration 53
90 % ; de mˆeme, 34 % de la population a un risque pr´edit en dessous de 1 % pour le marqueur 1, alors que pour le marqueur 2, uniquement 16 % des patients a un risque pr´edit en dessous de 1 %. Le marqueur 1 semble meilleur que le marqueur 2. La courbe de pr´ediction ne mesure pas r´eellement la capacit´e du test `a discriminer les patients en deux groupes, mais `a associer des risques extrˆemes pour une grande partie de la population.
Une mesure d’ad´equation souvent propos´ee pour les mod`eles de risque est le R carr´e, ou R2, correspondant `a la proportion de variation expliqu´ee par le mod`ele (Mittlb¨ock et Schemper, 1996). Celui-ci peut se calculer `a partir de la courbe de pr´ediction, avec une interpr´etation tr`es concr`ete :
R2 =Z 1
0 (R(ν) − π)2dν/(π(1− π))
π correspond `a la pr´evalence de la maladie et π(1 − π) est un facteur de standardisation. Le R2 est donc tout simplement le reflet de la capacit´e du marqueur `a pr´edire des risques qui se d´emarquent fortement de la pr´evalence.
Il est possible de calculer les sensibilit´es, sp´ecificit´es et valeurs pr´edictives pour chaque niveau du marqueur `a partir de la courbe de pr´ediction (figure 3.6).
0.0 0.2 0.4 0.6 0.8 1.0 percentile du marqueur (v) risque de maladie R( v ) 0 0.2 0.4 0.6 0.8 ν0 1.0 0.0 0.2 0.4 0.6 0.8 1.0 percentile du marqueur (v) risque de maladie R( v ) 0 0.2 0.4 0.6 0.8 ν0 1.0
Figure 3.6 – Courbes de pr´ediction ainsi que leurs relations avec la sensibilit´e, la sp´ecificit´e et les valeurs pr´edictives.
Pour un seuil correspondant au quantile ν0 du marqueur, la valeur pr´edictive positive correspond `a l’AROC repr´esent´ee en gris fonc´e, divis´ee par l’aire du rectangle en gris clair
3.3. Int´egrer discrimination et calibration 54 (graphique de gauche de la figure 3.6). En effet :
Vpp(ν0) = P (M|Y > F−1(ν0)) = R1
ν0P (M|Y = F−1(ν)) d(P (Y ≤ F−1(ν))) P (Y > F−1(ν0))
Le num´erateur est donn´e par l’aire de la surface en gris fonc´e ; le d´enominateur est quant `a lui obtenu par l’aire du rectangle gris´e. La sensibilit´e correspond `a l’aire de la surface en gris fonc´e divis´ee par la pr´evalence. En effet, d’apr`es le th´eor`eme de Bayes :
Sen(ν0) = Vpp(ν0) × P (Y > F−1(ν0)) P (M )
Les valeurs pr´edictives n´egatives et valeurs de sp´ecificit´e se retrouvent de mani`ere similaire : la valeur pr´edictive n´egative correspond `a l’aire au dessus de la courbe repr´esent´ee en gris fonc´e (graphique de droite de la figure 3.6) divis´ee par l’aire du rectangle gris´e ; la sp´ecificit´e est donn´ee par l’aire de la surface en gris fonc´e divis´ee par le compl´ement de la pr´evalence. Ainsi, bien que le rˆole fondamental de la courbe de pr´ediction ne soit pas l’´etude de la capacit´e du marqueur `a discriminer les patients, elle permet tout de mˆeme d’observer visuellement les mesures de performance pour la discrimination. Un marqueur avec de bonnes sensibilit´es est un marqueur pour lequel la courbe de pr´ediction monte rapidement vers le haut ; `a l’inverse, un marqueur avec de bonnes sp´ecificit´es a une courbe de pr´ediction qui reste le plus possible vers le bas.
En plus de l’observation de l’´evolution du risque pr´edit en fonction du niveau du marqueur, les courbes de pr´ediction permettent d’analyser l’utilit´e du marqueur lorsqu’il est appliqu´e `a une population, en calculant les pourcentages d’individus dont les risques pr´edits atteignent des niveaux faibles ou ´elev´es. Il faut donc d´efinir deux risques limites : un au dessus duquel les patients sont jug´es comme `a risque ´elev´e et l’autre en dessous duquel les patients sont jug´es `a risque faible. Dans le cas de la figure 3.5, si ces risques limites sont respectivement de 10 % et 90 %, la conclusion, suite `a la mesure du marqueur, est ind´ecise pour 50 % des patients en utilisant le marqueur 1 (risque pr´edit entre les deux risques limites) et pour 86 % de la population pour le marqueur 2. Le marqueur 1 semble donc plus adapt´e dans ce cas, l’enjeu ´etant que le minimum de personnes pour lesquelles une d´ecision tranch´ee n’est pas envisageable ait un risque pr´edit interm´ediaire.
Le choix de ces valeurs limites de risque d´epend du contexte clinique et revient `a quantifier les coˆuts et les b´en´efices associ´es au fait de classer les patients `a risque ´elev´e et risque faible.
3.4. Introduction de l’utilit´e 55