EVALUATION DES TESTS EVALUATION DES TESTS
DE DIAGNOSTIC
DE DIAGNOSTIC
Plan de la pr
Plan de la pr é é sentation sentation
Introduction Introduction
–– DDééfinition Dfinition Déépistage, Diagnostiquepistage, Diagnostique
Les Les ¾ ¾ phases de d phases de d é é veloppement d veloppement d ’ ’ un test un test
–– Phases 1, 2, 3 et 4Phases 1, 2, 3 et 4
Les indices de performances Les indices de performances
–– ReproductibilitéReproductibilité (Indice Kappa de Cohen, diagramme (Indice Kappa de Cohen, diagramme de de BlandBland et Altman, CCI)et Altman, CCI)
–– ValiditValiditéé (Se, (Se, SpSp, VPP, VPN, LR+, LR-, VPP, VPN, LR+, LR-)) –– Courbes RocCourbes Roc
Les principaux biais
Les principaux biais
Les Les crit crit è è res res diagnostiques diagnostiques
Ce Ce sont sont des des marqueurs marqueurs dont dont les les r r é é sultats sultats permettent
permettent d d ’ ’ orienter orienter la la d d é é cision cision m m é é dicale dicale Deux Deux niveaux niveaux : :
– – Les tests de Les tests de d d é é pistage pistage – – Les tests de diagnostic Les tests de diagnostic
Comprennent Comprennent
Test m
Test m é é dical, signes cliniques, crit dical, signes cliniques, crit è è res res bact bact é é riens, images radiologiques, tests riens, images radiologiques, tests biochimiques ..
biochimiques ..
Un test peut être
Un test peut être tr tr è è s simple s simple par exemple par exemple une culture bact
une culture bact é é rienne rienne pour pour é é valuer une valuer une infection
infection
Ou Ou plus compliqu plus compliqu é é par exemple un par exemple un score score clinique
clinique à à partir d partir d ’ ’ un questionnaire ou un questionnaire ou la la s s é é quence de proc quence de proc é é dures sp dures sp é é cifiques cifiques
selon un protocole
selon un protocole
D D é é pistage et diagnostic pistage et diagnostic
Dépistage
Complications exposition Phase
pré-clinique
Phase clinique
Diagnostic
Diagnostic et D
Diagnostic et D é é pistage pistage
Le diagnostic
Le diagnostic se distingue du se distingue du dé d é pistage pistage par une caract
par une caract é é ristique fondamentale : ristique fondamentale : La motivation de l
La motivation de l’ ’examen examen
R R é é alis alis é é en raison de l en raison de l ’é ’é tat clinique (sujet tat clinique (sujet malade)
malade)
diagnostic diagnostic
R R é é alis alis é é ind ind é é pendamment de l pendamment de l ’é ’é tat clinique tat clinique (sujet apparemment sain)
(sujet apparemment sain)
d d é é pistage pistage
Sp Sp é é cificit cificit é é des tests de des tests de « « d d é é pistage pistage » »
S S ’ ’ appliquent appliquent à à des sujets sains des sujets sains Sur une large
Sur une large é é chelle chelle
Doivent être non invasifs (sans danger et Doivent être non invasifs (sans danger et
facile
facile à à administrer) et peu chers administrer) et peu chers
En gé En g é n n é é ral, ils sont suivis par d ral, ils sont suivis par d ’ ’ autres tests autres tests avant de prendre la d
avant de prendre la d é é cision de traiter cision de traiter
Le traitement avant les symptômes doit avoir Le traitement avant les symptômes doit avoir
une meilleure efficacit
une meilleure efficacit é é comparé compar é e e à à un un traitement donn
traitement donn é é apr apr è è s le d s le d é é but des but des symptômes : d
symptômes : dé é pistage cancer col ut pistage cancer col ut é é rin, rin, cancer du poumon?
cancer du poumon?
D D é é pistage versus Diagnostic pistage versus Diagnostic
Int Int é é rêt de tester des populations saines rêt de tester des populations saines pour traiter pr
pour traiter pr é é cocement cocement
Ex Ex : : Cancer du sein et mammographie Cancer du sein et mammographie Cholest
Cholest é é rol rol é é mie et HTA pour maladies CV mie et HTA pour maladies CV Maladies infectieuses avec traitement
Maladies infectieuses avec traitement
disponible (avantage individuel et collectif)
disponible (avantage individuel et collectif)
L L ’é ’é valuation statistique est identique valuation statistique est identique que que ce soit pour
ce soit pour un Test de
un Test de « « d d é é pistage pistage » » ou ou
un Test de
un Test de « « diagnostic diagnostic » »
Crit Crit è è res pour un test m res pour un test m é é dical dical
« « int int é é ressant ressant » »
Il doit y avoir un b
Il doit y avoir un b é é né n é fice fice à à diagnostiquer la diagnostiquer la maladie
maladie
Avant de mettre en place un test il y a des crit Avant de mettre en place un test il y a des crit è è res res à à v v é é rifier rifier
La maladie doit être
La maladie doit être grave grave conséconséquences sur la survie ouquences sur la survie ou La qualit
La qualitéé de viede vie
La maladie doit être
La maladie doit être «« importanteimportante »» prpréévalence valence éélevlevéée danse dans la population cibl
la population cibléée ou contexte e ou contexte éépidpidéémiquemique
La maladie peut
La maladie peut être traitêtre traitééee (gu(guéérison ou ralentissement)rison ou ralentissement)
Si le traitement existe,
Si le traitement existe, les malades y ont accles malades y ont accèèss (PED)(PED) DDééfinir le bfinir le béénnééficefice apportapportéé par le test au patient par le test au patient
Le test ne doit
Le test ne doit pas être douloureuxpas être douloureux
(b(béénnééfices > inconvfices > inconvéénients: conients: coûût, dt, dééplacement, inconfort placement, inconfort moral, physique etc..)
moral, physique etc..)
Evaluer comment le test va
Evaluer comment le test va s’s’intintéégrer dans la prise en grer dans la prise en charge de la maladie
charge de la maladie Le test doit être
Le test doit être performant performant permet de bien classer les permet de bien classer les sujets en Malades et Non malades
sujets en Malades et Non malades
Eviter les faux Positifs Eviter les faux Positifs traittraitéés s àà torttort
Eviter les faux NéEviter les faux Négatifs gatifs non traitnon traitéés às à torttort
Les 3/4 phases de Les 3/4 phases de
d d é é veloppement d veloppement d ’ ’ un test un test diagnostique
diagnostique
La phase I (proof
La phase I (proof - - of of - - concept) concept)
LL’’objectif de cette phase exploratoire est de vobjectif de cette phase exploratoire est de véérifier que les rrifier que les réésultats dusultats du test sont diff
test sont difféérents chez les malades et les non malades (conditionsrents chez les malades et les non malades (conditions
«« de laboratoirede laboratoire »»))
VVéérification du rification du «« mméécanismecanisme »» dd’’actionaction Test dans conditions diff
Test dans conditions difféérentesrentes (temp(tempéératures, humiditratures, humiditéé..), conditions..), conditions de recueil
de recueil
Test chez sujets ou
Test chez sujets ou ééchantillons diffchantillons difféérentsrents (diff(difféérents niveaux derents niveaux de
sséévvééritritéé de maladie ou de quantitde maladie ou de quantitéé de bactde bactéériesries…….) y compris des sujets.) y compris des sujets non malades mais avec des symptômes proches de ceux des sujets
non malades mais avec des symptômes proches de ceux des sujets malades
malades
Test de la reproductibilit Test de la reproductibilitéé
Exemple: Bandelettes pour diagnostiquer des Exemple: Bandelettes pour diagnostiquer des
shigelles
shigelles à à partir de selles partir de selles
-- VVéérifier rifier
-- bandelettes + dans prébandelettes + dans préllèèvements contenant des vements contenant des shigellesshigelles -- Bandelettes Bandelettes -- dans prdans prééllèèvements sans vements sans shigellesshigelles
-- DDééfinir les conditions de recueil des selles (dfinir les conditions de recueil des selles (déélai de lai de recueil et conditions de st
recueil et conditions de stéérilitrilitéé..)..)
-- VVéérifier drifier déélai et conditions de lecture (mode dlai et conditions de lecture (mode d’’emploi)emploi)
-- VVéérifier la reproductibilitrifier la reproductibilitéé de la lecture (utiliser 2 de la lecture (utiliser 2 bandelettes, lues par deux lecteurs diff
bandelettes, lues par deux lecteurs difféérents)rents)
-- Faire varier les conditions de stockage des bandelettes Faire varier les conditions de stockage des bandelettes (humidit
(humiditéé, temp, tempéérature)rature)
Cette phase permet de savoir si le test Cette phase permet de savoir si le test semble
semble suffisamment suffisamment « « fiable fiable » » pour pour pouvoir être utilis
pouvoir être utilis é é dans les conditions dans les conditions souhait
souhait é é es es
Une Une bonne reproductibilit bonne reproductibilit é é est n est n é é cessaire cessaire
La phase II (Etude cas
La phase II (Etude cas - - t t é é moins) moins)
L’L’objectif de cette phase de validation est de montrer queobjectif de cette phase de validation est de montrer que
-- la probabilitéla probabilité d’d’avoir un ravoir un réésultat + est supsultat + est supérieure chez les malades érieure chez les malades
-- la probabilitéla probabilité d’d’avoir un ravoir un réésultat sultat –– est supéest supérieure chez les non malades rieure chez les non malades
ValiditValiditéé du test dans conditions contrôlédu test dans conditions contrôléeses ((≠≠ conditions de terrain) conditions de terrain)
-- SéSélectionner les cas et les tlectionner les cas et les téémoins, les moins, les éévaluateursvaluateurs (m(médecins, infirmiers, édecins, infirmiers, radiologues..) qui peuvent diff
radiologues..) qui peuvent difféérer du terrainrer du terrain
-- DéDéfinir dans un PROTOCOLE finir dans un PROTOCOLE les conditions d’les conditions d’utilisation du testutilisation du test (en (en essayant d
essayant d’éviter les biais)’éviter les biais)
-
- Tester diffTester différentesérentes conditionsconditions de recueil (tempde recueil (tempéératures, humiditratures, humiditéé..) ..)
-- Estimer le % de faux positifs et de faux néEstimer le % de faux positifs et de faux négatifs gatifs (calcul du NSN et (calcul du NSN et estimations des valeurs acceptables)
estimations des valeurs acceptables)
-- Pour les tests quantitatifs, dPour les tests quantitatifs, dééfinir le finir le cutcut-off (-off (Courbes Roc), identifier les Courbes Roc), identifier les facteurs ayant un impact sur le test (ou ceux qui le rendent ini
facteurs ayant un impact sur le test (ou ceux qui le rendent ininterprnterpréétable)table)
Les Les é é tudes de phases I et II sont des tudes de phases I et II sont des é é tudes tudes r r é é trospectives trospectives r r é é alis alis é é es es
uniquement dans un but de recherche uniquement dans un but de recherche
Le statut du malade est d
Le statut du malade est d é é termin termin é é avant avant par d
par d ’ ’ autres moyens autres moyens
La phase III (Etude prospective) La phase III (Etude prospective)
Objectif principal:
Objectif principal: DéDéterminer les performances du test dans lesterminer les performances du test dans les conditions o
conditions oùù il sera utiliséil sera utilisé
vévérifier que chez les patients chez lesquels il est cliniquementrifier que chez les patients chez lesquels il est cliniquement pertinent, les r
pertinent, les réésultats du test permettent de distinguer les maladessultats du test permettent de distinguer les malades des non malades
des non malades
Les performances pourront être compar
Les performances pourront être comparéées es àà celles d’celles d’autres testsautres tests
RéRéalisaliséée dans les e dans les conditions pratiques dconditions pratiques d’utilisation du test’utilisation du test
S’S’adresse adresse àà des sujets dont on ne connaîdes sujets dont on ne connaît pas t pas àà ll’avance l’avance l’é’état tat (Malade ou Non Malade)
(Malade ou Non Malade)
Phase IV ? Phase IV ?
Id Id é é alement, il est int alement, il est int é é ressant de comparer, par ressant de comparer, par un essai randomis
un essai randomis é é , l , l ’ ’ impact de l impact de l ’ ’ introduction introduction du test par rapport
du test par rapport à à une prise en charge sans une prise en charge sans test, dans la pratique courante, sur des
test, dans la pratique courante, sur des
crit crit è è res de res de morbi morbi - - mortalit mortalit é é (qualit (qualit é é de vie) et de vie) et de co
de co ûts û ts
Permet de savoir si les sujets Permet de savoir si les sujets « « test test é é s s » » se se
« « portent mieux portent mieux » » que les sujets « que les sujets « non testé non test é s s » »
Relation entre le Taux de peptide
Relation entre le Taux de peptide natriur natriur é é tique tique (PN) (PN) et hypertrophie ventriculaire gauche (HVG)
et hypertrophie ventriculaire gauche (HVG)
Phase I Phase I
Les patients avec une HVG ont
Les patients avec une HVG ont--ils des concentrationsils des concentrations de PN sup
de PN supéérieures rieures àà celles observécelles observées chez des sujetses chez des sujets normaux?
normaux?
Patients HVG + Patients HVG Patients HVG + Patients HVG --
PN (pgPN (pg/ml)/ml)
mémédianediane 493.5493.5 129.4129.4 range
range (248.9(248.9-909.0)-909.0) (53.6-(53.6-159.7) 159.7)
Relation entre le Taux de peptide
Relation entre le Taux de peptide natriur natriur é é tique tique (PN) (PN) et hypertrophie ventriculaire gauche (HVG)
et hypertrophie ventriculaire gauche (HVG)
Phase II Phase II
Les patients avec des concentrations de PN
Les patients avec des concentrations de PN éélevlevéées ontes ont ils plus souvent une HVG que ceux avec des
ils plus souvent une HVG que ceux avec des concentrations faibles ?
concentrations faibles ?
PN (pgPN (pg/ml)/ml)
C C
as (Avec HVG) Téas (Avec HVG) Témoins (Sans HVG)moins (Sans HVG) ValeursValeurs éélevlevééeses n=39n=39 n=2 n=2 Valeurs normales
Valeurs normales n=1n=1 n=25n=25
Se= 98% (87Se= 98% (87--100) 100) VPP=95% (84VPP=95% (84--99)99) SpSp= 92% (77-= 92% (77-98) 98) VPN=95% (84VPN=95% (84--99)99)
LR+= 13 (3.5LR+= 13 (3.5--50.0)50.0) LR-LR-= 0.03 (0.0003= 0.03 (0.0003--0.19) 0.19)
Relation entre le Taux de peptide
Relation entre le Taux de peptide natriur natriur é é tique tique (PN) (PN) et hypertrophie ventriculaire gauche (HVG)
et hypertrophie ventriculaire gauche (HVG) Phase III
Phase III
Parmi les sujets chez qui une suspicion clinique de HVG Parmi les sujets chez qui une suspicion clinique de HVG
existe, les taux de PN sont
existe, les taux de PN sont--ils diffils difféérents entre ceux quirents entre ceux qui ont une HVG (Echo) et ceux qui n
ont une HVG (Echo) et ceux qui n’’en nen n’’ont pas ?ont pas ?
PN (PN (pgpg/ml)/ml) Sujets Sujets HHVG + Sujets VG + Sujets HHVG VG --
Valeurs
Valeurs éélevlevéées (>=18)es (>=18) n=35n=35 n=57n=57
Valeurs normales (<18)
Valeurs normales (<18) n=5n=5 n=29n=29
Se Se = 88% (74-= 88% (74-94) 94) VPP=38% (29VPP=38% (29--48)48) SpSp = 34% (25= 34% (25--44) 44) VPN=85% (70VPN=85% (70--94)94) LR+= 1.3 (1.1LR+= 1.3 (1.1--1.6)1.6) LR-LR- = 0.4 (0.2-= 0.4 (0.2-0.9)0.9)
Relation entre le Taux de peptide
Relation entre le Taux de peptide natriur natriur é é tique tique (PN) (PN) et hypertrophie ventriculaire gauche (HVG)
et hypertrophie ventriculaire gauche (HVG)
Phase IV Phase IV
Les sujets chez qui une suspicion clinique de HVG existe Les sujets chez qui une suspicion clinique de HVG existe et chez qui un dosage de PN a
et chez qui un dosage de PN a ééttéé rrééalisaliséé ont ont -- ils ils «« unun meilleur
meilleur éétat de santtat de santéé »» que les sujets qui nque les sujets qui n’’ont pas ont pas ééttéé testtestéés ?s ?
Indices de performances
Reproductibilité
Validité (Accuracy)
Protocole pour
Protocole pour é é valuer la reproductibilit valuer la reproductibilit é é de la mesure
de la mesure
D D é é finir la population finir la population à à analyser : analyser : repr repr é é senter senter toute toute l l ’é ’é tendue tendue des des
mesures mesures
Au moins 2 r Au moins 2 r é é p p é é titions titions
R R é é sultats ind sultats ind é é pendants ( pendants ( é é valuation valuation en insu)
en insu)
Type de crit
Type de crit è è res res
1) Variable discr
1) Variable discr è è te (2 ou K classes) te (2 ou K classes) Coefficient Kappa
Coefficient Kappa de Cohen de Cohen
2) Variable quantitative 2) Variable quantitative
Diagramme de
Diagramme de Bland Bland et Altman et CV ou CCI et Altman et CV ou CCI
Crit Crit è è res qualitatifs res qualitatifs
Coefficient Kappa de Coefficient Kappa de
Cohen
Cohen
Le coefficient Kappa Le coefficient Kappa
L’ L ’accord accord observ observ é é entre entre des des jugements jugements qualitatifs, r
qualitatifs, r é é sulte sulte de de la la somme somme d d ’ ’ une une composante
composante « « al al é é atoire atoire » » et d’ et d ’une composante une composante d d ’ ’ accord accord « « v v é é ritable ritable » »
Le coefficient Kappa
Le coefficient Kappa propose de chiffrer propose de chiffrer l l ’ ’ intensit intensit é é ou la qualit ou la qualit é é de l de l ’ ’ accord r accord r é é el el
entre des jugements qualitatifs appari
entre des jugements qualitatifs appari é é s s
Accord entre 2
Accord entre 2 é é valuations valuations (Exemple : N= 81 sujets
(Exemple : N= 81 sujets é é valu valu é é s) s)
8 . 5 0
. 0 1
5 . 0 9 . 0
1 =
−
= −
−
= −
e e o
P P Kappa P
4141
(24.95) (24.95) 22
(18.05) (18.05)
66
(22.05) (22.05) 32 32
(15.95) (15.95) ++
Evaluation 2 Evaluation 2
--
Evaluation 1 Evaluation 1
++
- -
Po = (32+41) / 81 = 0.9
Pe = (15.95 +24.95) / 81 = 0.5
Po = 0.9 Pe = 0.5 (chance)
1 - Pe = 0.5 Po –Pe = 0.4
07 . ) 0 1
( ) 1
(
) 1
( =
−
−
= −
e e
o kappa o
P P
n
P SE P
kappa
SE Kappa
IC 95%= ±1.96×
14 . 0 8 . 0 07 . 0 96 . 1 8 .
% 0
95 = ± × = ±
IC
Il exprime une diff
Il exprime une difféérence relative entre la proportion rence relative entre la proportion d’d’accord observaccord observéée e PoPo et la proportion det la proportion d’’accord accord alalééatoire atoire PePe (la (la valeur valeur attendue attendue sous sous HO HO d’d’indindéépendance des jugements) divispendance des jugements) diviséée par la quantite par la quantitéé
disponible au
disponible au--deldelàà de lde l’’accord alaccord alééatoireatoire
K est un pourcentage de lK est un pourcentage de l’’accord maximumaccord maximum corrigcorrigéé de ce qu
de ce qu’’il serait sous le simple effet du hasardil serait sous le simple effet du hasard
Le coefficient
Le coefficient KappaKappa est un nombre rest un nombre rééel, sans el, sans dimension, compris entre
dimension, compris entre --1 et +11 et +1
Chi-Chi-2 de Mac 2 de Mac NemarNemar (qui teste (qui teste s’s’il y ail y a concordanceconcordance) ) nn’’est pas appropriest pas appropriéé dans ce contexte dans ce contexte
Utilisation du Kappa pour
Utilisation du Kappa pour éévaluer la reproductibilitvaluer la reproductibilitéé mais aussi la validit
mais aussi la validitéé (quand le test et le Gold standard(quand le test et le Gold standard ont le même nombre de cat
ont le même nombre de catéégories, notamment 2)gories, notamment 2)
Concordance et Kappa Concordance et Kappa
«« Valeurs de réValeurs de réfféérencerence »» (Landis(Landis--Koch, 1977)Koch, 1977)
Kappa peut être test
Kappa peut être testéé (Ho: Kappa= 0) mais ce test a peu d’(Ho: Kappa= 0) mais ce test a peu d’intintéérêt en rêt en pratique: le kappa s
pratique: le kappa s’’utilise davantage comme un indicateur utilise davantage comme un indicateur descriptif descriptif de concordance
de concordance
Concordance et Kappa Concordance et Kappa Cas Cas à à K K ≥≥≥≥ ≥≥≥≥ 2 cat 2 cat é é gories gories
Lecture du frottis cervico-utérin chez 761 sujets, méthode Papanicolaou (J. Coste et al, BMJ 2003)
79 . 761 0
8 86 33
25
448 + + + + =
=
P
o0 . 48
761 7 . 5 14 . 6 0 . 8 5
. 5 4 .
336 + + + + =
= Pe
59 . 48 0
. 0 1
48 . 0 79 . 0
1 − − = − − =
=
e e oP P Kappa P
336.4
5.5
7.5
14.6
0.8
Concordance et Kappa:
Concordance et Kappa:
Les deux paradoxes Les deux paradoxes
D D épendance lourde de Kappa vis é pendance lourde de Kappa vis - - à à - - vis de la fr vis de la fr équence é quence ( ( biais de biais de pr pr é é valence = PI valence = PI ) des r ) des r é é ponses positives ponses positives (plus (plus
une cat
une cat égorie est rare, plus le kappa est bas) é gorie est rare, plus le kappa est bas) Probl
Probl ème du è me du biais (BI) biais (BI) lorsque les 2 observateurs lorsque les 2 observateurs
Diff Diff è è rent dans leur jugement rent dans leur jugement
Exemple
Exemple (1/2) : Probl(1/2) : Problèèmeme
de de pr pr é é valence valence (PI) (PI)
4545 66
--
99 4040
++ Clinicien
Clinicien 22
-- ++
Clinicien Clinicien 11
8080 1010
--
55 55
++ Clinicien
Clinicien 22
-- ++
Clinicien Clinicien 11
Kappa = 0.7 Kappa = 0.32
A concordance constante (ici 85%), le Kappa est d’autant plus grand que le pourcentage de diagnostics positifs (ou négatifs) parmi les concordants est proche de 50%
Déséquilibre entre les taux de concordance + et - Kappa diminue
Tableau 1 Tableau 2
Exemple
Exemple (2/2): (2/2): Biais Biais d d ’ ’ interpr interpr é é tation tation entre entre lecteurs lecteurs
1515 2525
--
1515 4545
++ Clinicien
Clinicien 22
-- ++
Clinicien Clinicien 11
3535 55
--
3535 2525
++ Clinicien
Clinicien 22
-- ++
Clinicien Clinicien 11
Kappa = 0.13 Kappa = 0.26
Dans le tableau 1, les deux cliniciens portent le diagnostic avec une fréquence proche (70% pour le clinicien 1 et 60% pour le clinicien 2)
Dans le tableau 2, le clinicien 1 porte le diagnostic dans 30% des cas contre 60% pour le clinicien 2.
Le Kappa est plus élevé dans le tableau 2 alors que les cliniciens sont le plus en désaccord.
Tableau 1 Tableau 2
C C onclusions onclusions
Calculer
Calculer Kappa, BI, PI Kappa, BI, PI
Si BI important Si BI important il faut essayer de comprendre il faut essayer de comprendre pourquoi les 2 lecteurs ne cotent
pourquoi les 2 lecteurs ne cotent pas de la même pas de la même fa fa ç ç on on
Si PI important
Si PI important et BI faible et BI faible il est n il est n é é cessaire de cessaire de fournir les valeurs de concordances positives et fournir les valeurs de concordances positives et n n é é gatives gatives P P
negneget P et P
posposCes donn
Ces donn é é es sont particuli es sont particuli è è rement importantes rement importantes quand on veut comparer les r
quand on veut comparer les r é é sultats de plusieurs sultats de plusieurs
é é tudes tudes
Crit Crit è è res quantitatifs res quantitatifs
Diagramme de
Diagramme de Bland Bland et Altman et Altman Coefficient de corr
Coefficient de corr é é lation intra lation intra - - classe
classe (CCI) (CCI)
Résultats de la régression linéaire
Pente = 1
Surestimation systématique d’amplitude b Y
X b
Y
X b
Pente = 1
Sous estimation systématique d’amplitude b Y
Pente ≠ 1 X
Surestimation jusqu’à un seuil
Une pente = 1 et/ou un coefficient de corrélation entre les deux séries de mesures (x et y) permet de juger d’une
liaison entre les deux méthodes
Les deux méthodes mesurant (a priori) la même chose, on doit observer une liaison
Mais ne renseigne pas sur la qualité des deux mesures (ne quantifie pas les écarts entre les 2 méthodes)
Etape 2 : Méthode de Altman & Bland
Etude du nuage de points avec
en abscisse : la moyenne des 2 mesures (x+y)/2 en ordonnée : la différence des 2 mesures (x-y)
Cette méthode fait l’hypothèse que les différences sont distribuées normalement :
d : moyenne des différence (x-y) sd : écart-type des différences (x-y)
⇒
⇒
⇒
⇒ Compare les différences observées à la distribution statistique attendue
Condition d’application : nombre de mesures par méthodes n ≥≥≥≥ 30
Les Les diff diff é é rentes rentes é é tapes tapes
Y a-t-il une liaison entre les deux mesures ?
Coefficient de corrélation
Oui Non
Fin d’analyse Y a-t-il concordance ?
Y a-t-il indépendance entre la variabilité et le niveau de la
mesure ?
Diagramme de Bland & Altman
Oui Non
Coefficient de Corrélation Coefficient de
Comment juger si la nouvelle méthode est acceptable ? C’est-à-dire peut remplacer l’ancienne, ou si les 2 lecteurs donnent les mêmes résultats
- La différence entre les méthodes n’augmente pas lorsque les valeurs augmentent (ou diminuent)
- La différence entre deux mesures est peu éloignée de la moyenne 00
DifféDifférence rence (x-(x-y)y)
Valeurs moyennes (x+y)/2 Valeurs moyennes (x+y)/2
dd
d + 1.96 d + 1.96 ssdd
d -d - 1.96 s1.96 sdd
DiffDifféérence rence (x-(x-y)y)
00
dd
00
dd DifféDifférence rence
(x-(x-y)y)
Indépendance entre la variabilité et le niveau de la
mesure
Dépendance entre la variabilité et le niveau de la mesure
(effet entonnoir)
(x+y)/2 (x+y)/2
Spécificité de la Reproductibilité d’une mesure continue Pour vérifier la reproductibilité d’une mesure, on répète la mesure (≥≥≥≥ 2) sur les mêmes échantillons :
- les mesures doivent être indépendantes (TAS) - éviter les facteurs liés à l’ordre
Vérification de la cohérence en utilisant une régression linéaire :
→ pente = 1 (coefficient de corrélation élevé) doit être observé(e),
→ mais ne renseigne pas sur la reproductibilité
⇒Coefficient de corrélation intra-classe (>0.9)
⇒ ou Coefficient de variation (<0.1)
Validit
Validit é é d d ’ ’ un test par rapport un test par rapport
à à un Gold Standard un Gold Standard
D D é é finition du Gold Standard finition du Gold Standard
Caractéristiques des critères permettant d’affirmer l’existence d’une maladie
Un critère indiscutable: tuberculose et BK ? Tuberculose et IDR+?
Critères histo-pathologiques à partir de Biopsies
Difficult
Difficult é é s du Gold Standard s du Gold Standard
Pas de gold standard : aucun critère vraiment satisfaisant
Ex= test rapide de bandelettes pour diagnostiquer shigelles chez enfants atteints de diarrhée sévère (Coproculture peu sensible, PCR non spécifique)
Quand un nouveau test ferait mieux que le standard actuel
Ex: bandelettes plus sensibles si lues rapidement
Un gold standard ne doit comporter dans sa
définition, ni le signe, ni le résultat du test
dont on évalue les propriétés diagnostiques
Le test
Les critères de positivité d’un test doivent être connus précisément
Décrire les conditions dans lesquelles ils sont mesurés et les règles de conclusion
Exemples
Utilisation d’une bandelette pour diagnostiquer des
shigelles dans les selles lecture dans les 15 minutes … Mesure de la glycémie: à jeun, post prandiale
Examen direct BK (conditions de lecture : nombre de champs microscopiques?)
Evaluation d
Evaluation d ’ ’ un nouveau test diagnostic un nouveau test diagnostic et crit
et crit è è res de performances res de performances
On peut distinguerOn peut distinguer
-- Les tests binairesLes tests binaires (oui/non ou positif/n(oui/non ou positif/négatif ou prégatif ou présent/absent) ésent/absent) Ex: Pr
Ex: Préésence de sang dans les urines, ssence de sang dans les urines, séérologie VIH positive ourologie VIH positive ou nnégative, BAAR + ou égative, BAAR + ou ––
-- Les tests quantitatifs: variable continue avec un seuilLes tests quantitatifs: variable continue avec un seuil
Ex:Ex: bilirubinébilirubinémie, cholestmie, cholestéérolroléémie, taux de PSAmie, taux de PSA, FibroScan, FibroScan
-- Les réLes réponses ordinales ponses ordinales Ex: degr
Ex: degréé de fibrose sur une lame de biopsie, images radiologiques, de fibrose sur une lame de biopsie, images radiologiques, échelle de BIRADS sur la mammographieéchelle de BIRADS sur la mammographie
analyse peut être abordéanalyse peut être abordée comme du quantitatife comme du quantitatif
En fonction du crit
En fonction du critère, la mère, la mééthodologie dthodologie d’é’évaluation seravaluation sera
Expressions des r
Expressions des r é é sultats d sultats d ’ ’ une une é é valuation valuation
Signe binaire
Signe binaire : Sensibilit : Sensibilit é é , sp , sp é é cificit cificit é é
Signe avec valeur continue
Signe avec valeur continue : Courbes ROC : Courbes ROC
Cas des variables binaires
Cas des variables binaires
Expression des résultats
Statut Résultat
malade M+
non malade M-
test +
Vrai Positif VP
Faux positif FP
test -
Faux Négatif FN
Vrai Négatif VN
On distingue 4 types de sujets -Les vrais positifs (VP)
-Les faux positifs (FP) -Les varis négatifs (VN) -Les faux négatifs (FN)
Qualités intrinsèques : sensibilité et spécificité
M+ M-
T + VP FP
T - FN VN
Sensibilité : probabilité
d’obtenir un test positif quand le sujet est malade
Valeur comprise entre 0 et 1
=> c’est l’aptitude d’un test à identifier correctement les individus malades grâce à une réponse positive
Se = P (T+ / M+) = VP / VP+FN
Qualités intrinsèques : sensibilité et spécificité
M+ M-
T + VP FP
T - FN VN
Spécificité : probabilité
d’obtenir un test négatif quand le sujet est non malade
Valeur comprise entre 0 et 1
=> c’est l’aptitude d’un test à identifier correctement les individus non malades grâce à une réponse négative
Sp = P (T- / M- ) = VN / VN+FP
ex : on souhaite déterminer la sensibilité et la spécificité d’un nouveau test de dépistage d’une maladie. 1000 sujets ont été soumis au test de référence (Gold Standard) supposé parfait : 900 ont fourni une réponse négative et 100 une réponse positive. Parmi les 100 sujets à réponse positive, 90 répondent positivement au nouveau test, et parmi le 900 à réponse négative, 30 ont donné une réponse positive au nouveau test.
référence +
référence -
T + 90 30 120
T - 10 870 880
100 900 1000
Se = 90/100 = 0,90 Sp = 870/900 = 0,97
Se calculée sur une population composée exclusivement de sujets malades
=> Se ne varie donc pas en fonction de la prévalence de la maladie
Sp calculée sur une population composée exclusivement de sujets non malades
=> Sp ne varie donc pas en fonction de la prévalence de la maladie
Pour un test donné : Se et Sp ne dépendent pas de la prévalence de la maladie
=> qualités « intrinsèques » = dépendant uniquement de facteurs
Relativité de la sensibilité et de la spécificité
M+ M –
VP FP
Seuil 1
FN VN
Se = 0,55 Sp = 0,95
Seuil 2
Se = 0,80 Sp = 0,75
Seuil 3
Se = 1 Sp = 0,50
FN Se
Ex: d
Ex: d é é pistage cancer du sein pistage cancer du sein
HIP BreastHIP Breast Cancer Screening Cancer Screening Project
Project
64810 femmes âg
64810 femmes âgéées de 40 es de 40 àà 64 ans
64 ans
Sensibilit
Sensibilité: 132/177 = é: 132/177 = 75%75%
SpéSpécificitcificitéé: 63650/64633 = : 63650/64633 = 99%99%
64810 64810 64633
64633 177177
63695 63695 63650
63650 4545
- -
11151115 983983
132132
+ +
Ex. Ex.
physique physique + mammo+ mammo..
- - + +
Cancer du sein Cancer du sein
(biopsie ou (biopsie ou aspiration) aspiration)
