3: Discrimination par ROC

La méthode de Pisarenko nous a permis de déterminer les fréquences contenues dans le PEV. Il s’agit alors d’utiliser les valeurs de ces fréquences pour former le vecteur d’attributs en vue de la classification du PEV.

Une étude préliminaire effectuée sur des réponses unitaires du PEV a montré que l’analyse de ces réponses par la méthode de Pisarenko permet de décrire le PEV à l’aide de deux fréquences [21, 32] dans le cas d’un modèle d’ordre 5. Les résultats obtenus ont révélé que la première fréquence est beaucoup plus significative en termes de discrimination que la deuxième fréquence. En effet, les courbes de la figure IV-2 représentant les variations de la première fréquence en fonction du temps, montrent une convergence vers 109 Hz pour les cas normaux. Tandis que pour les cas pathologiques, une plus large dispersion de la fréquence variant entre 90 et 100 Hz à la convergence, est observée.

60 70 80 90 100 110 120 0 100 200 300 400 500 60 70 80 90 100 110 120 0 100 200 300 400 500

Figure IV-2: évolution de la Première fréquence pour un sujet normal (gauche) et un cas pathologiques (droite) pour M=5, réponses unitaires.

La généralisation de ce constat pour la classification des PEV en deux classes, normaux et pathologiques nécessite de fixer un seuil pour chaque fréquence estimée pour un ordre du modèle donné. Ce seuil devrait permettre de séparer les deux populations et en assurant un taux de classification acceptable. Toutefois, l’examen des résultats d’un test dans deux populations, l’une avec une pathologie et l’autre sans, montre rarement une séparation nette entre les deux groupes. En réalité les distributions des résultats se chevauchent comme le schématise la figure suivante (Figure IV-3):

Figure IV-3: Chevauchement des distributions des populations lors d’un test

Il en résulte de cette distribution que une fois le seuil est fixé pour distinguer entre les deux populations, des cas pathologiques sont correctement classés comme positif (VP = vrai positifs), mais d’autres cas, même pathologiques, sont mal classés et déclarés négatifs (FN = faux négatifs). De l’autre cote, des cas sains sont classifiés comme positifs (FP = faux positifs), alors que d’autres cas sains sont correctement classifiés comme négatifs (VN = vrai négatifs). Ces quatre situations peuvent être résumées dans la table suivante :

Test Pathologiques N Sain N Total

Positif Vrai Positifs A Faux Positifs C a + c Négatif Faux Négatifs B Vrai Négatifs D b + d

Total a + b c + d

Les statistiques suivantes peuvent ainsi êtres définies [22]:

• Sensibilité : probabilité que le résultat du test soit positif quand la pathologie est présente. C’est le rapport des vrais positifs exprimé en pourcentage = a / (a+b)

• Spécificité : probabilité que le résultat du test soit négatif quand la pathologie est absente. C’est le rapport des vrais négatifs exprimé en pourcentage = d / (c+d)

• Rapport de positive vraisemblance : rapport entre le taux des vrais positif et le taux des faux positifs = sensibilité/(1-Specificity)

• Rapport de négative vraisemblance : rapport entre le taux des faux négatif et le taux des vrais négatifs= (1-Sensitivité)/spécificité

• Valeur prédictive positive : probabilité que la pathologie est présente quand le test est positif, exprimé en pourcentage = a/(a+c)

• Valeur prédictive négative : probabilité que la maladie est absente quand le test est négatif, exprimé en pourcentage = d/(b+d)

La méthode traditionnelle pour évaluer la performance d'un test de diagnostic est basée sur la mesure d’un écart à un standard de "vrai diagnostic". La performance du test est reportée en termes de sensibilité et de spécificité. Or, ces deux indicateurs varient en sens inverse et il est parfois difficile de faire un arbitrage entre les deux.

L'évaluation de la performance des classificateurs peut aussi être réalisée en analysant les courbes du ROC (Receiver Operating Characteristic) [22-25] Ces courbes peuvent même être employées pour comparer les tests de diagnostic de deux ou plusieurs laboratoires [26-30]. Ils constituent un outil très utile pour visualiser et fournir une meilleure mesure de la performance de classification que le classique taux d'exactitude ou d'erreur.

IV-3-1: Analyse de courbe ROC

Une courbe de ROC est un graphique qui trace le taux des vrais positifs en fonction du taux des faux positifs à différentes valeurs de critère. C'est donc une description bidimensionnelle de la performance d'un classificateur. (Figure IV-3)

Figure IV-4: Courbe ROC

Toutefois pour comparer des classificateurs, nous avons besoin de ramener leur ROC à une valeur scalaire représentant leur performance. Une méthode commune est de calculer l'aire sous la courbe ROC ou AUC (Area Under Curve) [27, 31]. Puisque l'AUC est une partie d'un carré de surface égale à 1, sa valeur sera toujours comprise entre 0 et 1. Cependant, étant donné que le tirage aléatoire produit la ligne diagonale entre (0, 0) et (0, 0) qui correspond à une aire de 0.5, aucun classificateur réaliste ne devrait avoir un AUC inférieur à 0.5.

l'AUC d'un classificateur peut être interprétée comme suit: Une aire de 0,84 par exemple signifie qu'un individu aléatoirement choisi du groupe positif a une valeur de test plus grande que celle pour un individu aléatoirement choisi du groupe négatif dans 84% du temps [24]. Aussi quand le paramètre à l'étude ne peut pas distinguer les deux groupes, c.-à-d. qu’il n'y a aucune différence entre les deux distributions, l’aire sera égal à 0.5, et quand il y a une séparation parfaite des valeurs des deux groupes, c.-à-d. qu’il n'y a aucun recouvrement des distributions, l’aire sous la courbe de ROC est égale 1 (la courbe de ROC atteint le coin gauche supérieur du graphique).

Un intervalle de confiance de 95% pour l’ AUC peut être employé pour évaluer l'hypothèse que l'aire théorique est 0.5. Si l'intervalle de confiance n'inclut pas la valeur 0.5, alors le classificateur a une capacité de distinguer les deux groupes [24, 27].

IV-3-2: Choix du critère du classificateur de PEV

Notre objectif étant d'utiliser les fréquences estimées par la méthode de Pisarenko, il nous a paru judicieux, du moment que les fréquences varient dans le temps, de découper le signal en zones de convergences de 100 ms chacune, où les fréquences sont quasi stables et de considérer la valeur moyenne de chaque fréquence dans ces différentes zones et ce pour chaque valeur de l’ordre du modèle. Chacune de ces moyennes constitue un classificateur dont les performances ont été comparées en utilisant les courbes ROC.

IV-3-3: Application des ROC à la classification des PEV

Nous avons tracé ces courbes ROC pour les différentes zones de convergence des fréquences calculées pour différentes valeurs de l’ordre du modèle (Figures IV-5 jusqu'à Figures IV-9).

50-150 100-200

Figure IV-5: Courbes ROC par zone de convergence la première fréquence, ordre M = 3 Pour l'ordre M=4 nous avons examiné les deux fréquences (Figure IV-6 et Figure IV-7).

250-350 300-400

350-450 400-500

Figure IV-6: Courbes ROC par zone de convergence pour la première fréquence, ordre M=4

150-250 200-300

250-350 300-400

50-150 100-200

150-250 200-300

Figure IV-7: Courbes ROC par zone de convergence pour la deuxième fréquence, ordre M=4 De même pour l'ordre M=5 nous avons examiné les deux fréquences (Figure IV-8 et Figure IV-9).

350-450 400-500

Figure IV-8: Courbes ROC par zone de convergence pour la première fréquence, ordre M=5

150-250 200-300

250-350 300-400

50-150 100-200

150-250 200-300

Figure IV-9: Courbes ROC par zone de convergence pour la deuxième fréquence, ordre M=5 Nous remarquons que les courbes les plus éloignées de la diagonale correspondent aux ordres impairs pour les zones de convergences comprises entre 100 et 300 (Figures IV-5 et IV-8) Le tableau suivant regroupe les valeurs des AUC (surfaces sous la courbe ROC) pour les différentes zones de convergences pour les ordres allant de 3 à 8. Nous avons fait ressortir en caractères gras les aires supérieures à 0.8 correspondant aux classificateurs les plus performants.

Ordre Fréquence 50-150 100-200 150-250 200-300 250-350 300-400 350-450 400-500 3 1 0.778 0.836 0.818 0.794 0.777 0.757 0.743 0.734 4 1 0.523 0.661 0.608 0.598 0.584 0.578 0.584 0.580 4 2 0.541 0.560 0.570 0.538 0.517 0.514 0.515 0.522 5 1 0.754 0.843 0.830 0.810 0.798 0.790 0.788 0.780 5 2 0.544 0.610 0.603 0.590 0.571 0.592 0.592 0.603 6 1 0.523 0.602 0.545 0.543 0.520 0.508 0.513 0.533 6 2 0.481 0.546 0.529 0.524 0.541 0.540 0.537 0.530 6 3 0.520 0.477 0.526 0.503 0.518 0.548 0.541 0.540 7 1 0.718 0.800 0.792 0.776 0.769 0.773 0.765 0.764 7 2 0.554 0.592 0.555 0.512 0.511 0.509 0.506 0.517 7 3 0.528 0.530 0.549 0.562 0.568 0.557 0.544 0.547 8 1 0.518 0.570 0.535 0.490 0.551 0.550 0.463 0.467 8 2 0.541 0.565 0.579 0.537 0.515 0.509 0.506 0.504 8 3 0.542 0.543 0.543 0.500 0.513 0.508 0.497 0.510 8 4 0.563 0.563 0.579 0.606 0.592 0.581 0.566 0.569

Les statistiques correspondant au classificateur le plus performant, avec un AUC de 0.843 sont données dans le rapport ROC détaillé de la figure suivante :

Ces résultats montrent que ce classificateur, avec un seuil = 23.8763, permet une sensibilité, soit un taux de réussite de détection de sujets normaux égal à 89.1% voisin du taux obtenu par la méthode de la latence (89.58%), et une spécificité ou taux de bonne classification de cas pathologiques égal à 76% (45.61% seulement est obtenu parla méthode de la latence). Le taux global de réussite est égal à 82.55%. La figure suivante montre la répartition obtenue par ce classificateur avec le seuil retenu.

Figure IV-11: Répartition des cas pour la zone 100-200 pour la première fréquence, ordre M=5