Classification par perte de sang
12.2 Evaluation par Leave One (Animal) Out ´
pourrait indiquer un comportement particulier au del`a de cette valeur et ceci pour chaque animal pris individuellement. Ce comportement semble ˆetre confirm´e g´en´eralement par cette matrice.
Tab. 12.3 – Exemple de table de confusion obtenue pour un mod`ele quadratique pour une classification selon huit classes correspondant `a des intervalles de volume sanguin
pr´elev´e. La classification a ´et´e obtenue sur l’ensemble de caract´eristiques portables S∗.
L’´evaluation a ´et´e r´ealis´ee animal sur animal.
Machine Acc (%) P erteSang 0% 10% 20% 30% 35% 40% 45% 50% 0% 278 37 13 3 0 0 0 0 83.99% 10% 25 106 20 1 1 0 0 0 69.28% 20% 7 15 118 15 3 0 0 0 74.68% 30% 0 4 13 96 15 2 1 0 73.28% 35% 0 0 1 17 52 4 2 0 68.42% 40% 0 0 0 2 9 56 10 3 70% 45% 0 0 0 1 2 8 58 11 72.5% 50% 2 0 0 1 1 2 14 314 94%
12.2 Evaluation par Leave One (Animal) Out´
Les classes sont d´efinies telles que pr´esent´ees Tab. 12.1. Une classification selon la
technique du leave one (animal) out a ´et´e r´ealis´ee sur l’ensemble des donn´ees S∗ et SP
apr`es s´election d’un ensemble ´equiprobable de classes pour la cr´eation de l’ensemble d’ap-prentissage.
12.2.1 Estimation de l’erreur r´eelle
Les r´esultats obtenus sur les ensembles de test uniquement (errT) sont repr´esent´es
Tab. 12.4. L’erreur obtenue, en utilisant l’ensemble des caract´eristiques invasives retenues
S∗, est de 61.26± 13.82% en moyenne pour le classifieur du plus proche voisin. L’erreur
diminue pour le classifieur quadratique et chute `a 58± 16.22% en moyenne, mais un test
de Wilcoxon ne conclut pas sur la significativit´e de ce r´esultat (α = 0.7).
L’erreur obtenue en utilisant l’ensemble des caract´eristiques portables retenues, est de
73.02±12.93% en moyenne pour le classifieur 1PPV et de 65.19±12.82% en moyenne pour
le classifieur quadratique. Un test de Wilcoxon devient significatif pour un seuil α > 0.07. On note encore que les meilleures performances individuelles pr´esentent une erreur de 39% et les moins bonnes une erreur de 87% (un classement al´eatoire produirait une erreur de
(K− 1)/K = 7/8 soit 87.50%) pour les donn´ees portables.
Nous pouvons conclure de ces r´esultats qu’il n’est pas possible de r´ealiser une classi-fication selon la perte de sang subie ou que celle-ci n’est pas bien adapt´ee au probl`eme d’hypovol´emie, mˆeme si la prise en consid´eration de plusieurs individus semble am´eliorer les performances. L’´etude de la matrice de confusion permettra de mieux comprendre les erreurs r´ealis´ees.
Tab. 12.4 – Classification par animal. Probl`eme `a 8 Classes suivant la perte de sang
S∗ SP
Animal 1PPV (%) Quad (%) 1PPV (%) Quad (%) ♯1 43.92 54.73 62.16 77.03 ♯2 35.71 36.43 90 59.29 ♯3 44.9 43.54 68.03 48.3 ♯4 75 64.52 84.68 58.06 ♯5 83.44 58.28 81.46 71.52 ♯7 57.41 37.65 60.49 65.43 ♯8 48 27.33 67.33 60.67 ♯9 66.23 61.69 61.04 61.69 ♯10 66.35 58.17 40.87 39.42 ♯12 56 35.33 81.33 51.33 ♯13 84.35 68.7 85.22 84.35 ♯14 66.84 74.09 69.43 74.61 ♯15 55.7 79.87 88.59 86.58 ♯16 70.59 70.59 72.35 72.94 ♯17 68.71 68.71 68.1 55.83 ♯18 50.87 70.52 86.13 64.74 ♯19 67.47 75.9 74.1 76.51 Moyenne 61.26 ± 13.82 58 ± 16.22 73.02 ± 12.93 65.19 ± 12.82
12.2.2 Matrice de confusion - Perte de sang
La matrice de confusion moyenne r´ealis´ee sur l’ensemble des animaux en consid´erant les caract´eristiques portables retenues et obtenu avec un classifieur quadratique est repr´esent´e Tab. 12.5.
On constate que la table de confusion peut ˆetre s´epar´ee en 3 parties. La premi`ere
zone correspond aux donn´ees dont la perte de sang est inf´erieure `a 20% o`u l’on obtient
une concordance (Acc) de 57% et 39% en moyenne. La seconde partition correspond `a l’intervalle de perte de sang compris entre 20% et 40% ou l’on obtient quasiment toujours une mauvaise classification. Enfin, la troisi`eme partition correspond `a une perte de sang sup´erieure `a 40%, on l’on constate une concordance de 2%, 13% et une tr`es bonne concor-dance pour des pertes de sang sup´erieures `a 65%. Mˆeme si notre spoliation a ´et´e r´ealis´ee de fa¸con continue, les r´esultats obtenus montrent que l’int´erˆet d’une classification par ce type de mod`ele est douteuse.
On peut se demander alors ce que produit une classification en prenant en compte les observations r´ealis´ees sur la matrice de confusion pr´ec´edente, c.-`a-d., en prenant 3 classes :
ω1 : P erteSang < 15%, ω2 : 15%≤ P erteSang < 37.5%, ω3 : 37.5%≤ P erteSang.
On obtient alors la matrice de confusion repr´esent´ee Tab. 12.6 pour un classifieur quadratique et les caract´eristiques portables retenues. L’erreur obtenue est alors de 46.3%
et l’on constate une concordance int´eressante de 77.1% pour la classe ω3.
12.3 Conclusion du chapitre
L’int´erˆet d’une classification par portion de volume sanguin pr´elev´e, ne peut ˆetre mise en ´evidence en utilisant une technique de validation animal par animal sur nos donn´ees (obtenues en effectuant une perte de sang `a d´ebit contrˆol´e), car elle est mise en d´efaut lors d’une ´evaluation plus pessimiste de type leave one (animal) out.
12.3. CONCLUSION DU CHAPITRE 151 Tab. 12.5 – Exemple de table de confusion obtenue pour un mod`ele quadratique pour une
classification selon huit classes correspondant `a des plages de volume sanguin pr´elev´e. La
classification a ´et´e obtenue sur des donn´ees non invasives. L’´evaluation a ´et´e r´ealis´ee selon la proc´edure de leave one (animal) out.
Machine Acc (%) P erteSang 0% 10% 20% 30% 35% 40% 45% 50% 0% 13 ± 10 8 ± 9 0 ± 0 1 ± 1 0 ± 0 1 ± 4 0 ± 1 0 ± 0 57.1% 10% 6 ± 5 5 ± 6 0 ± 0 0 ± 1 0 ± 0 0 ± 1 0 ± 1 1 ± 2 38.6% 20% 6 ± 6 4 ± 5 0 ± 0 1 ± 1 0 ± 1 0 ± 1 1 ± 4 1 ± 3 0.4% 30% 4 ± 4 2 ± 4 0 ± 0 0 ± 0 0 ± 1 0 ± 0 2 ± 3 1 ± 3 0.4% 35% 1 ± 2 2 ± 3 0 ± 0 0 ± 1 0 ± 0 0 ± 0 1 ± 2 2 ± 3 0.0% 40% 1 ± 1 2 ± 2 0 ± 1 0 ± 0 0 ± 0 0 ± 1 1 ± 1 2 ± 3 2.34% 45% 0 ± 1 1 ± 3 0 ± 1 0 ± 1 0 ± 0 0 ± 1 1 ± 1 3 ± 3 12.9% 50% 0 ± 0 2 ± 4 0 ± 1 1 ± 1 0 ± 1 1 ± 3 5 ± 5 16 ± 11 64.9%
Tab. 12.6 – Exemple de table de confusion obtenue pour un mod`ele quadratique pour une classification selon 3 classes correspondant `a des intervalles de volume sanguin pr´elev´e.
La classification a ´et´e obtenue sur des donn´ees portables. L’´evaluation a ´et´e r´ealis´e selon la proc´edure de leave one (animal) out.
Machine Acc (%) P erteSang ω1 ω2 ω3
ω1 19.4 ± 9.9 12.0 ± 7.7 3.9 ± 8.2 55.0% ω2 11.1 ± 8.5 6.2 ± 5.2 10.9 ± 12.8 22.0% ω3 1.8 ± 3.6 6.6 ± 7.2 28.2 ± 9.6 77.1%
Nous pouvons de cette fa¸con porter un doute sur les r´esultats propos´es par Glass et coll. Cependant il semble qu’une classification du choc h´emorragique par perte de sang
pourrait ˆetre possible comme l’indique une analyse du probl`eme `a trois classes (ω1 :
P erteSang < 15%, ω2 : 15% ≤ P erteSang < 37.5%, ω3 : 37.5% ≤ P erteSang) qui
montre une concordance non n´egligeable pour une perte de sang importante (ω3: 37.5% ≤
P erteSang). Une recherche des valeurs seuils pourrait permettre d’affiner les r´esultats. On peut encore se demander si une r´egression par morceaux ne serait pas plus appropri´ee.
Chapitre 13
Discussion
En essayant les m´ethodes d´ecrites par l’´equipe de Glass, sur la cr´eation et la validation des classifieurs, qui consiste en un apprentissage et une validation animal par animal, on obtient des r´esultats qui paraissent bons et semblent peu entach´es d’erreur. Nous avons vu qu’en utilisant cette m´ethode, notre syst`eme ´etait tr`es comp´etitif vis `a vis du leur, mais au prix d’une grande erreur d’´evaluation du risque empirique associ´e au mod`ele. Aussi, la validation apport´ee par Glass et coll. sur leur syst`eme peut ˆetre mise en d´efaut. N´eanmoins l’article reste vague sur la d´emarche adopt´ee et nous ne saurions conclure sans doutes, sur la validit´e de leurs r´esultats en terme de g´en´eralisation.
L’utilisation d’une classification par perte de sang peut paraˆıtre int´eressante puisqu’elle provient d’une donn´ee mesurable et non entach´ee d’un raisonnement humain telle que la classification en classe de choc h´emorragique par un expert. N´eanmoins les probl`emes de classification dans les classes voisines permettent de pr´eciser qu’un mod`ele de r´egression est plus justifi´e. Cependant, il semble que le comportement des donn´ees soit diff´erent suivant diff´erents niveaux de choc, ce qui implique plusieurs mod`eles de r´egression. La figure Fig. 13.1 montre que suivant la quantit´e de sang pr´elev´e, les variables ont des comportements lin´eaires puis, `a partir de 40% il commence `a y avoir une courbure. Les conclusions de Glass et coll. indiquent que ces courbures sont aussi observ´ees sur leurs donn´ees et que leurs prochaines ´etudes porteront sur l’´etude de ces courbures et des trajectoires prises par les variables au cours du choc h´emorragique.
−50 0 50 100 150 32 34 36 38 40 0 50 100 150 200 250 300 Tint (°C) MAP (mmHg) FC (bpm)