• Aucun résultat trouvé

3.4 Validation

3.4.3 Résultats de la méthode de détection de déviations

3.4.3.2 Étude 2 : Couplage total entre les deux mains 123

Les taux d'échantillonnages que nous avons étudiés sont : 2, 4, 6, 8, 10 et 12,5 échantillons par seconde pour des αm = 1, sur chacune des 6 dimensions qu'apportent les deux mains.

Résultats Les résultats sont présentés dans le tableau 3.9 et en gure 3.17, et nous les comparerons aux résultats obtenus avec l'étude qui ne prenait en compte que la main dominante (étude 1.a, tableau 3.6).

(a) Taux de reconnaissance. (b) Rappel.

(c) Précision.

Figure 3.17  Graphes illustrant les résultats avec l'ajout des activités de la seconde main. Pour les gures (b) et (c) la courbe bleue représente les résul-tats pour l'état pas de déviation, la rouge pour l'état déviation anatomique et la verte pour l'état déviation événementielle.

Le taux de reconnaissance augmente de manière non-signicative avec l'échantillonnage passant de 75% à plus de 85 %.

L'échantillonnage n'a pas d'inuence sur le rappel de l'état pas de dé-viation et les résultats oscillent aux alentours de 93 %. Pour le rappel de l'état déviation anatomique, les résultats montrent une tendance à l'amé-lioration avec le taux d'échantillonnage avec des valeurs entre 50 % et 80 %. Pour l'état déviation événementielle les résultats ont tendance à s'améliorer

avec l'échantillonnage, mais certaines valeurs semblent aberrantes puisque le rappel passe de 7 % pour 4 échantillons par seconde à 74 % pour 6.

Pour la précision, les états pas de déviation et déviation anatomique ne dépendent pas de l'échantillonnage. La précision de l'état pas de déviation est stable aux alentours de 97 %, soit une amélioration de 2 % par rapport à l'étude 1.a. Pour l'état déviation anatomique, la précision est autour de 82 %, soit une dégradation de 2% par rapport à l'étude 1.a. Pour l'état déviation événementielle on remarque une augmentation non-signicative des résultats en fonction de l'échantillonnage avec des valeurs entre 10 % et 37 %. Comparés à l'étude 1.a, où la précision de cet état variait entre 29 % et 40 %, ceux-ci sont moins bons.

Échantillons par seconde 2 4 6 8 10 12,5 p-value Taux de recon-naissance(%) 75,79 68,25 73,99 77,78 76,72 86,87 0,1329 RappelN D(%) 96,00 87,14 92,81 92,16 93,04 96,10 0,4524 RappelDA(%) 60,13 57,54 51,15 66,65 59,32 80,06 0,4524 RappelDEI(%) 25,80 7,13 74,04 26,22 54,80 63,31 0,2597 PrécisionN D(%) 97,22 96,59 98,99 99,46 98,88 98,94 0,4524 PrécisionDA(%) 82,30 73,12 83,24 77,94 80,29 88,97 0,4524 PrécisionDEI(%) 9,61 2,42 23,47 10,87 20,44 37,27 0,1329 Table 3.9  Résultats en fonction de l'échantillonnage de la détection de dé-viations avec l'ajout d'information de la seconde main. ND : pas de déviation. DA : déviation anatomique. DEI : déviation événementielle.

Analyse des erreurs de détection Nous avons analysé les erreurs de détection (section 3.4.2.3, pour comprendre pourquoi le taux de prédiction de l'état déviation événementielle est inférieur à 37%. Ces résultats, que nous comparerons à ceux de l'étude 1.a (section 3.4.3.1, tableau 3.5, page 116) sont présentés en tableau 3.10 et à la gure 3.18.

Ces résultats montrent que beaucoup plus d'observations sont mal détec-tées que dans l'étude 1.a, par exemple pour 10 échantillons par seconde, on passe d'environ 35 000 observations mal détectées dans l'étude 1.a à plus de 50 000 dans celle-ci. Cependant, on observe que la proportion d'observation de la catégorie 4 (autre) passe d'une moyenne de 74 % dans l'étude 1.a à 53 % dans celle-ci. Pour les catégories 2 (non entraînée) et 3 (correctement entraînée), on observe une augmentation moyenne de 10 % passant de 15 % à 26 % pour la catégorie 2 et de 11 % à 20 % pour la catégorie 3. Les observations de la catégorie 1 restent négligeables (inférieur à 1 %).

Figure 3.18  Résultats graphiques des observations mal classiées pour l'étude 2 : couplage total entre les deux mains. La courbe verte représente les observations du type rarement mal détectées, la bleue celles du type non entraînées, l'orange celles du type correctement entraînées et la rouge celles du type autres. Échantillons par secondes Nb observations 1. Rarement mal détectée (%) 2. Non entraî-née (%) 3. Correc-tement entraî-née (%) 4. Autre (%) 2 10 159 0,53 28,45 19,48 51,54 4 22 737 0,49 15,42 13,49 70,59 6 39 931 0,39 30,83 15,49 53,29 8 34 202 0,37 35,42 23,69 40,52 10 51 527 0,26 25,74 22,51 51,49 12,5 32 862 0,73 19,32 27,94 52,02

Table 3.10  Type d'observations appartenant à l'état déviation anatomique et détectées comme déviations événementielles dans l'étude avec couplage total entre les deux mains.

Synthèse de l'étude 2 Globalement, les résultats de cette étude sont moins bons que ceux de l'étude 1.a, à l'exception du rappel pour l'état dé-viation anatomique  (entre 50 % et 72 % dans l'étude 1.a). Ainsi, bien que les deux mains du chirurgien travaillent ensemble, l'intégration de cette seconde main par un couplage total ne semble pas être une bonne solution, pour per-mettre une meilleure détection des déviations. Mais cette étude nous permet de mettre en évidence que l'ajout d'information de la seconde main permet de diminuer la proportion d'erreurs de détection appartenant à la catégorie 4 (autre).

3.4.3.3 Étude 3 : Inuence des poids des composants des activités Cette partie présente l'inuence des coecients αm sur les résultats de détection. Pour rappel, les αm sont utilisés pour la création de la matrice de distance de la première étape de MD-NLTS (équation 3.5, page 96) et pour le calcul de la distance entre le sSPM et les iSPMs (équation 3.7, page 97).

Pour cette étude, nous avons xé l'échantillonnage à 12,5 puisque les résultats tendaient à être les meilleurs pour ce taux, bien que non signicati-vement. Dans cette étude, nous n'avons pas fait de retour dans la dimension temporelle ici, l'étude 1.b n'ayant pas montré d'apport signicatif de ce re-tour en termes de résultats de détection.

Nous avons étudié l'inuence de chacun des composants d'une activité en le faisant varier de 0 à 1 par pas de 0,1 les autres étant xé à 1.

Étude 3.a : Inuence du poids donné au verbe d'action

Les résultats de l'inuence du poids donné au verbe d'action sont présentés dans le tableau 3.11, page 132, et en gure 3.19.

Lorsque le poids du verbe varie de 0 à 1, on remarque une augmentation non-signicative du taux de reconnaissance de 80 % à 89 %, avec le meilleur résultat pour un poids de 1.

Le rappel est stable aux alentours de 97% pour l'état pas de déviation. On remarque une augmentation non-signicative pour le rappel de dévia-tion anatomique. Au contraire, le rappel de déviadévia-tion événementielle a tendance à décroître lorsque le poids du verbe augmente. Mais, ceci n'est pas signicatif, et la gure 3.19b montre que la valeur la plus faible du rappel est obtenue pour un poids de 0,7 (51 %) et la meilleure pour un poids de 0,9 (85%).

La précision est stable aux alentours de 98 % pour l'état pas de dévia-tion. Pour les deux autres états, il y a une augmentation non-signicative des résultats en fonction du poids. L'état déviation anatomique évolue de 80 % à 90 %, et celui de déviation événementielle de 25 % à 35 %.

Il n'y a pas d'inuence signicative du poids du verbe sur les résultats. Néanmoins, un poids de 1 semble donner les meilleurs résultats même si ce n'est pas le cas pour le rappel de l'état déviation événementielle.

(a) Taux de reconnaissance. (b) Rappel.

(c) Précision.

Figure 3.19  Graphes illustrant l'inuence du poids du verbe. Pour les gures (b) et (c) la courbe bleue représente les résultats pour l'état pas de déviation, la rouge pour l'état déviation anatomique et la verte pour l'état déviation événementielle.

Étude 3.b : Inuence du poids donné à la cible

Les résultats de l'inuence du poids donné à la cible sont disponibles dans le tableau 3.12, page 133, et en gure 3.20.

Lorsque le poids de la cible varie entre 0 et 1, le taux de reconnaissance reste stable aux alentours de 87 %. Le poids de la cible semble donc n'avoir aucune inuence sur les résultats.

Le rappel de l'état pas de déviation semble conrmer cette hypothèse puisque celui-ci est stable aux alentours de 98 %. A contrario, on remarque que les valeurs pour le rappel des deux autres états varient en fonction du poids du verbe. Grâce aux courbes de tendance de la gure 3.20, on remarque même que les résultats se dégradent lorsque le poids augmente passant de 70-80 % à 60 % .

Pour la précision, celle-ci est stable aux alentours de 98 % pour l'état pas de déviation. Pour l'état déviation anatomique, il y a une diminution de la précision de 95 % à 88 % en fonction du poids. La précision d'état déviation événementielle augmente de 15 % à 35 %.

Bien que le poids de la cible n'a pas d'inuence signicative sur les résul-tats, il semble que plus le poids est important moins le rappel des états dévia-tion anatomique et déviadévia-tion événementielle sont bons. Pour la précision, ceci est diérent puisque celle de l'état déviation anatomique diminue avec le poids, alors que celle de l'état déviation événementielle augmente.

(a) Taux de reconnaissance. (b) Rappel.

(c) Précision.

Figure 3.20  Graphes illustrant l'inuence du poids de la cible. Pour les gures (b) et (c) la courbe bleue représente les résultats pour l'état pas de déviation, la rouge pour l'état déviation anatomique et la verte pour l'état déviation événementielle.

Étude 3.c : Inuence du poids donné à l'instrument chirurgical Les résultats de l'inuence du poids donné à l'instrument chirurgical sont disponibles dans le tableau 3.13, page 134 et en gure 3.21.

Lorsque le poids de l'instrument chirurgical varie de 0 à 1, le taux de reconnaissance est stable aux alentours de 87%. Le poids de l'instrument chirurgical semble donc n'avoir aucune inuence sur les résultats.

Le rappel de l'état pas de déviation semble conrmer cette hypothèse puisque celui-ci est stable aux alentours de 97%. Néanmoins, on remarque que les valeurs pour le rappel des deux autres états semblent beaucoup varier en fonction du poids de l'instrument chirurgical, entre 50% et 70% pour l'état déviation anatomique et entre 45% et 83% pour déviation événementielle. Les courbes de tendance de la gure 3.21 semblent montrer des résultats stables.

La précision est stable aux alentours de 98% pour l'état pas de déviation. Pour l'état déviation anatomique, il y a une augmentation de la précision de 80% à 88% en fonction du poids. La précision de l'état déviation événe-mentielle est relativement sable autour de 30%, bien que la meilleure valeur soit pour un poids d'instrument de 1 (35%).

Le poids donné à l'instrument chirurgical semble avoir très peu d'inuence sur les résultats. Bien que les rappels des états déviation anatomique et déviation événementielle ont une courbe de tendance stable, on remarque que les valeurs sont, à l'origine, éloignées de celle-ci pour s'en rapprocher lorsque le poids augmente. Ainsi, le poids donné à l'instrument semble avoir de l'importance dans la stabilité des résultats.

(a) Taux de reconnaissance. (b) Rappel.

(c) Précision.

Figure 3.21  Graphes illustrant l'inuence du poids de l'instrument chi-rurgical. Pour les gures (b) et (c) la courbe bleue représente les résultats pour l'état pas de déviation, la rouge pour l'état déviation anatomique et la verte pour l'état déviation événementielle.

Synthèse de l'étude 3

Le poids donné aux composants des activités semble n'avoir aucune in-cidence sur le rappel et la précision de l'état pas de déviation, mais des inuences diverses, mais non signicatives sur les autres résultats :

- pour le verbe, un poids élevé semble améliorer le taux de reconnaissance, le rappel et la précision de l'état déviation anatomique, ainsi que la précision de l'état déviation événementielle. Cependant, le rappel de l'état déviation événementielle est moins bon lorsque le poids aug-mente ;

- pour la cible, le poids n'a pas d'inuence sur le taux de reconnaissance. Mais, lorsque le poids augmente, les rappels des états déviation ana-tomique et déviation événementielle ainsi que la précision de l'état déviation anatomique diminuent. Au contraire, la précision de l'état déviation événementielle augmente ;

- pour l'instrument chirurgical, le poids ne semble avoir aucune inuence sur l'ensemble des résultats.