Partie 1 : Evaluation des performances computationnelles de PhARules

Protocoles et données

Les traces utilisées pour cette expérimentation ont été collectées à partir de 9 sessions de simulation de vertébroplastie réalisées par 5 internes et 1 chirurgien expert du département Orthopédie et Traumatologie du Centre Hospitalier Universitaire de Grenoble. Les exercices de simulation proposés consistaient à traiter la 11e et ou la 12evertèbre thoracique d un patient dont

la colonne ne présente aucune déformation. Pour cette première partie des expérimentations les données ont été regroupées dans un seul ensemble de données. Le tableau 9.5 résume les caractéristiques de ces données. Le symbole « # » fait référence à « nombre », « it » est une abréviation pour « item », « its » pour « itemset » et « seq » pour « séquence ».

Tableau 9.5. Caractéristiques des données collectées

Nombre de Séquences

#its #it ^#distincts it Moy. #its/seq Moy. #it/seq Moy. #distinct it/seq Total Phase 1 Phase 2 Phase 3

616 171 89 356 10 618 20 605 47 ^17.2 (σ=13) 33.45 (σ=22.1) 20.9 (σ=7.9)

Tel qu illustré par la figure 9.8 ci-dessous, les opérateurs de préparation et de transformation ont

été appliqués sur les traces pour obtenir l ensemble de séquences perceptivo-gestuelles à partir desquelles nous voulons extraire les règles perceptivo-gestuelles. Chaque item des séquences a

été encodé sous forme d entier naturel dans le but d accélérer l exécution de l algorithme. Les règles extraites ont été ensuite soumises à l opérateur de décodage pour la retranscription des

items dans leur dénomination d origine. Le répartiteur de phase n a pas été utilisé, cette opération

étant effectuée directement par PhARules.

Figure 9.8. Les op ateu s i pli u s da s l’e p i e tatio su l’ aluatio des pe fo a es

computationnelles de PhARules

Nous voulons évaluer les performances computationnelles de PhARules comparativement à

CMRules. Ce dernier est un algorithme d extraction de règles séquentielles à partir duquel

PhARules a été développé (voir section « .5. . L’algorithme CMRules » . L évaluation comparative

est conduite sur trois paramètres : le temps d exécution, la consommation mémoire et le nombre

de règles extraites.

Les tests de performances ont été réalisés sur un ordinateur de marque HP ZBook avec un processeur )ntel® Core™ i -4800MQ de cœurs avec une fréquence de base de ,7 GHz, une fréquence turbo maximale de 3,7 GHz et 16 Go de mémoire vive.

Les algorithmes ont été exécutés pour une confiance minimum de 0,7 sélectionnée aléatoirement et plusieurs supports minimum allant, dans l ordre décroissant, de à , . La variabilité du support minimum permet de tester les performances computationnelles des algorithmes pour

plusieurs niveaux de la charge de travail d extraction des règles. Plus le support minimum baisse,

Résultats

La figure 9.9 résume les résultats des performances computationnelles de PhARules (en noir) et de CMRules (en bleu) en termes de consommation mémoire (Figure 9.9.a), de temps d exécution

(Figure 9.9.b) et de nombre de règles extraites (Figure9.9. c). Les graphes a) et b) retraçant

respectivement le temps d exécution et la consommation mémoire des algorithmes, montrent que

CMRules a réalisé de meilleures performances pour ces paramètres, notamment pour les supports minimums minSeqSup=0,15 et minSeqSup=0,1. Cependant PhARules a maintenu un niveau plus stable de consommation mémoire pour les différents supports minimums supérieurs ou égaux à 0,15.

a) b)

c)

Figure 9.9. R sultats de l’ aluatio comparative de PhARules et CMRules pour (a) la consommation mémoire ; ( le te ps d’e utio et (c) le nombre de règles extraites

Les règles extraites par CMRules intègrent exclusivement des interactions effectuées au cours de la troisième phase des sessions de simulation. Dans la mesure o‘ toutes les phases d un exercice sont importantes pour l analyse de l activité d apprentissage et que le volume d interactions exécutées au cours d une phase ne détermine pas son niveau d importance par rapport aux autres

phases, la capacité à cibler les interactions d une phase au cours de l extraction est une

fonctionnalité pertinente et essentielle. PhARules a obtenu, en ce sens, de meilleurs résultats. La figure 9.10 présente quelques exemples de règles extraites par PhARules. Le signe « > » marque la séquentialité des items. Par exemple, x > y > zsignifie que l occurrence de l item x précède celle

de l item y qui, elle-même, précède celle de l item z. Le signe « ; » marque la simultanéité ou

l absence de séquentialité entre les items. Par exemple x ; y ; z signifie que les occurrences de ces items sont simultanées ou encore que leur séquentialité n est pas prise en compte. Le signe « => » marque la séparation entre les clauses IF et THEN de la règle. Par exemple, x ; y => zsignifie qu à

chaque occurrence des items x et y, on observe une occurrence de l item z à hauteur d un support et d une confiance donnés . PhARules n est pas restreint à l extraction exclusive de règles

patterns du framework PeTRA qui offrent à l analyste la possibilité de configurer la sélection des règles sur la base des items qu elles contiennent.

Figure 9.10. Exemples de règles extraites par PhARules

Sur les graphes de la figure 9.11, on peut constater que PhARules a pu identifier des règles

séquentielles pour chacune des phases d une simulation de vertébroplastie, pour tous les

supports minimums minSeqSup fournis. La confiance minimum, minSeqConf est de 0,7, soit la

même confiance sélectionnée pour l évaluation des performances computationnelles des deux

algorithmes.

1 : Phase Réglages. Visualisation radio de face

=> Prise de radio de face > visualisation panel réglages profil du fluoroscope

Support: 0,5 ; Confiance: 0,8

2 : Phase Réglages. Prise radio de face > Visualisation radio de face > Visualisation panel réglages du fluoroscope > Visualisation positionnement de la limite caudale du pédicule droit >

Visualisation non définie

=> (Sur la radio de face) centrage de la vertèbre, correct

Support: 0,3 ; Confiance: 0,5

3 : Phase Repérage cutané. Fluoroscope en position « face », inclinaison craniale ; Prise de radio avec réglette > Visualisation processus épineux sur radio de face

=> Repère cutané transverse, correct ; repère cutané gauche, correct

Support: 0,3 ; Confiance: 0,7

4 : Phase Repérage cutané. Prise de radio avec réglette => Validation repère cutané droit

Support: 0,75 ; Confiance: 1,0

5 : Phase Insertion. Translation caudale du trocart > Visualisation limite antérieure du plateau de la vertèbre

=> Visualisation radio de face

Support: 0,8 ; Confiance:1,0

6 : Phase Insertion. Prise radio de face ; Fluoroscope en position « face », inclinaison caudale, inclinaison latérale droite > Visualisation radio de face > Visualisation panel réglages du fluoroscope

=> Inclinaison du trocart à l’e t e du o ps e t al, o e t

Figure 9.11. Règles séquentielles extraites par PhARules pou ha ue phase d’u e sessio de si ulatio

pour différents supports minimums.

Bilan

Cette expérimentation a démontré la capacité de notre proposition d algorithme, PhARules, à extraire des règles séquentielles en prenant en compte l importance des interactions qu elles

contiennent selon la phase dans laquelle elles ont été effectuées. Cependant, la fréquence d une règle, même ciblée dans le contexte d une phase, ne suffit pas à en confirmer l intérêt. En effet, l intérêt d une règle se conçoit à deux niveaux. )l s agit de l intérêt objectif déterminé par l importance statistique de la règle son support et sa confiance et l intérêt subjectif de la règle déterminé par l importance qu elle revêt pour le domaine. Ce second point est évalué par les experts du domaine qui estiment l intérêt d une règle sur la base de plusieurs paramètres tels que son originalité ou sa réutilisabilité. Nous reviendrons sur ces paramètres plus loin. Cette

évaluation est pertinente dans la mesure o‘ l intérêt objectif des règles n est pas corrélé à leur intérêt subjectif. En d autres mots, les règles ayant un support et une confiance élevés et donc intéressantes pour les algorithmes de fouille de données, ne sont pas forcément pertinentes du

point de vue des experts du domaine. C est le cas par exemples des règles très fréquentes dans un

ensemble de données mais faisant ressortir des évidences.

De ce fait, nous avons évalué notre proposition sur la base de la pertinence des résultats produits, à savoir, la pertinence des règles extraites du point de vue des experts du domaine. Nous décrivons cette évaluation dans la section suivante.