Alignement temporel non-linéaire multi-dimensionnel . 91

Notre objectif est d'identier des déviations au sein des iSPMs en les comparants à une référence, mais nous désirons que cette comparaison soit faite en fonction de la succession des activités et non de leur durée res-pective. C'est pourquoi nous proposons une méthode d'alignement temporel des iSPMs que nous avons nommée alignement temporel non-linéaire multi-dimensionnel (MD-NLTS pour Multi-Dimensional non-linear temporal sca-ling).

MD-NLTS est une extension de l'alignement temporel non-linéraire (NLTS). NLTS, développé par Forestier et al. [95], est lui même une extension de l'al-gorithme de déformation temporelle dynamique (DTW). Avant de détailler MD-NLTS, nous présenterons l'algorithme DTW, les manières de l'étendre pour prendre en compte des séquences multi-dimensionnelles, et les spéci-cités de NLTS.

3.3.4.1 La déformation temporelle dynamique

Le principe de la déformation temporelle dynamique est de rechercher l'appariement optimal entre deux séquences temporelles. Pour cela, il néces-saire de calculer la distance cumulative D(qI, c_J), avec I le nombre d'éléments

de la séquence q et J le nombre d'éléments de la séquence c, dénie par : D(q_i, c_j) = d(q_i, c_j) + min(D(q_i−1, c_j), D(q_i, c_j−1), D(q_i−1, c_j−1)) , (3.1) avec i ∈ [1, I], j ∈ [1, J] et d(qi, c_j) la distance locale entre l'élément i de q et l'élément j de c. La dénition de d(qi, c_j)dépend du type de séquence que l'on traite. Dans le cas de séquences numériques, d(qi, c_j)est généralement la distance euclidienne, dans le cas de séquences littérales, il est nécessaire de dénir des équivalences entre les termes pour obtenir cette distance locale.

La gure 3.4 illustre le calcul de la distance cumulative à partir des dis-tances locales connues. La gure 3.4a présente la distance entre chaque élé-ment des deux séquences dans chaque case du tableau. Grâce à cette gure, il est possible de calculer la distance cumulative (gure 3.4b). Ainsi dans cet exemple, la distance DTW est de 10, et le chemin le plus court est représenté en bleu.

L'algorithme DTW a été initialement prévu pour une séquence uni-mensionnelle, cependant dans notre cas les séquences comportent trois di-mensions : le verbe d'action, l'instrument et la cible.

(a) Distance locale d(qi, c_j). (b) Distance cumulative D(qi, c_j). Figure 3.4  Calcul de la distance cumulative (b), grâce à la distance locale (a) entre 2 séquences dans l'algorithme DTW. Le chemin en bleu représente le plus court chemin entre les 2 séquences.

3.3.4.2 La déformation temporelle dynamique multi-dimension-nelle

Pour répondre à ce problème, deux types d'extensions à DTW permettent de prendre en compte les séquences multi-dimensionnelles [96] : la déforma-tion temporelle dynamique dépendante (DTWD) et la déformadéforma-tion tempo-relle dynamique indépendante (DTWI). La diérence entre ces deux mé-thodes réside dans la manière dont la distance entre deux séquences est cal-culée.

Dans le cas de DTWD, le calcul de la distance DTW entre 2 séquences multi-dimensionnelles est fait de manière similaire à celle de DTW pour une dimension (équation 3.1), mais la distance locale entre deux éléments d(qi, c_j) est dénie comme la somme de chaque distance locale uni-dimensionnelle de ces 2 éléments (équation 3.2).

d(q_i, c_j) = M X

m=1

d(q_i,m, c_j,m) , (3.2)

avec d(qi,m, c_j,m) la distance locale entre l'élément i de q et l'élément j de c sur la dimension m.

Pour DTWI, un DTW uni-dimensionnel est fait sur chaque dimension et la distance est la somme de ces distances DTW uni-dimensionnelles (équa-tion 3.3). DT W_I(q, c) = M X m=1 DT W (q_m, c_m) , (3.3)

où DT WI(q, c)est la distance multi-dimensionnelle totale entre les séquences q et c et DT W (qm, c_m) est la distance DTW sur la dimension m entre ces deux séquences.

Chacune de ces méthodes, DTWD et DTWI, s'applique donc à des cas diérents. Dans le cas de DTWD, les dimensions sont directement reliées entre elles, alors que pour DTWI, elles sont totalement indépendantes. Dans notre cas, chaque composant des activités constitue une dimension. Cepen-dant, ceux-ci sont reliés entre eux, nous avons donc développé une méthode similaire à DTWD.

Nous aurions pu utiliser une méthode DTWD, mais une telle méthode (tout comme DTW) ne permet pas de faire d'alignement multiple, c'est-à-dire un alignement entre plusieurs séquences sans prendre une d'entre elles

comme référence. Or l'alignement temporel non-linéaire (NLTS) proposé par Forestier et al. [95] permet de faire ce type d'alignement.

3.3.4.3 L'alignement temporel non-linéaire

NLTS est une méthode d'alignement multiple, pour les iSPMs à une di-mension, composée de 3 étapes (gure 3.5) :

1. une séquence moyenne est calculée grâce à la méthode de DTW Ba-rycenter Averaging (DBA) [97]. DBA est une extension de DTW qui permet, par un processus de ranement itératif, de créer une séquence moyenne à partir d'un ensemble de séquences ;

2. NLTS aligne indépendamment cette séquence moyenne sur chaque iSPM. Les iSPMs ne sont pas alignés sur la séquence de référence an de conserver l'ensemble de l'information ;

3. ces alignements sont étendus, ce qui modie le nombre d'échantillons, en utilisant la largeur maximum de chaque élément pour conserver l'ensemble de l'information. Les chirurgies alignées ont alors toute la même longueur, mais celle-ci est diérente de la longueur de la séquence de référence.

Comme pour DTW, il est nécessaire de dénir la manière dont la dis-tance locale entre deux séquences est calculée. Or, les iSPMs, composés de labels, sont des séquences littérales et non numériques, il est donc impossible d'utiliser la distance euclidienne. Forestier et al. [95] ont déni la distance d(q_i, c_j) égale à 0 si l'élément qi est le même que l'élément cj, et égale à 1 sinon (équation 3.4). Cette distance est utilisée au sein de la première étape de NLTS.

d(q_i, c_j) = (

0, si qi = cj

1, si qi 6= cj ^. (3.4)

Les avantages de NLTS comparé à une méthode classique de DTW sont les suivants :

1. Contrairement à DTW, pour eectuer un alignement entre 3 séquences ou plus, NLTS ne choisit pas une référence parmi l'ensemble des don-nées, cette référence est la séquence moyenne créée par DBA ;

2. Il n'y a aucune perte d'information, car les séquences sont étendues au cours de l'étape 3 de NLTS, ainsi même un élément avec peu d'échan-tillons sera toujours conservé.

Cependant, le principal problème est que NLTS ne propose qu'un aligne-ment uni-dimensionnel. Ainsi dans le cas d'un alignealigne-ment sur des activités, qui sont constituées de 3 composants (le verbe d'action, l'instrument chirur-gical et la cible), NLTS considère le triplet comme un seul élément, donc la sé-quence comme uni-dimensionnelle. Ainsi, si nous avons 3 activités dénies par A_1 : <verbe_1, instrument_1, cible_1>, A_2 : <verbe_1, instrument_2, cible_1> et A_3 : <verbe_3, instrument_3, cible_3>. NLTS considérera que A_1 est aussi diérent de A_2 que de A_3, alors que l'on voit clairement que A_1 et A_2 ne dièrent que par l'instrument. C'est pour cette raison que nous avons décidé d'étendre NLTS en une version multi-dimensionnelle. 3.3.4.4 L'alignement temporel non-linéaire multi-dimensionnel

Le fonctionnement de MD-NLTS est similaire à celui de NLTS, la dié-rence réside dans le calcul de distance lors de création de la séquence moyenne par DBA puisque nous avons une séquence multi-dimensionnelle. Nous avons utilisé une méthode similaire à DTWD puisque les éléments de chaque di-mension sont liés les uns aux autres. Nous avons donc déni la distance entre deux éléments d(qi, cj) comme la somme des distances sur chaque dimension (équation 3.5).

d(q_i, c_j) = M X m=1 α_m∗ d(q_i,m, c_j,m) , (3.5) avec, αm ≥ 0 et, d(q_i,m, c_j,m) = ( 0, si qi,m= c_j,m 1, si qi,m6= c_j,m ^. (3.6)

Le coecient αm permet de faire varier l'importance d'un des compo-sants de l'activité. Nous avons intégré ce coecient an de pouvoir étudier l'inuence de chaque composant sur notre méthode de détection.

En sortie de MD-NLTS, toutes les séquences sont alignées, nous notons cet ensemble S1..n. Ces séquences alignées comprennent les activités, mais∗ aussi les informations sur la présence d'EIs.