Métriques d’évaluations

L’analyse comparative des traqueurs est assez simple lorsqu’il n’y a qu’un seul objet à suivre et à localiser. Dans ce cas, les protocoles d'évaluation de l'ensemble de données OTB 2013 [212] et VOT 2016 [213] sont principalement utilisés.

Pour le suivi de plusieurs objets, l’évaluation est plus complexe. En effet, l’algorithme de suivi ne doit pas seulement localiser précisément les objets dans la scène mais il doit également préserver une identité unique à chaque objet tout au long de la séquence.

Plusieurs travaux ont été menés afin de proposer des métriques pour ce type d’évaluation du suivi de plusieurs objets. Dans [214], les auteurs proposent une métrique basée sur la localisation des objets alors que dans [215], les auteurs mettent l’accent sur le maintien de

VI - Evaluation des étapes de la détection d’intrusions

151

l’identité de l’objet tout au long de la séquence. Dans [216], les auteurs proposent une approche spatiotemporelle pour l’évaluation des systèmes de suivi.

Suite aux travaux conduits dans le cadre du projet CLEAR « Classification of Events, Activities and Relation-ships » et l’article de Bernardin et al. [217], un consensus au sein de la communauté scientifique s’est dégagé autour de l’utilisation des métriques CLEAR MOT. Ces métriques sont notamment utilisées pour évaluer les algorithmes de suivi dans les défis MOT [143] ou PETS [210] ou encore dans plusieurs états de l’art sur le sujet [39][218][219].

Avant de poursuivre la description de ces métriques, nous définissons les notations suivantes :  𝒢 = 𝑔_, est l’ensemble des Nt objets présents dans la scène à l’instant t (vérité

terrain)

 ℋ = ℎ_, est l’ensemble des Mt objets suivis par l’algorithme évalué à l’instant t (hypothèses).

Il s’agit alors de trouver, à chaque instant t, les correspondances entre les éléments de Gt et ceux de Ht. A noter que les mises en correspondance ne sont autorisées que si la distance entre un objet gi,t et une hypothèse hj,t est relativement faible, c’est-à-dire inférieure à un seuil T défini. Cette notion de distance peut être évaluée à partir des positions du centre des rectangles englobants mais est plus généralement évalué à partir du recouvrement spatial entre les boites englobantes des objets annotés et des objets suivis.

𝑑_{, ,} = ^{𝑔, ∩ ℎ,} 𝑔_, ∪ ℎ_,

A partir de cette mise en correspondance, il est possible d’évaluer :  le nombre de correspondances trouvées noté ct ;

 parmi ces correspondances, celles pour lesquelles l’identité de l’objet (selon l’algorithme de suivi) a changé depuis l’instant précédent. Leur nombre est noté ist ;  le nombre d’éléments de 𝒢 non associés, ce nombre correspondant au nombre d’objets

non détectés est noté fnt ;

 le nombre d’éléments de ℋ non associés, ce nombre correspondant au nombre de fausses détections est noté fpt ;

 l’erreur totale commise sur la position de chacun des couples objet/hypothèse établis à l’instant t, noté dt.

A partir de ces informations, Bernardin et al. [217] proposent les métriques suivantes : Multiple Object Tracking Precision (MOTP) :

𝑀𝑂𝑇𝑃 = ^{∑ 𝑑} ∑ 𝑐

Cette quantité mesure l’erreur moyenne commise sur les positions des objets suivis. Elle permet d’évaluer la précision du suivi indépendamment des autres sources d’erreur (changement d’identité, non détection, fausse détection). Pour un algorithme idéal, MOTP = 0, et sa valeur

VI - Evaluation des étapes de la détection d’intrusions

152

est croissante à mesure que l’erreur d’estimation des positions augmente. Comme indiqué précédemment, la mise en correspondance n’est autorisée que si la distance entre une hypothèse et une vérité terrain est inférieure à un seuil T. Dans ces conditions, la mesure MOTP telle qu’elle est définie ci-dessus est bornée entre [0 ; T]. Afin de faciliter la comparaison entre les méthodes, la mesure MOTP est souvent reformulée pour varier entre 0 et 1 avec une valeur de 1 pour un algorithme idéal :

𝑀𝑂𝑇𝑃 = 1 −¹ 𝑇^∙

∑ 𝑑 ∑ 𝑐

C’est cette définition que nous utilisons dans la suite de ce manuscrit. Multiple Object Tracking Accuracy (MOTA):

𝑀𝑂𝑇𝐴 = 1 −^{∑ (𝑓𝑛 + 𝑓𝑝 + 𝑖𝑠 )} ∑ 𝑁

Cette quantité rassemble en un indicateur unique l’ensemble des types d’erreurs commises par l’algorithme de suivi (non-détection, fausse détection et changement d’identité). Pour un algorithme idéal, MOTA = 1 et sa valeur est décroissante à mesure que le nombre d’erreurs augmente. Il est à noter que ce score peut être négatif.

False Positive (FP) :

𝐹𝑃 = 𝑓𝑝

Cette quantité correspond au nombre total de fausses détections (objets suivis ne correspondant pas à un objet réellement existant). Pour un algorithme idéal, FP = 0.

False Negative (FN) :

𝐹𝑁 = 𝑓𝑛

Cette quantité correspond au nombre total d’omissions (objet réellement existant non suivi). Pour un algorithme idéal, FN = 0.

ID Switch (IDs) :

𝐼𝐷𝑠 = 𝑖𝑠

Cette quantité correspond au nombre total de changements d’identité au cours de la séquence. Pour un algorithme idéal, IDs = 0.

Cette première série de métriques permet d’évaluer efficacement les algorithmes de suivi tant sur l’aspect localisation avec MOTP que sur la capacité des algorithmes à détecter et suivre fidèlement les cibles avec MOTA. Dans une application de vidéo-surveillance, il peut être

VI - Evaluation des étapes de la détection d’intrusions

153

intéressant d’avoir une estimation sur la capacité de l’algorithme de suivi à fournir des trajectoires fiables. Li et al. [220] proposent de classifier les trajectoires selon le pourcentage de points de la trajectoire effectivement suivis.

Mostly Tracked (MT) : si plus de 80% des points d’une trajectoire ont été correctement estimés, la trajectoire est considérée comme "majoritairement suivie".

Partially Tracked (PT) : si entre 20% et 80% des points d’une trajectoire ont été correctement estimés, la trajectoire est considérée comme "partiellement suivie".

Mostly Lost (ML) : si moins de 20% des points d’une trajectoire ont été correctement estimés, la trajectoire est considérée comme "majoritairement perdue".

4 Evaluation de la détection d’intrusion