3.4 Discussion et travaux futurs
4.1.1 Score de confiance
4.1.3 Autres indicateurs spécifiques . . . 110
4.2 Prédiction en ligne des dérives par apprentissage des indicateurs
de comportement (BI) . . . 115
4.2.1 Estimation des seuils des indicateurs de comportement . . . 115 4.2.2 Apprentissage SVM . . . 116 4.2.3 Fusion de trackers par mélange d’experts à partir des indicateurs de
comportement . . . 116
4.3 Prédiction en ligne des dérives par une analyse de la distribution
spatiale des boîtes englobantes . . . 117
4.3.1 Filtrage temporel de boîtes (BF) . . . 118 4.3.2 Consensus de boîtes (BC) . . . 118
4.4 Évaluation des prédicteurs de dérives par apprentissage des
indica-teurs de comportement . . . 119 4.4.1 Recherche des indicateurs de comportement . . . 119 4.4.2 Estimation des seuils des indicateurs . . . 128 4.4.3 Apprentissage SVM . . . 130 4.4.4 Fusion de trackers par mélange d’experts . . . 134
4.5 Discussion et travaux futurs . . . 137
4.6 Conclusion . . . 137
Une caractéristique décisive pour toute stratégie de fusion de trackers multiples est une capacité d’estimation en ligne de la qualité des résultats produits. En effet, la fusion n’est performante que si les informations incertaines ou bruitées sont filtrées. L’objectif de ce chapitre
Tracker i (𝑀𝑀𝑡𝑡−1𝑖𝑖 , 𝑊𝑊𝑡𝑡−1𝑖𝑖 )
𝐼𝐼𝑡𝑡 , 𝐵𝐵�𝑡𝑡−1𝑖𝑖 𝐵𝐵�𝑡𝑡𝑖𝑖, 𝑐𝑐𝑡𝑡𝑖𝑖 MAJ modèle et fenêtre MAJ position
Figure 4.1 – Schéma générique de fonctionnement d’un tracker. Le Tracker i prédit la position de la cible ˆBti dans l’image It à l’instant t à partir de sa position à l’instant précédent ˆBt−1i , d’une fenêtre de recherche Wt−1i définie par ˆBit−1et de son modèle d’apparence calculé à l’instant précédent Mt−1i . Un score de confiance cit est associé à la prédiction. La position de l’objet, la fenêtre de recherche et le modèle d’apparence sont mis à jour en utilisant la nouvelle position.
est de développer des méthodes génériques capables d’évaluer en ligne le bon fonctionnement d’un tracker, et plus spécifiquement prédire ses dérives. La première idée a consisté à prédire les dérives d’un tracker en évaluant la qualité de son modèle d’apparence par des indicateurs de comportement décrits dans la section 4.1. Les méthodes développées seront présentées dans la section 4.2. La deuxième idée a consisté à déterminer une anomalie de comportement en exploitant l’information spatiale des prédictions (boîtes englobantes) des trackers de manière individuelle ou collective. Ces méthodes seront décrites dans la section 4.3. Enfin, les résultats de ces méthodes seront présentés dans la section 4.4.
4.1 Indicateurs de bon comportement
Comme nous avons pu le voir dans l’état de l’art du suivi d’objet (section 1.1), la modélisation de l’apparence de l’objet joue un rôle capital dans la gestion des différents types de perturbations (variations d’apparence, occultation, mouvement, etc.) à l’origine des dérives du tracker. Une représentation d’apparence limitée des objets (type d’objet), une mauvaise prise en compte du contexte (type de scène) et une adaptation du modèle inexistante ou bruitée (accumulation d’erreurs liées à l’imprécision de localisation) provoquent la dérive du tracker.
Puisque le point de départ est le modèle d’apparence, nous allons chercher à évaluer son bon fonctionnement à partir des informations intrinsèques qu’il délivre. Rappelons la structure fonctionnelle d’un tracker, représentée dans la figure 4.1. Pour prédire la position de l’objet ˆBi t
dans la nouvelle It, le Tracker i estime la valeur des prédictions possibles à partir du modèle d’apparence Mt−1i , chaque prédiction possible étant une position dans la fenêtre de recherche
Wt−1i définie par ˆBt−1i . Puis, la prédiction qui maximise l’ensemble des valeurs des prédictions est choisie comme nouvelle position de l’objet. La valeurcit associée à la prédiction ˆBti et qualifiée de « score de confiance », peut être utilisée comme indicateur de la qualité de la prédiction.
Le score de confiance est un exemple d’information intrinsèque du modèle pouvant servir à caractériser le bon comportement d’un tracker. Dans cette section, nous présentons 3 types d’indicateurs de bon comportement pouvant s’adapter de manière générique à la plupart des trackers : score de confiance, carte de scores et autres indicateurs spécifiques.
4.1.1 Score de confiance
Résultant de la structure fonctionnelle d’un tracker générique, un indicateur de qualité du comportement assez naturel est le score de confiance associé à la prédiction courante. Il peut être interprété comme un indicateur de bon ou mauvais fonctionnement du tracker, un score faible indiquant une prédiction peu fiable. En fonction de la constitution du tracker, ce score de confiance est d’origine différente : score de corrélation, vraisemblance, score de classification, score de détection, etc. Ce score peut mesurer une similarité par rapport au modèle objet (score de corrélation, vraisemblance) et/ou une dissemblance par rapport au modèle fond (score de détection) lorsque le modèle d’apparence utilisé discrimine fond/forme. Les trackers du répertoire décrits dans la section 2.2 utilisent différents types de scores, pour NCC [Lewis, 1995], KLT [Kalal et al., 2012] et DSST [Danelljan et al., 2014] il s’agit d’un score de corrélation, pour CT [Zhang et al., 2012] un rapport de log-vraisemblance, pour STRUCK [Hare et al., 2011] un score de classification, pour le tracker basé DPM [Felzenszwalb et al., 2010, Kalman, 1960] un score de détection, MS [Bradski, 1998] et ASMS [Vojir et al., 2014] un score de similarité.
Rappelons que le taux de recouvrement IoU correspond à l’intersection sur l’union des boîtes prédites et de la vérité terrain, défini dans la section 1.2.2. Nous avons tracé le taux de recouvrement IoU (courbe rouge) et le score de confiance (courbe bleue) en fonction du temps pour les trackers NCC et DPM dans plusieurs séquences de VOT2013+ (figure 4.2). Nous indiquons les moments de dérive de chacun des trackers par des bandes grises, obtenus en appliquant le protocole défini dans le chapitre 2. Le score de confiance est élevé après une initialisation ou réinitialisation du tracker, puis diminue au cours du temps. Une valeur faible du score de confiance semble indiquer une dérive du tracker. C’est le cas de NCC dans la séquence bicycle (figure 4.2a), les dérives ont lieu pour des valeurs du score inférieures à 0.4 (t = 50, 120, 150, 170, 255). Cependant, une même valeur instantanée du score ne produit pas
toujours une dérive. Dans la séquence car, le score de confiance de NCC est inférieur à 0.4 à partir de t = 30 mais le tracker ne dérive qu’à t = 200 et pour des valeurs proches de 0.2 (figure 4.2b). De même pour DPM car (figure 4.2c), le score de détection est inférieur à −0.8 à t = 185 et t = 320 mais le tracker ne dérive qu’à t = 320. Dans gymnastics (figure 4.2d), DPM dérive pour un score de -0.5 à t = 95 mais ne dérive pas pour des valeurs de score proche de -1 entre
t = 140 et t = 210.
L’utilisation d’un seuil fixe pour décider qu’un tracker dérive lorsque le score produit est inférieur à ce seuil est donc peu adaptée. Pourtant, cette approche a été largement exploitée [Stenger et al., 2009, Santner et al., 2010, Kalal et al., 2012], le seuil de dérive étant estimé par exemple au cours d’un apprentissage supervisé. Une limite de cette approche est que seule la valeur instantanée est exploitée. La dimension temporelle du signal pourtant importante en suivi d’objet (modèle avec mémoire) n’est pas prise en compte.
50 100 150 200 250 0 0.2 0.4 0.6 0.8 1 overlap NCC bicycle 50 100 150 200 250 0.2 0.4 0.6 0.8 1 confidence score time time (a) NCC bicycle 50 100 150 200 250 300 350 0 0.2 0.4 0.6 0.8 1 overlap NCC car 50 100 150 200 250 300 350 0.2 0.4 0.6 0.8 1 confidence score time time (b) NCC car 50 100 150 200 250 300 350 0 0.2 0.4 0.6 0.8 1 overlap DPM car 50 100 150 200 250 300 350 −1 −0.5 0 0.5 1 confidence score time time (c) DPM car 20 40 60 80 100 120 140 160 180 200 0 0.2 0.4 0.6 0.8 1 overlap DPM gymnastics 20 40 60 80 100 120 140 160 180 200 −2 −1 0 1 2 confidence score time time (d) DPM gymnastics
Figure 4.2 – Évolution du score de corrélation du tracker NCC (a,b) et du score de détection du tracker basé DPM (c,d) en fonction du temps dans plusieurs séquences de VOT2013+. La courbe rouge indique le recouvrement de la boîte englobante prédite avec la vérité terrain et la courbe bleue, le score de corrélation ou détection associé à la boîte. Les bandes grises indiquent les moments de dérive du tracker ; après chaque dérive, le tracker est réinitialisé avec la vérité terrain.
#2/271 x y 10 20 30 40 50 60 70 5 10 15 20 25 30 35