Mise en correspondance

Une fois que la fonction d’affinité est calculée en se basant sur la fusion de la similarité de différents descripteurs entre un objet cible et un objet candidat, une matrice de similarité globale est obtenue. Afin de trouver la position courante d’un objet cible, les objets cibles et les objets candidats doivent être mis en correspondance (figure 3.7). Dans la figure 3.7, les bonshommes qui sont sur le côté gauche représentent la liste des objets cibles et les bonshommes qui sont sur le côté droit représentent la liste des objets candidats. Par exemple, le bonhomme de couleur verte est mis en correspondance avec le bonhomme de couleur bleue foncée (les associations sont montrées par des traits continues dans la figure 3.7 sont à titre d’exemple). À noter que les couleurs sont utilisées pour illustrer des objets différents et ils ne reflètent pas la similarité entre eux. Pour ce faire, on doit utiliser un algorithme d’optimisation qui permet de résoudre le problème d’affectation en un temps polynomial. Dans cette thèse, on a utilisé deux algorithmes d’optimisation très connus et souvent utilisés dans la littérature : l’algorithme hongrois et l’algorithme glouton.

L’objectif de l’étape de mise en correspondance est de calculer la matrice d’assignation à partir de la matrice d’affinité (ou matrice de coût). La matrice de correspondance est une matrice qui contient seulement des 0 ou des 1 où 1 désigne une affectation faite et 0 aucune affectation faite.

— Matrice d’affinité La mappe de similarité globale obtenue à chaque instant t est stockée dans une matrice Rt de taille n × m (voir figure 3.8).

Chaque ligne de la matrice correspond à un objet cible et chaque colonne de la matrice correspond à un objet candidat. Chaque élément Rj

i de la matrice reflète la similarité entre l’objet cible xt

i et l’objet candidat yjt défini par :

Rji = ft(xti, ytj) (3.26) où f est la fonction d’affinité définie par l’équation (2.25)

— Algorithme glouton L’algorithme glouton est un algorithme heuristique qui vise à chercher une solution optimale locale. Le principe est de trouver une solution locale qui peut mener à une solution optimale globale. Le but est de trouver la meilleure affectation qui maximise une fonction de coût. Initialement, une matrice de coût est

Figure 3.7 Association des données.

calculée où chaque case reflète la valeur de la fonction d’affinité pour chaque couple (x, y). La paire pour laquelle la fonction d’affinité est la plus élevée est itérativement sélectionnée. Une fois qu’une paire est sélectionnée, la ligne et la colonne où se trouve la paire doivent être supprimées de la matrice d’affinité. Ce processus doit être répété jusqu’à ce qu’aucune paire ne soit disponible. À noter que seulement les coûts qui sont supérieures à un seuil Γ sont pris en considération. Une matrice d’affectation globale doit être obtenue à la sortie de l’algorithme d’optimisation glouton. Chaque ligne de la matrice peut contenir au plus une affectation correcte. En fait, c’est une association de type 1-1 : un objet cible doit être assigné à au plus un objet candidat et un objet candidat doit être assigné à au plus un objet cible. L’algorithme glouton est décrit dans l’algorithme 1.

Algorithm 1 Algorithme Gloton Entrées :

Xt _{: ensemble de tous les objets cible à la trame t.} Yt _{: ensemble de tous les objets candidats à la trame t.} Rt : matrice d’affinité à la trame t.

Γ est un seuil pour l’algorithme glouton. Sortie :

At matrice finale d’affectation à la trame t. Initialisation : At(xti, yjt) = 0 Contraintes : ∀xt i ∈ Xt: Pm j=1At(xti, ytj) 6 1. ∀yt j ∈ Yt: Pn i=1At(xti, yjt) 6 1. while Xt_{6= 0etY}t _{6= 0 do} (xt

∗, yt∗) = arg maxRt(i, j) if Rt(i∗, j∗) > Γ then At(xt∗, yt∗) = 1. Xt_{= {X}t−1_{, x}t ∗, } Yt_{= {Y}t−1_{, y}t ∗, } end if end while

— Algorithme hongrois L’algorithme hongrois est un algorithme d’optimisation com- binatoire qui permet de résoudre le problème d’affectation en maximisant (ou minimi- sant) une fonction de coût. C’est une opération itérative qui permet de transformer une matrice de coût en une matrice d’affectation en minimisant une fonction de coût (ou maximiser une fonction de coût). L’algorithme hongrois est présenté dans l’algorithme 2.

Algorithm 2 Algorithme hongrois Entrées :

Xt _{: ensemble de tous les objets cibles à la trame t.} Yt _{: ensemble de tous les objets candidats à la trame t.} Rt : matrice d’affinité à la trame t.

Sortie : At matrice finale d’affectation à la trame t. Initialisation :

A= R Étape 1 :

for chaque ligne do

At(i) = At(i) − min(At(i)) end for

for chaque colonne do

At(j) = At(j) − min(At(j)) end for

Étape 2 :

for chaque ligne, chaque colonne do

Encadrer les «0» qui sont soit unique sur ligne et colonne ou soit le plus haut (ou plus à gauche) sur une ligne (ou sur une colonne).

Barrer tous les autres «0» end for

Étape 3 :

(a) Marquer toutes les lignes ne contenant aucun zéro encadré.

(b) Marquer toutes les lignes ayant un zéro barré sur une ligne marquée. (c) Marquer toutes les lignes ayant un zéro encadré sur une colonne marquée. Répéter les étapes (b) et (c) jusqu’à ne reste aucune rangée à marquer. Tracer toutes les lignes non marquées et toutes les colonnes marquées. Étape 4 :

Les cases non tracées à l’étape 3 forment une nouvelle matrice A′

t. for chaque ligne, chaque colonne de A′

t do A′ t(i, j) = A ′ t(i, j) − min(A ′ t) end for

for chaque ligne, chaque colonne de At do if At(i, j) est tracé deux fois then

At(i, j) = At(i, j) + min(A

′

t) end if

end for

Répéter les étapes 1 à 3 jusqu’à avoir une matrice qui contient des zéros uniques par ligne et par colonne.

— Mise en correspondance Pour faire la mise en correspondance, on utilise un des algorithmes décrits ci-dessus. À chaque trame, on vise à trouver le meilleur couple d’appariement (objet cible, objet candidat). Les défis majeurs de cette étape sont :

1. Le nombre des objets cibles change au cours du temps.

2. Des occultations partielles et totales entre les objets cibles au cours du temps. 3. Objets candidats non fiables (peuvent être des fausses détections)

Ainsi, lors de la mise en correspondance, on peut trouver qu’un objet cible n’est pas assigné ou bien un objet candidat n’est pas mis en correspondance avec aucun objet cible. En conséquence, on exploite une étape de traitement supplémentaire afin de résoudre de tels problèmes de mise en correspondance. D’abord, on essaie de mettre en correspondance tous les objets (objets cibles et objets candidats) en même temps. Des conditions s’appliquent sur les affectations obtenues selon la valeur de similarité et aussi selon l’état de l’objet cible et aussi la fiabilité de l’objet candidat. Un sommaire de cet algorithme d’association des données est décrit dans l’algorithme 3 : selon le score de similarité obtenue pour chaque couple, un objet cible peut être marqué comme en état inactif ou en état actif.

Par ailleurs, dépendamment de la position d’un objet candidat par rapport à la région d’entrée/sortie (sélectionner manuellement à la première trame de la séquence vidéo), un objet candidat peut être ajouté comme étant un nouvel objet cible ou un objet cible peut être supprimé de la liste des objets cibles.

En utilisant l’algorithme glouton pour la mise en correspondance, on élimine toutes les affectations dont la valeur de similarité entre un objet cible et un objet candidat est inférieure à un seuil th. En conséquence, avec cette stratégie on peut dire qu’on a raté des possibilités d’affectation qui peuvent être correctes. En plus, si un objet cible entre à l’état inactif (en occultation avec d’autres objets dans la séquence vidéo), son modèle d’apparence change et du coup sa valeur de similarité devient plus basse à cause de cette variation dans le modèle d’apparence. De ce fait, on a proposé une stratégie hiérarchique plus sophistiquée pour l’association des données. Cette stratégie d’association de données permet d’améliorer la qualité du suivi multi objets et d’éviter l’ambiguïté lors de la mise en correspondance. Selon l’état de l’objet cible, un objet cible peut être en état actif ou bien en état inactif. Ainsi, le processus d’association est donc fait en deux sous-étapes :

1. Niveau 1. Seuls les objets cibles à l’état actif doivent être mis en correspondance avec tout l’ensemble des objets candidats.

Algorithm 3 Association des données de base Entrées :

Rt : matrice d’affinité à la trame t. th : seuil pour l’algorithme de glouton. At = algorithmeGlouton (Rt, th) for chaque objet cible xt

i do if xt

i n’est pas assigné then xt

i est marqué comme un objet non actif ; end if

if xt

i est détecté dans la région d’entrée/sortie pour une durée du temps. then Xt_{= {X}t−1_{} \ x}t

i; At(i) = 0

end if end for

for pour chaque objet candidat yi do

if yi n’a pas été assigné et il est dans la région d’entrée/sortie then Xt_{= {X}t−1_{, y}

i}; At(i) = 1

end if end for

avec seulement l’ensemble des objets candidats qui n’ont pas été assignés au premier niveau.

L’algorithme de mise en correspondance global est détaillé dans l’algorithme 4.