Création des éléments témoins (ground truth)

Étant donné l’utilisation de deux caméras de spectres différents, la soustraction d’arrière-plan sera différente pour les deux séquences vidéo. Aussi, même si l’hypothèse de la synchronisation des deux séquences vidéo a été faite, dans la pratique, il subsiste des erreurs. De plus, la soustraction d’arrière-plan contient, elle aussi, des erreurs qui varient aléatoirement avec le temps dans les séquences vidéo. Pour toutes ces raisons, l’utilisation du recouvrement de l’avant-plan comme mesure exacte des performances de la méthode de recalage automatique développée est biaisée. C’est pour obtenir une mesure de performances plus objective que des éléments témoins ont été utilisés. Cependant, pour que ces éléments témoins puissent être utilisés, ils doivent répondre à certains critères.

Un premier critère est que ces éléments doivent être visibles dans les deux séquences vidéo et donc dans les deux spectres utilisés, la lumière visible et l’infrarouge. Un autre critère est que ces éléments doivent avoir une surface assez grande pour qu’une matrice de transformation inexacte ait un impact significatif sur le nombre de pixels en recouvrement. Aussi, la forme de ces éléments doit être simple pour qu’ils puissent être facilement séparés du reste de l’image. Finalement, ces éléments doivent être répartis uniformément sur la surface de recouvrement pour diminuer l’impact des différences de distances des objets aux caméras lors de l’évaluation de la matrice de transformation. Ce phénomène est bien illustré par les images suivantes.

A) B)

Figure 3.1 Images en recouvrement à la trame 63 (A) et 88 (B)

A) B)

Figure 3.2 Images des erreurs des éléments témoins en recouvrement lorsqu’ils sont bien (A) et mal répartis (B)

Aux figures 3.1 et 3.2, des cartons refroidis sont placés dans la scène comme éléments témoins. À la figure 3.1, on peut observer un parallélogramme gris à l’intérieur des images. Il s’agit du résultat de l’image infrarouge transformée et donc du recalage. Si ce recalage est bon, l’image de la personne en infrarouge devrait être superposée à celle de l’image couleur. C’est le cas dans la figure 3.1 B mais pas dans la figure 3.1 A. Ceci signifie que la matrice de transformation utilisée n’était pas la bonne et qu’elle est n’est adapté que pour un secteur. Il faut donc que les éléments témoins utilisés comme métrique de qualité montrent que cette transformation n’est pas bonne. Si les cartons témoins sont tous disposés dans le même secteur (3.2 B), une matrice de transformation adaptée seulement à ce secteur pourrait résulter en un nombre très petit de pixels en erreur de recouvrement comme c’est le cas pour la figure 3.2 B. Il faut donc éparpiller les cartons témoins pour qu’ils couvrent plus uniformément la zone en recouvrement afin que la mesure de qualité tienne compte des différences des distances entre les objets et les caméras comme c’est le cas dans la figure 3.2 A. En effet, la figure 3.2 A est associée à un pourcentage d’erreur de 49,04 % alors que la figure 3.2 B donne plutôt un pourcentage d’erreur égal à 16,32 %. Il faut ici préciser que ces pourcentages d’erreurs

sont calculés comme ceux des images de pointage (section 2.4.2) et qu’ils sont calculés à chaque trame. Il sera maintenant question de comment la matrice de transformation témoin est obtenue ainsi que de la provenance des pourcentages d’erreur résiduels qui sont associés à cette matrice témoin.

Pour toutes les séquences vidéo utilisées, sauf une, des cartons de couleur ayant une température différente de celle de l’arrière-plan ont été utilisés (figure 3.3) puisqu’ils répondent à tous les critères énoncés précédemment. Dans la séquence pour laquelle des cartons n’ont pas été utilisés, ce sont plutôt des tables présentes dans l’arrière-plan, qui répondaient à tous ces critères, qui ont été utilisés (figure 3.4).

A) B)

Figure 3.3 Images couleur (A) et infrarouge (B) des éléments témoins utilisés dans la majorité des scénarios

A) B)

Figure 3.4 Images couleur (A) et infrarouge (B) des éléments témoins utilisés dans le scénario n’utilisant pas des cartons

Une fois des éléments témoins choisis, il faut trouver la matrice de transformation qui leur est associée. Cette matrice sera nommée matrice de transformation témoin. Rappelons que le choix a été fait d’utiliser une matrice de transformation affine et que ce choix est expliqué à la section 2.3.1. Par conséquent, trois paires de points suffisent pour déterminer la matrice. Ces points ont été sélectionnés manuellement avec MatLab. Ce sont quelques coins des quadrilatères utilisés comme éléments témoins.

Finalement, avec cette matrice de transformation témoin et ces images d’éléments témoins, il devient possible de quantifier la qualité d’un recalage. Pour ce faire, le même

procédé que pour le calcul du pointage (équation 2.14, section 2.4.2) lors de l’appariement des trajectoires est utilisé. Rappelons qu’il s’agit essentiellement de mettre en recouvrement l’image de gauche transformée par la matrice et l’image de droite et de calculer le pourcentage de pixels qui ne se trouvent pas en recouvrement. Si les éléments témoins ont été bien découpés et les points pour calculer la matrice bien choisis, ce pourcentage devrait être nul. Cependant, il est presque impossible de réaliser ces deux tâches à la perfection les sources d’erreurs étant : l’imprécision de sélection d’un pixel donné pour le choix des 3 points et les contours flous des objets, surtout dans le cas des images infrarouge. C’est pourquoi le pourcentage obtenu est rarement nul. Néanmoins, il est suffisamment petit et généralement inférieur à celui obtenu par les différentes méthodes de recalage automatique existantes. C’est pourquoi il sert ici de comparaison pour évaluer de manière objective les performances de l’algorithme développé. Il faut toutefois mentionner qu’il est possible que l’algorithme proposé surpasse quelquefois le pourcentage témoin obtenu puisqu’il est très difficile de sélectionner avec précision des points manuellement. Une analyse subjective des résultats semble d’ailleurs confirmer que le recalage obtenu par la méthode automatique est quelque fois meilleur que celui obtenu manuellement.