Suivi temps réel
Suivi temps réel
Suivi temps réel
Motif de référence suivi Image de différence entre le motif de référence suivi et le motif échantillonné dans l’ellipse corrigée
Visualisation en temps réel de l’erreur quadratique de l’image de différence entre le motif de référence suivi et le motif échantillonné dans l’ellipse corrigée
Résultats du suivi pour les 3 motifs de référence testés
séquentiellement
Figure 4.13 – visualisation des diff´erents r´esultats issus de l’algorithme de suivi.
4.1. D´etection et suivi 3D d’un visage dans une s´equence vid´eo 125
Cet algorithme de suivi 3D de visages nous fournit en temps r´eel trois informations (figure 4.13) :
1. le motif de r´ef´erence actuellement suivi repr´esent´e par une imagette dans le coin sup´erieur gauche de la fenˆetre de visualisation ou l’image de diff´erence de niveaux de gris entre le motif de r´ef´erence suivi et le motif ´echantillonn´e dans l’ellipse courante apr`es correction, 2. la mesure de l’erreur quadratique de la diff´erence de niveaux de gris r´esultante du suivi `a l’aide d’un graphique ajout´e en surimpression sur l’image courante (coin inf´erieur gauche), 3. le r´esultat du suivi pour chacun des motifs de r´ef´erence `a l’int´erieur d’une ellipse de couleur diff´erente (ellipses rouge (motif pr´ec´edent), verte (motif courant), bleue (motif suivant) et blanche (motif de r´ef´erence donnant l’erreur quadratique la plus faible et qui sera suivi dans la prochaine image)).
Les illustrations pr´esent´ees maintenant montrent les r´esultats obtenus `a des instants diff´erents de l’exp´erience :
– la phase d’initialisation du processus: l’algorithme recherche de mani`ere al´eatoire la posi-tion d’un motif de r´ef´erence dans l’image et ceci tant qu’un des motifs de r´ef´erence test´es n’est pas reconnu (figure 4.14). En moyenne, nous r´ealisons quinze tirages al´eatoires pour un temps d’initialisation inf´erieur `a la seconde.
(a) recherche al´eatoire d’un motif de r´ef´erence dans l’image.
(b) d´etection et correction de l’ellipse courante avec le motif de r´ef´erence test´e.
Figure4.14 – d´etection et reconnaissance d’un motif de r´ef´erence dans la base d’apprentissage.
126 Chapitre 4 : Applications d´edi´ees au suivi 3D
– la phase de suivi en ligne: les images retenues ont ´et´e s´electionn´ees de mani`ere `a montrer la robustesse de la m´ethode aux variations d’´eclairement, de position du visage par rapport
`a la cam´era et de ses expressions (figures 4.15, 4.16 et 4.17).
Figure 4.15 – suivi 3D d’un visage : s´equence 1.
4.1. D´etection et suivi 3D d’un visage dans une s´equence vid´eo 127
Figure 4.16 – suivi 3D d’un visage : s´equence 2.
Les premiers essais r´eels de suivi 3D d’un visage ont donn´e des r´esultats plutˆot encoura-geants. Le passage d’un motif de r´ef´erence `a un autre s’effectue toujours correctement. Les variations d’´eclairement de la sc`ene ainsi que certains mouvements du visage devant la cam´era
128 Chapitre 4 : Applications d´edi´ees au suivi 3D
(en particulier pour des variations en azimut) augmentent la valeur finale de l’erreur quadratique de la diff´erence de niveaux de gris sans pour autant entraˆıner la perte de suivi du motif courant dans l’image. C’est pourquoi, la valeur du seuil d´etectant la perte de suivi n’a pas ´et´e d´efinie d’apr`es les r´esultats de la simulation mais en fonction des conditions r´eelles d’exp´erimentation.
Figure 4.17 – comportement de l’algorithme aux variations d’´eclairement.
Pour am´eliorer les performances de notre algorithme de suivi, il serait int´eressant de d´efinir une zone d’int´erˆet par image de r´ef´erence et ne pas garder qu’une seule ellipse pour l’ensemble de ces vues. Ceci permettrait de s´electionner un motif de r´ef´erence de mani`ere plus rigoureuse.
Une autre am´elioration possible serait une m´ethode ind´ependante de la m´ethode retenue qui permettrait `a partir d’une collection d’images 2D de choisir les meilleures vues de r´ef´erence pour mod´eliser au mieux un visage ou un objet 3D.
Dans cette application de suivi 3D de visages, nous nous sommes ´egalement int´eress´es au probl`eme de la compression des informations qui seraient transmises dans le cas de la visio-conf´erence par exemple. En particulier, pour diminuer la taille des donn´ees utilis´ees, il serait int´eressant de transmettre soit le motif suivi `a l’int´erieur de la zone d’int´erˆet soit l’image de diff´erence entre le motif de r´ef´erence et le motif courant ´echantillonn´e apr`es correction pour reconstruire l’expression faciale de l’individu `a partir de la collection d’images de r´ef´erence
4.1. D´etection et suivi 3D d’un visage dans une s´equence vid´eo 129
qui aurait ´et´e transmise `a l’interlocuteur `a l’initialisation de l’application (lors de la premi`ere connexion).
Les tableaux ci-dessous nous fournissent, `a titre indicatif, les diff´erentes tailles des fichiers de sortie (au format .avi) construits `a partir d’une collection de 71 images (au format .gif) avec ou sans compression des images. La taille originale de chaque image est de 120x160 pixels. Dans le premier tableau, l’image repr´esente le motif courant `a l’int´erieur de la zone d’int´erˆet apr`es correction de sa position. Dans le second tableau, elle repr´esente l’image de diff´erence entre le motif de r´ef´erence actuellement suivi et le motif courant ´echantillonn´e dans l’ellipse dont la position a ´et´e corrig´ee. De plus, les taux utilis´es pour compresser l’information ne doivent pas d´egrader de mani`ere importante la qualit´e du rendu de l’image `a l’interlocuteur dans le cas de la visioconf´erence (figure 4.18). Le taux de compression des donn´ees associ´e `a un fichier est calcul´e en divisant sa taille par la taille du fichier original non compress´e.
Param`etres de Qualit´e / Taux Taille du fichier Taille moyenne sortie vid´eo de compression (%) de sortie (bytes) par image (bytes)
Pas de 5 454 832 76 829
compression
Compression 1 (Most) / 13.29 724 800 10 208
JPEG 0.75 (High) / 3.35 182 712 2 573
0.50 (Normal) / 2.49 135 880 1 914
Param`etres de Qualit´e / Taux Taille du fichier Taille moyenne sortie vid´eo de compression (%) de sortie (bytes) par image (bytes)
Pas de 5 454 832 76 829
compression
Compression 1 (Most) / 13.99 763 160 10 748
JPEG 0.75 (High) / 3.28 178 880 2 519
0.50 (Normal) / 2.35 128 088 1 804
Les diff´erentes images utilis´ees pour construire le fichier vid´eo de sortie sont les r´esultats fournis par l’algorithme de suivi sur l’ensemble des 71 images constituant la base d’apprentissage lors du test en simulation.
130 Chapitre 4 : Applications d´edi´ees au suivi 3D
1 0.75 0.50 0.25 0
Figure 4.18 – images compress´ees pour diff´erentes qualit´es de rendu.
En comparant les taux de compression pour une mˆeme qualit´e, nous nous apercevons que l’image de diff´erence fournit autant d’information dans son contenu que l’image courante. Nous pouvons donc aussi bien transmettre `a l’interlocuteur l’une des deux images. La meilleure solution bien entendu est de transmettre directement la zone de l’image courante d´efinie autour de la position corrig´ee de l’ellipse pour ´eviter tout traitement de reconstruction du visage apr`es r´eception.