Tracklet avec N frames
Synthèse d’une nouvelle vue Algorithme de reconnaissance faciale
®
Ajustement du 3DMM standard
Figure 5.3 – Configuration A (Baseline)
Configuration B Dans cette configuration, nous évaluons le processus proposé dans ce chapitre permettant l’ajustement du modèle 3D étendu sur une vidéo.
Le modèle déformable 3D de visage étendu est ajusté sur les n images de la tracklet afin d’extraire un unique jeu de coefficients d’identité et n jeux de coefficients d’expression. Une nouvelle vue synthétique est ensuite générée en utilisant les coefficients d’identité extraits, des paramètres de pose permettant une vue frontale et des coefficients d’expression corres-pondant à une expression neutre. L’information de texture utilisée lors de cette synthèse est extraite, de manière similaire à la configuration A, à partir d’une unique image de la vidéo.
Texture map … exp 0 t exp N t id
…
Tracklet avec N frames
exp neutre
Synthèse d’une nouvelle vue Algorithme de reconnaissance faciale
Synthèse d’une nouvelle vue Algorithme de reconnaissance faciale
®
® ® ®
= =
Ajustement du 3DMM étendu
Figure 5.4 – Configuration B (Méthode proposée)
vali-dées selon la métrique V1 avec les configurations A et B.
Afin d’évaluer l’influence de la taille de la fenêtre glissante i.e., le nombre d’images consécutives utilisées lors de l’ajustement du modèle 3D déformable, seules les tracklets d’au moins 11 images sont conservées. 362tracklets composent donc le jeu de test.
0,00% 2,00% 4,00% 6,00% 8,00% 10,00% 12,00% 1 2 3 4 5 6 7 8 9 10 11 12 Nombre de frames utilisees pour le fit du modele 3D Configuration A (Baseline) Configuration B (methode proposee)
Taux d'ameli
oration
Figure 5.5 – Amélioration du nombre de tracklets validées selon la métrique V1 avec les configurations A et B
Le graphique montre clairement une amélioration des performances lorsque plusieurs images sont utilisées pour ajuster le modèle 3D.
Lorsque le modèle 3D utilisé ne contient que des déformations d’iden-tité (Configuration A), une légère amélioration (de l’ordre de 1.5%) est observée lorsque 10 images supplémentaires sont utilisées pour ajuster le modèle 3D. Cette amélioration peut s’expliquer par une compensation d’un certain nombre de défauts pouvant apparaitre lors de l’initialisation de l’étape d’ajustement du modèle 3D.
Cette amélioration relative atteint les 10% lorsque le modèle 3D étendu avec des variations d’expression est utilisé. Cette amélioration peut être expliquer à travers différentes pistes :
Similairement à la configuration A, la compensation des outliers apparus lors de la détection des informations de textures permettant l’initialisation de l’ajustement du modèle 3D explique une partie du gain.
Une amélioration est également observée lorsqu’une seule image est utilisée pour estimer la forme 3D du visage. Ce gain s’explique par la neutralisation de l’expression.
Enfin, la troisième cause d’amélioration est une meilleure séparation entre les déformations liées à l’identité de celles relatives à l’expression. En effet, une séparation plus précise des déformations du visage peut être obtenue lorsque plusieurs images sont utilisées pour ajuster le 3DMM. Une partie des déformations du visage (déformations extra-identité) sont constantes tout au long de la tracklet. La méthode proposée dans ce cha-pitre impose de ne calculer qu’un seul jeu de coefficients d’identité pour
toute les images de la vidéo tandis que N jeux de coefficients d’expres-sion sont calculés (un pour chaque image). Au contraire, le visage d’un individu peut varier à travers la tracklet. Ces déformations intra-identité sont alors expliquées par l’expression.
Grâce à ces différents points, une meilleure approximation de la forme 3D du visage peut être obtenue. Celle-ci permet la génération d’une nou-velle vue synthétique de meilleure qualité.
Conclusion du chapitre
Dans ce chapitre, nous avons étendu la méthode de neutralisation présentée dans le chapitre précédent aux vidéos. L’ajustement du modèle 3D sur une tracklet de N images aboutit à un unique jeu de coefficients d’identité et à N jeux de coefficients d’expression. Ainsi, la variation de la forme du visage à travers la vidéo est expliquée par les paramètres d’expression tandis que la partie constante de la forme du visage est expliquée par les coefficients d’identité.
A travers l’expérimentation effectuée sur des séquences vidéos ex-traites de la série Prison Break, nous avons pu montrer un gain de l’ordre de 10% des performances obtenues avec un algorithme standard de re-connaissance faciale lorsque cette méthode est utilisée en tant que pré-traitement.
6
de neutralisation de
l’expression
Sommaire
6.1 Ajustement de la prior d’expression en fonction d’une mesure de bouche ouverte. . . 107 6.2 Rides d’expression . . . 111 6.2.1 Détection de la présence de rides . . . 115 6.2.2 Suppression des rides . . . 119 Conclusion . . . 122
D
ansce chapitre, nous présenterons un certain nombre de pistes d’amé-lioration qui ont été suivies lors de cette thèse afin d’améliorer les performances obtenues avec la méthode de neutralisation des expressions. Des analyses approfondies des résultats obtenus et des cas d’erreurs observés (Image refusée à tort ou acceptée à tort) nous ont permis de définir certaines limitations de notre méthode.En premier lieu, les poids des différentes fonctions de coût minimi-sées durant le fitting ont été ajustées, dans le chapitre 4.4, avec l’objec-tif d’assurer une non régression sur des bases de données sans variation d’expression. Il apparait que ces paramètres limitent l’amplitude des dé-formations d’expression autorisées. Cela induit donc, en contre partie, une dégradation des performances obtenues sur des bases avec expressions.
En second lieu, certaines images neutralisées conservent un résidu d’expression. En effet, l’une des conséquences de la présence d’expression est l’apparition de rides dynamiques. Ces rides entrainent l’apparition de forts gradients sur le visage. Or, les algorithmes de reconnaissance faciale sont très sensibles à de tels gradients. Ainsi, la présence de rides d’expres-sion provoque une dégradation des performances biométriques.