Résultat de l’ajustement du modèle 3D

50% 60% 70% 80% 90% 100%

Figure 4.3 – Variation des poids des énergies en fonction des étapes

Dans cette configuration, les premières étapes utilisent les informa-tions de points caractéristiques et de contours internes pour initialiser le processus de minimisation (Etape 1, 2, 3 et 4) en se rapprochant du mini-mum local. Dans un second temps (Etape 4, 5 et 6), les informations de données pixelliques sont utilisées pour affiner l’estimation de la forme du modèle 3D. Au cours de ce processus, les étapes sont réalisées successive-ment jusqu’à convergence.

4.1.2 Résultat de l’ajustement du modèle 3D

L’énergie globale est minimisée par l’algorithme de Levenberg-Marquart [44]. Cette méthode de minimisation de fonction est dérivée de la descente de gradient et de l’algorithme de Gauss-Newton. Cet algorithme est particulièrement adapté à notre problème en bénéficiant des avantages de ces deux méthodes. En effet, il permet de trouver pré-cisément le minimum d’une fonction tout en assurant une convergence rapide vers ce minimum même si la position initial est éloignée de celui-ci.

Il est difficile de proposer une mesure permettant d’évaluer la qualité du recalage du modèle 3D sur une image 2D. Une telle mesure doit être capable de mesurer l’écart entre le visage original et le résultat de l’ajustement du modèle 3D (Forme 3D du visage + paramètres de pose). Il est alors nécessaire de posséder la vérité terrain. Malgré les récents progrès des dispositifs de capture 3D, l’acquisition de cette vérité est délicate : La synchronisation doit être exacte avec le système d’acquisition 2D et les paramètres de pose du visage doivent être parfaitement estimés.

Devant cette difficulté à acquérir cette vérité terrain, nous proposons ici une évaluation visuelle du processus d’ajustement du modèle 3D à partir de la superposition de l’image 2D d’origine et de la projection du modèle 3D déformé. Nous proposerons, dans la suite, une évaluation complète de notre chaine globale de pré-traitement à travers des performances biométriques.

La figure 4.4 montre la superposition de l’image originale et de la pro-jection du modèle 3D déformé.

Figure 4.4 – Résultat du recalage du modèle 3D déformable sur des images présentant des variations de pose et d’expression

Il apparait assez clairement qu’une bonne correspondance entre l’image originale et le modèle 3D est obtenue. La fidélité du recalage du modèle 3D sur des images présentant des variations d’expression est démontrée sur ces deux images ainsi qu’une bonne robustesse aux variations de pose (Image de gauche).

L’objectif de cette opération de recalage est double. D’une part, elle permet l’approximation de la forme du visage en dissociant les défor-mations liées à l’identité de l’individu de celles liées à son expression. La connaissance de cette information de forme permettra dans la suite de notre méthode une estimation réaliste de la forme 3D du visage de l’individu avec une pose frontale et une expression neutre. D’autre part, elle permet l’extraction de l’information de texture liée à cette personne. La carte de texture ainsi extraite est le deuxième élément nécessaire à la génération d’une nouvelle vue synthétique.

La carte de texture (ou texture map) est une image 2D contenant l’en-semble des informations pixelliques relatives à un objet 3D. Chaque vertex v du modèle 3D est alors associé à un pixel p de coordonnées(u, v)de la carte de texture (Figure 4.5).

Carte de texture Objet 3D (0.73, 0.55) (0.42, 0.0) (1.0, 0.0) (Coordonnees de texture)

Figure 4.5 – Coordonnées de texture d’un modèle 3D

A l’issue du processus d’ajustement du modèle 3D, chaque sommet vi-sible du modèle 3D est associé à un point de l’image d’origine. La carte de texture associée au visage présent dans l’image peut alors être reconstruite (Figure 4.6).

Figure 4.6 – Image originale, ajustement du modèle déformable 3D et extraction de la texture map

Dans le cas d’image avec des variations de pose importantes, l’infor-mation de texture associée à un nombre plus ou moins important de pixels de la carte de texture ne peut être extraite. Plus la pose sera importante, plus nombreux seront ces pixels. Différentes techniques peuvent alors être utilisées pour compléter la carte de texture. Les pixels manquants peuvent par exemple être remplacés par ceux correspondant à un visage moyen. Une autre possibilité est (en acceptant l’hypothèse de symétrie du visage) de les remplacer par leur symétrique dans la carte de texture (Figure 4.7).

Figure 4.7 – Correction de la texture map par symétrie

A l’issue du recalage du modèle 3D sur l’image 2D, les informations de forme et de texture relatives à l’individu sont extraites. Une nouvelle vue synthétique du visage peut alors être générée.

Génération de la nouvelle vue synthétique

Cette étape de synthèse de vue est l’étape clef de certaines méthodes proposées pour augmenter la robustesse des algorithmes de reconnais-sance faciale aux problème de pose. En effet, une bonne correspondance entre les différentes images à comparer est nécessaire à l’obtention d’un système de reconnaissance faciale robuste. Cette correction de la pose du visage peut notamment être effectuée en trois dimensions (Blanz et al. [15]) en générant une nouvelle vue synthétique du visage présent dans l’image originale. Cette synthèse de vue est effectuée à partir du modèle 3D (forme et carte de texture) estimé de l’individu.

De nouveaux paramètres de pose peuvent alors être utilisés pour synthétiser cette nouvelle vue de l’individu (Figure 4.8).

Dans ce manuscrit, un modèle 3D déformable étendu avec des varia-tions d’expression est utilisé. En vue de neutraliser le visage, des modi-fications des coefficients d’expression peuvent également être effectuées. Nous présentons ces nouvelles stratégies d’ajustement du modèle 3D et de génération de vues synthétiques dans la suite (Sections 4.2 et 4.3).