L’approximation de la forme 3D du visage, présentée dans le chapitre 4.1, s’appuie sur des connaissances a priori d’identité et d’expression. L’énergie de régularisation des coefficients d’identité et celle des co-efficients d’expression permettent d’utiliser cette information lors de l’ajustement du modèle 3D.
Nous avons pu voir précédemment que le poids associé à l’énergie Eexpreg conditionnait fortement la qualité du pré-traitement proposé. Pour obtenir des performances optimales sur des images caractéristiques de situations réelles, la valeur du poids λexpreg a été augmentée. Bien que permettant une amélioration significative des performances sur l’ensemble des bases tes-tées dans le chapitre précédent, l’augmentation de la valeur de λexpreg dimi-nue la précision de l’ajustement du modèle 3D sur des images avec une expression importante (Figure 6.1).
Figure 6.1 – Résultat de l’ajustement de modèle avec un poids de l’énergie de régularisation des coefficients d’expression faible (à gauche) et élevée (à droite) Cette diminution de précision de l’ajustement du modèle peut s’expli-quer par la définition de l’énergie de régularisation des coefficients pression. En effet, l’énergie de régularisation relative aux paramètres d’ex-pression minimisés durant l’ajustement du modèle 3D est définie par :
Eexpreg = N
∑
i=1 α2i σi2 (6.1)Cette énergie tend à régulariser tous les coefficients d’expression vers zéro. Ainsi, l’hypothèse faite lors de la définition de cette énergie est la présence d’une expression neutre dans l’image de probe. L’observation des résultats d’ajustement du modèle 3D (Figure 6.1) nous montre que l’hypothèse faite ici est trop forte dans certains cas. En effet, elle impose une contrainte trop forte limitant l’amplitude des déformations d’ex-pression autorisées lors de l’ajustement du modèle 3D. Deux approches peuvent alors être suivies pour relâcher cette contrainte sur les paramètres d’expression.
Dans un premier cas, une diminution du poids associé à cette énergie de régularisation des coefficients d’expression peut permettre un meilleur ajustement du modèle 3D. La diminution de ce poids αexpressionreg induit
une variation plus importante des coefficients d’expression et donc une meilleure approximation de la forme du visage en présence d’expression. La contre-partie est une perte de précision sur les images sans expression (Section 4.4.3). De plus, la diminution de αexpressionreg ne modifie pas l’a priori d’expression neutre dans l’image de probe. Nous proposons donc ici de suivre une seconde approche en modifiant de manière dynamique l’a priori d’expression utilisée lors de l’ajustement du modèle 3D.
La modification de la prior d’expression en fonction de l’image d’en-trée permet d’homogénéiser la qualité sur l’ajustement du modèle 3D. L’objectif est donc d’obtenir un niveau de performance optimale à la fois sur des images sans expression et sur des images avec expression.
Pour cela, nous proposons d’ajuster la valeur a priori du coefficient d’expression du modèle 3D relatif à la principale source de déformation intra-classe de la forme du visage : L’ouverture de la bouche.
Modele moyen Modele moyen + 1¾ Modele moyen + 2¾ Figure 6.2 – Première déformation du modèle déformable 3D de visage
Celle-ci, étant la déformation principale relative à l’expression, est as-sociée à la première déformation d’expression de notre modèle 3D (Figure 6.2). L’ajustement de la prior d’expression sera donc fait en modifiant la valeur cible de régularisation du premier coefficient d’expression. Cette valeur est déterminée en fonction d’un détecteur d’ouverture de bouche [75].
Ce détecteur permet d’indiquer l’amplitude de l’ouverture de la bouche à travers un scalaire αmouth open. Une bouche grande ouverte dans l’image I entrainera un αmouth open faible tandis qu’une bouche fermée conduira à un αmouth open elevé (Figure 6.3).
αmouth open =0.3 αmouth open =9.3 Figure 6.3 – Mesure αmouth open sur différentes images
Le graphique suivant 6.4 montre la corrélation entre la valeur du pre-mier coefficient d’expression et la mesure d’ouverture de bouche sur une collection de plus de 5000 images. Au cours de cette expérience, le pro-cessus d’ajustement du 3DMM a été guidé par un certain nombre d’anno-tations manuelles. Celles-ci permettent, grâce à une diminution du poids associé à l’information a priori de forme, une meilleure approximation de la forme 3D du visage.
Coefficients d'ouverture de bouche
Premie r coeffi cien t d'ex pression 1 2 3 4 5 6 7 8 9 10 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8
Figure 6.4 – Valeur du premier coefficient d’expression en fonction de la mesure d’ouverture de bouche
Ce graphique nous montre une corrélation entre la mesure d’ouver-ture de bouche et la valeur du premier coefficient d’expression du modèle 3D ajusté. Cependant, sur ce graphique, un certain nombre de points est éloigné de la droite de régression. L’approximation de la forme 3D, ayant été guidée par des annotations manuelles, la confiance accordée à l’estimation du premier coefficient d’expression est relativement élevée. Au contraire, le détecteur d’ouverture de bouche utilisé au cours de cette expérience provoque un certain de nombre de classifications erronées. La figure 6.4, où des images correctement classifiées (encadrées en vert) et d’autres dont la classification est erronée (encadrées en rouge) sont affichées, illustre ce problème.
Malgré ces imprécisions dans le détecteur d’ouverture de bouche, nous proposons d’utiliser la corrélation extraite de ce graphique pour ajuster de manière dynamique la valeur a priori de ce premier coefficient d’expression.
Pour intégrer cette modification de prior d’expression, une nouvelle étape est donc ajoutée dans le processus d’ajustement du modèle 3D. Premièrement, une mesure de l’ouverture de la bouche est effectuée sur l’image d’entrée. La fonction de corrélation déduite de la figure 6.4 permet alors de calculer la nouvelle valeur a priori du premier coefficient d’ex-pression αpriorexpression à partir de αmouth open. La figure 6.5 montre le nouveau diagramme fonctionnel du processus d’ajustement du modèle 3D.
3DMM Texture map ��� Mesure d’ouverture de bouche Image d’entrée �����ℎ ���� Fonctionde ��������� corrélation Ajustement du modèle 3D ���� Nouvelle étape de modification de la prior d’expression
Figure 6.5 – Modification de la prior d’expression lors de l’ajustement du modèle 3D La nouvelle fonction de régularisation des coefficients d’expression est alors : Eexpreg = α1−αexpprior 2 σ12 + N
∑
i=2 α2i σi2 (6.2)Cette modification dynamique de la prior d’expression permet d’amé-liorer la qualité d’ajustement du modèle 3D dans le cas d’images avec
expression tout en limitant l’impact sur les images sans expression.
En effet, sur les images avec une expression importante (comme par exemple lorsque l’individu sourit), la valeur de αmouth open est faible. La nouvelle prior d’expression utilisée est alors proche de 1. Cela entraine l’utilisation d’une forme a priori du modèle 3D proche de celle présentée dans la figure 6.2 (Modèle moyen + 1σ).
La figure 6.6 montre des exemples de neutralisation de l’expression standard (à gauche) et en utilisant notre méthode de modification de la prior d’expression (à droite).
Figure 6.6 – Exemples d’images rendues sans modification de la prior d’expression (à gauche) et avec modification de la prior d’expression (à droite)
Ces exemples permettent de visualiser l’apport de cette méthode de modification de la prior d’expression sur des images avec une expression. La neutralisation des images sans expression n’est, pour sa part, que très peu impactée par cette méthode. Cependant, un risque inhérent à une mesure incorrecte de αmouthopen existe. En effet, une incohérence dans la mesure de cet indicateur conduirait à l’utilisation d’une prior non adaptée lors de l’ajustement du modèle 3D.