Différences dans les expressions faciales selon l'âge et le sexe

Thesis

Reference

Différences dans les expressions faciales selon l'âge et le sexe

HOUSTIS, Odyssia

Abstract

Notre but était de valider une méthode qui nous permet de mesurer les expressions faciales, d'appliquer cette méthode pour évaluer quantitativement les expressions faciales chez les adultes et chez les enfants, et de comparer les résultats obtenues pour les enfants en croissance et les adultes afin de pouvoir estimer les effets de l'âge et du sexe. Notre méthode 2-dimensionnelle est fiable et utile pour mesurer quantitativement les expressions faciales d'une façon simple, efficace, et peu coûteuse. On a trouvé deux expressions en particulier parmi les six expressions étudiées les plus reproductibles, le « lip-pucker » et le « posed smile » («avancement des lèvres» et «sourire»). En utilisant une méthode quantitative solide pour collecter et analyser les expressions faciales, on détecte des différences entre les adultes, aussi bien qu'entre adultes et enfants. La tendance à observer des mouvements verticaux plus importants chez l'adulte que chez l'enfant, suggère la possibilité d'un développement de la musculature mimique durant la croissance.

HOUSTIS, Odyssia. Différences dans les expressions faciales selon l'âge et le sexe. Thèse de doctorat : Univ. Genève, 2010, no. Méd. dent. 682

URN : urn:nbn:ch:unige-59979

DOI : 10.13097/archive-ouverte/unige:5997

Available at:

http://archive-ouverte.unige.ch/unige:5997

Disclaimer: layout of this document may differ from the published version.

U

D

G

Thèse préparée sous direction du Professeur Stavros KILIARIDIS

Différences dans les expressions faciales selon l’âge et le sexe

Thèse

présentée à la Faculté de Médecine de l‟Université de Genève

pour obtenir le grade de Docteur en Médecine Dentaire

par

Odyssia HOUSTIS

de

West Lafayette, Indiana (USA)

Thèse n°682

Genève Février 2010

À Alexander, à mes parents…

RESUME

Une grande partie de notre communication non verbale, s‟exprime sous la forme d‟expressions faciales. Ces dernières ne nous donnent pas seulement des informations sur les formes de communication, mais aussi sur le fonctionnement neuromusculaire.

L‟évaluation de la mobilité du visage a trouvé son utilisation dans le milieu médical. Les discordances dentofaciales peuvent influencer l‟équilibre de la musculature du visage, et plus spécifiquement dans la région periorale. Simultanément toute la musculature orofaciale peut influencer la croissance dentofaciale et pour cela, il est indispensable de connaitre les différentes étapes de ce développement. La séquence vidéo est la technique primaire utilisée pour la mesure d'expressions.

Notre but était de valider une méthode qui nous permet de mesurer les expressions faciales, d‟appliquer cette méthode pour évaluer quantitativement les expressions faciales chez les adultes et chez les enfants, et de comparer les résultats obtenues pour les enfants en croissance et les adultes afin de pouvoir estimer les effets de l‟âge et du sexe. Notre méthode 2-dimensionnelle est fiable et utile pour mesurer quantitativement les expressions faciales d‟une façon simple, efficace, et peu coûteuse.

On a trouvé deux expressions en particulier parmi les six expressions étudiées les plus reproductibles, le « lip-pucker » et le « posed smile » («avancement des lèvres» et

«sourire»). En utilisant une méthode quantitative solide pour collecter et analyser les expressions faciales, on détecte des différences entre les adultes, aussi bien qu‟entre adultes et enfants. La tendance à observer des mouvements verticaux plus importants chez l‟adulte que chez l‟enfant, suggère la possibilité d‟un développement de la

Table des matières Préface

Texte de synthèse résumé (en français) 6

1. Introduction

2. Buts

3. Sujets

3.1 Pour la validation de la méthode

3.2 Application de la méthode d’estimation des effets de l’âge et du sexe sur les expressions faciales

4. Méthode

4.1 Validation de la méthode

4.2 Résultats de la validation de la méthode

4.3 Méthode d’estimation des effets de l’âge et du sexe sur les expressions faciales 5. Résultats et Discussion

6. Conclusions

Texte de synthèse complet (en anglais) 19

1. Introduction

2. Aim

3. Validation of Method

3.1 Subjects 3.2 Method 3.3 Results 3.4 Discussion 3.5 Conclusions

4. Application of method on children and adults to detect any age or gender differences

4.1 Subjects 4.2 Method

4.3 Statistical Methods 4.4 Error of Method 4.5 Results

4.6 Discussion 4.7 Conclusions 5. References

Publication originale I 48

Publication originale II 63

Remerciements 73

Préface

Cette thèse de doctorat se base sur les publications originales suivantes :

I. Reliability of the two dimensional analysis of facial expressions

Houstis O, Dudic A, Kiliaridis S.

Journal of Oral and Maxillofacial Surgery (accepted for publication)

II. Gender and Age Differences in Facial Expressions

Houstis O, Kiliaridis S.

European Journal of Orthodontics 31 (2009) 459-466

Texte de synthèse résumé en français

1. Introduction

Dans notre profession, ainsi que dans nos traitements, une grande importance est donnée à une expression en particulier qui est le sourire. Il y a déjà plusieurs études qui ont traité ce sujet (Van der Geld et al., 2007; Tarantili et al., 2005; Sarver et Ackerman 2003; Philips 1999). Mais, le sourire n‟est pas la seule expression faciale qui est importante. Il ne faut pas oublier qu‟une grande partie de notre communication non verbale, s‟exprime sous la forme d‟expressions faciales. Ces dernières ne nous donnent pas seulement des informations sur les formes de communication, mais aussi sur le fonctionnement neuromusculaire (Ekman et Friesen, 1978). Les expressions et particulièrement celles de la partie inférieure de la face sont très intéressantes et importantes. Ces expressions sont utilisées dans divers domaines de la recherche comportementale, y compris des études d'émotions, l‟interaction sociale et de la communication (Ekman et al., 1991).

Récemment, l‟évaluation de la mobilité du visage a également trouvé son utilisation dans le milieu médical. La caractérisation des muscles est employée pour le traitement des patients avec des déficits du moteur facial comme une fente labiale et/ou palatine et paralysie hémifaciale (Trotman et al., 2000; Dulguerov et al., 2003). Les discordances dentofaciales peuvent influençer l‟équilibre de la musculature du visage, et plus spécifiquement dans la région periorale. Simultanément toute la musculature

orofaciale peut influencer la croissance dentofaciale et pour cela, il est indispensable de connaitre les différentes étapes de ce développement (Rasheed et al., 1996; Yamaguchi et

al., 2000). Les traitements orthodontiques et chirurgicaux ont un effet sur les tissues durs qui peuvent influencer ou changer la capacité neuromusculaire de la face (Trotman et Faraway, 2004).

Dans le passé des différentes méthodes ont été utilisées pour évaluer la mobilité du visage; certaines d'entre-elles pourraient être des instruments utiles pour découvrir les adaptations neuromusculaires possibles mentionnées (Neiva et al., 1996; Trotman et al., 1998; Miyakawi et al., 2006). Parmi eux, la séquence vidéo est la technique primaire utilisée pour la mesure d'expressions. Par la séquence vidéo nous pouvons recueillir un ensemble divers des mouvements du visage. Il est important ensuite de choisir parmi ces expressions celles qui caractérisent le mieux le tissu neuromusculaire que nous voulons étudier et les évaluer dans la région periorale. L'identification de telles expressions a été facilitée par le travail effectué précédemment par Ekman et de Friesen (1978), en créant une base de données qui définit et code un grand nombre d'expressions.

La mobilité du visage existe déjà à la naissance, longtemps avant que l'enfant commence à articuler ou bien à marcher. Une fois que les promenades à pied et la conversation commence, notre culture met tout l‟accent là-dessus, en oubliant souvent les expressions de communication émotionnelles (Kall, 1990). Beaucoup d'études se sont concentrées sur le développement et la maturation de la capacité de mouvement d'un enfant à un adulte (Santrock, 1999; Darrah et al., 2007). Pourtant, le développement et la maturation des muscles mimiques exécutant les expressions, n'a pas reçu la même quantité d'attention. Il n'est pas déterminé clairement si les muscles mimiques subissent le même processus de maturation avec les changements dans l'expression ou si ces expressions restent simplement constantes partout lors de la croissance. Il y a des

indications qu'il y a des différences dans les mouvements du visage entre les sexes chez les adultes (Weeden et al., 2001). Il est peu évident, si ce dimorphisme sexuel existe déjà pendant l'enfance et quel est le développement des capacités neuromusculaires pour produire des expressions pendant la croissance.

2. Buts

1) Valider une méthode qui nous permet de mesurer les expressions faciales.

2) Appliquer cette méthode pour évaluer quantitativement les expressions faciales chez les adultes et pour évaluer s‟il y a des différences entre les femmes et les hommes d‟une part.

3) Appliquer cette méthode pour évaluer quantitativement les expressions faciales chez les enfants, et pour évaluer s‟il y a des différences entre les filles et les garçons d‟autre part.

4) Comparer les résultats obtenues pour les enfants en croissance et les adultes afin de pouvoir estimer les effets de l‟âge et du sexe.

3. Sujets

Pour la validation de la méthode : 3.1 Sujets :

Notre première étude était d‟évaluer quantitativement les expressions faciales. 40 sujets sains ont été évalués : 20 hommes (âge moyen de 27 ans, range 23.0-33.6), 20 femmes (âge moyen de 25.6 ans, range 22.0-33.0). Les sujets adultes étaient des étudiants à l‟Université de Genève médecine dentaire.

Application de la méthode pour d’estimation des effets de l’âge et du sexe sur les expressions faciales:

3.2 Sujets:

Notre deuxième étude a évalué 80 sujets sains, divisés en quatre groupes: 20 filles (âge moyen de 10.6 ans), 20 garçons (âge moyen de 10.8 ans), 20 femmes adultes (âge moyen de 25.6 ans), et 20 hommes adultes (âge moyen de 27 ans).

4. Méthode

4.1 Validation de la méthode Méthode :

Une séquence vidéo de chaque individu à été prise durant laquelle chaque individu a exécuté une série d‟expressions standardisée et des grimaces. Pour ces vidéos un fond noir et une lumière diffuse ont été utilisés pour éviter les ombres sur les visages et les possibles artéfacts sur nos vidéos.

La vidéo séquence a été faite pour chaque individu dans laquelle différentes images ont été sélectionnées. Chaque image sélectionnée était le mouvement maximal de chaque expression faciale. Expressions sélectionnées :

pose de sourire sourire sourire avancement ouverture repos spontané agressif des lèvres maximale

Figure 1. Expressions sélectionnées avec le mouvement maximal de chaque mouvement facial.

La sélection des expressions a été faite de telle façon à ce que ces expressions aient été choisies standards, simples, faciles à comprendre et reproduire, et faciles à mesurer. Pour notre sélection des expressions faciales, on s‟est servi de la base de données du Professeur Ekman (Ekman and Friesen., 1978). La particularité de cette base de données est la correspondance entre les différentes expressions et les muscles faciaux impliqués.

Les images ont été digitalisées, et analysées en utilisant un logiciel qui permettait de mesurer plusieurs distances sur les visages. Les distances sur le visage de chaque

individu étaient mesurées par le programme Viewbox. (Viewbox 3.0, dhal, Kifisia, Greece)

Figure 2. Points et distances utilisées pour évaluer les expressions faciales: RC (canthus

interne droit), LC (canthus interne gauche), RCO (point de commissure droite), LCO (point de commissure gauche), Ulip (le milieu de la lèvre supérieure sur le bord de la zone du vermillon), Llip (le milieu de la lèvre inférieure sur le bord de la zone du vermillon), and Sn (Subnasale = base de la columelle), RCO-LCO (la ligne d'inter- commissure), RC-RCO (canthus interne droit au point de commissure droite), LC-LCO (canthus interne gauche au point de commissure gauche), Ulip-Llip (la lèvre supérieure à la lèvre inférieure), Sn-Ulip (subnasale à la lèvre supérieure), Sn-Llip (subnasale à la lèvre inférieure)

LC RC LC

RC

RCO Ulip LCO RCO

Llip

Sp Sp

Ulip Llip

LCO

LC RC LC

RC

RCO Ulip LCO RCO

Llip

Sn Sn

Ulip Llip

LCO

RA LA

Ce même groupe des personnes a été filmé deux semaines plus tard dans les mêmes conditions afin de pouvoir noter la variation propre à chaque individu. Ceci nous a permis de voir les variations possibles de notre méthode et de nous assurer de sa fiabilité.

Afin de diminuer l‟influence de la variation anatomique propre à chaque individu, on a décidé de calculer les pourcentages de changements du visage de la position de repos au maximum du mouvement choisi. La variation intra-individuelle et l‟erreur de la méthode ont été calculées. On a conclu que notre méthode est valable.

4.2 Résultats de la validation de la méthode

Table 1 montre la fiabilité des cinq expressions. Les changements en pourcentage des deux vidéos (Vidéo 1 et 2) ainsi que les différences sont montrés.

Nous n'avons trouvé aucune différence significative entre la Vidéo 1 et la Vidéo 2 pour les changements en pourcentage mesurés pour les cinq expressions étudiée. Donc une erreur systématique peut être exclue. (Avec l'exception les changements verticaux des lèvres dans l'ouverture maximum de la bouche.) Le coefficient calculé de fiabilité variait entre 0.991 et 1.000 qui confirme l'intégrité de la méthode.

En général l'expression avancement des lèvres et l'expression de sourire posées ont les plus petites différences entre les deux séances vidéos, pendant que le sourire agressif et l'ouverture maximum de la bouche montrent de plus grandes différences. En général pour la plupart des expressions les mouvements de lèvre verticaux ont montré de plus grandes différences entre la Vidéo 1 et la Vidéo 2.

Table 1. Fiabilité de cinq expressions: Les changements perceptuels de l'expression réelle à la pose de repos avec les valeurs moyennes et les déviations standard de la Vidéo 1 et 2, les valeurs moyennes et les déviations standard des différences (la Vidéo 2 – la Vidéo 1), les p-valeurs du Test t de Student pour deux échantillons appariés, le coefficient de fiabilité (CR=1-Se2/St2), N=40.

Facial

expression Distance

Video 1 Video 2

Differences (Video 2–Video 1)

Mean SD Mean SD Mean SD p-value CR

Posed smile % RC-LC 12.3 11.1 12.4 10.3 0.1 10.3 0.944 0.998

% RCO-LCO 25.8 13.3 26.3 12.4 0.5 7.1 0.651 0.997

% LC-LCO -19.1 10.8 -19.2 11.2 0.0 3.5 0.939 0.999

% RC-RCO -18.6 11.4 -17.1 15.4 1.5 10.1 0.366 0.994

% Ulip-Llip 50.8 42.7 51.8 43.2 1.1 17.1 0.701 0.998

% Sn-Ulip -41.4 10.2 -39.7 10.6 1.6 7.1 0.160 0.994

% Sn-Llip 2.5 14.0 3.3 14.5 0.8 9.3 0.578 0.996

Sponateous smile

% RC-LC 11.8 12.5 12.7 12.3 0.8 10.6 0.625 0.996

% RCO-LCO 27.3 13.8 27.5 13.2 0.1 8.5 0.927 0.999

% LC-LCO -18.7 13.0 -18.6 12.9 0.2 3.7 0.757 0.998

% RC-RCO -18.1 13.3 -18.1 13.3 0.0 3.7 0.974 0.999

% Ulip-Llip 63.7 41.3 66.0 47.6 2.3 15.3 0.354 0.996

% Sn-Ulip -45.8 12.6 -43.8 13.2 2.0 9.1 0.172 0.994

% Sn-Llip 6.9 18.1 9.1 18.4 2.3 9.7 0.151 0.994

Aggressive smile

% RC-LC 11.2 15.4 7.9 21.5 3.2 23.7 0.396 0.993

% RCO-LCO 29.6 15.4 24.4 26.1 5.2 23.2 0.161 0.991

% LC-LCO -15.5 14.6 -17.3 20.3 1.8 15.3 0.453 0.994

% RC-RCO -15.2 14.9 -17.2 20.3 2.0 15.1 0.405 0.994

% Ulip-Llip 65.9 47.5 72.7 77.1 6.9 56.2 0.445 0.994

% Sn-Ulip -42.8 16.4 -43.1 19.6 0.3 23.7 0.942 0.998

% Sn-Llip 7.9 17.3 11.0 36.3 3.1 31.5 0.534 0.993

Lip pucker % RC-LC -8.2 10.4 -8.7 10.1 0.6 10.4 0.741 0.996

% RCO-LCO -45.8 23.4 -45.9 21.9 0.0 15.7 0.993 1.000

% LC-LCO -12.4 12.3 -12.4 11.8 0.0 8.6 0.985 0.999

% RC-RCO -11.5 13.2 -11.9 11.7 0.4 9.2 0.785 0.997

% Ulip-Llip 37.6 37.9 40.5 33.6 2.9 22.3 0.420 0.996

% Sn-Ulip -22.1 22.6 -24.8 20.6 2.7 20.4 0.402 0.995

% Sn-Llip 3.0 16.1 3.7 15.2 0.7 14.2 0.744 0.997

Maximum opening

% RC-LC 10.2 11.8 8.3 13.0 1.9 12.4 0.338 0.994

% RCO-LCO -0.6 13.1 -2.0 11.7 1.4 10.9 0.435 0.995

% LC-LCO 6.1 15.6 3.5 18.0 2.6 7.2 0.028 0.994

% RC-RCO 8.0 16.5 5.4 18.9 2.5 7.8 0.046 0.994

% Ulip-Llip 296.3 123.6 286.3 118.4 10.0 36.0 0.087 0.996

% Sn-Ulip -22.1 17.6 -23.8 18.1 1.6 7.8 0.196 0.995

% Sn-Llip 126.6 41.6 121.9 44.7 4.8 18.9 0.119 0.995

Commentaire pour la validation de la méthode:

Notre méthode 2-dimensionnelle est fiable et utile pour mesurer quantitativement les expressions faciales d‟une façon simple, efficace, et bon marché. Dans notre méthode 2 dimensionnelle, un arrangement simple a été appliqué dans une manière non-invasive, et les instructions facilement comprises ont rendu l'enregistrement des sujets confortable et tolérable.

L‟enregistrement d‟un objet 3 dimensionnelle avec un moyen 2 dimensionnelle a quelques inconvénients. Il est clair que quelques informations sont perdues en réduisant un objet 3 dimensionnelle à une image 2 dimensionnelle. Pourtant, les systèmes 3 dimensionnelle peuvent être compliqués, cher et envahissant. Les exemples de ces systèmes 3 dimensionelles sont la tomographie informatisée (Alder et al., 1985), l‟imagerie par résonance magnétique (Gosain et al., 1996), et le scan laser (Moss et al., 1987; McCance et al., 1997). Les moyens non-invasifs d'enregistrer les expressions 3- dimensionnellement existent, comme la stereophotogrammetrie (Frey et al., 1994;

Trotman et al., 1996; Ayoub et al., 1998) pourtant ils utilisent de l'équipement cher et techniquement compliquée dans leurs méthodes.

Il est important de choisir parmi l'ensemble des expressions très différentes, celles qui caractériseraient le mieux le tissu neuromusculaire que nous voulons étudier pour évaluer la région peri-orale. Le système de codifier l'action du visage nous a aidé de sélectionner et d‟identifier telles expressions (Ekman and Friesen, 1978). Ce système de codification est une base de données qui définit et code un grand nombre d'expressions et qui les associe aux muscles correspondants.

Sur les six expressions étudiées, on en a trouvé deux, qui sont les plus reproductibles («avancement des lèvres» et «sourire»). Les résultats de notre étude correspondent alors avec les conclusions de plusieurs autres études (Frey et al., 1994;

Johnston et al., 2002; Trotman et al., 2000; Miyakawa et al., 2006).

4.3 Méthode d’estimation des effets de l’âge et du sexe sur les expressions faciales:

Nous avons utilisé une vidéo pour enregistrer chaque individu effectuant trois expressions faciales différentes: l‟expression «rest pose » (pose de repos), l‟expression

« lip pucker » (avancement des lèvres pour donner un bisou), et l‟expression « posed smile» (sourire). Figure 1. Des instantanés représentatifs pour les trois expressions ont été sélectionnés à partir de cette vidéo. Celles-ci ont été digitalisées, et analysées en utilisant un logiciel qui permettait de mesurer plusieurs distances sur les visages. Les distances mesurées pour les expressions « posed smile » et « lip pucker » étaient exprimées en pourcentage de changement par rapport à l‟expression « rest pose ».

5. Résultats et Discussion

La capacité à produire des expressions faciales est différente entre les groupes d‟individus, cette différence s‟exprime en fonction de l‟âge et du sexe. Les hommes ont un mouvement vertical vers le haut plus important que les femmes (concerne toutes les expressions étudiées). Les femmes ont un mouvement horizontal plus prononcé pour l‟expression «sourire». Nous avons trouvé une tendance qui montre que le changement de pourcentage de la plupart des mouvements verticaux augmente de l‟enfance jusqu‟à l‟âge

adulte. Cette tendance est retrouvée chez les deux sexes, mais elle est plus prononcée chez l‟homme.

Jusqu'à maintenant, il y avait que peu d‟information quantitative sur l‟effet de l'âge sur ces expressions. Nous avons trouvé une petite différence entre les filles et les femmes dans leur changement de pourcentage horizontal pour le sourire posé. Les garçons avaient pourtant un changement de pourcentage horizontal dans le sourire posé beaucoup plus grand que les hommes. Il était intéressant de noter que les garçons aient au départ un changement de pourcentage dans la direction horizontale plus grand que les autres groupes, et que cette capacité semble s‟être perdue dans l'âge adulte. En outre, il semble y avoir un dessin en montrant que de l'enfance à l'âge adulte il y a une augmentation de changements de pourcentage dans la plupart des mouvements verticaux pour les deux genres (plus prononcé chez les hommes).

Une explication possible des différences que nous voyons pourrait être dans le tissu musculaire: Le muscle risorius et le muscle buccinator sont responsables des mouvements horizontaux dans le sourire posé. L'orbicularis oris est surtout responsable de l'avancement des lèvres. Dans les deux expressions le muscle levator labii superioris et le muscle zygomaticus major sont responsables de la composante verticale de l'expression (Brand and Isselhard, 1998). Une explication possible des différences trouvées entre les genres ou les groupes d'âge pourrait être due aux différences du développement de ces muscles.

Sauf l'hypothèse anatomique, il y a aussi d'autres hypothèses qui devraient être considérées. Pourrait-il y avoir des différences d'âge dans l'interprétation des instructions? Est-ce que les enfants sont moins capables de comprendre certains ordres

verbaux que les adultes? Est-ce que les enfants sont plus semblables aux femmes adultes qu‟aux hommes? Est-ce que les hommes adultes sont différents? Est-ce dû à socialisation?

En raison du manque d'informations concernant l‟influence du genre et de la différence d'âge, nous avons décidé de faire une étude transversale pour déterminer les tendances et modèles entre les groupes d'individus, et d‟étudier le rôle du sexe et de l'âge jouant dans ces tendances. Nous avons montrés que l'utilisation d‟une séquence vidéo était un instrument fiable dans la découverte de ces différences. Il est important de suivre le développement de chaque groupe d‟une manière plus approfondie, pour comprendre pourquoi ces changements entre l'enfance et l'âge adulte se produisent. Donc, il est nécessaire de suivre ce changement au fonction du temps avec des études de suivi. En plus, des études qui examinent l'influence des désaccords, d'orthodontie ou d'orthopédie de mâchoire sur les expressions sont nécessaires.

6. Conclusions

Notre méthode 2-dimensionnelle est fiable et utile pour mesurer quantitativement les expressions faciales d‟une façon simple, efficace, et peu coûteuse. On a trouvé deux expressions en particulier parmi les six expressions étudiées les plus reproductibles, le

« lip-pucker » et le « posed smile » («avancement des lèvres» et «sourire»). En utilisant une méthode quantitative solide pour collecter et analyser les expressions faciales, on détecte des différences entre les adultes, aussi bien qu‟entre adultes et enfants. La tendance à observer des mouvements verticaux plus importants chez l‟adulte que chez

l‟enfant, suggère la possibilité d‟un développement de la musculature mimique durant la croissance.

Texte de synthèse complet (en anglais)

1. Introduction

The face is the most observed and well-known landmark of the human figure. We use our faces in order to communicate; a very large percentage of our communication of course is non-verbal, much of which is expressed through the form of facial expressions.

Facial expressions do not give us only social information, but facial expressions reflect the function of the underlying neuromuscular structure of the face (Ekman and Friesen, 1978). These expressions are used in various areas of behavioral research, including the study of emotions, social interaction, and communication (Ekman et al., 1991).

Recently, the assessment of facial mobility has also found use in the medical setting. Characterization of musculature is employed for the treatment of patients with facial motor deficits such as cleft lip and palate, and hemifacial paralysis (Trotman et al., 2000; Dulguerov et al., 2003). Dentofacial discrepancies may be the underlying reason influencing the facial musculature, specifically in the perioral region (Rasheed and Munshi, 1996; Yamaguchi et al., 2000). Furthermore, orthodontic and orthognathic surgical treatment may influence dramatically the relation of the hard tissue structures and possibly lead to a neuromuscular adaptation of the facial musculature (Trotman and Faraway, 2004).

Different methods were used in the past to evaluate facial mobility; some of them might be useful instruments to detect the above mentioned possible neuromuscular adaptations (Neiva and Wertzner, 1996; Trotman et al., 1998; Miyakawi et al., 2006).

Among them, video sequencing is the primary technique used for the measurement of

facial expressions. Through video sequencing we can collect a diverse set of facial movements. It was important then to select from these facial expressions, those that would best characterize the neuromuscular tissue we wish to study and evaluate in the perioral area. The identification of such expressions was aided by previous work from Ekman and Friesen (1978), which created a database which defined and coded a large number of facial expressions and associated each expression with the muscles used to produce them.

Facial mobility exists already from birth, and they have a remarkable diversity already at a young age. Long before the child can develop language skills, he can cry, scream or smile his way through any situation. Once walking and talking begins, our culture shifts all the emphasis there, almost forgetting emotional communication skills entirely (Kall, 1990). Many studies have focused on the development and maturation of the motor capacity of a child to an adult (Santrock, 1999; Darrah et al., 2007). However, the development and maturation of the mimic muscles performing the facial expressions, has not been given the same amount of attention. It is not clear if the mimic muscles undergo the same procedure of maturation with changes in facial expression or whether these expressions simply remain constant throughout growth. There are indications that there are differences in facial movements between the sexes in adults (Weeden et al., 2001). It is unclear though, whether this sexual dimorphism already exists during childhood and what is the development of the neuromuscular capacities to produce facial expressions during growth.

2. Aim

1) Validate a method that will permit the quantitative measurement of facial expressions.

2) Apply this reliable method to evaluate quantitatively the facial expressions of adults, to observe any differences between women and men.

3) Apply this method to evaluate quantitatively the facial expressions of children, to observe any differences between girls and boys.

4) To make the comparison between the growing children and the adults in order to detect whether there are possible differences between them depending on age and sex.

3. Validation of Method:

3.1 Subjects

We studied 40 healthy subjects, 20 females and 20 males. The 20 adult women had an average age of 25.6 years, range 22.0-33.0, and the 20 adult men had an average age of 27 years, range 23.0-33.6. The adult subjects were students in the final two years of their dental studies at our University and in the postgraduate programs. All subjects in the two groups of adults had complete permanent dentition; no subject took medication or suffered from any disease.

3.2 Method

A video sequence was taken of each individual, during which a series of facial expressions was executed. During the video sequence the subjects were seated in a chair

with no back support, as to hold a more natural head position. The subjects were placed in front of a black background, and a soft special diffused light was shone on them.

Before recording, the intended facial movements were explained to the subject and a few trials were performed. The subject was then asked to execute a facial expression or to produce a specific movement. For each movement they were verbally instructed to perform it to the maximal possible extent. They repeated each expression and/or movement at least twice.

Recorded Facial Expressions

Initially we recorded the individual at rest with their teeth in occlusion and with their lips relaxed and closed. The “rest pose”, served as a reference image for the individual. We then asked individuals to perform five expressions, the posed smile, spontaneous smile, aggressive smile, lip pucker, and the maximum opening of the mouth (Ekman and Friesen, 1978). (Figure 1)

a b c d e f Figure 1. Facial Expressions: a) rest (lips closed, teeth lightly in occlusion), b) pose smile, c) spontaneous smile (taken from sequences of laughter), d) aggressive smile, e) lip pucker (pursing of lips, as if to five a kiss), f) maximum opening of the mouth

A digital camcorder (Canon XL1 3CCD Digital Video Camcorder PAL, Tokyo, Japan) recorded the video session on to a videocassette. The camera was set to frame mode, (12 frames/second), allowing us to select individual frames during the subsequent analysis. Each session took 3-5 minutes to execute and record the full sequence of expressions. Each videocassette was then transferred to a computer, digitized and the video sequence was entered into the program Adobe Premiere 6.0 (Adobe Systems Inc., San Jose, CA, USA). Using this software we selected the frame that captured the

maximum movement in any given expression.

Measurement Procedure

The selected frames were then analyzed with image digitizing software (Viewbox 3.0, dhal, Kifisia, Greece) that allows measurement of a set of horizontal and vertical distances as depicted in Figure 2. Of these distances, RC-LC, extending from the right inner cantus to left inner canthus, was physically measured on the actual individual using a digital caliper. It was then used to set a magnification parameter in the software so that the image distances could be calibrated to actual physical distances.

2a 2 Figure 2. Points and distances used to evaluate facial expressions: RC (right inner canthus), LC (left inner canthus), RCO (right commissure point), LCO (left commissure point), Ulip (midpoint of upper lip on the edge of the vermilion zone), Llip (midpoint of lower lip on the edge of the vermilion zone), and Sn (Subnasale), RCO-LCO (inter-

commissure line), RC-RCO (right inner canthus to right commissure point), LC-LCO (left inner canthus to left commissure point), Ulip-Llip (upper lip to lower lip), Sn-Ulip

(Subnasale to upper lip), Sn-Llip (Subnasale to lower lip)

In order to avoid anatomical variation due to physical size differences between the individuals, we express each distance measured in a given facial expression as a percent change from the corresponding distance in the rest pose image, using the following equation:

FACIAL EXPRESSION – REST x 100 = % change from rest to movement REST

LC RC LC

RC

RCO Ulip LCO RCO

Llip

Sp Sp

Ulip Llip

LCO

LC RC LC

RC

RCO Ulip LCO RCO

Llip

Sn Sn

Ulip Llip

LCO

RA LA

Any negative values that are given by this equation represent the decrease of a distance, and for any positive values it represents the increase of the distance. For example, for the posed smile, the distance RCO-LCO (corners of mouth) increases from rest, thus giving a positive value for the percentage of change. However, for the same distance, when

choosing the lip pucker, this distance diminishes, thus giving a negative percentage change.

Statistical Methods

Descriptive statistics were performed for all the percent changes of all of the expressions. We used SPSS for Windows Software, version 13.0 (SPSS Inc, Chicago, Illinois, USA) for these statistical tests.

In order to evaluate the error of our method, we repeated the videos of these 40 individuals at an interval of 2 weeks. For both, video 1 and video 2, we measured all the distances for all the expressions, and the percent changes were calculated. A paired t-test was used in order to estimate the differences in the measurements from these two video recordings and evaluate the systematic error. No differences were detected at a

significance level of 0.05.

The Dahlberg‟s formula (S = ∑ /2n) (d = difference between measurements from Video 2 and Video 1, n = number of subjects) (Houston, 1983) was used to

calculate the coefficient of reliability (CR = 1 - S /S ) (St = standard deviation of measurements from Video 1). The results show an excellent reliability of this method (Table 1).

Table 1. Reliability of five facial expressions: Percentual changes of the actual expression to rest position with mean values and SD of Video 1 and Video 2, mean values and SD of the differences (Video 2 – Video 1), p-values of the paired t-test, coefficient of reliability (CR=1-Se²/S_t²), N=40.

Facial

expression Distance

Video 1 Video 2

Differences (Video 2–Video 1)

Mean SD Mean SD Mean SD p-value CR

Posed smile % RC-LC 12.3 11.1 12.4 10.3 0.1 10.3 0.944 0.998

% RCO-LCO 25.8 13.3 26.3 12.4 0.5 7.1 0.651 0.997

% LC-LCO -19.1 10.8 -19.2 11.2 0.0 3.5 0.939 0.999

% RC-RCO -18.6 11.4 -17.1 15.4 1.5 10.1 0.366 0.994

% Ulip-Llip 50.8 42.7 51.8 43.2 1.1 17.1 0.701 0.998

% Sn-Ulip -41.4 10.2 -39.7 10.6 1.6 7.1 0.160 0.994

% Sn-Llip 2.5 14.0 3.3 14.5 0.8 9.3 0.578 0.996

Sponateous smile

% RC-LC 11.8 12.5 12.7 12.3 0.8 10.6 0.625 0.996

% RCO-LCO 27.3 13.8 27.5 13.2 0.1 8.5 0.927 0.999

% LC-LCO -18.7 13.0 -18.6 12.9 0.2 3.7 0.757 0.998

% RC-RCO -18.1 13.3 -18.1 13.3 0.0 3.7 0.974 0.999

% Ulip-Llip 63.7 41.3 66.0 47.6 2.3 15.3 0.354 0.996

% Sn-Ulip -45.8 12.6 -43.8 13.2 2.0 9.1 0.172 0.994

% Sn-Llip 6.9 18.1 9.1 18.4 2.3 9.7 0.151 0.994

Aggressive smile

% RC-LC 11.2 15.4 7.9 21.5 3.2 23.7 0.396 0.993

% RCO-LCO 29.6 15.4 24.4 26.1 5.2 23.2 0.161 0.991

% LC-LCO -15.5 14.6 -17.3 20.3 1.8 15.3 0.453 0.994

% RC-RCO -15.2 14.9 -17.2 20.3 2.0 15.1 0.405 0.994

% Ulip-Llip 65.9 47.5 72.7 77.1 6.9 56.2 0.445 0.994

% Sn-Ulip -42.8 16.4 -43.1 19.6 0.3 23.7 0.942 0.998

% Sn-Llip 7.9 17.3 11.0 36.3 3.1 31.5 0.534 0.993

Lip pucker % RC-LC -8.2 10.4 -8.7 10.1 0.6 10.4 0.741 0.996

% RCO-LCO -45.8 23.4 -45.9 21.9 0.0 15.7 0.993 1.000

% LC-LCO -12.4 12.3 -12.4 11.8 0.0 8.6 0.985 0.999

% RC-RCO -11.5 13.2 -11.9 11.7 0.4 9.2 0.785 0.997

% Ulip-Llip 37.6 37.9 40.5 33.6 2.9 22.3 0.420 0.996

% Sn-Ulip -22.1 22.6 -24.8 20.6 2.7 20.4 0.402 0.995

% Sn-Llip 3.0 16.1 3.7 15.2 0.7 14.2 0.744 0.997

Maximum opening

% RC-LC 10.2 11.8 8.3 13.0 1.9 12.4 0.338 0.994

% RCO-LCO -0.6 13.1 -2.0 11.7 1.4 10.9 0.435 0.995

% LC-LCO 6.1 15.6 3.5 18.0 2.6 7.2 0.028 0.994

% RC-RCO 8.0 16.5 5.4 18.9 2.5 7.8 0.046 0.994

% Ulip-Llip 296.3 123.6 286.3 118.4 10.0 36.0 0.087 0.996

% Sn-Ulip -22.1 17.6 -23.8 18.1 1.6 7.8 0.196 0.995

% Sn-Llip 126.6 41.6 121.9 44.7 4.8 18.9 0.119 0.995

3.3 Results

All numerical results in the tables are reported as percentage changes. Table 1 summarizes the percent changes of the different expressions with respect to the rest position of the two recordings. The differences between Video 1 and Video 2 are shown as well as the calculated p-values and the coefficient of reliability.

We found no statistically significant differences between Video 1 and Video 2 for the measured percentage changes for the five expressions studied. Therefore a systematic error can be excluded. (With exception the vertical changes of the lips in the maximum opening of the mouth). The calculated coefficient of reliability varied between 0.991 and 1.000 which confirms the reliability of the method.

In general the lip pucker and posed smile expressions have the smallest

differences between the two video sessions, while the aggressive smile and the maximum opening of the mouth expressions show the biggest differences. In general for most of the expressions the vertical lip movements showed bigger differences between Video 1 and Video 2.

3.4 Discussion

Our study has showed that we were able to develop a reliable method to identify certain facial expressions of the lower face that are easy to recreate through proper instruction and with high reproducibility. We were able to evaluate quantitatively facial expressions in a simple, efficient, and inexpensive manner.

In our 2-dimensional method, a simple set-up was applied in a noninvasive manner, and easily understood instructions made the recording of the subjects

comfortable and tolerable. By not using any fixation of the subject‟s head, they have a more natural head position, giving us a more accurate facial expression.

A 3-dimensional object taken with a 2-dimensional means have some

disadvantages. It is clear that some information is lost when reducing a 3-dimensional object to a 2-dimensional image. However, 3-dimensional systems can be complicated, expensive and invasive. Examples of these systems are 3-d imaging of the face with computerized tomography (Alder et al., 1985), magnetic resonance imaging (Gosain et al., 1996), and laser scanning (Moss et al., 1987; McCance et al., 1997). Noninvasive means of recording facial expressions 3-dimensionally do exist, such as

stereophotogrammetry (Frey et al., 1994; Trotman et al., 1996; Ayoub et al., 1998) however; they use expensive and technically challenging equipment in their methods.

It is important to select from the very diverse set of facial expressions, those that would best characterize the neuromuscular tissue we wish to study and evaluate in the perioral area. Our selection and identification of such expressions was aided by the facial action coding system (Ekman and Friesen, 1978), which is a database which defined and coded a large number of facial expressions and associated each expression with the muscles used to produce them.

The results of our study agree with the conclusions of several studies that the “rest pose”, the posed smile, and the lip pucker, are found to be the most reproducible

expressions (Frey et al., 1994; Johnston et al., 2003: Trotman et al., 2000; Miyakawa et al., 2006). The maximum opening of the mouth was found to be less reproducible. This was probably due to the discoloration of the lip corners (RCO and LCO points) and lip

borders (Ulip and Llip points) when the movement was executed, making the distinction of these points difficult in some cases to decipher.

3.5 Conclusions

1. Our 2-dimensional method is an accurate means to measure quantitatively facial expressions in a simple, efficient, and inexpensive manner.

2. The lip-pucker and posed smile were the best and most reproducible expressions of the chosen expressions in this study.

4. Application of the method on children and adults to detect any age or gender differences:

4.1 Subjects

We studied 80 healthy subjects, divided into four groups: 20 girls (mean age of 10.6 years, range 7.5-12.6), 20 boys (mean age of 10.8 years, range 6.9-12.3), 20 females (average age of 25.6 years, range 22.0-30.3), and 20 males (average age of 27 years, range 23.0-33.6). The adult subjects were students in the final two years of their dental studies at the University of Geneva and in the postgraduate programmes. All subjects in the two adult groups had complete permanent dentitions; no subject took medication or suffered from any disease. The children chosen were under their annual dental control in the same university clinic. None of the children suffered from any disease and were not under medication. Due to the arbitrary selection children with minor malocclusions were also included, but no child had undergone orthodontic treatment.

4.2 Method

A video sequence was taken of each individual, during which a series of facial expressions was executed. During the video sequence the subjects were seated in a chair with no back support, so that they held a more natural head position. The subjects were placed in front of a black background, and a soft diffused light was shone on them.

Before recording, the intended facial movements were explained to the subject and a few trials were performed. The subject was then asked to execute a facial expression or produce a specific movement. For each movement they were verbally instructed to perform it to the maximum possible extent. They repeated each expression and/or movement at least twice.

Recorded facial expressions

Initially we recorded the individual at rest with their teeth in occlusion and with their lips relaxed and closed. The “rest pose”, served as a reference image for the

individual. (Figure 1) We then asked individuals to perform two expressions, a lip pucker and a posed smile (Figure 1) (Ekman and Friesen, 1978). A digital camcorder recorded (Canon XL1 3CCD Digital Video Camcorder PAL, Tokyo, Japan) the video session on to a videocassette. The camera was set to frame mode, (12 frames/second), allowing us to select individual frames during the subsequent analysis. Each session took 3-5 minutes to execute and record the full sequence of expressions.

Each videocassette was then transferred to a computer, digitized and the video sequence was entered into the program Adobe Premiere 6.0 (Adobe Systems Inc., San

Jose, CA, USA). Using this software we selected the frame that captured the maximum movement in any given expression.

Measurement Procedure

The selected frames were then analyzed with image digitizing software (Viewbox

© 3.0, dhal, Kifisia, Greece) that allows measurement of a set of horizontal and vertical distances as depicted in Figure 2. Of these distances, RC-LC, extending from the right inner canthus to left inner canthus, was physically measured on the actual individual. It was then used to set a magnification parameter in the software so that the image distances could be calibrated to actual physical distances.

Viewbox program with selected frame

In order to avoid anatomical variation due to physical size differences between the individuals, we express each distance measured in a given facial expression as a percentage change from the corresponding distance in the rest pose image, using the

following equation:

FACIAL EXPRESSION – REST * 100 = % change from rest to movement REST

Any negative values given by this equation represent the decrease of a distance, and positive values it represents an increase of the distance. For example, for the posed smile, the distance RCO-LCO (corners of mouth) increases from rest, thus giving a positive value for the percentage of change. However, for the same distance, when choosing the lip pucker, this distance diminishes, thus giving a negative percentage change.

4.3 Statistical Methods

The Kolmogorov-Smirnov test showed a normal distribution of all variables.

Descriptive statistics were performed for all the percentage changes of all of the expressions. A two-way MANOVA was performed with two independent variables (gender, age) and the various percentage changes as dependent variables. Additionally, subsequent t-tests within samples were performed. The significance level was set at 0.05.

We used Statistical Package for Social Sciences for Windows software, version 13.0 (SPSS Inc, Chicago, Illinois, USA) for these statistical tests.

4.4 Error of the method

In order to evaluate the error of our method, we repeated the videos of 40 individuals after an interval of 2 weeks. For both, video 1 and video 2, we measured all the distances for all the expressions, and the percentage changes were calculated. A paired t-test was used in order to estimate the differences in the measurements from these

two video recordings and evaluate the systematic error. No differences were detected at a significance level of 0.05.

Dahlberg‟s formula (Se² = ∑d²/2n) (d = difference between measurements from Video 2 and Video 1) (Houston, 1983), was used to calculate the coefficient of reliability (CR = 1 – Se²/St2

) (St = standard deviation of measurements from Video 1). The results showed excellent reliability. (Tables 2 and 3)

Table 2. Posed smile expression: Percentage change of the actual expression from rest position with the number of observations, mean values and standard deviation (SD) of Video 1 and Video 2, mean values and SD of the differences (Video 2 - Video 1), p-values of the paired t-test and coefficient of reliability.

Video 1 Video 2

Differences (Video 2 - Video

1)

Distance N

Mean

values SD

Mean

values SD

Mean

values SD p-value

Coefficient of reliability

% RCO - LCO 40 25.79 13.30 26.30 12.42 0.51 7.14 0.651 0.997

% LC - LCO 40 -19.11 10.76 -19.15 11.15 -0.04 3.54 0.939 0.999

% RC - RCO 40 -18.58 11.38 -17.13 15.41 1.45 10.05 0.366 0.994

% Upper Lip – Lower

Lip 40 50.75 42.68 51.80 43.15

1.05

17.09 0.701 0.998

% Subnasale – Upper

Lip 40 -41.35 10.24 -39.74 10.64

1.61

7.07 0.160 0.994

% Subnasale – Lower

Lip 40 2.46 13.98 3.28 14.52

0.82

9.27 0.578 0.996

Table 3. Lip pucker expression: Percentage change of the actual expression from rest position with the number of observations, mean values and standard deviation (SD) of Video 1 and Video 2, mean values and SD of the differences (Video 1; Video 2), p-values of the paired t-test and coefficient of reliability.

Video 1 Video 2

Differences (Video 2 - Video

1)

Distance N

Mean

values SD

Mean

values SD

Mean

values SD p-value

Coefficient of reliability

% RCO - LCO 40 -45.82 23.42 -45.85 21.94 -0.02 15.65 0.993 1.000

% LC - LCO 40 -12.44 12.34 -12.42 11.79 0.02 8.59 0.985 0.999

% RC - RCO 40 -11.52 13.20 -11.92 11.73 -0.40 9.17 0.785 0.997

% Upper Lip – Lower

Lip 40 37.59 37.85 40.46 33.62 2.87 22.28 0.420 0.996

% Subnasale – Upper

Lip 40 -22.06 22.59 -24.78 20.61 -2.72 20.39 0.402 0.995

% Subnasale – Lower

Lip 40 2.98 16.07 3.72 15.15 0.74 14.22 0.744 0.997

4.5 Results Posed smile

During the production of a smile, the corners of the mouth are displaced in a horizontal direction from the rest position. This displacement did not occur to the same degree in the four groups studied (Figure 3). Although boys had a larger percentage change than girls, the opposite occurred for adult males and females. The adult females had a larger percentage change than girls, and the boys had a larger percent change than adult males.

The corners of the mouth were not only displaced in a horizontal direction, but also in an upward vertical direction in all groups. Among the children, there were no differences between the girls and boys, and this displacement was not very important.

However in the adults, the displacement was greater than in the children, and more pronounced in males than in females.

During the posed smile, the lips separate and the distance between points Ulip and Llip increase. No differences were found between the girls and boys, or between the males and females, but females had a smaller percentage change than the girls.

The midpoint of the upper lip on the edge of the vermillion zone, point Ulip, with respect to the stable point Sn (subnasale), moved upwards during smiling in all the groups. No differences were found between girls and boys, or between females and males, but the percent change was higher in adults than in children.

The midpoint of the lower lip on the edge of the vermillion zone, point Llip, with respect to the stable point Sn (subnasale), moved in a downward direction mainly in the children. We found no gender differences but we found great differences between the adults versus the children. Llip is not displaced as much in adults as it is in the children.

The results of MANOVA for the posed smile are found in Table 4.

Table 4. Posed smile expression: Results for the two-way MANOVA on the effect of gender and age on all distances measured.

Distance

Gender Age Gender*Age

F df P F df P F df P

Multivariate test

(Hotelling‟s Trace) 5.954 8 <0.001 10.885 8 <0.001 6.341 8 <0.001 Univariate tests

% RCO –

LCO 0.337 1 0.563 5.797 1 0.018 33.765 1 <0.001

% RC –

RCO 10.948 1 0.001 47.480 1 <0.001 15.688 1 <0.001

% Upper Lip –

Lower Lip 3.669 1 0.059 2.678 1 0.106 0.248 1 0.620

% Subnasale –

Upper Lip 0.316 1 0.576 55.752 1 <0.001 1.346 1 0.250

% Subnasale –

3.235 1 0.076 30.593 1 <0.001 1.079 1 0.302