Méthode

Le choix de la technique de détection de la rotation de la tête, de notre point de vue, doit considérer les problèmes suivants:

• Il n'y a pas de grand corpus disponible avec des positions de tête différentes des personnes âgées pour l’entrainement statistique d’un système automatique. • Les personnes âgées ont souvent des problèmes de rides faciales et de relâchement des tissus faciaux. Cela peut influer sur la précision des méthodes basées sur la détection de points caractéristiques dans le visage tels que les modèles actifs d'apparence (« Active Appearance Models » en anglais) [44], les modèles de forme actifs (« Active shape models » en anglais) [34] et d'autres méthodes. En outre, les systèmes existant d'extraction de points sont tous entrainés et conçus pour des images faciales frontales. Cela peut rendre l'utilisation de l’extraction des points dans le visage pour la détection de la rotation de la tête hors de propos.

En considérant tous ces problèmes, ce chapitre de ma thèse présente une méthode qui appartient à la famille des « Detector Array Methods » parmi les 8 catalogues de méthode de détection mentionnés dans l’article [89]. Les trois détecteurs faciaux de différentes orientations horizontales entrainés et disponibles dans OpenCV sont utilisés pour la classification. En cas de détection multiple, ce qui signifie que plus d'un détecteur facial a trouvé un visage, les sorties des détecteurs de visages activés seront comparés pour prendre la décision finale consistant à savoir si il y a une rotation de la tête.

Trois détecteurs de visage ont été utilisés dans ce travail: détecteur de visage frontal de Haar, détecteur de visage de profil de Haar et détecteur de visage de profil de LBP. Ils sont tous disponibles dans la librairie OpenCV et ont été entrainés avec un grand nombre d'images positives et négatives de la population générale. Le détecteur de visage frontal de Haar est entrainé pour reconnaître des images de visage frontal entre environ +/- 40 degrés. Le détecteur de visage de profil de Haar est entrainé pour reconnaître des images de visage de profil gauche (le sujet tourne la tête à droite) à environ 30-70 degrés. Le détecteur de visage de profil de LBP est entrainé pour reconnaître des visages de profil gauche à environ 70-90 degrés. Les 2 détecteurs de visage de Haar sont essentiels à notre système de détection de la rotation de la tête. Pour une meilleure fiabilité, le détecteur de visage de profil de LBP est utilisé comme un détecteur complémentaire. Ses effets sur la performance de l'ensemble du système seront également étudiés.

La vidéo capturée par la caméra frontale est enregistrée à une résolution de 1280x720 pixels et un taux de 29,97 images par seconde. Pour environ 89,75% des frames, au moins un détecteur de visage de Haar a été activé. En outre, au moins un des trois

Université Paris-Saclay

Espace Technologique / Immeuble Discovery

Route de l’Orme aux Merisiers RD 128 / 91190 Saint-Aubin, France

81 détecteurs de visage a été activé sur environ 89,76% des frames. En dehors des visages mal détectés, les visages tournants à gauche à plus de 40 degrés et tournants à droite à plus de 90 degrés ne peuvent pas être détectés

Figure 15 : Visages détectés par les détecteurs de visage de l’OpenCV. Circle rouge : visage trouvé par le détecteur de visage frontal de Haar. Circle vert : visage trouvé par le détecteur de visage de profil de

Haar. Circle bleu : visage trouvé par le détecteur de visage de profil de LBP.

Dans une situation idéale, un seul détecteur est activé dans chaque trame. En outre, le détecteur activé est précis sur la position et retourne la taille exacte de la tête. Toutefois, dans la situation réaliste, comme celle de la Figure 15, lorsque les trois détecteurs se déroulent en même temps, deux ou trois détecteurs peuvent être activés. Le système de détection globale devrait alors utiliser les sorties des détecteurs activés afin de prendre une décision. Une façon d'atteindre cet objectif est de définir un ensemble de règles sur les paramètres des visages retournés par les détecteurs activés. En analysant tous les visages détectés dans la vidéo de la caméra frontale, deux modèles peuvent être trouvés:

• Lorsqu’un sujet tourne la tête (à droite), la taille d'un visage détecté par le détecteur de visage frontal de Haar diminue, tandis que la taille d'un visage détecté par le détecteur de visage de profil de Haar augmente. Le taux entre les tailles des 2 visages détectés est essentiel pour la classification de la rotation de la tête.

• Un visage trouvé par le détecteur de visage frontal de Haar est centré sur la position du nez et un visage trouvé par le détecteur de visage profil de Haar est centré sur la face gauche. Nous avons remarqué qu'il y a un écart entre les centres des 2 visages détectés. Cet écart devient également plus grand quand le sujet tourne le visage vers la droite.

Par l’étude de ces modèles liés aux deux détecteurs de visage de Haar, le système de détection de la rotation de la tête quantifie l'intensité de rotation pour chaque trame de vidéo en utilisant les règles suivantes:

1. Si AHP et non AHF. Intensité=1. 2. Si AHP et AHF.

a. Si SHF*0,1<GAP<SHF*0,4 et SHP > SHF. Intensité = min (2*(SHP -SHF)/SHF. 1);

Université Paris-Saclay

Espace Technologique / Immeuble Discovery

Route de l’Orme aux Merisiers RD 128 / 91190 Saint-Aubin, France

82 b. Sinon Intensité=0.

3. Si non AHP et AHF. Intensité=0.

4. Si non AHP et non AHF. Intensité=Intensité du frame précédant.

(HF signifie le détecteur de visage frontal de Haar, HP signifie le détecteur de visage de profil de Haar, L signifie le détecteur de visage de profil de LBP. Ax signifie l'activation du détecteur X, Sx signifie la taille du visage retourné par le détecteur X, GAP signifie la différence entre le centre horizontal des positions des deux détecteurs de visage de Haar).

La première règle présente le cas où seulement le détecteur de visage de profil de Haar trouve le visage, l’intensité de rotation atteint donc la valeur maximum 1. La deuxième règle concerne le cas où les deux détecteurs de visage de Haar trouvent un visage. Dans ce cas, si la distance entre les centres des deux visages trouvés sont entre 0,1 et 0,4 fois de la taille du visage frontal trouvé, et si la taille du visage de profil trouvé est plus grand que celle du visage frontal, l’intensité de rotation prendra la valeur minimale entre 2 fois la différence de surface entre les deux visage trouvés et 1; Sinon, l'intensité sera 0. En ce qui concerne la troisième règle, seul le détecteur de visage frontal de Haar trouve un visage, l’intensité de rotation sera 0. La règle 4 est pour le cas où aucun des détecteurs de Haar ne trouve un visage, alors l'intensité aura la valeur du frame précédente. En dehors de la possibilité d'une mauvaise détection, la raison qu’aucun des détecteurs de Haar ne trouve un visage peut être que le sujet tourne la tête à gauche ou trop à droite d'une manière qui dépasse la capacité du détecteur de visage profil.

Pour la détection qui utilise tous les 3 détecteurs de visage, une règle supplémentaire doit être appliquée au préalable. Si cette règle ne convient pas, le système suivra les règles mentionnées précédemment :

0. IF AL, Intensité=1.

Afin de lisser la courbe d'intensité au niveau de frame, trois filtres ont été testés pour comparer les performances: le filtre Pascal de 10 éléments, et 2 filtres de moyenne de 5 et 10 éléments respectivement. Pour notre système de détection « online », seules les informations des images précédentes sont utilisées pour le filtrage. Un filtre de n éléments calcule la nouvelle intensité en utilisant l'intensité des n dernières frames y compris le frame actuel. Le filtre Pascal est une extension du triangle de Pascal. La ligne n du triangle de Pascal est une excellente approximation unidimensionnelle de n point d'un filtre gaussien. Le filtre de moyenne prend juste la moyenne des intensités des n derniers frames.

Université Paris-Saclay

Espace Technologique / Immeuble Discovery

Route de l’Orme aux Merisiers RD 128 / 91190 Saint-Aubin, France

83