Introduction
La classification des postures est le deuxième objectif de nos travaux de recherche car elle fournit des indices sur la fragilité de la personne âgée ainsi que la détection des chutes. En effet, l’emplacement du corps et le type de postures permettent de différencier les acti-vités normales et les chutes. Dans ce chapitre nous décrivons la méthode de reconnaissance de postures appliquée sur les images de profondeur et thermique. Tout d’abord, nous re-présentons le type de données à traiter et les contraintes qu’elles imposent. Ensuite, nous détaillons la technique que nous avons utilisée pour fusionner les images de profondeur et thermiques. Enfin, nous définissons la méthode de reconnaissance des postures ainsi que les expérimentations faites.
La Figure 7.1 définit les différentes étapes de la méthode de classification de postures que nous avons développée. La première étape consiste à acquérir une base de données qui contient 1300 exemples de postures à détecter. Le choix des données d’apprentis-sage est très important pour avoir un système de classification précis et robuste. Il est conseillé d’avoir plusieurs postures de différentes personnes dans plusieurs pièces de styles différents. Puis nous avons annoté ces données manuellement et avons encadré toutes les postures par une boîte englobante. Ensuite, ces données sont traitées, en augmentant ar-tificiellement (transformations géométriques ou d’éclairage par exemple) le nombre des images, et apprises à partir d’une méthode d’apprentissage profond. La base de données est ensuite divisée en trois parties : une base d’apprentissage, une base de validation et une base de test. Enfin, nous testons les résultats de classification sur la base de test et évaluons les performances de cette méthode.
Partie III, Chapitre 7 – Classification de postures des personnes par des méthodes de Deep
Learning
Figure 7.1 – Procédure de classification des postures
7. 1 Base de données
Nous avons détaillé dans la section 2.4.2 notre méthode de création de la base de données. La Figure 7.2 montre l’état brut des images après acquisition. Nous rappelons que les données enregistrées sont des images 16 bits de tailles (640×480) et (80×60) pour le capteur de profondeur et thermique respectivement. Nous rappelons que ces images ont des champs de vision légèrement différents. Lors de la campagne d’acquisition, nous avons choisi de fixer les capteurs de manière à avoir le même champ de vision. Cependant, les angles d’ouverture du capteur thermique sont plus petits que ceux du capteur de profondeur. Donc les images thermiques ont moins d’information sur la pièce par rapport aux images de profondeur.
7. 1.1 Compensation de la perte d’information des images de
profondeur
Nous avons constaté qu’au niveau d’une image de profondeur certains pixels peuvent avoir une valeur nulle (présence des zones noires). Cette perte d’informations peut avoir
7. 1. Base de données
Figure 7.2 – Images de profondeur (a) et thermique (b).
plusieurs origines. Des petites zones sont dues à la parallaxe entre le projecteur et le récepteur. Par contre de plus grandes zones sans informations sont sans doutes dues à la présence des rayons de soleil. Le capteur de profondeur est en effet sensible aux rayons infrarouges émis dans la même bande spectrale que celle de son émetteur. Le capteur peut également être perturbé par des surfaces absorbantes (certains écrans d’ordinateur), par rayonnements infrarouge (non réfléchissantes) émis par des surfaces ou même par la perte de champs de vision pour son récepteur. Le fait de traiter ces pixels comme une information de profondeur normale entraîne un biais avec la majorité des méthodes d’apprentissage profond et dégrade la qualité des applications qui utilisent l’image de profondeur. En effets les valeurs nulles de pixels peuvent créer soit des faux positifs, soit des faux négatifs dans l’apprentissage.
Ainsi, il est nécessaire d’ajouter une étape de pré-traitement afin de remplir les trous dans l’image (inpainting en anglais). L’inpainting est un domaine de recherche relativement nouveau qui présente des problématiques intéressantes pour les images de profondeur. Les méthodes de remplissage des trous au niveau des images couleurs sont performantes et bien maitrisées, mais les images de profondeur ont des caractéristiques totalement différentes qui peuvent dégrader les performances des techniques d’images couleurs. Des nouvelles techniques dédiées pour les images de profondeur ont été proposées afin de compenser la perte d’information de profondeur [161, 162, 163, 164, 165, 166, 167]. Les méthodes de remplissage de trous sur des images de profondeur ont été divisées en trois catégories : 1)
Partie III, Chapitre 7 – Classification de postures des personnes par des méthodes de Deep
Learning
Figure 7.3 – Technique de remplissage des trous (Inpainting en anglais).
les méthodes basées sur l’information spatiale [168, 169, 170], 2) les méthodes basées sur l’information temporelle [171, 172] et 3) la combinaison de ces deux informations [173, 174]. La première catégorie utilise les valeurs des pixels voisins disponibles dans une seule image pour compléter les données manquantes sur l’image en profondeur [175].
Nous avons repris cette catégorie de reconstruction de l’image de profondeur en se basant sur la technique proposée par Telea [161]. Il essaye d’estimer les valeurs correctes de ces pixels non définis à partir d’une moyenne pondérée sur leur voisinage non nul (Fig. 7.3). L’objectif de cette reconstruction n’est pas d’avoir une image la plus proche possible de la réalité mais de minimiser au maximum les erreurs induites par les pixels nuls lors de l’apprentissage et classification des activités.