Ce chapitre s’est intéressé à la reconnaissance de la personne et de ses actions. Pour atteindre cet objectif, les travaux ont porté sur d’une part l’extraction d’information (trouver les attributs les plus pertinents pour les deux problèmes posés) mais aussi sur les résultats de classification (avec des algorithmes séquentiels ou avec des algorithmes incrémentaux selon les besoins).
Chaque travail a montré de bons résultats de classification dans l’application concernée. Cependant ces travaux doivent tous être prolongés pour pouvoir améliorer leur utilisabilité dans des conditions réalistes. Pour les travaux concernant la reconnaissance de personnes, nos modèles à base de classification incrémentale ont montré de bonnes performances qui se rapprochent de celles des algorithmes statiques pour lesquels la répartition de données de départ est plus étendue. L’utilisation ensuite de SAKM a montré également que nous étions capables d’apprendre l’apparition de nouvelles personnes non connues au départ et garder de bons résultats. Cependant, cela se fait au détriment de la simplicité de lecture des résultats car une même personne va être divisée souvent en plusieurs clusters. Une thématique qui reste par contre inexplorée est de savoir quel serait le comportement « sur des grands nombres » de ces algorithmes, et notamment avec un nombre très important de personnes. Cela est une piste à explorer par la suite.
En ce qui concerne les travaux sur la reconnaissance d’actions, comme montré dans les sections précédentes, nous avons réussi à extraire des caractéristiques intéressantes de notre signal RGB-D pour obtenir une classification d’actions efficace et rapide. De plus, une décision anticipée est même possible, améliorant la réactivité des systèmes sur lesquels ceci pourrait être présenté. Un travail pour le futur pour cette thématique est de combiner les deux modèles réalisés, à savoir un multi-classifieur pour l’indépendance à la position de la personne et une reconnaissance en ligne, afin de proposer un système réel pouvant reconnaître au mieux comment interagir avec la personne et ensuite de tester tout ceci en condition réelle sur un robot d’assistance. Cela fera également une collaboration supplémentaire dans l’équipe de recherche, en y associant les chercheurs en génie logiciel qui travaillent sur les architectures modulaires pour la robotique mobile.
Dans le chapitre suivant, nous allons nous intéresser au problème de la reconnaissance d’activités et la création de profils utilisateurs dans les habitats intelligents. Nous distinguerons les actions des activités et nous décrirons la manière dont sont extraites les données et dont est effectuée la classification.
3.2 Identification/ré-identification de personnes dans des réseaux de caméras : de l’extraction d’informa- tion à la classification en ligne . . . 36
3.2.1 Acquisition et traitement de données vidéos . . . 36 3.2.2 But et originalité des travaux . . . 37 3.2.3 Base de données de test . . . 38 3.2.4 Extraction des caractéristiques . . . 38 3.2.5 Sélection et résultats . . . 39 3.2.6 Discussion sur les attributs extraits . . . 40 3.2.7 Techniques d’apprentissage pour l’identification et la ré-identification de personnes . . . 41 3.2.8 Conclusions des travaux . . . 44
3.3 Reconnaissance d’actions . . . 45
3.3.1 Les cameras RGB-D . . . 45 3.3.2 Extraction d’informations dans les signaux vidéos RGB-D . . . 47 3.3.3 Classification indépendante de l’orientation . . . 48 3.3.4 Expérimentations . . . 51 3.3.5 Classification au fil de l’eau et anticipée . . . 53 3.3.6 Conclusion de ces travaux . . . 57
3.4 Conclusions . . . 57
4.1 Introduction et verrous scientifiques à lever
Nous avons introduit, dans le chapitre précédent, la reconnaissance d’actions à partir de données issues de caméras dites 4D (pour laquelle nous avons le plan, la profondeur et le temps). Dans le chapitre précédent, comme dans l’ensemble des travaux que j’ai effectué, ce que nous définissons comme action est un ensemble de gestes incluant plusieurs membres de la personne et pouvant être plus ou moins complexe. Ces actions peuvent être reconnues comme précédemment montré par des caméras (2D + t ou 3D + t) ou par des capteurs inertiels.
Dans ce dernier chapitre, nous nous intéressons à des installations de capteurs plus complexes présents dans les habitats intelligents (Fig. 4.1). Dans un habitat dit intelligent, un ensemble de capteurs et d’actionneurs a été intégré dès sa construction (ou en rénovation) afin de :
— Mesurer un ensemble de paramètres liés aux conditions environnementales dans différentes pièces (température, hygrométrie, intensité lumineuse).
— D’évaluer l’utilisation de certaines fonctionnalités du logement (capteur de débit d’eau, compteur électrique équipé donnant la consommation instantanée, indicateurs donnant l’état branché ou débranché d’une prise ou donnant sa consommation en temps réel, indicateurs d’ouverture/fermeture de fenêtres ou volets, etc.).
(a) sensor (accelerometers Wearable kinematic and magnetometers) Frontal Midsagittal Transverse Microphones sensors Wide Angle Webcamera Temperature and Hygrometry sensors Door contacts Infra−Red Presence Bedroom Living Room Kitchen Bathroom WC Hall Technical Room (b)
FI G U R E4.1 – Exemple d’un habitat intelligent (Laboratoire TIMC-IMAG, Grenoble) avec la vue des caméras.
— D’agir automatiquement sur des éléments de l’habitat (ouverture ou fermeture des volets, allumage ou extinction des lumières, contrôles d’éléments importants comme des plaques gaz, contrôle des différentes prises de la maison, etc.).
À partir de ces différentes informations, il nous faut extraire des vecteurs de caractéristiques (rappelons que ces données ne sont pas homogènes et n’ont bien sûr pas la même fréquence d’échantillonnage (lorsqu’ils en ont une, souvent ils se déclenchent sur évènement). Avec ces vecteurs de caractéristique, nous voulons ici reconnaître des activités. Une activité est définie comme une suite complexe d’actions menant à la réalisation d’une tâche précise de la vie quotidienne (faire un repas, prendre un repas, se laver, s’habiller, etc.). L’intérêt de cette reconnaissance d’activités est de pouvoir caractériser la journée d’une personne, et surtout de caractériser l’évolution de ces journées au cours du temps. Ces deux caractérisations seront utiles ensuite pour tenter d’évaluer le bien-être ou l’autonomie de la personne. La reconnaissance d’activités basée sur les données capteurs d’un environnement intelligent est donc une capacité clé des applications liées à la santé, au handicap et au vieillissement. De nombreux projets autour du monde se sont attaqués à cette tâche qui consiste donc à identifier l’activité en cours à partir des données diverses récupérées (D. CO O Ket al.,2009; IN T I L L Eet al.,2006). Ce fut aussi une partie importante de mes travaux de thèse(FL E U R Y, VA C H E R et NO U R Y,2010).
Indépendamment des capteurs utilisés, pour extraire les informations sur ces données, les algorithmes de reconnais- sance d’activités discrétisent les données segmentées en fenêtres temporelles, que ces fenêtres soient de taille fixe ou variable (temporellement parlant). Chacune de ces fenêtres est alors étiquetée avec une activité, celle en cours (ou celle majoritaire dans la fenêtre ou de classe inconnue ou de rejet si c’est une transition ou une superposition d’activités, etc.). Lorsque les activités sont bien réalisées séquentiellement, ce fenêtrage ne pose que relativement peu de problème. Cependant, lorsque les activités sont entrelacées, cela est plus problématique, car une fenêtre pourra contenir plusieurs activités et il faudra alors prendre une décision concernant la manière de traiter ces cas. Dans les travaux qui seront présentés, nous avons choisi deux approches différentes : (1) créer une classe de « rejet » qui se charge de traiter ces fenêtres ou ces activités de transitions ou inconnues(FL E U R Y, VA C H E Ret NO U R Y,2010)et (2) travailler sur des algorithmes traitant ces données comme des flux et avec des algorithmes incrémentaux pour l’apprentissage (KR I S H N A Net al.,2014). De plus, un problème de déséquilibre entre les classes se pose, sur lequel
partie également des traitement à appliquer à ces données.
— À partir de ces données, sommes-nous en mesure de déterminer des informations intéressantes sur les activités de la personne puis sur ses habitudes de vie et les possibles dérives par rapport à ces habitudes?
— Peut-on utiliser ces dernières informations (sur les activités et les habitudes) pour permettre à la personne de mieux vivre au quotidien chez elle, en adaptant le comportement de l’habitat intelligent aux besoins et aux souhaits de l’occupant?
Pour répondre à ces questionnements, dans ce chapitre, une première partie état de l’art va revenir sur les différentes étapes du traitement des données dans les habitats, puis seront abordés successivement des résultats en termes d’extraction et de sélection d’information puis de classification. Enfin, une section abordera la construction et la mise à jour de profils utilisateurs dans ces habitats afin d’être en mesure d’offrir un meilleur service individualisé dans les automatisations.