d’activités
L’analyse de l’activité motrice du corps et la reconnaissance de l’activité avec des capteurs de mouvements ont été largement étudiés dans la littérature. De nombreux travaux de recherche se sont intéressés à la reconnaissance de l’activité humaine telles qu’être immobile, marcher, courir, sauter, boire ou encore monter et descendre les escaliers (Fontana et al.,2014; Isoda et al.,2015; Ishimaru et al., 2014) et notamment pour des patients victimes d’AVC (Edgar et al.,2010; Capela et al., 2015; Dobkin et al., 2011). Deux approches principales ont émergé pour
reconnaître ces activités : (i) l’utilisation des capteurs de mouvements des smartphones et (ii) l’utilisation de capteurs de mouvements positionnés sur le corps.
5.2.1
Utilisation
des
capteurs
de
mouvements
des
smartphones
La première approche consiste à utiliser les données collectées uniquement par un smartphone lors de son utilisation (Su et al., 2014; Anguita et al., 2012; Siirtola and Röning,2012; Kaghyan and Sarukhanyan,2012). Il peut être dans la poche ou dans la main (Ghosh and Riccardi, 2014; Yang,2009; Lau et al.,2010) (Figure 5.1). Par exemple, Kose et al. (2012) ont montré des performances prometteuses d’environ 92% pour reconnaître en temps réel quand le sujet marche, court, s’assoit et se lève à l’aide d’un algorithme des k plus proches voisins. D’autres ont utilisé un modèle de Markov caché (Hidden Markov Model - HMM) avec les données d’accélération d’un smartphone pour reconnaître les activités humaines comme être assis, marcher ou dormir (Lee and Cho,2011; Niu and Abdel-Mottaleb,2005; Hu et al., 2009). Par exemple, Xie and Wu (2012) ont obtenu un taux de reconnaissance de 72.2% à l’aide d’un accéléromètre intégré à un smartphone. Les réseaux de neurones ont aussi été largement utilisés en raison de leurs excellentes performances (Zeng et al., 2014) et en particulier les réseaux de neurones profonds (Deep Neural Network - DNN) (Hayashi et al., 2015). En effet, il est possible d’atteindre des performances de reconnaissance proche de 95% avec un smartphone pour des activités comme marcher, monter, descendre les escaliers, s’allonger ou encore marcher (Ronao and Cho, 2016). Bien que l’utilisation d’un smartphone pour reconnaître diverses activités soit intéressante, le suivi d’activité devient impossible lorsque le smartphone est posé sur une table et n’accompagne plus l’utilisateur.
5.2.2
Utilisation de capteurs de mouvements positionnés sur
le corps
La seconde approche utilise des capteurs de mouvements positionnés sur le corps et permet de répondre à cette limitation puisque les capteurs accompagnent constamment les utilisateurs (Ravi et al., 2005; Parkka et al., 2006; Forster et al., 2010). De nombreuses recherches ont utilisé les données collectées par ces capteurs, principalement des accéléromètres, pour reconnaître des activités comme boire, marcher, s’assoir, courir ou passer l’aspirateur (Gupta and Dallas, 2014; Zappi et al., 2008; Ganti et al., 2006; Sarcevic et al., 2015). Certains ont utilisé un seul dispositif portable (Figure 5.2). À titre d’exemple, Thomaz et al. (2015) ont utilisé un accéléromètre placé sur le poignet pour
Figure 5.1 – Exemples de placement du smartphone pour surveiller l’activité motrice (Ouchi
and Doi,2013)
reconnaître l’utilisation d’ustensiles ou des mains pour manger avec un taux de reconnaissance satisfaisant (75%). Ces résultats ont été confirmés par Zhang et al. (2009) qui ont atteint un taux de reconnaissance de 87%.
(a) (b) (c)
Figure 5.2 – Exemples de plates-formes avec un seul capteur positionné : (a) le poignet (Koskimaki et al.,2009),(b)sur les hanches (He and Jin,2008) et(c)sur la cheville (Pärkkä et al.,2010)
D’autres travaux ont fusionné les données provenant de plusieurs appareils (Figure 5.3). Par exemple, Bao and Intille (2004) ont placé cinq accéléromètres bi-axiaux sur une vingtaine de sujets et ont obtenu un taux de reconnaissance de 88.67% avec un arbre de décision. Ils ont également comparé ces résultats aux performances obtenues avec une table de décision et une classification naïve bayésienne et ont montré que l’arbre de décision offre les meilleures performances de reconnaissance. D’autre part, He and Jin (2009) ont combiné une machine à vecteur de support (Support Vector Machine - SVM) avec la DCT et ont obtenu un taux de reconnaissance de 97.51% lors de la classification de quatre activités (courir, être immobile, sauter et marcher). Avec la même
méthode, Sun et al. (2010) ont obtenu un taux de reconnaissance moyen de 93.2%. L’algorithme des k plus proches voisins a aussi été utilisé avec des données provenant de capteurs positionnés sur le poignet, le cou et les hanches (Pirttikangas et al., 2006). Les résultats montrent un taux de reconnaissance de 90.61%. Enfin, les réseaux de neurones montrent de très bonnes performances lors de la reconnaissance d’activités (Hammerla et al.,2016; Casale et al., 2011) et notamment avec un DNN (Zebin et al., 2016; Zhang et al.,2015). Cependant, il est nécessaire de placer un ou plusieurs capteurs sur le corps, ce qui peut entrainer un rejet de la technologie chez des patients âgés et atteints de troubles moteurs liés à un AVC.
(a) (b) (c)
Figure 5.3 – Exemples de plates-formes multi-capteurs :(a) et(b)avec deux capteurs (Yang et al.,2010; Zhu and Sheng,2009) et(c)avec six capteurs (Atallah et al.,2011)
Par ailleurs, Junker et al. (2008) ont utilisé un HMM afin de reconnaître la tâche Boire à partir d’un signal continu de plusieurs évènements (Figure 5.4). De même, Amft et al. (2005) ont utilisé plusieurs accéléromètres et un HMM pour reconnaître les différents gestes réalisés par le bras lors de l’exécution de la tâche
Boire pendant un repas. Ils ont obtenu une précision de reconnaissance de 87% en
utilisant les données continues provenant des capteurs.
5.2.3
Discussion
L’utilisation de smartphone pour reconnaître les activités humaines a montré son efficacité à deux nombreuses reprises. Cependant, il devient impossible de surveiller l’activité des personnes lorsque le smartphone n’est pas en leur possession. Afin de pallier ce problème, des capteurs de mouvements ont été positionnés directement sur le corps. Néanmoins, il est nécessaire de positionner correctement les capteurs et d’annoter leur placement, ce qui rend leur utilisation
Figure 5.4 – Exemple de reconnaissance de la tâche Boire avec des capteurs positionnés sur
le corps (Junker et al.,2008)
peu adaptée pour le suivi des patients victimes d’AVC atteints d’hémiparésie, notamment dans une perspective de suivi à domicile. Certaines recherches se sont donc intéressées à l’utilisation de capteurs de mouvements intégrés dans des objets de la vie quotidienne. Par exemple, Wang et al. (2005) ont positionné un accéléromètre directement sur un verre afin de détecter lorsque l’utilisateur boit. Après avoir collecté des données auprès de quatre participants et avoir entraîné un arbre de décision, un perceptron multi-couches (Multi-Layer Perceptron - MLP) et une SVM, les résultats indiquent que le SVM offre le meilleur compris entre performances de reconnaissance (90%) et identification de nouvelles actions inconnues avec capacité de généralisation. Enfin, le temps de calcul et l’espace mémoire requis pour reconnaître une ou plusieurs activités avec les méthodes présentées précédemment sont parfois importants. En effet, beaucoup de travaux sur la reconnaissance d’activité ont développé diverses techniques pour améliorer le taux de reconnaissance des activités mais très peu ont cherché à optimiser les paramètres d’entrée des algorithmes (Da Silva and Galeazzo, 2013).
Afin de reconnaître la tâche Boire, nous allons adopter une méthode d’apprentissage automatique qui se base sur les données de mouvements collectées par le verre SyMPATHy et l’utilisation d’un SVM qui s’inspire des travaux existants (Wang et al., 2005) en se concentrant sur l’optimisation des paramètres d’entrés de cet algorithme. Nous allons également mener une étude comparative visant à comparer les performances de ce modèle à celles d’un MLP. Pour analyser la flexion du coude, nous allons adopter une méthode d’apprentissage automatique basée sur un DNN. Nous mènerons également une étude comparative visant à comparer les performances de ce modèle à celles d’un SVM, d’un arbre de décision et d’une classification naïve bayésienne. Enfin, en s’inspirant des résultats obtenus pour la reconnaissance de la tâche Boire, nous adopterons une méthode d’apprentissage automatique similaire utilisant les données collectées par SyMPATHy et un SVM afin de reconnaître différentes activités élémentaires comme S’asseoir, Se lever, Marcher ou encore
surveillance de l’indépendance des patients à domicile à l’aide d’objets de la vie quotidienne.
Les travaux présentés dans la suite de ce chapitre n’ont pas pour vocation de comparer l’ensemble des techniques d’apprentissage mais se basent sur des techniques populaires qui présentent de bons résultats. Ils s’appuient également sur les travaux réalisés par Hamdi Amroun lors de sa thèse "Modèles statistiques avancés pour la reconnaissance de l’activité physique en utilisant un réseau d’objets connectés dans un environnement non contrôlé".