Pour rappel, le verre a pour objectif de surveiller l’indépendance des patients lors de la réalisation de tâches complexes impliquant les fonctions motrices de la
main et du bras. Le verre, SyMPATHy (Smart cup for Monitoring stroke PATient activity at Home), est de forme conique d’une hauteur de seize centimètres pour un poids de 338 grammes avec une base inférieure de sept centimètres de diamètre et une base supérieure de huit centimètres de diamètre. Une empreinte de main a été intégrée au verre afin d’améliorer l’affordance perceptible de ce dernier et d’encourager les patients à saisir le verre correctement. Au total, SyMPATHy pèse 338 grammes.
4.6.1
Capteurs
SyMPATHy doit mesurer les informations suivantes : • Niveau de liquide
• Orientation
• Position par rapport à un dessous de verre • Pression appliquée lors de la saisie
• Tremblements
Afin de mesurer le niveau de liquide à l’intérieur du réceptacle de SyMPATHy, nous avons opté pour la création d’un capteur de niveau de liquide personnalisé. En effet, les capteurs de niveau de liquide industriels présentent de nombreuses contraintes (faible réactivité, taille, etc.). Ce capteur personnalisé utilise la conductivité du liquide pour mesurer son niveau. Cinq électrodes conductrices ont été placées verticalement à l’intérieur du réceptacle, espacées d’un centimètre, ce qui correspond à un volume de 100 ml. Les électrodes sont connectées à quatre ponts diviseurs de tension permettant de détecter la présence de liquide. Après des mesures empiriques avec différents liquides, les résistances ont été fixées à 100KΩ pour chaque pont diviseur de tension. Une électrode placée au fond du verre sert de référence de potentiel. Les électrodes agissent comme des interrupteurs pouvant être fermés par la présence de liquide. Lorsque le liquide est versé dans le verre, un ou plusieurs ponts diviseurs de tension sont activés en modifiant les résistances mesurées.
Pour détecter l’orientation du verre et les tremblements des patients, nous avons utilisé la centrale inertielle MPU-91506 qui comprend un accéléromètre
tri-axial, un gyroscope tri-axial et un magnétomètre tri-axial. Cette centrale inertielle a été choisie en raison de ses bonnes performances conjuguées à un prix abordable. Par ailleurs, la version 9250 n’était pas disponible lors du développement du verre. Les caractéristiques de ce capteur sont détaillées dans l’annexe Aau tableau A.2.
Afin de détecter la position de SyMPATHy sur un dessous de verre, nous avons
opté pour l’intégration d’un lecteur NFC (Near Field Communication). Une étiquette NFC équipée d’une antenne fait office de dessous de verre. NFC est une technologie bidirectionnelle qui permet de communiquer à courte distance avec les téléphones portables ou les ordinateurs et ne nécessite pas d’authentification. Nous avons choisi le contrôleur NFC PN532 v37. La forme de l’antenne est un
rectangle de 40,4 millimètres par 42,7 millimètres. La distance de détection verticale minimale est d’environ cinq millimètres.
Enfin, nous avons positionné cinq capteurs de pressions sur les empreintes de doigts évoquées précédemment afin de surveiller la pression appliquée sur le verre lors de la manipulation. Les capteurs utilisés sont des FSR de modèle 4028
et permettent de mesurer la pression appliquée à leur surface. Le placement de ces capteurs est illustré à la figure 4.5 leurs caractéristiques sont détaillées dans l’annexe Aau tableau A.3.
Figure 4.5 – Positionnement des capteurs de pression sur le verre
4.6.2
Architecture matérielle
Afin de collecter les informations provenant du capteur de niveau de liquide, de la centrale inertielle, du lecteur NFC et des FSR, nous avons utilisé un RPi-Z en raison du nombre important d’entrées/sorties nécessaires à la collecte de données. Comme pour l’osselet, le manque d’entrées/sorties analogiques nous a conduit à ajouter des convertisseurs analogiques-numériques pour récolter les données provenant du capteur de niveau de liquide. Les données de la centrale inertielle sont collectées par le RPi-Z à l’aide du protocole de communication I2C et les données provenant du lecteur NFC sont collectée à l’aide du protocole SPI (Serial
7. https://www.elechouse.com/elechouse/index.php?main_page=product_info&cPath= 90_93&products_id=2242
Peripheral Interface). Dans le but de proposer aux patients les retours sensoriels évoqués dans le chapitre précédent, nous avons ajouté des bandeaux de LEDs de la marque NeoPixel9 ainsi qu’un buzzer10. Un bandeau de cinq LEDs permet
de visualiser le niveau de liquide (Figure 4.6a) et un bandeau de quatorze LEDs sert à afficher l’orientation (Figure 4.6b). Le RPi-Z ne peut pas délivrer plus d’un ampère alors que chaque LED requiert soixante milliampères pour fonctionner soit 1140 milliampères au total. Un amplificateur d’intensité a donc été ajouté pour chaque bandeau de LEDs afin de leurs fournir un courant minimum d’un ampère. Le buzzer permet de jouer un son lorsque SyMPATHy est posé sur le dessous de verre (Figure 4.6c). Un interrupteur permet également d’allumer et d’éteindre l’appareil.
4.6.3
Communication sans fil et économie d’énergie
Afin d’alimenter le verre en énergie, nous avons intégré une batterie de 2500 mAh ainsi qu’un connecteur micro-USB permettant le rechargement filaire. Les données collectées par le verre sont transmises à une application mobile grâce à une liaison Wi-Fi. Nous avons opté pour l’utilisation d’une liaison Wi-Fi plutôt qu’une liaison BLE pour les mêmes raisons que celles évoquées lors de la réalisation de l’osselet (Section 4.2.3). Lors de l’utilisation du verre à domicile, plus longue que lors des exercices effectués pendant les séances de rééducation, les données seront enregistrées localement puis transmises à un ordinateur grâce à une liaison Wi-Fi lors du rechargement de l’appareil. En effet, les retours visuels consomment beaucoup d’énergie. Cette configuration évite un gaspillage énergétique et offre une autonomie accrue. SyMPATHy peut ainsi fonctionner pendant deux heures avec l’affichage visuel, et jusqu’à quatre heures sans retour visuel.
4.7
Conclusion
Ce chapitre a présenté la réalisation technique des objets de rééducation instrumentés présentés dans le chapitre précédent (Chapitre 3). Pour chaque objet, nous avons tout d’abord rappelé son objectif ainsi que les données devant être collectées. Nous avons ensuite présenté les capteurs ainsi que les critères de sélections pour remonter à ces informations. L’architecture matérielle de chaque objet et les critères de sélection des composants à intégrer a été détaillée ainsi que les retours sensoriels ajoutés à SyMPATHy. Enfin, nous avons abordé les problématiques de transfert de données et de consommation d’énergie. Le
9. https://www.adafruit.com/product/1138
(a) (b) (c)
Figure 4.6 –(a)Les cinq LEDs sont allumées car le verre est rempli,(b)le bandeau de LEDs est coloré en rouge car le verre est trop incliné et(c)un son est joué car le verre est posé sur la cible
transfert des données s’effectue donc à l’aide d’une liaison BLE ou Wi-Fi vers une application mobile qui sera présentée au chapitre suivant (Chapitre 5) en fonction des contraintes matérielles et physiques de chaque objet.
5
Chapitre
Traitement des données
Sommaire
5.1 Introduction . . . . 99 5.2 Travaux connexes sur la reconnaissance d’activités . . . . 99 5.2.1 Utilisation des capteurs de mouvements des smartphones 100 5.2.2 Utilisation de capteurs de mouvements positionnés sur
le corps . . . 100 5.2.3 Discussion . . . 102 5.3 Calcul de l’orientation . . . . 104 5.4 Analyse des tremblements . . . . 106 5.5 Analyse de la tâche Boire . . . . 107 5.5.1 Collecte de données . . . 107 5.5.2 Choix des descripteurs . . . 108 5.5.3 Filtrage et segmentation du signal . . . 109 5.5.4 Calcul de la taille des descripteurs . . . 110 5.5.5 Concaténation des descripteurs des capteurs . . . 111 5.5.6 Apprentissage du SVM . . . 111 5.5.7 Étude comparative . . . 111 5.5.8 Conclusion . . . 112 5.6 Analyse de l’extension du coude . . . . 113 5.6.1 Collecte de données . . . 113 5.6.2 Choix des descripteurs . . . 114 5.6.3 Filtrage et segmentation du signal . . . 116 5.6.4 Concaténation des descripteurs . . . 116 5.6.5 Détermination de la meilleure architecture . . . 117 5.6.6 Apprentissage du DNN . . . 118 5.6.7 Étude comparative . . . 118 5.6.8 Conclusion . . . 119 5.7 Analyse d’activité physique journalière . . . . 120 5.7.1 Collecte de données . . . 120
5.7.2 Pré-traitement et apprentissage . . . 121 5.7.3 Étude comparative . . . 121 5.7.4 Conclusion . . . 122 5.8 Conclusion . . . . 122
Les travaux présentés dans ce chapitre ont donné lieu à deux publications :
• Bobin, M., Amroun, H., Anastassova, M., Boukallel, M., & Ammi, M. (2018, Août). Smart
Cup to Monitor Stroke Patients Activities during Everyday Life. Communication présentée à
iThings, 2018 IEEE 11th International Conference on Internet of Things. IEEE.
• Bobin, M., Amroun, H., Coquillart, S., Bimbard, F., & Ammi, M. (2017, Octobre). DNN based
approach for the assessment of elbow flexion with smart textile sensor. Communication présentée à Systems, Man, and Cybernetics (SMC), 2017 IEEE International Conference on
5.1
Introduction
Les objets présentés au chapitre précédent (Chapitre 4) permettent d’accéder à de nombreuses mesures qui n’étaient jusqu’alors peu voire pas capturées par les professionnels de santé dans leur suivi des patients victimes d’AVC. Afin d’accompagner les professionnels de santé dans leur travail et de compléter leurs observations visuelles, il est indispensable de fournir à ces derniers des informations pertinentes qui soient faciles et rapides à interpréter. Pour répondre à cette problématique, nous avons mis en place plusieurs traitements qui, à partir des données brutes collectées par les objets, permettent de remonter à des informations de haut niveau comme l’orientation des objets, la détection de diverses activités de la vie quotidienne ou encore l’analyse des tremblements.
Dans ce chapitre, nous présentons tout d’abord une revue de littérature sur la reconnaissance d’activités à partir de capteurs de mouvements. Nous abordons ensuite le problème du traitement des données collectées par les objets et nous présentons les méthodes de traitement mises en place. Pour commencer, nous présentons la méthode de calcul qui permet, à partir des données de la centrale inertielle, de calculer l’orientation des objets (Section 5.3) ainsi que la fréquence et l’amplitude des tremblements (Section 5.4). Nous détaillons ensuite la méthode employée pour reconnaître la tâche Boire à partir des données de mouvements collectées par la centrale inertielle intégrée dans le verre SyMPATHy (Section 5.5). Nous présentons également la méthode employée pour calculer l’angle de flexion du coude à partir des données brutes du capteur textile (Section 5.6). Enfin, nous exposons la méthode d’analyse d’activité utilisée pour reconnaître différentes actions de la vie quotidiennes comme S’asseoir, Se lever,
Marcher ou encore Monter/Descendre des escaliers à partir des données de
mouvements collectées par la centrale inertielle intégrée dans SyMPATHy (Section 5.7).