Méthodes dédiées à la détection d’apnées

Un paramètre secondaire à la respiration est la détection d’apnée au cours de la mesure. Cette information permet de confirmer certains diagnostics (apnée du sommeil) ou de ga-gner du temps sur des situations d’urgence (apnée d’un nourrisson pouvant amener à un arrêt cardiaque). La détection d’apnée ne semble pas être un sujet très étudié avec la pho-topléthysmographie sans contact. Néanmoins, les méthodes utilisées avec d’autres méthodes peuvent potentiellement être réutilisées avec la photopléthysmographie à condition de faire leur analyse sur un signal respiratoire. Par exemple, Lorato et al. [82] réalise une détection d’apnée en utilisant des vidéos de nouveaux nés. Pour cela, le travail proposé consiste à mesurer le signal respiratoire en se basant sur un algorithme de détection du mouvement puis à faire une détection des apnées en comparant l’écart type sur des fenêtres courtes et longues. Une forte baisse de l’écart type de la fenêtre courte par rapport à l’écart type de la fenêtre longue va alors correspondre à une apnée.

Les algorithmes de machine learning peuvent également être mis à contribution dans la détection d’apnées. Par exemple, les travaux de [144] ont consisté à extraire un signal res-piratoire à l’aide de la rPPG et de détecter des apnées sur le signal resres-piratoire obtenu. Pour cela, les algorithmes SVM (Support Vector Machine), K-nearest neighbors et XGBoost ont été testés sur le signal respiratoire. L’article parle de rPPG mais la description de la méthode et notamment les figures laissent penser que la mesure du signal respiratoire se fait à l’aide des mouvements du torse de la personne. Néanmoins, comme la classification se fait sur un signal respiratoire on peut supposer que les résultats seraient similaires en utilisant des signaux extraits à l’aide de la rPPG traditionnelle.

2.6 Estimation de la qualité du signal

Malgré les améliorations de ces méthodes, il n’est pas possible de toujours pouvoir extraire un signal rPPG de qualité suffisante. Dans des situations réelles, la présence de mouvements, de variations de luminosité ou la qualité de la caméra font que le signal rPPG peut contenir des segments inutilisables. Dans ce contexte, un traitement important des signaux rPPG va être de pouvoir déterminer les segments qui n’ont pas une qualité suffisante pour pouvoir avoir une mesure fiable. Cette différenciation va généralement se faire en calculant une métrique de qualité et en effectuant un seuillage. Le choix du seuil va dépendre de la nécessité d’avoir des estimations fiables tout en ayant suffisamment de mesures. Le point principal des algorithmes de mesure de la qualité va être de fournir une valeur qui soit aussi proche que possible de la qualité réelle du signal. Pour cela, de nombreuses approches ont été mises en place afin de pouvoir fournir une valeur de la qualité la plus fiable possible.

Par exemple, dans [154], la qualité du signal est estimée en calculant deux métriques. La première métrique se calcule en amont des algorithmes rPPG et la deuxième métrique en aval, ce qui permet de les appliquer indépendemment de l’algorithme utilisé pour l’extraction du signal. La métrique en amont étudie les conditions d’illumination et les propriétés de la peau. Quatre aspects de la source de lumière sont considérés sur cette métrique : l’intensité lumineuse, le type de lumière (spot ou parallèle, spot étant à éviter), le spectre lumineux (qui affecte la composante spéculaire) et la direction de la lumière (qui détermine la proportion de la lumière modulée par le mouvement). À cela s’ajoute deux caractéristiques de la peau : la teinte de la peau (les peaux foncées présentant une qualité de signal plus faible du fait

de l’absorption par la mélanine) et le nombre de pixels de peau qui sont considérés (ceux-ci permettant de supprimer le bruit d’échantillonnage).

Une autre façon d’estimer la qualité de la mesure se fait à l’aide de modèles statistiques. Le signal est modélisé et une fois adapté les paramètres obtenus permettent de fournir des renseignements sur la ressemblance du signal avec le modèle. Ainsi, [15] propose une méthode basée sur un modèle de Markov caché afin de modéliser la forme de la pulsation cardiaque. Le modèle est constitué de quatre états (signal croissant, maximum local, signal décroissant, minimums). En comparant le signal avec le modèle, il est possible de déterminer la qualité du signal en calculant le Bayesian Information Criterion.

2.7 Le cas de l’apprentissage profond

Le schéma présenté dans la figure 2.15 est très souvent respecté dans les travaux réalisés avec un cloisonnement fort de chaque algorithme. Néanmoins, il existe des situations dans lesquelles ce cloisonnement est réduit afin d’améliorer l’efficacité des algorithmes. Ce cas a notamment été discuté dans la section sur les combinaisons (chapitre 2, section 2.4) avec la méthode SSR qui réutilisait la détection de pixels de peau pour déterminer une combinaison idéale. D’autres travaux ignorent totalement ce pipeline en introduisant un seul algorithme qui regroupe plusieurs traitements en un seul algorithme, généralement de deep learning. Ces algorithmes sont entraînés par un jeu de données de très grande taille de façon à adapter automatiquement leurs paramètres et déterminer au mieux les mesures attendues. On trouve notamment ces algorithmes pour l’extraction du rythme cardiaque et de la variabilité du rythme cardiaque. Ces méthodes ont connu un essor à la suite du début de la thèse et représentent une nouvelle façon de considérer les méthodes de photopléthysmographie sans contact. Elles permettent de mieux prendre en compte les non-linéarités qui sont souvent retrouvées dans des signaux biologiques en ajustant des fonctions extrêmement complexes de manière automatisée. En retour, elles nécessitent de très grands jeux de données et il est difficile de garantir que leurs performances resteront les mêmes sur des données inconnues (à part en utilisant un autre jeu de données pour l’évaluation). Les méthodes d’apprentissage profond sont très éloignées des travaux réalisés au cours de la thèse. Néanmoins, les méthodes d’apprentissage profond représentent aujourd’hui une part très importante des nouvelles contributions à la photopléthysmographie sans contact, et il n’était donc pas possible de les ignorer complètement.

Parmi ces nouvelles contributions, on trouve le travail de Kopeliovich et al. [69] dans le-quel une estimation du rythme cardiaque est obtenue en utilisant un réseau de neurones convolutionnel. Pour cela, on considère comme entrée les signaux RGB sur un ensemble de portions du visage. Ces signaux sont définis sur une durée donnée et fournis en entrée du réseau. Le réseau de neurones permet alors d’obtenir une estimation du rythme cardiaque sur la portion considérée. Dans l’article, l’estimation du rythme cardiaque est considérée soit comme un problème de régression ou de classification.

Dans l’article [25], un réseau de neurones convolutionnel est employé de façon à extraire un rythme cardiaque et respiratoire directement depuis une vidéo. L’intérêt de cette méthode est de mieux gérer les mouvements de la tête, néanmoins il y a moins de contrôle sur les différents paramètres à ajuster. Le système repose sur une représentation du mouvement basé sur la réflexion de la peau et sur un modèle d’attention. Ce modèle repose sur le concept de la vue humaine qui prend en compte à la fois un point de petite taille mais avec une grande résolution (focus) et une zone plus floue mais très grande. Cette attention dépend des caractéristiques de l’image et est utilisée de façon à représenter le mouvement de la personne.

L’article [131] utilise également un réseau de neurones convolutionnel mais le but de celui-ci n’est plus de traiter une vidéo de bout en bout mais d’utiliser une image générée par des

méthodes d’extraction traditionnelles, de façon à améliorer la qualité de la mesure du rythme cardiaque. Afin de créer l’image en entrée du réseau de neurones, trois régions d’intérêt sont considérées. Un signal pulsatile est obtenu pour chacune de ces régions d’intérêt et une matrice est construite à l’aide de décalages successifs du signal pulsatile. Les trois images en niveaux de gris obtenues sont ensuite regroupées dans une seule image couleur afin de servir de donnée d’entrée au réseau de neurones. Le réseau est d’abord entraîné à l’aide de données synthétiques, puis une étape de transfert est effectuée avec des données réelles de façon à améliorer la détection du rythme cardiaque.

Enfin, l’emploi de l’apprentissage profond a également fait l’objet d’études pour l’extraction du HRV [83]. Cette méthode utilise l’apprentissage profond pour pouvoir estimer le HRV directement depuis les vidéos de la personne. Elle remplace donc l’ensemble du pipeline de la figure 2.15.

L’état de l’art présenté avait pour objectif de brosser un portrait assez large des différents algorithmes et des différentes configurations pouvant être utilisées pour la photopléthysmo-graphie sans contact. Celles-ci sont extrêmement nombreuses et peuvent se combiner les uns avec les autres. Dans ce cadre très large, il a été nécessaire d’effectuer des choix afin de concentrer ses efforts dessus et pouvoir produire un résultat utilisable. Dans ce contexte, le choix a été fait de mesurer le rythme respiratoire à l’aide d’une caméra RGB, en gardant comme objectif une implémentation en temps réel. Le choix du rythme respiratoire a été fait en tenant compte de sa popularité qui semble assez faible par rapport à l’importance de la mesure. En regardant la littérature il semble qu’une grande partie des méthodes utilisées pour la respiration se basent en fait sur l’extraction du rythme cardiaque. De ce fait, on sup-pose fortement que la mesure du rythme respiratoire présente un potentiel à être amélioré en réalisant des algorithmes dédiés à sa mesure. L’utilisation de caméras RGB a été faite afin de pouvoir rester dans un cadre assez classique et s’assurer que les algorithmes développés pourront être utilisés dans le plus grand nombre d’applications possibles. Enfin, l’objectif de temps réel retenu pour cette thèse était très important. En effet, la photopléthysmogra-phie sans contact côtoyant fortement le domaine médical, un grand nombre d’applications de cette technologie ne présentent aucun intérêt si les informations obtenues le sont après un délai trop important. Par exemple, la détection d’apnées chez les bébés prématurés va permettre de prévoir une détresse respiratoire et réagir plus rapidement. De ce fait, il est nécessaire de détecter les apnées le plus rapidement possible afin que le personnel médi-cal puisse réagir efficacement. Dans la suite du manuscrit, les différents travaux réalisés au cours de la thèse seront présentés en détail. Dans un premier temps, les différentes méthodes utilisées pour la comparaison des algorithmes sont présentés, avec notamment la base de données, les métriques de qualité et les graphiques utilisés. Dans un deuxième temps, les différents algorithmes sont présentés. Les principes généraux, le détail des algorithmes et les résultats obtenus avec les tests sont précisés afin de pouvoir comparer au mieux les différents algorithmes.