~ ~ ~ Segmentation des personnes Rehaussement Carte de profondeur Rehaussement Seuillage Suppression d’une partie de l’arrière-plan Détection du patient Restauration des informations manquantes Extraction de 3 articulations: tête, centre des épaules et centre de masse
F
IGURE4.7 – Processus d’extraction de 3 points 3D correspondant à 3 articulations dans
le corps : le centre de la tête, le centre des épaules et le centre de masse.
La couleur est une information très importante qui permet de mieux comprendre et interpréter une scène. Dans notre cas, elle représente un élément essentiel pour la segmentation de la per-sonne dans l’image. Il convient donc de choisir un espace de représentation couleur qui permet la meilleure segmentation. Nous avons choisi le CoLIP [173] comme espace de représentation de la couleur après avoir effectué une série de comparaisons avec les espaces couleur L∗a∗b∗ et HSL. Nous exploitons le système logarithmique antagoniste du modèle CoLIP représenté par une composante achromatique logarithmique ˜a et deux composantes chromatiques logarith-miques ˜rg et ˜yb, correspondant respectivement à un signal d’opposition rouge-vert et un signal d’opposition jaune-bleu, ainsi que son extension en modèle d’apparence couleur ˜H∆S˜∆L˜∆[185].
˜
H, ˜Set ˜Lreprésentent respectivement la teinte, la saturation et la clarté. D’après nos expériences, le modèle CoLIP est le plus robuste face aux changements d’éclairage.
(a) Image couleur. (b) Composante ˜a.
(c) Composante ˜rg. (d) Composante ˜yb.
F
IGURE4.8 – Exemple d’image couleur avec les composantes correspondantes dans
l’espace (˜a, ˜rg, ˜yb).
La profondeur représente également une information très importante. Elle permet de réduire la zone de recherche de la personne, notamment dans notre cas puisque nous connaissons à peu près l’intervalle de la distance entre le patient et le capteur. Nous utilisons donc la carte de profon-deur renvoyée par Kinect et associant à chaque pixel de l’image couleur la distance dans l’espace 3D entre l’objet représenté par ce pixel et le capteur en mm. Une ouverture morphologique est appliquée sur la carte de profondeur pour lisser les valeurs de profondeur et réduire le bruit dû à l’acquisition. La scène à analyser contient des informations sur le corps humains mais aussi son environnement. Pour garder uniquement les informations sur le corps humain, un seuillage est appliqué sur la carte de profondeur.
Le principe est de détecter le patient dans une image donnée en fonction de l’image couleur et de la carte de profondeur correspondante. La segmentation de la couleur de peau est souvent utilisée comme un outil robuste pour la détection de visage et de mouvement humain. Elle représente une étape primordiale dans notre algorithme. En effet, la détection de la couleur de peau permettra une réduction importante de la zone de recherche. Cette zone dépendra de la profondeur et la localisation des régions de peau.
Il existe dans la littérature plusieurs méthodes pour distinguer la région de peau du reste de l’image et construire un modèle de couleur de peau. Nous nous intéressons à une méthode dite “Explicit Skin Cluster”. Cette méthode consiste à définir explicitement les frontières de la région peau (cluster) dans un espace de couleur approprié. L’avantage des méthodes utilisant la tonalité de pixel est la simplicité des règles de détection de la peau utilisées entraînant une classification rapide. De plus, elles ne nécessitent aucun apprentissage préalable. Néanmoins, leur problème majeur est la difficulté de déterminer empiriquement un espace couleur et des règles de décision pertinents qui assurent un taux de reconnaissance élevé.
Bien que la couleur de la peau puisse considérablement varier, les récentes recherches révèlent que la différence principale est plutôt dans l’intensité que dans la chrominance [186]. Différents espaces de couleur sont utilisées afin d’étiqueter les pixels comme pixels de couleur de peau : RGB, HSV , Y CbCr, etc. Dans l’espace RGB, une couleur est classée comme peau si elle vérifie une suite de contraintes en fonction de l’état de l’éclairage. Dans le cas d’un éclairage fort, la couleur de peau est définie par :
R >95 et G > 40 et B > 20 et max{R, G, B} − min {R, G, B} > 15 et |R − G| > 15 et R > G et R > B (4.16)
Dans le cas d’un éclairage faible, elle est définie par : �
((R > B) et (G > B)) ou ((R > 220) et
(G > 210) et (B > 170) et (ABS(R − G) ≤ 15)) (4.17) Dans l’espace HSV (Hue, Saturation, Value), la couleur de peau est définie en fonction de la teinte H et la saturation S :
0 < H < 50 et 0.23 < S < 0.68 (4.18) avec H ∈ [0◦,360◦] et S ∈ [0, 1].
Dans l’espace Y CbCr, il existe deux seuillages [187, 188] pour définir la couleur de peau : ((Cb >= 85) et (Cb <= 135)) et ((Cr >= 135) et (Cr <= 180)) (4.19) et
((Cb >= 77) et (Cb <= 127)) et ((Cr >= 133) et (Cr <= 173)) (4.20) avec Cb et Cr représentent l’information chromatique.
En se basant sur le principe de cette méthode “Explicit Skin Cluster”, nous utilisons une com-binaison de deux espaces couleur, le CoLIP comme modèle d’apparence couleur et le RGB, pour définir des seuils permettant de segmenter la couleur de peau. L’intérêt du modèle CoLIP
est qu’il est basé sur la perception humaine : il exprime la façon dont le système visuel humain perçoit la couleur d’un objet en tenant compte de l’éclairage et de l’environnement. La méthode proposée convient bien pour notre travail. L’idée est de combiner les composantes teinte et satu-ration du modèle CoLIP avec les composantes R, G et B de l’espace RGB dans le but d’avoir un domaine variable pour la couleur de peau et ainsi d’améliorer la robustesse de la méthode de dé-tection. En effet, la teinte est liée à la saturation qui elle-même dépend de la luminance : lorsque la luminance est proche de 0 ou de 1, la dynamique de la saturation diminue et la teinte contient une information de moins en moins pertinente. La teinte correspond physiquement à la longueur d’onde dominante d’un stimulus de couleur. La saturation est le niveau de coloration d’un objet par rapport à sa propre luminosité. Elle mesure la pureté de la couleur. Ainsi, la combinaison de la teinte et de la saturation définit un domaine fixe de la couleur de peau. L’objectif des composantes R, G et B est de privilégier des couleurs et d’en négliger d’autres. Après avoir détecté les régions de peau, nous combinons les résultats de cette détection avec ceux du seuillage appliqué sur la carte de profondeur pour segmenter les personnes présentes dans l’image et ensuite extraire le patient.
Enfin, nous effectuons l’extraction de trois articulations : centre de masse, centre de la tête et le centre des épaules. Cette étape dépend de certaines caractéristiques de la région recherchée (tête, épaule) telles que la surface, la longueur et la forme. De plus, la tête est déterminée en fonc-tion de la région de peau détectée auparavant. Nous déterminons par la suite les coordonnées de chacune de ces trois articulations.
4.4.3/ S
EGMENTATION AUTOMATIQUE DU PATIENTDans cette section, nous détaillons les différentes étapes permettant la segmentation du patient dans une image donnée.