Detection de la Presence Humaine par Vision Infrarouge : Application a la Gestion de l'energie electrique dans l'habitat

HAL Id: hal-00256015

https://hal.archives-ouvertes.fr/hal-00256015

Submitted on 14 Feb 2008

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Detection de la Presence Humaine par Vision Infrarouge : Application a la Gestion de l’energie

electrique dans l’habitat

Yannick Benezeth, Bruno Emile, Hélène Laurent, Christophe Rosenberger

To cite this version:

Yannick Benezeth, Bruno Emile, Hélène Laurent, Christophe Rosenberger. Detection de la Pres- ence Humaine par Vision Infrarouge : Application a la Gestion de l’energie electrique dans l’habitat.

Conférence Pôle Capteurs, Mar 2008, Bourges, France. pp.1-6. �hal-00256015�

D´ etection de la Pr´ esence Humaine par Vision Infrarouge : Application ` a la Gestion de l’´ Energie ´ Electrique dans l’habitat ^?

Yannick Benezeth

, Bruno Emile

, H´ el` ene Laurent

et Christophe Rosenberger

1

Institut Prisme, ENSI de Bourges - Universit´ e d’Orl´ eans, 88 boulevard Lahitolle, 18020 Bourges Cedex, France

2

Laboratoire GREYC (ENSICAEN - Universit´ e de Caen - CNRS), 6 boulevard Mar´ echal Juin,14000 Caen - France yannick.benezeth@ensi-bourges.fr

R´ esum´ e. Nous pr´ esentons dans cet article un algorithme de d´ etection et de suivi d’humains, bas´ e sur la vision infrarouge. L’objectif est ici d’avoir des informations fiables sur l’occupation d’une pi` ece. Nous utilisons pour cela, une segmentation de l’avant-plan avec une mod´ elisation de chaque pixel de l’arri` ere- plan par une distribution gaussienne, un suivi de cibles bas´ e sur le recouvrement des composantes connect´ ees et une classification bas´ ee sur une cascade de classifieurs boost´ es. Cet algorithme nous permet d’avoir un historique de l’occupation d’une pi` ece quelle que soit la luminosit´ e. Les r´ esultats exp´ erimentaux montrent l’efficacit´ e de l’algorithme propos´ e.

Mots Cl´ es : Vision artificielle, d´ etection d’humains, segmentation de l’avant-plan, suivi, classification.

Introduction

L’importance de la vision pour la surveillance des biens et la protection des personnes est aujourd’hui bien connue. Les performances des algorithmes actuels, la miniaturisation des cam´ eras et les capacit´ es de calcul des outils embarqu´ es permettent d’entrevoir de nouvelles applications pour les technologies bas´ ees sur la vision. En particulier pour les syst` emes d’aide au maintien ` a domicile et pour les syst` emes de gestion de la consommation ´ energ´ etique, il est n´ ecessaire d’avoir des informations fiables sur la pr´ esence, le nombre et l’activit´ e des personnes dans l’habitat. Alors que les performances des capteurs actuels (d´ etecteurs de mouve- ment pyro´ electrique...) ne sont en g´ en´ eral pas suffisantes puisqu’ils ne peuvent d´ etecter que des mouvements et non pas, ` a proprement parler, la pr´ esence, l’utilisation de syst` emes bas´ es sur la vision ouvre de nouvelles perspectives.

Le projet Capthom s’inscrit dans ce contexte. Il consiste ` a d´ evelopper un capteur de pr´ esence humaine dans un habitat. Il devra pr´ esenter des nets avantages par rapport aux capteurs existants, c’est ` a dire une forte immunit´ e aux d´ etections intempestives et une grande fiabilit´ e de d´ etection (personnes immobiles). Nous souhaitons disposer d’une plate-forme de r´ ef´ erence permettant d’´ etablir l’historique de l’occupation d’une pi` ece. Nous nous sommes int´ eress´ es ` a la vision infrarouge. En effet, malgr´ e un coˆ ut prohibitif, cette technolo- gie est celle qui fournit le plus d’informations, est la moins sensible aux perturbations ext´ erieures et surtout permet d’avoir une image de la sc` ene la nuit. Cette plate-forme permettra par la suite de valider d’autres algorithmes de vision bas´ es sur des technologies plus abordables (spectre visible ou proche infrarouge) et de quantifier les performances des capteurs d´ evelopp´ es pour le projet Capthom. Nous avons donc d´ evelopp´ e un algorithme de traitement d’images, bas´ e sur la vision infrarouge, capable de d´ etecter un humain dans une pi` ece et de fournir un historique de l’occupation de la pi` ece.

Mˆ eme si la demande est forte, la d´ etection d’un humain dans une image ou dans une vid´ eo est un probl` eme qui reste aujourd’hui ouvert. Il y a tout d’abord des probl` emes g´ en´ eraux, communs aux syst` emes de recon- naissance de formes pour des applications r´ eelles (variation des conditions d’acquisition). Il y a ensuite des contraintes sp´ ecifiques ` a la d´ etection d’un humain dans une image. Tout d’abord, le corps est hautement articul´ e. La silhouette d’une mˆ eme personne change au cours de la marche. Ensuite, les caract´ eristiques des

?

Ce travail a ´ et´ e r´ ealis´ e avec le soutien financier de la R´ egion Centre et du Minist` ere de l’Industrie dans le cadre du

projet Capthom du pˆ ole de comp´ etitivit´ e S

E

humains varient d’une personne ` a l’autre (couleur de la peau, coupe de cheveux, poids etc.). Les vˆ etements (la texture et la forme) et les possibilit´ es d’occultation compliquent aussi grandement le probl` eme.

Plusieurs approches ont ´ et´ e propos´ ees dans la litt´ erature pour d´ etecter un humain dans une image ou une vid´ eo. Une premi` ere approche est bas´ ee sur la silhouette du corps humain, d´ etect´ ee par une segmentation de l’avant-plan. Apr` es avoir extrait la silhouette du corps humain, Kuno et al. [1] utilisent l’histogramme de la silhouette pour la classification. Dedeoglu [2] compare la silhouette extraite avec une base de donn´ ees en calculant une distance entre la silhouette d´ etect´ ee et chaque silhouette de la base. Mae et al. [3] calculent une distance entre la silhouette d´ etect´ ee et un mod` ele pr´ ed´ efini. Ces m´ ethodes sont tr` es fortement d´ ependantes de la qualit´ e de la segmentation de l’avant-plan. De plus, elles ne peuvent fonctionner avec des cam´ eras en mouvement et des avant-plans denses.

On trouve ´ egalement d’autres m´ ethodes bas´ ees sur les diff´ erentes techniques d’apprentissage. Papageorgiou et al. [4] ont les premiers propos´ e un d´ etecteur bas´ e sur les ondelettes de Haar et les s´ eparateurs ` a vaste marge. Viola et Jones [5] ont, quant ` a eux, propos´ e un syst` eme de d´ etection bas´ e sur l’algorithme du boost- ing et les ondelettes de Haar. Plus r´ ecemment, Dalal et Triggs [6] ont d´ evelopp´ e une m´ ethode bas´ ee sur la combinaison des histogrammes de gradients orient´ es et des s´ eparateurs ` a vaste marge. Les bonnes ca- pacit´ es de g´ en´ eralisation et les performances de tels syst` emes sont aujourd’hui bien connu. N´ eanmoins, la base d’images utilis´ ee pour l’apprentissage est primordiale et est assez lourde ` a mettre en place. De plus, pour les applications de vid´ eosurveillance, beaucoup d’informations (le mouvement, les ´ ev´ enements pass´ es) ne sont pas utilis´ es.

Dans cet article, nous proposons une extension des techniques bas´ ees sur l’apprentissage en utilisant les avantages offerts par la vid´ eo. Dans notre approche, la segmentation de l’avant-plan est utilis´ ee pour limiter l’espace de recherche de notre classifieur. Comme nous n’utilisons pas la forme de la silhouette d´ etect´ ee, nous sommes moins d´ ependant de la segmentation de l’avant-plan que les m´ ethodes o` u la silhouette est utilis´ ee pour la classification. De plus, le suivi de cibles 2D augmente aussi les performances globales parce que nous avons plusieurs images d’une mˆ eme personne ` a diff´ erents instants.

Chaque ´ etape du processus (cf. figure 1) est d´ etatill´ e dans cet article. Une segmentation de l’avant-plan est d’abord r´ ealis´ ee pour localiser les objets en mouvement qui ont une temp´ erature sup´ erieure ` a l’environnement dans l’image. Dans un second temps, nous regroupons les composantes connect´ ees et nous les filtrons (les composantes trop petites sont supprim´ ees). Les zones d’int´ erˆ ets mises en relief dans les ´ etapes pr´ ec´ edentes sont suivies, trame par trame, afin d’obtenir un historique des d´ eplacements 2D. Ensuite, sachant la position de l’objet d’int´ erˆ et dans l’image et sa position dans les images pr´ ec´ edentes, nous cherchons ` a d´ eterminer la nature de l’objet d´ etect´ e. Un historique de l’occupation de la pi` ece est ensuite sauvegard´ e dans un fichier texte.

Les performances de cet algorithme sont mises en ´ evidence au travers de quelques r´ esultats exp´ erimentaux.

Enfin, nous pr´ esentons les conclusions et perspectives de ce travail.

Fig. 1. Processus mis en place

1 Segmentation de l’avant-plan

La premi` ere ´ etape de l’algorithme consiste en la segmentation l’avant-plan. Celle-ci est une ´ etape primordiale

car les ´ etapes suivantes sont fortement d´ ependantes de la qualit´ e de cette segmentation. L’objectif de ce

traitement est de simplifier au maximum l’image, sans alt´ erer les informations, pour ne laisser aux ´ etapes

suivantes que quelques r´ egions d’int´ erˆ et (r´ egions de l’image o` u il y a une forte probabilit´ e qu’il y ait un

homme). Par d´ efinition, l’arri` ere-plan est l’union de tous les objets statiques correspondant ` a la sc` ene et l’avant-plan repr´ esente tous les objets susceptibles d’ˆ etre des humains. Il existe deux grandes cat´ egories de m´ ethodes : les algorithmes bas´ es sur la diff´ erence de deux (ou trois) images successives, et les algorithmes de soustraction de l’arri` ere-plan. Les mod` eles de l’arri` ere-plan les plus utilis´ es sont un moyennage temporel, une distribution gaussienne [7, 11], un m´ elange de gaussiennes [9] ou un minimum et un maximum [8].

Nous avons montr´ e dans [10], qu’une soustraction de l’arri` ere-plan avec une mod´ elisation par une distribution gaussienne pr´ esente de bonnes performances en terme de d´ etection et en terme de temps de calcul. De plus, comme nous ne nous int´ eressons qu’` a des environnements int´ erieurs, il est inutile d’utiliser un mod` ele multi- modal, du type m´ elange de gaussiennes. Nous avons donc choisi de mod´ eliser chaque pixel de l’arri` ere-plan par une distribution gaussienne. On calcule donc tout d’abord la valeur moyenne et la variance de chaque pixel de l’arri` ere-plan. Puis, la d´ etection de l’avant-plan se fait par :

B

(x, y) = 1 si |I

(x, y) − µ

(x, y)| > τ

.σ

(x, y)

B

(x, y) = 0 sinon (1)

o` u I

(x, y) repr´ esente la valeur du pixel de coordonn´ ees (x, y) ` a l’instant t ; B

est l’image binaire repr´ esentant l’avant-plan d´ etect´ e ; µ

repr´ esente la valeur moyenne ; σ

l’´ ecart type et τ

est un seuil fix´ e empiriquement

` a 2.5.

Le mod` ele gaussien est mis ` a jour si B

(x, y) = 0. Soit :

µ

(x, y) = (1 − α).µ

(x, y) + α.I

(x, y) (2)

σ

(x, y) = (1 − α).σ

(x, y) + α.(I

(x, y) − µ

(x, y))

(3) o` u α est un seuil d´ etermin´ e empiriquement.

En plus de permettre une vision nocturne, une cam´ era infrarouge apporte une information sur la temp´ erature des ´ el´ ements dans son cˆ one de vision. En partant du principe qu’un humain est sensiblement plus chaud que son environnement, nous effectuons une binarisation de l’image pour mettre en relief les zones chaudes de l’image.

B

(x, y) = 1 si I

(x, y) > τ

B

(x, y) = 0 sinon (4)

o` u B

repr´ esente l’image binaire des zones chaudes, I(x, y) la valeur en niveau de gris du pixel de coordonn´ ees (x, y), τ

un second seuil d´ etermin´ e empiriquement. Nous effectuons ensuite un simple ”et logique” entre l’image binaire de la soustraction de l’arri` ere-plan et l’image binaire des zones chaudes.

B

(x, y) = B

(x, y) ∩ B

(x, y) (5)

o` u B

est le r´ esultat de notre segmentation de l’avant-plan. Nous regroupons ensuite les composantes con- nect´ ees et nous supprimons les composantes trop petites. Un exemple de segmentation de l’avant-plan, apr` es filtrage, est pr´ esent´ e figure 2.

Fig. 2. Exemple de segmentation de l’avant-plan

2 Suivi de cibles

Apr` es avoir d´ etect´ e les r´ egions d’int´ erˆ et dans l’image, nous souhaitons avoir un historique de leurs d´ eplacements dans le plan image. Pour conserver les performances ”temps-r´ eel”, nous avons d´ evelopp´ e un algorithme de suivi relativement simple et rapide, bas´ e sur le recouvrement des composantes connect´ ees entre les trames successives. Nous cherchons donc la correspondance entre les composantes de l’image ` a l’instant t avec les composantes ` a l’instant t − 1. Pour cela, nous calculons H

, la matrice de correspondance ` a l’instant t :

H

=







β

. . . β

.. . . . . .. . β

. . . β





 (6)

o` u M et N correspondent respectivement aux nombres de composantes connect´ ees ` a l’instant t − 1 et ` a l’instant t. β

= 1 si la composante i ` a l’instant t − 1 et la composante j ` a l’instant t se recouvre, β

= 0 sinon. L’analyse de la matrice H

nous permet de connaˆıtre la correspondance entre les composantes de l’image ` a l’instant t avec les composantes ` a l’instant t − 1. Par exemple, si deux composantes a et b ` a l’instant t − 1 et une ` a l’instant t se recouvrent, nous fusionnons les deux composantes a et b en une seule composante. Notre algorithme est capable de g´ erer les regroupements entre plusieurs composantes et la s´ eparation d’une composante en plusieurs. Cependant, comme nous n’utilisons aucun mod` ele pour la cible suivie et que nous n’estimons pas le mouvement de nos cibles, nous ne sommes pas capables de g´ erer les occultations. Pour notre application, cela n’a pas beaucoup de cons´ equence : si un objet disparaˆıt, il sera consid´ er´ e comme ´ etant un nouvel objet lorsqu’il r´ eapparaˆıtra.

3 Reconnaissance d’un humain

Une fois la r´ egion d’int´ erˆ et d´ etect´ ee et suivie, nous souhaitons connaˆıtre la nature de l’objet, en l’occurence, si c’est un humain. La r´ egion d’int´ erˆ et d´ etect´ ee pr´ ec´ edemment est donc analys´ ee.

Pour cela, il est possible d’extraire certaines caract´ eristiques de la r´ egion d’int´ erˆ et (contours, couleurs, tex- tures...) pour trouver une combinaison de ces caract´ eristiques sp´ ecifiques ` a notre classe (les humains). Mais pour des objets complexes, il est tr` es difficile de trouver un mod` ele g´ en´ erique. Les humains ont diff´ erentes tailles, couleurs, le corps est articul´ e ... C’est pourquoi nous avons pr´ ef´ er´ e prendre le parti de construire un mod` ele statistique par les techniques d’apprentissage.

Nous avons donc besoin d’une base d’apprentissage compos´ ee d’exemples positifs et n´ egatifs (images qui contiennent ou non un humain). Durant l’apprentissage, diff´ erentes caract´ eristiques sont extraites des ex- emples positifs et n´ egatifs et un mod` ele statistique est construit. Il existe dans la litt´ erature beaucoup de descripteurs et beaucoup de techniques d’apprentissages. Nous avons choisi d’utiliser le syst` eme initialement propos´ e par Viola et Jones [5] pour d´ etecter des visages. Cette m´ ethode est bas´ ee sur les ondelettes de Haar et l’algorithme du boosting Adaboost.

Notre base d’apprentissage est compos´ e de 3965 images n´ egatives et 956 images positives (cf. figure 3). Les images viennent des bases d’images OTCBVS [12, 13] et d’images collect´ ees avec une cam´ era infrarouge dont la v´ erit´ e terrain a ´ et´ e manuellement d´ efinie.

Fig. 3. Exemples d’images positives

Nous utilisons l’ensemble des 14 descripteurs d´ ecrits figure 4. Chaque descripteur est compos´ e de deux ou trois rectangles blancs et noirs. La valeur du descripteur x

est calcul´ ee par une somme pond´ er´ ee de la valeur des pixels de chaque composante noire et blanche.

Chaque descripteur est ensuite utilis´ e comme un classifieur faible, tel que :

f

=

+1 si x

≥ τ

−1 si x

< τ

(7)

Fig. 4. Ensemble des descripteurs utilis´ es Fig. 5. Cascade de classifieurs boost´ es

o` u +1 correspond ` a la pr´ esence d’un homme dans la fenˆ etre d’entr´ ee et −1 non, τ

est un seuil. Un classifieur plus robuste est ensuite construit avec plusieurs classifieurs faibles par la m´ ethode du boosting [14].

F

= sign(c

f

+ c

f

+ . . . + c

f

) (8) Ensuite, une cascade de classifieurs boost´ es est construites (cf. figure 5). Une fenˆ etre d’entr´ ee est analys´ ee successivement par chaque classifieur boost´ e F

qui peut envoyer la fenˆ etre au classifieur suivant ou rejeter la fenˆ etre. Les classifieurs simples sont plac´ es en premier, ils permettent de rejeter rapidement un grand nombre de fenˆ etres correspondant ` a l’arri` ere-plan.

4 R´ esultats exp´ erimentaux

La vitesse de notre d´ etecteur est ´ etroitement li´ ee au nombre et ` a la taille des r´ egions d’int´ erˆ et. Cependant, pour une vid´ eo de taille 564 ∗ 360, notre algorithme est capable de traiter approximativement 30 images par secondes lorsqu’il n’y a aucune r´ egion d’int´ erˆ et ` a analyser et de 15 ` a 20 images par seconde lorsqu’il y a une r´ egion d’int´ erˆ et ` a analyser. Cette vitesse d’execution est compatible avec les contraintes temps r´ eel de notre syst` eme. Un exemple de d´ etection est montr´ e figure 6. L’ellipse verte correspond ` a la r´ egion d’int´ erˆ et d´ etect´ ee, un rectangle rouge s’affiche ensuite s’il y a un humain au voisinage de cette r´ egion d’int´ erˆ et.

Fig. 6. Exemple de d´ etection

Conclusion

Nous avons pr´ esent´ e dans cet article un syst` eme complet de d´ etection de la pr´ esence humaine dans un environnement int´ erieur bas´ e sur le syst` eme de d´ etection de visages [5]. Ce syst` eme permet une r´ eduction de l’espace de recherche dans chaque trame en recherchant des objets chauds en mouvement dans la vid´ eo. Avec un module de suivi de cibles, nous sommes capables d’avoir un historique des d´ eplacements dans la pi` ece.

Cet historique sera ensuite utilis´ e dans des travaux ult´ erieurs pour valider des algorithmes de vision avec du mat´ eriel ` a moindre coˆ ut (dans le domaine spectral visible ou proche infrarouge) ou d’ autres technologies (ultrason, capteur pyro´ electrique ...).

Les r´ esultats exp´ erimentaux ont montr´ e les performances de notre approche. Cependant, il existe encore de nombreux axes de travail. Tout d’abord, nous devons travailler sur la qualit´ e de la base d’images pour l’apprentissage, la performance du classifieur est ´ etroitement li´ ee avec la qualit´ e de cette base d’images.

Nous devons ´ egalement apprendre plusieurs classifieurs pour un humain. En effet, comme nous travaillons en environnement int´ erieur, les occultations sont fr´ equentes, il serait donc judicieux d’apprendre, en plus du corps entier, une autre partie du corps qui est plus souvent visible (e.g. la tˆ ete et les ´ epaules).

R´ ef´ erences

1. Y. Kuno, T. Watanabe, Y. Shimosakoda and S. Nakagawa, ”Automated Detection of Human for Visual Surveillance System”, Proceedings of the International Conference on Pattern Recognition, 865–869, 1996

2. Y. Dedeoglu, ”Moving object detection, tracking and classification for smart video surveillance”, PhD thesis, bilkent university, 2004

3. Y. Mae, N. Sasao, K. Inoue T. Arai, ”Person detection by mobile-manipulator for monitoring”, The Society of Instrument and Control Engineers Annual Conference, 2003

4. C. Papageorgiou, M. Oren and T. Poggio, ”A general framework for object detection”, 6th International Conference on Computer Vision, 555–562, 1998

5. P. Viola and M. Jones, ”Rapid object detection using a boosted cascade of simple features”, Proceedings of the conference on Computer Vision and Pattern Recognition, 511–518, 2001

6. N. Dalal and B. Triggs, ”Histograms of oriented gradients for human detection”, IEEE Computer Society Confer- ence on Computer Vision and Pattern Recognition, 886–893, 2005

7. S. Yoon and H. Kim, ”Real-time multiple people detection using skin color, motion and appearance information”, Proceedings of the International Workshop on Robot and Human Interactive Communication, 331-334, 2004 8. I. Haritaoglu, D. Harwood, and LS. David. ”W4 : real-time surveillance of people and their activities”, IEEE

Transaction on Pattern Analysis and Machine Intelligence, 809-830, 2006

9. C. Stauffer and E. Grimson, ”Adaptive background mixture models for real-time tracking”, Proceedings of the conference on Computer Vision and Pattern Recognition, 246–252, 1999

10. Y. Benezeth, B. Emile and C. Rosenberger, ”Comparative Study on Foreground Detection Algorithms for Human Detection”, Proceedings of the Fourth International Conference on Image and Graphics, 661–666, 2007

11. J. Han and B. Bhanu, ”Detecting moving humans using color and infrared video”, Proceedings of IEEE Interna- tional Conference on Multisensor Fusion and Integration for Intelligent Systems, 228–233, 2003

12. J. Davis and M. Keck, ”A two-stage approach to person detection in thermal imagery”, In Proceedings Workshop on Applications of Computer Vision, 2005

13. J. Davis and V. Sharma, ”Background-Subtraction using Contour-based Fusion of Thermal and Visible Imagery”, Computer Vision and Image Understanding, 162–182, 2007

14. R.E. Schapire, ”The boosting approach to machine learning: An overview”, MSRI Workshop on Nonlinear Esti-

mation and Classification, 2002