HAL Id: tel-00633109
https://tel.archives-ouvertes.fr/tel-00633109
Submitted on 17 Oct 2011
HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.
Intégration de méthodes de représentation et de classification pour la détection et la reconnaissance
d’obstacles dans des scènes routières
Bassem Besbes
To cite this version:
Bassem Besbes. Intégration de méthodes de représentation et de classification pour la détection et la reconnaissance d’obstacles dans des scènes routières. Autre [cs.OH]. INSA de Rouen, 2011. Français.
�NNT : 2011ISAM0007�. �tel-00633109�
Institut National des Sciences Appliquées de Rouen
Laboratoire d'Informatique, du Traitement de l'Information et des Systèmes
Thèse de Doctorat
Discipline : I
NFORMATIQUEPrésentée par
Bassem Besbes
Pour obtenir le titre de docteur de l’INSA de Rouen
Intégration de méthodes de représentation et de classification pour la détection et la reconnaissance d'obstacles dans des scènes routières
Soutenue le 16/09/2011 devant le jury composé de :
Jacques Jacot Laboratoire de Production Microtechnique, EPFL, Suisse Président Fabrice Meriaudeau Laboratoire Le2i, Université de Bourgogne Rapporteur Fawzi Nashashibi Centre de recherche INRIA, Paris-Rocquencourt Rapporteur Pierre Bonton Laboratoire LASMEA, Université Blaise Pascal Examinateur Abdelaziz Bensrhair Laboratoire LITIS, INSA de Rouen Directeur de thèse Alexandrina Rogozan Laboratoire LITIS, INSA de Rouen Encadrant
Julien Rebut VALEO Invité
Remerciements
C’est avec bonheur que je consacre ces mots en signe de reconnaissance ` a tous ceux qui ont contribu´ e, de pr´ es ou de loin, ` a la r´ ealisation de cette th` ese. Qu’ils veuillent apercevoir ici mes termes les plus sinc` eres de remerciements.
Mes premiers remerciements vont vers mon directeur de th` ese Monsieur Abde- laziz Bensrhair. Je voudrais le remercier pour l’´ ecoute, la confiance, la g´ en´ erosit´ e, la bonne humeur qu’il m’a accord´ ees tout au long de ces ann´ ees. Il m’a souvent aid´ e ` a surmonter les difficult´ es et m’a fourni d’excellentes conditions logistiques et financi` eres. Je remercie bien entendu Madame Alexandrina Rogozan, qui en agis- sant ` a titre d’encadrant a su m’initier ` a la recherche et ` a me pousser ` a toujours faire mieux.
Je remercie chaleureusement Messieurs Fabrice Meriaudeau et Fawzi Nashashibi pour avoir accept´ e le difficile rˆ ole de rapporteur de ces travaux ainsi que Pierre Bonton, Jacques Jacot et Julien Rebut d’avoir accept´ e de prendre part ` a mon jury.
Je remercie Monsieur Yousri Kessentini pour sa collaboration dans le co- encadrement du stage de Sonda Ammar. Je remercie ´ egalement les stagiaires avec qui j’ai travaill´ e : Abir Zribi, Sonda Ammar et Amine Azzaoui.
Je tiens ` a remercier le directeur du laboratoire LITIS Monsieur St´ ephane Canu, pour son accueil et son ´ ecoute. Je souhaite aussi remercier l’ensemble des ensei- gnants du d´ epartement ASI de l’INSA de Rouen pour leur soutien et leurs conseils avis´ es tout au long de trois ans de monitorat, particuli` erement Monsieur Nicolas Delestre, Alexandre Pauchet et Thierry Le Pors.
Merci au personnel administratif et technique du LITIS, particuli` erement Bri-
gitte Diarra, Sandra Hagues et Jean Fran¸ cois Brulard pour leur disponibilit´ e et
leur bonne humeur tout au long de ces ann´ ees.
Une pens´ ee ´ emue pour mes amis du laboratoire LITIS que j’ai ´ et´ e amen´ e ` a cˆ o- toyer. Un merci plus particulier ` a Florian Yger, R´ emi Flamary, Benjamin Labb´ e, Yacine Sid Ahmed, Amnir Hadachi et Carlo Abi Chahine pour leurs relectures, leurs pr´ ecieux conseils et avec qui les ´ echanges furent toujours chaleureux et constructifs.
Un grand merci aux familles Chtiwi, Ayadi et Kessentini qui m’ont encourag´ e et soutenu tout au long des ann´ ees que j’ai pass´ ees en France, sachez que vos encouragements n’ont pas ´ et´ e vains, et ont contribu´ e ` a cet aboutissement.
Je voudrais aussi t´ emoigner ma gratitude envers mes enseignants, ainsi que toutes les personnes qui ont contribu´ e ` a ma formation en Tunisie et en France.
Je tiens ` a remercier tous les membres de ma famille pour m’avoir soutenu de- puis 27 ans et qui ne cessent de m’encourager ` a aller plus loin. Un grand merci
`
a ma tante Tahia pour sa relecture et ses corrections. Enfin, ma reconnaissance
la plus profonde s’adresse ` a mes parents pour leurs sacrifices, leurs soutiens in-
conditionnels et leur appui moral permanent, malgr´ e la distance qui me s´ epare
d’eux.
Table des mati` eres
Remerciements 3
Glossaire 17
R´ esum´ e19
1 Introduction et positionnement de la th` ese 23
1.1 Contexte . . . . 23
1.1.1 Les syst` emes intelligents d’aide ` a la conduite . . . . 24
1.1.2 Int´ egration de modules de d´ etection d’obstacles routiers . . 25
1.2 Vision pour la d´ etection et la reconnaissance des obstacles routiers . . . . 33
1.2.1 Exigences d’un syst` eme de d´ etection d’obstacles routiers . . 34
1.2.2 Etat de l’art sur les m´ ethodes de d´ etection d’obstacles routiers 35 1.2.3 Bilan des m´ ethodes de d´ etection et choix technique . . . . . 42
1.3 Probl´ ematique de la reconnaissance de cat´ egories d’obstacles routiers 43 1.3.1 Probl` eme de la repr´ esentation . . . . 45
1.3.2 Probl` eme de la classification . . . . 45
1.3.3 Fusion d’informations pour l’aide ` a la d´ ecision . . . . 46
1.4 Choix m´ ethodologique . . . . 47
1.4.1 D´ emarche adopt´ ee . . . . 47
1.4.2 Description des bases d’images utilis´ ees . . . . 48
1.5 Conclusion . . . . 49
2 Reconnaissance de cat´ egories d’objets dans les sc` enes routi` eres 53 2.1 Repr´ esentation des obstacles routiers . . . . 53
2.1.1 Approche globale . . . . 54
2.1.2 Approche par r´ egion . . . . 56
2.1.3 Approche locale . . . . 62
2.2 Classification des obstacles routiers . . . . 71
2.2.1 Cascade de classifieurs . . . . 72
2.2.2 Classification par SVM . . . . 73
2.3 Fusion d’informations pour la reconnaissance des obstacles routiers 77 2.3.1 Fusion de caract´ eristiques . . . . 77
2.3.2 Fusion de d´ ecisions . . . . 80
2.4 Bilan . . . . 83
2.5 Conclusion . . . . 84
3 Vocabulaire Visuel Hi´ erarchique pour la cat´ egorisation des obs- tacles routiers 87 3.1 Vers un mod` ele de repr´ esentation locale et globale . . . . 87
3.1.1 Choix du point d’int´ erˆ et et du descripteur . . . . 88
3.1.2 Extraction des caract´ eristiques locales . . . . 89
3.1.3 Extraction des caract´ eristiques globales . . . . 90
3.2 Repr´ esentation des apparences locales dans un Vocabulaire Visuel Hi´ erarchique . . . . 92
3.2.1 Construction du Vocabulaire Visuel . . . . 92
3.2.2 Conception de la structure hi´ erarchique . . . . 93
3.2.3 Extraction d’une signature visuelle contenant des caract´ e- ristiques locales . . . . 95
3.3 Cat´ egorisation par combinaison du VVH avec des m´ ethodes ` a noyaux 97 3.3.1 Noyaux pour histogrammes . . . . 98
3.3.2 Noyaux par mise en correspondance (LMK) . . . . 98
3.3.3 Exp´ erimentations et ´ evaluations . . . 100
3.3.4 Bilan . . . 107
3.4 Evaluation des performances de reconnaissance multiclasses des obstacles routiers . . . 107
3.4.1 Apprentissage du mod` ele . . . 108
3.4.2 Classification . . . 110
3.4.3 Bilan . . . 112
3.5 Conclusion . . . 113
4 Fusion multimodale pour la reconnaissance des obstacles routiers115 4.1 Contexte d’application . . . 115
4.1.1 Fusion de caract´ eristiques ou de classifieurs ? . . . 116
4.1.2 Justification du choix de la DST pour la fusion de classifieurs117
TABLE DES MATI ` ERES 9
4.2 Les outils de base des fonctions de croyance . . . 118
4.2.1 Les fonctions de masse . . . 118
4.2.2 Autres repr´ esentations de croyance . . . 118
4.2.3 Affaiblissement des fonctions de masse . . . 119
4.2.4 R` egles de combinaison . . . 120
4.2.5 Prise de d´ ecision . . . 122
4.3 Fusion de classifieurs dans le cadre de la DST . . . 122
4.3.1 Construction des fonctions de masse . . . 123
4.3.2 Affaiblissement . . . 125
4.3.3 Combinaison . . . 125
4.3.4 Prise de d´ ecision . . . 125
4.4 Proposition d’une strat´ egie de classification ` a deux niveaux de d´ ecision126 4.4.1 Distance ` a l’hyperplan . . . 127
4.4.2 La transform´ ee pignistique g´ en´ eralis´ ee . . . 128
4.5 Evaluation des performances de la reconnaissance des obstacles rou- tiers . . . 129
4.5.1 Analyse des param` etres de fusion . . . 130
4.5.2 La strat´ egie de classification ` a deux niveaux . . . 132
4.5.3 Discussions . . . 133
4.5.4 Bilan . . . 135
4.6 Conclusion . . . 136
5 Application ` a la d´ etection de pi´ etons en infrarouge lointain 139 5.1 Pr´ eliminaires . . . 139
5.1.1 Synth` ese des r´ esultats de reconnaissance . . . 140
5.1.2 Sch´ ema de l’application . . . 140
5.2 Le syst` eme de d´ etection et de suivi propos´ e . . . 142
5.2.1 Apprentissage . . . 142
5.2.2 G´ en´ eration des hypoth` eses . . . 143
5.2.3 Validation des hypoth` eses . . . 145
5.2.4 Suivi des pi´ etons . . . 146
5.2.5 Optimisation du temps de calcul . . . 147
5.3 Exp´ erimentations et ´ evaluations . . . 148
5.3.1 Performances globales . . . 148
5.3.2 Influence du param´ etrage . . . 151
5.3.3 Bilan . . . 155
5.4 Conclusion . . . 155
Conclusion et perspectives 157
Le bilan . . . 157 Limites des m´ ethodes propos´ ees . . . 159 Perspectives . . . 160
Bibliographie 163
Liste des publications 175
Table des figures
1.1 Pr´ esentation de l’image d’un visage prise avec diff´ erentes longueurs d’ondes . . . . 31 1.2 Exemple d’images VIS et IR extraites d’une sc` ene routi` ere . . . . . 33 1.3 Exemple d’une sc` ene routi` ere en IR (bande LWIR) o` u les obstacles
sont correctement d´ etect´ es. Les pi´ etons et les voitures sont respecti- vement encadr´ es par des rectangles (fenˆ etres englobantes) en rouge et en bleu. . . . . 36 1.4 Un exemple de mod` ele d’apparences regroupant un ensemble de
motifs qui caract´ erisent les apparences locales de pi´ etons . . . . 40 1.5 Quelques instances d’objets pr´ esents dans des images en Vis et en IR 44 1.6 Quelques exemples d’images VIS et IR de la base de Tetravision . 49 1.7 Probl´ ematique et structuration de la th` ese . . . . 50 2.1 Les trois configurations principales d’ondelettes de Haar et leurs
r´ esultats de filtrage pour une image de pi´ eton. . . . 57 2.2 Exemple de d´ ecoupage d’une image avant d’ˆ etre caract´ eris´ ee par les
HOG . . . . 58 2.3 Deux exemples de d´ ecoupage d’images en r´ egions propos´ es, respec-
tivement, dans [ASDT
+07] et [SGH04] . . . . 59 2.4 D´ ecoupage des parties du corps du pi´ eton en tˆ ete-´ epaules, torse et
jambes . . . . 60 2.5 G´ en´ eration de plusieurs descripteurs de covariance pour chaque
image. L’image est parcourue dans tous les sens et avec des fenˆ etres
de tailles diff´ erentes. Les r´ egions les plus pertinentes sont ensuite
s´ electionn´ ees par une m´ ethode de recherche gloutonne. . . . . 61
2.6 Les descripteurs SIFT d’un POI . . . . 67
2.7 D´ etermination de l’orientation principale d’un POI SURF . . . . . 67
2.8 Illustration de l’architecture de la cascade de classifieurs . . . . 72 2.9 S´ eparateur ` a vaste marge . . . . 74 2.10 Description g´ en´ erale d’un processus de fusion de caract´ eristiques . 78 2.11 Illustration de la proc´ edure de s´ election d’attributs . . . . 79 2.12 Description g´ en´ erale du processus de fusion de classifieurs . . . . . 80 2.13 Illustration des trois ´ etapes de fusion dans le cadre de la combinai-
son des d´ ecisions de classification . . . . 81 2.14 Repr´ esentation abstraite des m´ ecanismes en MCT . . . . 83 3.1 Exemples de POI SURF extraits dans des imagettes de pi´ etons et
de v´ ehicules. Les cercles en rouge sont dessin´ es autour des centres de POI ; Le rayon de chaque cercle correspond ` a la valeur d’´ echelle
`
a partir de laquelle le point a ´ et´ e extrait. . . . 89 3.2 Ensemble de POI SURF extraits ` a partir des r´ egions claires (cercles
en rouge) et des r´ egions sombres (cercles en bleu) . . . . 91 3.3 Extraction et clustering de descripteurs de POI extraits ` a partir
d’un ensemble de donn´ ees d’apprentissage. Les cercles en rouge (vert) repr´ esentent des POI (des clusters). Les points situ´ es dans le centre des cercles en vert (clusters r´ esultant du processus de clus- tering) repr´ esentent les centro¨ıdes de clusters. . . . . 92 3.4 Un exemple de construction d’un Vocabulaire Visuel hi´ erarchique
`
a trois niveaux . . . . 95 3.5 Sch´ ema explicatif du processus de mise en correspondance entre
un descripteur SURF et le VVH. Un gain approximatif de 50% au niveau du temps de calcul est r´ ealis´ e vu que la moiti´ e des nœuds du VVH n’ont pas ´ et´ e explor´ es . . . . 96 3.6 Extraction d’une signature visuelle qui caract´ erise l’apparence lo-
cale d’un pi´ eton en utilisant le VVH . . . . 97 3.7 R´ esultats de classification obtenus avec les diff´ erentes m´ ethodes de
normalisation de vote lors du processus de mise en correspondance.
Les courbes ROC ont ´ et´ e obtenues en utilisant un noyau lin´ eaire dans (a) et un noyau RBF dans (b). . . 102 3.8 Pr´ esentation des courbes ROC pour l’´ evaluation de fonctions
noyaux pour les caract´ eristiques locales . . . 103 3.9 Pr´ esentation des courbes ROC pour l’´ evaluation des fonctions
noyaux pour les caract´ eristiques globales . . . 104
TABLE DES FIGURES 13
3.10 Pr´ esentation des courbes ROC pour l’´ evaluation de la fusion de caract´ eristiques locales et globales . . . 104 3.11 Pr´ esentation des courbes ROC pour l’´ evaluation des descripteurs
SIFT,SURF-64 et SURF-128 . . . 105 3.12 Evolution des performances de reconnaissance en fonction de la pro-
fondeur du VVH . . . 106 3.13 Extrait de quelques objets annot´ es d’une image IR. Les pi´ etons, les
v´ ehicules et le fond sont encadr´ es par des fenˆ etres englobantes de couleurs rouge, bleu et vert. . . 108 3.14 Description g´ en´ erale du syst` eme de reconnaissance . . . 108 3.15 Exemples d’images d’apprentissage pour les classes pi´ eton, v´ ehicule
et fond d’image . . . 109 4.1 Les sch´ emas de fusion envisageables . . . 117 4.2 Strat´ egie de classification ` a deux niveaux . . . 127 4.3 Notion de marge en SVM et distance entre un vecteur et l’hyperplan128 4.4 Quelques exemples d’objets contenus dans la base de test VIS et IR 129 4.5 Descriptif de la strat´ egie de d´ ecision bas´ ee sur la classification ` a
deux niveaux . . . 134 5.1 Le sch´ ema global du syst` eme de d´ etection et de suivi propos´ e . . . 141 5.2 Extraction de POI SURF localis´ es dans des r´ egions de tˆ etes (cercles
en blanc) et l’enregistrement du rapport entre l’´ echelle et la distance
`
a la plus proche bordure . . . 142 5.3 Illustration des r´ esultats de d´ etection obtenus apr` es chaque ´ etape
de l’algorithme propos´ e . . . 145 5.4 G´ en´ eration d’une ROI suite ` a l’appariement du couple (k
g, k
g+1).
La nouvelle fenˆ etre (dans l’image g + 1) est positionn´ ee de la mˆ eme
mani` ere que la fenˆ etre initiale tout en respectant l’emplacement et
l’´ echelle des POI appari´ es. . . . 147
5.5 Illustration du principe de l’algorithme de suivi. La premi` ere image contient un pi´ eton d´ etect´ e et un ensemble de POI entour´ es par des cercles, dont les rayons correspondent ` a leurs valeurs d’´ echelles.
Dans l’image qui suit, chaque r´ egion d’int´ erˆ et est construite apr` es l’appariement temporel des descripteurs. Chaque couple de POI ap- pari´ e vote pour la position et l’´ echelle du pi´ eton dans l’image sui- vante. L’ensemble des votes est trait´ e en 3D par l’algorithme Mean Shift qui fournit en sortie les coordonn´ ees optimales de l’emplace-
ment du pi´ eton (derni` ere image) . . . 147
5.6 Quelques exemples de d´ etections dans les deux s´ equences d’IR lointain Tetra1 (fig.a) et Tetra2(fig.b). Toutes les images ont ´ et´ e trait´ ees ` a leur r´ esolution d’origine (320×240 pixels). Les r´ esultats confirment la pr´ ecision du syst` eme de d´ etection mˆ eme en pr´ esence d’occultations partielles. . . 149
5.7 Comparaison entre les r´ esultats obtenus et les donn´ ees exp´ erimen- tales de r´ ef´ erence. Les courbes comparent, pour les deux s´ equences, le nombre de pi´ etons r´ eels et le nombre de pi´ etons correctement d´ etect´ es. . . 150
5.8 Influence du coefficient de seuillage utilis´ e . . . 152
5.9 Influence de la valeur du seuil de chevauchement . . . 153
5.10 Influence de la profondeur du VVH . . . 154
Glossaire
VIS Visible IR Infrarouge
SWIR Infrarouge proche LWIR Infrarouge lointain OR les obstacles routiers
SURF Speeded Up Robust Features
SVM Machines ` a vecteurs de support (Support Vector Machine) POI Point d’Int´ erˆ et
ROI R´ egion d’Int´ erˆ et (Region of Interest) DST Th´ eorie de Dempster-Shafer
MCT Mod` ele des Croyances Transf´ erables VV Vocabulaire Visuel
VVH Vocabulaire Visuel Hi´ erarchique
LMK Noyaux par mise en correspondance (Local Matchnig Kernel)
Int´ egration de m´ ethodes de repr´ esentation et de classifi- cation pour la d´ etection et la reconnaissance d’obstacles dans des sc` enes routi` eres
R´ esum´ e Cette th` ese s’inscrit dans le contexte de la vision embarqu´ ee pour la d´ etection et la reconnaissance d’obstacles routiers, en vue d’application d’assis- tance ` a la conduite automobile.
A l’issue d’une ´ ` etude bibliographique, nous avons constat´ e que la probl´ ematique de d´ etection d’obstacles routiers, notamment des pi´ etons, ` a l’aide d’une cam´ era embarqu´ ee, ne peut ˆ etre r´ esolue convenablement sans recourir aux techniques de reconnaissance de cat´ egories d’objets dans les images. Ainsi, une ´ etude compl` ete du processus de la reconnaissance est r´ ealis´ ee, couvrant les techniques de repr´ e- sentation, de classification et de fusion d’informations. Les contributions de cette th` ese se d´ eclinent principalement autour de ces trois axes.
Notre premi` ere contribution concerne la conception d’un mod` ele d’apparence lo- cale bas´ e sur un ensemble de descripteurs locaux SURF (Speeded Up Robust Features) repr´ esent´ es dans un Vocabulaire Visuel Hi´ erarchique. Bien que ce mo- d` ele soit robuste aux larges variations d’apparences et de formes intra-classe, il n´ ecessite d’ˆ etre coupl´ e ` a une technique de classification permettant de discriminer et de cat´ egoriser pr´ ecis´ ement les objets routiers. Une deuxi` eme contribution pr´ e- sent´ ee dans la th` ese porte sur la combinaison du Vocabulaire Visuel Hi´ erarchique avec un classifieur SVM.
Notre troisi` eme contribution concerne l’´ etude de l’apport d’un module de fusion multimodale permettant d’envisager la combinaison des images visibles et infra- rouges. Cette ´ etude met en ´ evidence de fa¸ con exp´ erimentale la compl´ ementarit´ e des caract´ eristiques locales et globales ainsi que la modalit´ e visible et celle in- frarouge. Pour r´ eduire la complexit´ e du syst` eme, une strat´ egie de classification ` a deux niveaux de d´ ecision a ´ et´ e propos´ ee. Cette strat´ egie est bas´ ee sur la th´ eorie des fonctions de croyance et permet d’acc´ el´ erer grandement le temps de prise de d´ ecision.
Une derni` ere contribution est une synth` ese des pr´ ec´ edentes : nous mettons ` a profit les r´ esultats d’exp´ erimentations et nous int´ egrons les ´ el´ ements d´ evelopp´ es dans un syst` eme de d´ etection et de suivi de pi´ etons en infrarouge-lointain. Ce syst` eme a
´
et´ e valid´ e sur diff´ erentes bases d’images et s´ equences routi` eres en milieu urbain.
Mots cl´ es : Vision embarqu´ ee, D´ etection et reconnaissance d’obstacles routiers,
Repr´ esentation des images, Classification par SVM, Fusion de capteurs, Fonction
de croyances, D´ etection de pi´ etons en Infrarouge-lointain.
Integrating Representation and Classification Methods for Obstacle detection in road scenes
Abstract The aim of this thesis arises in the context of Embedded-vision sys- tem for road obstacles detection and recognition : application to driver assistance systems.
Following a literature review, we found that the problem of road obstacle detec- tion, especially pedestrians, by using an on-board camera, cannot be adequately resolved without resorting to object recognition techniques. Thus, a preliminary study of the recognition process is presented, including the techniques of image representation, Classification and information fusion. The contributions of this thesis are organized around these three axes. Our first contribution is the design of a local appearance model based on SURF (Speeded Up Robust Features) fea- tures and represented in a hierarchical Codebook. This model shows considerable robustness with respect to significant intra-class variation of object appearance and shape. However, the price for this robustness typically is that it tends to pro- duce a significant number of false positives. This proves the need for integration of discriminative techniques in order to accurately categorize road objects. A second contribution presented in this thesis focuses on the combination of the Hierarchical Codebook with an SVM classifier.
Our third contribution concerns the study of the implementation of a multimo- dal fusion module that combines information from visible and infrared spectrum.
This study highlights and verifies experimentally the complementarities between the proposed local and global features, on the one hand, and visible and infrared spectrum on the other hand. In order to reduce the complexity of the overall sys- tem, a two-level classification strategy is proposed. This strategy, based on belief functions, enables to speed up the classification process without compromising the recognition performance. A final contribution provides a synthesis across the pre- vious ones and involves the implementation of a fast pedestrian detection system using a far-infrared camera. This system was validated with different urban road scenes that are recorded from an onboard camera.
Key words : Embedded vision, Road obstacle detection and recognition, Image
representation, SVM classification, Sensor fusion, Belief functions, Pedestrian de-
tection in far-infrared images.
Chapitre 1
Introduction et positionnement de la th` ese
Introduction
Ce premier chapitre introductif d´ ecrit les motivations scientifiques et le posi- tionnement de cette th` ese. Au cours de ce chapitre, nous commen¸ cons par d´ ecrire le contexte et les enjeux li´ es aux syst` emes de vision pour la d´ etection et la reconnais- sance des obstacles routiers. Dans un deuxi` eme temps, nous essayons d’identifier les probl´ ematiques et d’analyser les solutions propos´ ees en litt´ erature. Enfin, nous justifions notre choix m´ ethodologique et nous pr´ esentons les bases d’image sur lesquelles nous avons men´ e les exp´ erimentations.
1.1 Contexte
Avec l’augmentation constante du trafic routier, le risque d’accidents augmente
´
egalement. Toutes les statistiques de la s´ ecurit´ e routi` ere montrent que presque 10
millions de personnes dans le monde sont chaque ann´ ee impliqu´ ees dans un ac-
cident de la route. Ces accidents causent plus de 1,2 millions de personnes. Les
chiffres sont ´ enormes et alarmants. Les premi` eres actions des constructeurs auto-
mobiles ont port´ e sur la r´ eduction des cons´ equences de collisions. Ces actions se
sont concr´ etis´ ees par l’int´ egration de dispositifs de s´ ecurit´ e comme les ceintures de
s´ ecurit´ e, les attaches et ancrages inf´ erieurs pour les si` eges d’enfants et les coussins
gonflables (airbags). N´ eanmoins, ces dispositifs ne permettent que de r´ eduire la
gravit´ e des accidents. Depuis 1990, on a pu observer d’autres mesures plus avan-
c´ ees comme les freins antiblocages (ABS), les syst` emes de traction asservie, les
syst` emes de surveillance de la pression des pneus, etc. Ces syst` emes s´ ecuritaires
participent ` a la r´ eduction de la proportion et de la gravit´ e des accidents puisqu’ils interviennent en amont de l’accident.
Durant la derni` ere d´ ecennie, la recherche s’est pench´ ee sur des syst` emes non seule- ment s´ ecuritaires mais aussi intelligents. Des constructeurs automobiles, des ´ equi- pementiers et des laboratoires de recherche se sont rassembl´ es autour du concept de V´ ehicule Intelligent. On dit Intelligent parce que le d´ eveloppement du v´ ehi- cule repose sur des fonctions g´ en´ eralement associ´ ees ` a l’intelligence : capacit´ es sensorielles, m´ emoire et utilisation des technologies r´ ecentes de l’information et de la communication. Les projets d´ ej` a mont´ es dans ce domaine sont nombreux, nous en citons une liste non exhaustive : Arco (2001), eSAfety(2006), e-MOTION (2003), MobiVIP (2005), LOVe (2006). D’autres recherches focalis´ ees sur l’analyse des causes des accidents ont montr´ e que l’inattention, le manque de vigilance et la d´ efaillance du jugement du conducteur sont les principales sources d’accidents.
C’est ` a l’examen de ces points que se r´ ev` ele l’importance des syst` emes intelligents d’aide ` a la conduite. Compos´ es de syst` emes visant ` a assister le conducteur sur diff´ erentes dimensions de la conduite, les syst` emes intelligents d’aide ` a la conduite pr´ esentent un enjeu majeur du point de vue s´ ecurit´ e routi` ere.
1.1.1 Les syst` emes intelligents d’aide ` a la conduite
La voiture de demain sera intelligente et le conducteur pourra b´ en´ eficier d’une assistance accrue d’aide ` a la conduite. Cette assistance est fond´ ee sur le d´ evelop- pement de syst` emes embarqu´ es capables de fournir en temps r´ eel des informations utiles au conducteur afin de faciliter sa tˆ ache, d’optimiser sa prise de d´ ecision et de s´ ecuriser ses d´ eplacements. La plupart des v´ ehicules actuels disposent de sys- t` emes de freinage antiblocage, d’alerte de vitesse, de surveillance de la pression des pneus et d’autres. Ces syst` emes permettent de fournir une assistance de bas niveau vu qu’ils n’utilisent que des informations inh´ erentes au v´ ehicule. Pour une assistance de plus haut niveau, les informations li´ ees ` a l’environnement proche du v´ ehicule comme les bords de route, les obstacles routiers, la distance d’´ eloignement sont indispensables afin d’assister le conducteur notamment dans des situations difficiles (d´ etection d’obstacles, vision nocturne, r´ egulation de vitesse, etc). Pour ces raisons les constructeurs d’automobile sont de plus en plus demandeurs de syst` emes de haut niveau et surtout intelligents. Les syst` emes actuels de haut ni- veau sont connus sous l’acronyme ADAS (Advanced Driver Assistance Systems).
Ils assistent le conducteur dans sa prise de d´ ecision, lui transmettent un signal
d’alerte en cas de situation dangereuse et peuvent mˆ eme ex´ ecuter des actions afin
1.1 Contexte 25
d’´ eviter l’accident. Parmi ces syst` emes nous pouvons citer les deux fameux sys- t` emes l’ACC (Adaptative Cruise Control) et le LDW (Lane Departure Warning).
Le premier permet de maintenir une distance de s´ ecurit´ e entre les v´ ehicules en adaptant automatiquement la vitesse du v´ ehicule. Quant au deuxi` eme, il permet le maintien de la voie de circulation et r´ eagit lorsque le conducteur sort de son couloir par inadvertance. Le progr` es technologique est incontestable, mais il est si incontestable que les voitures de demain int` egrent des modules de d´ etection des obstacles routiers notamment des usagers vuln´ erables comme les pi´ etons et les cyclistes. Ces modules sont d’absolue n´ ecessit´ e pour ´ eviter les collisions et pour sauver ainsi des vies.
1.1.2 Int´ egration de modules de d´ etection d’obstacles routiers Dans le cadre de la conception de syst` emes d’aide ` a la conduite automobile, l’int´ egration d’un module de d´ etection d’obstacles est une tˆ ache essentielle. Ce module pourra aider le conducteur dans sa perception, car malheureusement, il n’est pas toujours vigilant. Les facteurs qui peuvent intervenir dans la perte de vi- gilance du conducteur sont la fatigue occasionn´ ee par une conduite de nuit, ou une conduite prolong´ ee. De plus, plusieurs ´ ev´ enements perturbateurs peuvent d´ econ- centrer le conducteur, lorsqu’il r` egle le son de l’autoradio par exemple, ou quand il parle au t´ el´ ephone ou ` a un autre passager. Plusieurs situations dangereuses pour- raient ˆ etre ´ evit´ ees si le conducteur re¸ coit d’avance une alerte. Une petite histoire pourrait en r´ esumer l’importance : Un conducteur est press´ e d’arriver ` a un mee- ting o` u il est attendu pour donner un discours important ` a des clients. Il s’arrˆ ete avec h´ esitation au feu rouge qui vient juste de s’allumer. Il n’est pas sˆ ur de savoir comment mieux pr´ esenter son produit. Il est tr` es important que ses clients soient int´ eress´ es, il pourrait conclure une grosse vente. Peut-ˆ etre devrait-il pr´ esenter son produit comme ´ etant leur unique solution, ou bien leur meilleur choix. Le feu passe au vert, il acc´ el` ere, tourne en trombe au coin de la rue, esp´ erant que les clients vont tol´ erer son retard. Sortant ` a toute vitesse du virage derri` ere la maison, il ne voit pas la fille qui traverse la rue en courant. Quelques minutes plus tard, l’ambulance arrive. . . Une situation pareille est malheureusement tr` es fr´ equente.
En France, 12% des causes de d´ ec` es d’accidents routiers sont des pi´ etons renvers´ es par des voitures.
L’int´ egration d’un module intelligent de d´ etection vise ` a ´ eviter les collisions avec
n’importe quel type d’obstacle (voiture, pi´ eton, cycliste, animal, ...). La percep-
tion de l’environnement routier est assur´ ee par l’implantation d’un syst` eme de
capteurs embarqu´ e jouant le rˆ ole des organes de sens chez l’homme. Le traitement des donn´ ees issues des capteurs par des algorithmes temps-r´ eel permet de d´ etecter et d’identifier de mani` ere fiable les obstacles routiers (On notera d´ esormais OR obstacles routiers). Le syst` eme pourra intervenir dans des situations ` a risques en utilisant diff´ erents d´ eclencheurs tels que l’assistance au freinage ou le freinage au- tonome. Ainsi, l’intervention du syst` eme permet d’´ eviter la collision ou d’att´ enuer consid´ erablement l’impact en r´ eduisant la vitesse du v´ ehicule avant la collision. Si l’accident ne peut ˆ etre ´ evit´ e, des d´ eclencheurs de protection peuvent ˆ etre activ´ es (comme les airbags). Toutes ces mesures permettront d’assurer une conduite plus s´ ecuris´ ee et de sauver ainsi des vies.
Bien que dans la litt´ erature nous trouvons une tr` es grande vari´ et´ e de syst` emes de d´ etection d’obstacles, il n’existe jusqu’` a nos jours, aucun syst` eme qui a pu ˆ etre commercialis´ e. Pourtant dans le cadre des projets de recherches, de nombreux cap- teurs actifs et passifs ont ´ et´ e utilis´ es pour percevoir l’environnement. Les m´ ethodes propos´ ees pour traiter les donn´ ees afin de d´ etecter les obstacles sont ´ egalement tr` es diverses. Dans la section suivante, nous faisons le point sur les capteurs embarqu´ es et sur les m´ ethodes de d´ etection sp´ ecifiques ` a leur traitement.
1.1.2.1 Les capteurs embarqu´ es
Dans ce paragraphe, nous donnons une vue d’ensemble des principaux capteurs utilis´ es pour la d´ etection d’OR. Les capteurs peuvent ˆ etre regroup´ es, d’une part, en capteurs proprioceptifs/ext´ eroceptifs. D’autre part, ils peuvent ˆ etre aussi clas- s´ es comme ´ etant actifs ou bien passifs. Les capteurs proprioceptifs sont capables de mesurer un attribut en fonction de leur propre ´ etat. Cet attribut peut ˆ etre l’acc´ el´ e- ration, l’orientation ou la vitesse de l’objet sur lequel ils sont mont´ es. Par exemple, les capteurs d’inclinaison, les acc´ el´ erom` etres et les odom` etres
1sont des capteurs proprioceptifs. Par contre, les capteurs ext´ eroceptifs sont capables de mesurer un attribut d’un objet externe pr´ esent dans la sc` ene. Les cam´ eras qui fonctionnent dans le spectre visible ou infrarouge, les sonars, les Lidars et les Radars sont des exemples de capteurs ext´ eroceptifs. Deux approches pr´ edominent dans la percep- tion de l’environnement d’un v´ ehicule par un capteur ext´ eroceptif : les capteurs actifs et la vision par capteurs passifs. Le capteur actif transmet un signal dans un environnement donn´ e et mesure ensuite l’interaction de ce signal avec l’envi- ronnement (exemple : Lidar, Radar, sonar). ` A la diff´ erence des capteurs actifs, les capteurs passifs r´ ecup` erent l’information de mani` ere non-intrusive. Ainsi, ils
1. Des instruments qui mesurent la distance parcourue
1.1 Contexte 27
n’´ emettent pas de radiation, ils ne font donc que recevoir un signal qui peut ˆ etre r´ efl´ echi, ´ emis ou transmis par des sources d’´ energie externes. Les cam´ eras visibles et certaines cam´ eras infrarouges sont des exemples de capteurs passifs. Dans la suite, nous dressons les points forts et les points faibles des principaux capteurs utilis´ es dans les syst` emes de d´ etection d’OR avant de justifier le choix des capteurs que nous allons utiliser.
Les Radars
Le Radar est un syst` eme compos´ e principalement d’une antenne ´ emet- trice/r´ eceptrice d’une onde. Il ´ emet des ondes radios ou des radiations microondes en une s´ erie de pulsions ` a partir de l’antenne et re¸ coit la partie d’´ energie qui est r´ efl´ echie par la cible. Le temps n´ ecessaire ` a l’onde pour voyager de la cible jusqu’` a l’objet permet de d´ eterminer la distance et la vitesse (dans le cas de plusieurs
´
emissions) de l’objet.
Le Radar a sa propre source d’´ energie qui peut p´ en´ etrer ` a travers les nuages et la pluie. Ainsi, il est consid´ er´ e comme un d´ etecteur toute saison. De plus, il a une port´ ee tr` es ´ elev´ ee offrant la possibilit´ e de d´ etecter des objets tr` es distants. Tous ces avantages ont contribu´ e de fa¸ con ´ evidente ` a l’apparition de syst` emes ACC avec Radar en option dans des v´ ehicules haut de gamme (par exemple Mercedes classe S).
N´ eanmoins, la faible r´ esolution spatiale (surtout dans le sens lat´ eral) du Radar entraˆıne des d´ etections moins fiables voir mˆ eme inexistantes pour les petits obs- tacles. En outre, les parties m´ etalliques pr´ esentent entre autres une r´ eflectivit´ e sup´ erieure compar´ ee aux autres objets comme les ˆ etres humains. Ainsi, les objets qui pr´ esentent une forte r´ eflexion minimisent l’effet des autres r´ eflexions moins fortes et conduisent donc ` a des fausses d´ etections. Enfin, un inconv´ enient majeur du Radar est le probl` eme d’interf´ erences qui se d´ egrade en pr´ esence de plusieurs voitures utilisant la mˆ eme technologie dans le trafic.
Les Lidars
Le principe de fonctionnement du Lidar (appel´ e aussi t´ el´ em` etre laser) est bas´ e
sur la mesure du temps mis par la lumi` ere r´ efl´ echie sur l’obstacle se trouvant dans
l’axe de tir du laser. Les Lidars se basent sur le mˆ eme principe que les Radars ´ etant
donn´ e que la distance aux objets est d´ etermin´ ee par le temps s´ eparant les pulsions
transmises et re¸ cues. Ils sont utilis´ es pour des distances d’environ 40m et ont une
grande pr´ ecision dans les deux directions : longitudinale et lat´ erale. G´ en´ eralement,
les m´ ethodes utilis´ ees pour d´ etecter les obstacles sont similaires ` a celles utilis´ ees en traitement d’images : la segmentation, le clustering et le tracking. Toutefois, le contenu des images Lidar est diff´ erent de celui des images visibles. En effet, le Lidar fournit une image de profondeur, tandis que les cam´ eras captent la r´ eflexion de la lumi` ere visible.
Ce capteur est largement utilis´ e par la communaut´ e robotique pour la navigation de robots en terrain inconnu. N´ eanmoins, le coˆ ut, l’encombrement et la consom- mation d’´ energie ´ elev´ ee limitent son utilisation en embarqu´ e sur un v´ ehicule.
Les cam´ eras visibles
Une cam´ era re¸ coit des ´ energies ´ emises sans qu’elle mˆ eme n’irradie la sc` ene. Les images captur´ ees par les cam´ eras visibles (On notera d´ esormais VIS la modalit´ e visible), en couleurs ou en niveaux de gris, sont d’un cˆ ot´ e tr` es riches en contenu, de l’autre, difficiles ` a interpr´ eter. Ceci est peut ˆ etre la raison pour laquelle la re- cherche s’est beaucoup focalis´ ee dans cette direction. Dans la litt´ erature, on trouve une tr` es grande vari´ et´ e d’approches, de techniques et d’algorithmes de traitement d’images qui ont ´ et´ e propos´ es pour la d´ etection, le suivi et la reconnaissance d’ob- jets dans les images. De plus, avec les avanc´ ees technologiques, les cam´ eras visibles sont devenues moins ch` eres et faciles ` a embarquer sur des v´ ehicules.
Deux approches sont possibles en perception passive : l’utilisation d’une seule ca- m´ era visible ou l’exploitation de plusieurs points de vue avec plusieurs cam´ eras reli´ ees de mani` ere rigide sur le v´ ehicule. La vision monoculaire consiste ` a ´ equiper le v´ ehicule avec une seule cam´ era pr´ esentant des avantages de coˆ ut et de simpli- cit´ e de mise en œuvre. N´ eanmoins, l’inconv´ enient de cette m´ ethode est qu’elle ne permet pas de restituer la profondeur de la sc` ene observ´ ee. L’utilisation de deux cam´ eras (technique de st´ er´ eovision) permet, quant ` a elle, d’acc´ eder ` a l’information tridimensionnelle.
Le principe de la st´ er´ eovision est d’inf´ erer de l’information sur la structure et les distances 3D d’une sc` ene ` a partir de deux images optiques prises de points de vue diff´ erents. La st´ er´ eovision dont nous exposerons le principe se d´ eroule en trois
´ etapes successives : calibrage, appariement et triangulation. La mise en correspon-
dance entre les images gauches et droites (appariement) est la phase du traitement
la plus difficile. En effet, les deux images de la sc` ene peuvent pr´ esenter de grandes
diff´ erences aussi bien en terme de morphologie que d’illumination puisque les ca-
m´ eras sont d´ ecal´ ees. Un point localis´ e dans l’une des images peut se retrouver sans
homologue dans l’autre image ` a cause des probl` emes de recouvrement ou d’occlu-
1.1 Contexte 29
sion. En outre, il est difficile de rep´ erer des indices visuels permettant d’effectuer la mise en correspondance dans une sc` ene faiblement textur´ ee. Ces circonstances expliquent pourquoi aucun syst` eme bas´ e sur la st´ er´ eovision n’a pu ˆ etre commer- cialis´ e.
Bien que les cam´ eras visibles aient ´ et´ e plus ´ etudi´ ees par rapport aux cam´ eras in- frarouges, les cam´ eras sensibles au spectre visible souffrent de limitations li´ ees aux conditions climatiques et aux conditions d’illumination (surtout pendant la nuit).
Ces difficult´ es peuvent ˆ etre surmont´ ees grˆ ace ` a l’utilisation de cam´ eras infrarouges.
Les cam´ eras infrarouges
Les cam´ eras infrarouges ont ´ et´ e utilis´ ees dans une grande vari´ et´ e d’applica- tions. Le spectre infrarouge (On notera d´ esormais IR la modalit´ e infrarouge) est typiquement subdivis´ e en bandes, dont la s´ eparation n’est pas bien d´ efinie et varie selon les auteurs. Dans le domaine de d´ etection d’obstacles routiers, deux techno- logies ont ´ et´ e consid´ er´ ees pour des applications li´ ees principalement ` a la d´ etection de pi´ etons. Il s’agit de l’infrarouge actif et l’imagerie thermique, qui correspondent aux bandes r´ eflectives et thermiques. La diff´ erence principale entre l’imagerie en bandes r´ eflectives et thermales est que la premi` ere retient les informations r´ efl´ e- chies par les objets, quant ` a la seconde, elle enregistre la temp´ erature ´ emise par les objets.
L’utilisation de l’infrarouge actif est limit´ ee car ses performances d´ ependent de plusieurs facteurs comme les changements des conditions d’illumination, de forme, de vitesse et de la couleur de l’objet ` a d´ etecter. Ce sont les cam´ eras thermiques qui sont fortement utilis´ ees avec des longueurs d’ondes longues offrant une percep- tion large de l’environnement routier. Ces cam´ eras sont appel´ ees aussi capteurs infrarouges passifs, puisqu’ils capturent les rayonnements infrarouges ´ emises par les objets chauds sans utiliser une source artificielle d’illumination.
La loi de Planck
2(Max Planck 1858-1947) montre que les distributions de l’´ ener- gie selon la longueur d’onde se retrouvent toujours sous une mˆ eme forme et que pour chaque longueur d’onde la luminance augmente avec la temp´ erature. Les cam´ eras thermiques sont en fait des capteurs permettant la mesure d’une lumi- nance. Ils permettent de transformer une image capt´ ee dans le domaine infrarouge et fonction de la luminance de l’objet observ´ e, en une image visible et analysable par l’oeil humain. L’avantage majeur des cam´ eras thermiques est qu’elles peuvent produire des images lisibles dans l’obscurit´ e compl` ete. Leur port´ ee est d´ ependante
2. http ://fr.wikipedia.org/wiki/Loi de Planck
des conditions atmosph´ eriques, du type de la cam´ era et de la diff´ erence de temp´ e- rature de la cible avec le fond. Le brouillard et la pluie limitent cette port´ ee car le rayonnement IR peut ˆ etre affaibli. Mais toutefois, cette port´ ee reste plus grande dans la bande IR que dans le VIS.
On distingue entre deux types de cam´ eras thermiques infrarouges : refroidies et non-refroidies. Les cam´ eras thermiques refroidies ont un capteur int´ egr´ e ` a un sys- t` eme de refroidissement qui fait descendre la temp´ erature du capteur ` a une valeur tr` es basse. Ainsi, le bruit issu de la chaleur de fonctionnement du capteur de- meure inf´ erieur au signal qui provient de la sc` ene observ´ ee. Ces cam´ eras peuvent ˆ etre utilis´ ees pour produire des images dans les infrarouges moyens (MWIR, lon- gueur d’onde entre 3 − 5µ m). D’une mani` ere g´ en´ erale, les images nocturnes d’une cam´ era MWIR sont plus contrast´ ees que celles produites dans une autre bande de l’infrarouge.
Les cam´ eras infrarouges non-refroidis comportent souvent un micro bolom` etre : une minuscule r´ esistance qui fait que toute variation de temp´ erature dans la sc` ene observ´ ee provoque une variation de la temp´ erature du bolom` etre. Cette varia- tion est convertie en un signal ´ electrique, qui est utilis´ e pour am´ eliorer l’image.
Les capteurs non refroidis sont con¸ cus pour travailler dans l’infrarouge lointain (LWIR, longueur d’onde entre 7 − 14µ m) o` u les objets terrestres ´ emettent la plus grande part de leur ´ energie infrarouge. La radiation thermique qui ´ emane des ˆ etres humains et des animaux est ` a son maximum entre 8 et 14µ m. Ainsi, ces objets pr´ esentent un contraste plus important dans les images produites dans la bande LWIR.
Il existe une troisi` eme bande d’IR ` a courte longueur d’onde (entre 1 − 2µ m) appe- l´ ee SWIR. Cette bande se propage mieux au travers des atmosph` eres humides et sera donc choisi de pr´ ef´ erence pour des applications maritimes. Par temps de pluie, la port´ ee de la cam´ era est ` a peu pr` es la mˆ eme en LWIR et SWIR. Par ailleurs, le LWIR traverse mieux les fum´ ees et sa port´ ee en brouillard est plus grande.
La figure 1.1 pr´ esente diff´ erentes prises d’une image avec des longueurs d’ondes diff´ erentes et montre que le contraste change en fonction des longueurs d’ondes.
Il est ind´ eniable que plus le contraste thermique est ´ elev´ e, plus il est facile de
d´ etecter des cibles sur un fond de temp´ erature constante. C’est ainsi que la grande
majorit´ e des syst` emes qui sont apparus sur des v´ ehicules, ces derni` eres ann´ ees,
reposent sur l’utilisation de cam´ eras infrarouges de type LWIR. Tout r´ ecemment,
des constructeurs automobiles comme Honda, Mercedes et BMW commercialisent
un assistant de vision nocturne. Ce dernier permet de restituer sur l’´ ecran central
1.1 Contexte 31
Figure 1.1.Pr´esentation de l’image d’un visage prise avec diff´erentes longueurs d’ondes
une image routi` ere o` u les pi´ etons et les animaux pr´ esentent les zones les plus claires de l’image.
Bien que l’avantage de l’utilisation des cam´ eras infrarouges pour la d´ etection de pi´ etons soit ´ evident, les v´ ehicules et d’autres obstacles n’´ emettant pas de chaleur, sont difficilement rep´ erables dans ces images. En tout cas, chaque capteur peut s’apercevoir d’informations invisibles ` a d’autres capteurs. C’est ce qui fait l’int´ erˆ et de la fusion de capteurs que nous d´ etaillons le principe dans la section suivante.
1.1.2.2 Fusion de capteurs
La fusion concerne l’utilisation de diff´ erentes informations provenant de diff´ e- rents capteurs pour obtenir une image meilleure de l’environnement routier. Dans un tel syst` eme d´ edi´ e ` a la d´ etection d’obstacles routiers (d´ etection, reconnaissance, suivi), la collaboration de diff´ erents capteurs permet d’en accroˆıtre ses perfor- mances.
Deux capteurs diff´ erents peuvent d´ etecter le mˆ eme objet avec une pr´ ecision dif-
f´ erente par rapport aux param` etres qui d´ ecrivent l’objet. Ces informations sont
compl´ ementaires et permettent une meilleure mesure au niveau de l’int´ egrit´ e et de
la pr´ ecision. De plus, certains capteurs peuvent s’apercevoir d’informations invi-
sibles ` a d’autres capteurs comme l’information de la profondeur des objets qui est
fournie directement par un capteur actif. Les principales difficult´ es li´ es ` a la fusion
de capteurs concernent le calibrage automatique et le prototypage des algorithmes de fusion.
Les syst` emes fond´ es sur la fusion de capteurs sont g´ en´ eralement robustes mais tr` es chers. ` A notre connaissance, le seul syst` eme commercialis´ e est d´ evelopp´ e par l’entreprise Mobileye
3. Ce syst` eme a ´ et´ e ´ equip´ e pour les marques de Volvo s60, lanc´ ees en Avril 2010. Ce syst` eme permet d’activer un freinage d’urgence lorsque le conducteur ne r´ eagit pas ` a temps devant un pi´ eton d´ etect´ e par le syst` eme constitu´ e d’un Lidar et d’une camera visible. Cependant, les risques des interf´ erences li´ ees ` a l’utilisation simultan´ ee de capteurs actifs ne sont pas ´ ecart´ es. Mais, les principaux probl` emes concernent le calibrage des capteurs et le prototypage des algorithmes de fusion. C’est ainsi que nous avons ´ et´ e amen´ es ` a opter pour l’utilisation de capteurs de vision.
1.1.2.3 Choix de capteur de vision
Le choix du (ou des) capteur(s) qu’il convient d’utiliser pour percevoir l’en- vironnement est une ´ etape cruciale dans la r´ ealisation d’un syst` eme de d´ etection des OR. La s´ election doit prendre en compte le domaine de fonctionnement de chaque capteur et de ses performances. Nous commen¸cons d’abord par compa- rer les deux cat´ egories : les capteurs actifs et les capteurs passifs. Les capteurs actifs fonctionnent mˆ eme dans les conditions climatiques d´ egrad´ ees, ou dans de mauvaises conditions d’illumination comme la nuit. Ils fournissent directement la profondeur des obstacles. Cette information utile est tr` es pertinente pour l’´ etape de d´ etection. N´ eanmoins, les capteurs actifs ne peuvent pas d´ etecter des objets de petites tailles repr´ esent´ es par un nombre r´ eduit de points. Dans le cas de la d´ etec- tion de pi´ etons, un objet de petite taille peut ˆ etre un enfant, chose qui ne serait pas tol´ erable. De plus, les capteurs actifs ne sont pas tr` es adapt´ es pour l’´ etape de reconnaissance car l’information r´ ecup´ er´ ee est difficile ` a analyser. En effet, elle est beaucoup moins riche compar´ ee ` a celle r´ ecup´ er´ ee par une cam´ era. Rajoutons
`
a tout cela l’inconv´ enient majeur du coˆ ut de ces capteurs ainsi que le probl` eme des interf´ erences qui peuvent apparaˆıtre si plusieurs v´ ehicules en sont ´ equip´ es. Par ailleurs, les capteurs passifs sont moins on´ ereux et les syst` emes bas´ es sur la vision ont d´ emontr´ e leur efficacit´ e pour des applications d’aide ` a la conduite.
Le choix d’un syst` eme en monovision semble logique si on envisage d’impl´ ementer une technique ` a la fois rapide et moins ch` ere. De plus, l’utilisation d’une confi- guration int´ egrant deux ou plusieurs capteurs entraˆıne des difficult´ es techniques
3. http ://en.wikipedia.org/wiki/Mobileye
1.2 Vision pour la d´ etection et la reconnaissance des
obstacles routiers 33
importantes. Nous allons ` a pr´ esent comparer les deux capteurs passifs : les cam´ eras visibles et les cam´ eras infrarouges. Les cam´ eras visibles sont moins on´ ereuses que les cam´ eras infrarouges. Cependant, elles souffrent des mˆ emes limitations que la vi- sibilit´ e humaine dans les milieux d´ egrad´ es (conditions de forte pluie, de brouillard ou durant la nuit). Ceci n’est pas le cas des cam´ eras infrarouges qui peuvent continuer ` a faire de la d´ etection mˆ eme dans des conditions climatiques difficiles et pendant la nuit. Elles sont certes l´ eg` erement plus ch` eres que les cam´ eras visibles, mais leur prix est en baisse grˆ ace aux avanc´ ees technologiques.
Toutes ces consid´ erations nous conduisent ` a opter pour un syst` eme monovision utilisant une cam´ era infrarouge. Afin de justifier ce choix, nous pr´ esentons ´ ega- lement dans ce manuscrit des exp´ erimentations qui ont ´ et´ e faites non seulement sur des images en IR, mais aussi sur un syst` eme combinant les deux cam´ eras. La probl´ ematique de l’interpr´ etation syst´ ematique des images d’un environnement routier est pr´ esent´ ee dans la section suivante.
1.2 Vision pour la d´ etection et la reconnaissance des obstacles routiers
La d´ etection d’obstacles par un syst` eme de monovision embarqu´ e sur un v´ ehi- cule est une probl´ ematique difficile. En effet, le trafic routier implique un nombre variable d’objets diff´ erents. Les arbres, le mobilier urbain, les pi´ etons, les cyclistes et les v´ ehicules sont tous des objets pouvant ˆ etre pr´ esents dans une sc` ene routi` ere.
Nous d´ esignons par obstacles routiers les objets qui se situent sur la trajectoire d’un v´ ehicule qui sont majoritairement des v´ ehicules et des pi´ etons. La figure 1.2 montre deux images, en IR et en VIS, extraites d’une sc` ene routi` ere.
Figure 1.2.Exemple d’images VIS et IR extraites d’une sc`ene routi`ere
Durant les quinze derni` eres ann´ ees, de nombreux travaux de r´ ef´ erence ont ´ et´ e effectu´ es aussi bien sur la d´ etection d’obstacles routiers que sur leur classification et leur reconnaissance. Malgr´ e les progr` es techniques consid´ erables dans le domaine de la vision par ordinateur, les probl´ ematiques ne sont pas encore r´ esolues, et du coup, aucun syst` eme n’a pu ˆ etre industrialis´ e. Selon la fa¸ con dont les syst` emes
´ echouent, les obstacles non d´ etect´ es exposent le conducteur ` a un risque s´ erieux d’accident. Dans la section suivante, nous pr´ ecisons les exigences que doit satisfaire un syst` eme de d´ etection et de reconnaissance d’obstacles routiers.
1.2.1 Exigences d’un syst` eme de d´ etection d’obstacles routiers Dans ce paragraphe, nous donnons les principales exigences auxquelles un sys- t` eme de d´ etection et de reconnaissance d’obstacles doit r´ epondre pour pouvoir ˆ etre consid´ er´ e comme une solution fiable. Un tel syst` eme embarqu´ e, en vue d’aider le conducteur dans sa tˆ ache de conduite, doit r´ epondre aux exigences suivantes : - La robustesse,
Le syst` eme doit ˆ etre capable de d´ etecter des obstacles quelque soient leurs ap- parences, ´ echelles et formes. Il doit aussi ˆ etre robuste aux diff´ erentes conditions d’illumination et r´ epondre aux probl` emes d’occultation qui accentuent autant la variabilit´ e des objets routiers. Le pi´ eton est l’objet le plus difficile ` a d´ etecter en rai- son notamment de la grande variabilit´ e d’apparences et de l’articulation du corps humain. Un pi´ eton peut se pr´ esenter avec diff´ erentes tenues vestimentaires, tenant des accessoires diff´ erents (parapluie, chapeau,. . .) et dans des sc` enes complexes notamment avec les ph´ enom` enes de foule. Bien que ces difficult´ es soient moins marqu´ ees pour les voitures, la grande variabilit´ e de types de voitures (voitures de tourisme, bus, camions, tracteurs, . . .) rend leur d´ etection et leur reconnaissance difficiles.
Toutes ces difficult´ es s’intensifient en pr´ esence de fond encombr´ e ou dans les condi- tions m´ etrologiques d´ egrad´ ees produisant du bruit ou un manque de contrastante dans les images.
- L’efficacit´ e et la pr´ ecision,
Le syst` eme doit d´ etecter les objets sur la route de mani` ere fiable et pr´ ecise. En
effet, les obstacles non d´ etect´ es exposent le conducteur ` a un risque s´ erieux d’ac-
cident. Quant aux fausses alertes, elles poussent le conducteur ` a ne plus avoir
confiance dans le syst` eme. Ainsi, un tel syst` eme doit d´ etecter tous les obstacles
sans commettre aucune erreur, quelles que soient les conditions environnementales
et la configuration de la sc` ene routi` ere. Concernant l’´ etape de la reconnaissance,
1.2 Vision pour la d´ etection et la reconnaissance des
obstacles routiers 35
le syst` eme doit identifier rapidement la classe d’appartenance de l’obstacle afin de pouvoir donner au conducteur une marge de manœuvre ad´ equate.
- La contrainte du temps r´ eel,
Le terme temps r´ eel poss` ede plusieurs significations suivant le contexte. Dans notre contexte de travail, nous consid´ erons qu’un syst` eme est temps r´ eel si l’informa- tion apr` es son traitement reste pertinente. En d’autres termes, le syst` eme permet d’avertir le conducteur avant que ce dernier puisse r´ eagir. G´ en´ eralement, la ca- dence de traitement de 10 images est compatible avec les exigences temps r´ eel (d´ elai de r´ eponse proche de 100 ms). C’est avec de tels syst` emes que l’on peut s’autoriser aujourd’hui l’implantation de syst` emes embarqu´ es ` a bord de v´ ehicules permettant de fournir des fonctions d’aide ` a la conduite
- Le coˆ ut,
Un syst` eme embarqu´ e sur un v´ ehicule doit ˆ etre beaucoup moins ch` ere que le prix du v´ ehicule. Notre syst` eme utilise une seule cam´ era infrarouge, qui certes coˆ ute l´ eg` erement plus cher qu’une cam´ era visible, mais dont le prix reste bien moins
´
elev´ e que celui de capteurs actifs comme le Radar ou le Lidar.
1.2.2 Etat de l’art sur les m´ ethodes de d´ etection d’obstacles rou- tiers
Cette section n’a pas pour but de constituer un ´ etat de l’art exhaustif sur les diff´ erentes techniques permettant de d´ etecter les obstacles routiers dans les images.
Toutefois, nous cherchons ` a faire un tour d’horizon des principales m´ ethodes utili- s´ ees pour les syst` emes monovision, notamment en infrarouge. La figure 1.3 donne un exemple d’une sc` ene routi` ere film´ ee en IR o` u les obstacles sont correctement d´ etect´ es.
La majorit´ e des syst` emes d´ evelopp´ es jusqu’` a pr´ esent reposent sur trois ´ etapes : la g´ en´ eration d’hypoth` eses, leur validation et leur suivi. La premi` ere ´ etape consiste
`
a localiser les endroits qui contiennent ´ eventuellement des obstacles. Nous les ap- pellerons dor´ enavant des r´ egions d’int´ erˆ et (ROI : Regions Of Interest). Dans cette
´
etape, l’algorithme bien qu’il analyse tous les pixels de l’image, doit rester efficace
en terme de temps de calcul. Ceci est probl´ ematique car les obstacles, notamment
les pi´ etons, peuvent se retrouver dans n’importe quel endroit dans l’image. G´ e-
n´ eralement, les m´ ethodes employ´ ees proc` edent ` a segmenter l’image totale selon
un crit` ere d´ efini a apriori. En effet, la segmentation est une ´ etape essentielle en
traitement d’images dans la mesure o` u elle conditionne l’interpr´ etation de r´ egions
sp´ ecifiques dans ces images.
Figure 1.3.Exemple d’une sc`ene routi`ere en IR (bande LWIR) o`u les obstacles sont correctement d´etect´es. Les pi´etons et les voitures sont respectivement encadr´es par des rectangles (fenˆetres englo- bantes) en rouge et en bleu.
