Approches de classification d’image

La quatrième section de cet état de l’art concerne les approches qui abordent le problème de la détection de fermeture de boucle comme une tâche de classification d’image : le but est de déterminer la classe (i.e., le lieu) de l’image courante à partir de sa description. Un lieu de l’environnement est donc décrit par un ensemble d’images, chacune correspondant à une vue de ce lieu (voir figure 1.19). Les images caractérisant

FIG. 1.18: Exemples “d’images propres” constituant la base optimisée utilisée dans les méthodes d’ACP pour la comparaison des images. Ces 6 images correspondent aux 6 vecteurs propres les plus pertinents (i.e., avec les valeurs propres les plus élevées) obtenus à partir de la matrice de covariance formée par toutes les images omnidirectionnelles de la base d’apprentissage.

un lieu sont représentées par des primitives globales ou bien par des collections de primitives locales. Les approches dont il est question ici étendent donc le cadre des approches de la section précédente dans la façon dont le modèle de l’environnement est maintenu : un lieu n’est plus seulement décrit par une seule image, mais par l’ensemble des images qui tombent dans la catégorie qu’il représente. Cette section est séparée en deux. Dans une première sous-section, nous considérons les approches pour lesquelles un lieu est défini par un ensemble d’images correspondant à des points de vue proches dans l’espace, admettant généralement un recouvrement entre ces images : il s’agit d’images identifiant visuellement la même partie de l’espace. Dans la seconde sous-section, nous détaillons des approches qui définissent les lieux de manière plus générale : chaque image caractérisant un lieu peut être acquise d’un point de vue éloigné des autres, et caractériser une zone de l’espace sans recouvrement avec les autres images. Les approches dont il est question dans cette dernière sous-section s’attachent par exemple à représenter chaque pièce d’un appartement comme un lieu distinct, alors que dans le premier cas, on identifie plutôt une portion de la trajectoire passée du robot par les images qui la composent.

FIG. 1.19: Modèle de l’environnement pour les approches de classification d’image : les primitives

visuelles extraites dans l’image courante (1) sont comparées aux primitives d’images représentant des lieux de l’environnement (2) pour en déduire une localisation symbolique pour la caméra (3).

Lieux comme collection locale d’images

Les méthodes de vote et de comptage déjà rencontrées dans le cadre des approches de reconnaissance d’image ont été adaptées avec succès à la formulation du problème de la détection de fermeture de boucle considérée ici. Par exemple, dans les travaux de [Kosecká et al., 2005], chaque lieu est associé à un score renseignant sur la plausibilité de provenance de l’image courante (i.e., si la note est élevée, l’image courante a de grandes chances d’appartenir à ce lieu). Comme dans la section précédente, ce score est évalué à partir du nombre de correspondances trouvées entre les primitives locales extraites dans l’image courante et dans les images caractérisant le lieu considéré. Le critère du maximum de vraisemblance est donc encore une fois retenu pour déterminer la classe de chaque image analysée. Dans les travaux mentionnés dans ce paragraphe, le modèle de l’environnement est construit lors d’une phase préalable hors-ligne d’apprentissage supervisé. Lors de cet apprentissage, chaque lieu est défini par la collection de primitives locales extraites dans les images étiquetées comme appartenant à ce lieu. Le modèle ainsi obtenu est ensuite utilisé pour la tâche de localisation globale d’un robot.

Afin de palier les limitations du critère du maximum de vraisemblance pour la classification d’images, différents cadres d’estimation et de filtrage ont été proposés. Notamment, dans les travaux de [Goedemé et al., 2007] sur la construction de carte topologique sur la base de l’apparence uniquement, les auteurs ont choisi de modéliser les évènements de fermeture de boucle grâce à un formalisme mathématique dérivé de la théorie de l’évidence. Ainsi, lors d’une première phase hors-ligne d’apprentissage non-supervisée, une

carte topologique de l’environnement est construite à partir d’une collection d’images acquises depuis une caméra omnidirectionnelle. L’acquisition est réalisée à intervalles de temps réguliers, de façon à obtenir un recouvrement partiel entre les images. Ensuite, l’algorithme de construction de carte se charge de déterminer quelles images viennent du même lieu. Pour cela, une mesure de similarité entre images, faisant intervenir à la fois des primitives globales et locales, permet de sélectionner les images qui se ressemblent (et qui viennent donc potentiellement du même lieu). Des groupes d’images sont donc ainsi définis sur la base de l’apparence uniquement. A l’intérieur de chaque groupe, il est possible de définir plusieurs sous-groupes grâce à l’information de voisinage temporel : les images d’un même groupe acquises à des instants proches dans le temps peuvent être rassemblées. Cela permet de distinguer, parmi les images qui se ressemblent, celles qui ont été acquises au même moment. Ainsi, la fusion de sous-groupes constitue une fermeture de boucle : deux sous-groupes d’images similaires prises à des instants éloignés correspondent à deux passages au même endroit à deux moments différents. Toutefois, ces sous-groupes peuvent également correspondre à deux lieux distincts qui se ressemblent. Pour lever l’ambiguïté, une méthode de collection d’évidence reposant sur la théorie de Dempster-Shafer est employée. Pour cela, on essaye de combiner les sous-groupes faisant partie d’un même groupe avant de mesurer le support de l’hypothèse résultante. Si celui-ci est au dessus d’un certain seuil de probabilité, la fermeture de boucle est acceptée dans la carte construite. Sinon, elle est rejetée et chacun des sous-groupes forme alors un groupe à part entière. Le processus de gestion des sous-groupes est illustré dans la figure 1.20. Une fois la carte construite, celle-ci est utilisée lors d’une seconde phase pour la localisation globale d’un robot. Cette fois, une méthode classique de filtrage Bayésien permet d’estimer la probabilité de la position du robot, sur la base de la même mesure de similarité que pour la construction de la carte.

FIG. 1.20: Illustration de la méthode de regroupement d’images pour la caractérisation des lieux.

Chaque ellipse regroupe les images (i.e., les points dans la figure) sur la base de la similarité uni- quement. A l’intérieur de chaque ellipse, on définit des sous-groupes sur la base de la proximité tem- porelle d’acquisition des images. Un représentant pour chaque sous-groupe est désigné et caractérisé dans la figure par une étoile. La théorie de Dempster-Shafer permet alors de décider si un groupe doit être scindé ou fusionné. La fusion de sous-groupes correspond à une détection de fermeture de boucle. Source : [Goedemé et al., 2007].

Les auteurs de [Valgren et al., 2007] préfèrent adopter une méthode nommée incremental spectral clus- tering(ISC), afin de grouper les images provenant d’un même lieu dans le cadre du SLAM topologique. Ainsi, toute image acquise à partir d’une caméra omnidirectionnelle est comparée au représentant de chaque groupe (i.e., chaque lieu) du modèle de l’environnement obtenu jusque-là. Pour cette comparaison, une me- sure de similarité basée sur des primitives locales (i.e., un simple comptage des primitives communes) est employée. Grâce à cette mesure, on peut mettre à jour une matrice d’affinité renseignant sur les similarités entre l’image courante et l’ensemble des groupes. L’algorithme ISC permet ensuite de déterminer le nombre de groupes optimal compte tenu des entrées de cette matrice, sur la base de l’apparence uniquement. L’opé- ration résulte alors en la mise à jour d’un groupe existant avec la nouvelle image, ou bien en la création d’un nouvel ensemble de groupes. Dans tous les cas, on cherche à maximiser la proximité des images en fonction de leur apparence. Alors que l’image courante est simplement comparée aux représentants de chaque groupe (et non à chaque individu du groupe) pour optimiser les performances, tous les individus sont mémorisés, afin de réordonner les groupes si l’algorithme ISC le requiert. La méthode ainsi obtenue est incrémentielle, et elle permet de résoudre le problème du SLAM topologique sur la base de l’apparence uniquement, avec des traitements réalisés en-ligne mais avec une complexité élevée (l’algorithme ISC nécessite plusieurs dé- compositions en valeurs singulières de la matrice d’affinité).

Le formalisme probabiliste de filtrage Bayésien décrit dans les travaux de [Cummins and Newman, 2007] propose une solution au problème du SLAM topologique sur la base de l’apparence seulement, re- posant simplement sur une caméra monoculaire. La méthode mise en oeuvre permet de déterminer la pro- babilité que deux images viennent du même lieu, dans le cadre d’une estimation au sens du maximum a posteriori. Les images et les lieux obtenus sont encodés par des collections de primitives locales, d’après le paradigme des sacs de mots visuels (voir section 1.4.1). Pour évaluer la probabilité de fermeture de boucle, un modèle génératif de l’apparence de l’environnement est appris lors d’une première phase hors-ligne. Au cours de cette phase, les probabilités de co-occurrence des primitives visuelles locales extraites dans des images d’entraînement sont estimées. Les images d’entraînement sont recueillies sur une vaste zone repré- sentative du type d’environnement dans lequel le robot évoluera par la suite. A partir de ces probabilités, il est alors possible, lors d’un seconde phase d’exploitation en-ligne, de déterminer la probabilité de prove- nance de l’image courante. L’algorithme obtenu présente des caractéristiques remarquables, notamment une robustesse impressionnante face à l’aliasing perceptuel. On peut toutefois regretter l’aspect non-incrémentiel lié à l’apprentissage du modèle de l’environnement, ainsi que les temps de calcul importants interdisant des traitements en temps réel (une version optimisée de l’algorithme est présentée dans [Cummins and Newman, 2008b], sans toutefois atteindre des performances en temps réel).

Lieux comme collection globale d’images

Dans le cadre de la localisation globale d’un robot, les auteurs de [Pronobis et al., 2006] emploient une technique de Machines à Support Vecteur (MSV) pour apprendre un classeur qui permette de prédire le lieu

de l’image courante (voir figure 1.21). Le MSV est appris lors d’une phase hors-ligne, à partir d’une collec- tion d’images étiquetées manuellement et décrivant un ensemble restreint de lieux (i.e., quelques pièces dans un environnement d’intérieur). L’apprentissage consiste, d’après le principe de base des MSV, à projeter les images d’entraînement dans un espace où il est possible d’opposer chacune des classes entre elles par des séparations linéaires. Afin de construire cet espace, les images sont encodées sous la forme de primitives globales. Une fois le classeur appris, on détermine la classe de l’image courante en projetant sa représen- tation dans l’espace de discrimination : on calcule alors la distance qui sépare cette image de l’ensemble des surfaces de séparation pour savoir dans quelle catégorie (i.e., quel lieu) elle tombe. Récemment, cette méthode a été améliorée [Pronobis and Caputo, 2007] pour pouvoir prédire la classe d’une image de façon graduelle : on traite l’image petit à petit, en essayant d’en déterminer le lieu de provenance à partir d’une information partielle uniquement. Cela permet dans certains cas d’obtenir la classe de l’image sans nécessi- ter l’analyse complète de celle-ci, améliorant en conséquence la rapidité des traitements. Par ailleurs, cette méthode a été également adaptée [Luo et al., 2007] pour pouvoir mettre à jour le classeur MSV avec de nouveaux exemples en-ligne, ce qui permet d’accroître la robustesse aux changements de condition dans l’environnement (illumination, objets qui ont été déplacés), sans pour autant permettre l’ajout de nouveaux lieux dans le modèle. En dépit des bonnes performances obtenues dans les résultats expérimentaux présen- tés dans les trois articles listés ci-dessus, l’inconvénient majeur des approches MSV est de reposer sur une phase hors-ligne pour l’apprentissage du modèle.

FIG. 1.21: Illustration du principe de fonctionnement des MSV. Après avoir projeté une nouvelle donnée

dans l’espace de classification (i.e., la croix dans la figure), la position de cette donnée par rapport aux hyper-plans (i.e., HA, HB et HC) séparant les différentes classes (i.e., A, B et C) permet de déterminer

à quelle catégorie elle appartient.

Dans un contexte similaire, les travaux de [Filliat, 2007] reposent sur une méthode d’apprentissage supervisée pour aborder le problème de la localisation globale qualitative. Pour cela, une méthode incré- mentielle d’apprentissage basée sur l’apparence uniquement et en interaction avec un superviseur a été

développée. Cette méthode caractérise les images par des primitives locales, et les lieux par les collections de primitives locales des images correspondantes, selon une version incrémentielle du formalisme des sacs de mots visuels (c’est la caractérisation qui est implémentée dans ce mémoire également, une présentation détaillée en est donc fournie dans la section 2.1.1 du chapitre 2). Lorsque le robot acquiert une nouvelle image, il cherche à en déterminer le lieu grâce à un simple mécanisme de vote à deux étages : en analysant l’image dans différents espaces de représentation, un premier vote permet de déterminer les lieux de prove- nance les plus plausibles dans chacun de ces espaces séparément, avant de fusionner les notes obtenues dans un second étage de vote (voir figure 1.22). A la fin de cette procédure, si le niveau de confiance dans le vote final n’est pas satisfaisant, une nouvelle image est acquise. Si après avoir traité un certain nombre d’images ce seuil n’est toujours pas atteint, le superviseur indique le lieu actuel. Si le seuil de confiance est dépassé, le superviseur vérifie le lieu prédit par le robot afin de le corriger en cas d’erreur. Après chaque interaction avec le superviseur, le modèle de l’environnement est mis à jour : l’apprentissage est donc réalisé en-ligne, en mémorisant simplement les lieux dans lesquels chaque primitive visuelle a été vue. L’approche proposée ici présente de nombreuses qualités, notamment sur le traitement complètement incrémentiel (i.e., depuis la construction du modèle de l’environnement jusqu’à l’apprentissage des lieux correspondants). Cependant, elle repose sur une interaction régulière avec un superviseur, ce qui est en dehors du cadre que nous nous fixons dans les travaux rapportés dans ce mémoire.