État de l’art de la localisation d’une caméra par rapport à une piste

La localisation 3D d’une caméra par rapport à une piste terrestre est un sujet étudié depuis maintenant une vingtaine d’années. Des études ont d’abord été conduites pour déterminer le type de capteurs le plus efficace pour distinguer la piste lors de conditions de vol dégradées avec de la pluie, de la neige et du brouillard [Absi 1993,Norris Jr 1999]. Par la suite, [Kerr 1995] a proposé une fusion de différentes bandes infrarouges pour bénéficier de leurs avantages respectifs afin de repérer la piste et d’afficher sa forme et son éclairage au pilote. Les tests en simulation et en vol ont permis de fournir les premiers résultats pour des applications civiles et militaires [Brown 1996,Bui 1997,Guell 2000] et sont à l’origine de brevets [Tarleton Jr 2000]. Les méthodes de localisation 3D de la caméra par rapport à la piste s’appuient sur différentes primitives, basées sur des points, des contours ou l’ensemble des pixels d’une imagette (patch).

2.3 Suivi du porte-avions 63

(a) Image de référence (b) Patch de détec-

tion

(c) Capt. A. Init. θac= −1deg (d) Init. du suivi

(e) Capt. B. Init. θac= −1deg (f) Init. du suivi

(g) Capt. A. Init. θac= 1deg (h) Init. du suivi

(i) Capt. B. Init. θac= 1deg (j) Init. du suivi

Figure 2.11 – Images synthétiques. Détection et initialisation du suivi 3D basé modèle à 4500m du porte-avions pour différents angles de tangage avec une erreur du TACAN de 1 degré et de -185m pour des images provenant des capteurs A et B.

2.3.1.1 Points caractéristiques

Cette catégorie d’algorithmes se base sur des points de nature très différentes : trois sources lumineuses, l’éclairage entier d’une piste, des points connus d’une mire ou même des points quelconques d’une scène pour déterminer la pose (position et orientation) par rapport à une piste.

(a) [Yakimenko 2002] (b) [Chatterji 1997] (c) [Ozuysal 2007]

Figure 2.12 – Localisation basée points

Sources ponctuelles. Afin de simplifier le traitement d’images et d’être plus robuste aux conditions de visibilité, l’US Navy a étudié la localisation d’une caméra par rapport à une piste à l’aide de trois sources infrarouges positionnées sur le tarmac, dans le cadre de l’appontage d’un avion [Ghyzel 2000,Yakimenko 2002]. Un seuillage de l’image infrarouge permet l’extrac- tion des points de l’image présentée Fig.2.12a. Utilisant un a priori sur leur position 3D, ces points sont appariés avec les sources lumineuses de position connue, pour permettre l’estima- tion de la pose par résolution géométrique. Ce problème n’ayant pas de solution unique, cette étude propose une méthode pour déterminer la bonne. Cette estimation fournie par la vision est fusionnée avec les autres capteurs disponibles dans le but d’aboutir à un atterrissage auto- matique sur navire. Cette utilisation de sources infrarouges rappelle le Système d’Appontage et de Décollage Automatique (SADA) de DCNS présenté Fig.1.19bou celui quasi identique, mais fonctionnant avec des marqueurs dans le domaine visible, de [Martínez 2011b]. Dans ces derniers cas, les sources sont positionnées sur le drone et l’estimation de pose est effectuée dans un domaine plus restreint que dans [Yakimenko 2002]. On retrouve cette utilisation de balises pour la localisation d’un hélicoptère par rapport à un navire dans [Yang 2011b] avec un filtre de Kalman combinant les informations inertielles, GPS et visuelles. Afin d’améliorer la loca- lisation à l’aide de trois points, la NASA s’est intéressée à l’usage de deux caméras montées sur chaque aile dans [Liu 2006]. La mise en correspondance de ces points étant facilitée par la recherche le long des lignes épipolaires. Cette étude présente une caractérisation de la méthode en fonction du bruit lors de l’extraction des points, des paramètres de distorsion des caméras ou du fléchissement des ailes. Autre moyen d’améliorer l’estimation de pose : utiliser quatre points, ce qui permet en théorie de réduire à une seule le nombre de solutions possible. Dans [Proctor 2005], la localisation s’effectue par rapport à quatre balises positionnées aux extrémi- tés de la piste, dont les coordonnées dans l’image entrent dans le modèle de mesure d’un filtre de Kalman. La localisation de drone par rapport à une zone d’atterrissage en utilisant trois ou

2.3 Suivi du porte-avions 65 quatre points, fait encore l’objet de publications [Can 2008,Tang 2011, Cao 2012,Li 2012]. Toutefois, on objectera à l’utilisation de trois ou quatre points le manque de robustesse. En effet, une erreur d’extraction de ces points engendre une forte erreur sur la pose estimée qui est très dépendante de la distance à la piste [Sridhar 1996].

Éclairage de la piste. La NASA s’intéresse à l’atterrissage basé vision dans le domaine visible. [Sridhar 1996] étudie la sensibilité de la mesure basée image vis-à-vis de la pose de l’avion par rapport à la piste, dans le but de corriger l’estimation de pose. Pour des atter- rissages de nuit par beau temps, simplifiant considérablement la segmentation des sources lumineuses, [Menon 1996, Chatterji 1997] présentent plusieurs algorithmes d’estimation de pose basés sur l’éclairage de la piste de la Fig.2.12b. Les sources lumineuses sont segmentées, leurs moments discrets sont calculés et constituent une mesure entrant dans un filtre de Kal- man prenant en compte les mesures GPS. Cette approche de fusion entre vision et GPS est revisitée dans [Daquan 2007] avec un modèle simple de l’éclairage de la piste. L’inspection de l’éclairage de la piste depuis un avion est aussi étudiée dans [Niblock 2008]. Elle repose sur la mise en correspondance entre un modèle des éclairages de la piste et les points de l’image et est comparée avec des approches classiques d’extraction de points et de suivi comme le KLT [Shi 1994] et les points d’intérêt SIFT [Lowe 1999], l’initialisation reposant sur une détection de la ligne centrale par une transformée de Hough.

Mire. Dans le cas d’atterrissage d’hélicoptère sur des héliports, toits d’immeubles, plate- formes pétrolières, un symbole en forme de H est souvent présent. Basé sur ce fait, des travaux estiment la pose à l’aide d’une mire dont la forme est connue. Dans [Sharp 2001], une segmentation reposant sur l’étude d’un histogramme est réalisée pour ensuite détecter les points remarquables de la mire, les mettre en correspondance avec ceux d’un modèle de la mire et ainsi réaliser l’estimation de la pose par optimisation non linéaire initialisée par la solution d’une optimisation linéaire.

Points quelconques de la scène. Dans le but de ne plus dépendre d’objets simples, comme des mires, et d’étendre la localisation vers des environnements naturels et plus complexes, les points d’intérêt peuvent être utilisés pour le suivi, la localisation et la reconnaissance. [Shakernia 1999a,Shakernia 1999b] se sont intéressés à la manière d’estimer et de caractériser le mouvement d’un engin volant près d’une zone d’atterrissage à l’aide de points localisés ou non sur un plan. Dans [Martínez 2011b], des points d’intérêt sont extraits afin d’estimer les homographies associées à des mouvements 3D de la caméra par rapport à une scène planaire. Connaissant la pose de l’image de référence, la pose initiale est calculée par décomposition de l’homographie. Dans le cadre du projet européen Pégase [Dassault Aviation 2009], visant à étudier l’atterrissage sur piste par la vision, une localisation proposée par l’EPFL est basée sur des points d’intérêt FERNS [Ozuysal 2007] dont les descripteurs sont stockés en mémoire et mis en correspondance avec les points extraits de l’image courante, présentés Fig. 2.12c. Dans [Miller 2008], l’homographie entre l’image courante et une image de référence est estimée à l’aide de points d’intérêt SIFT [Lowe 1999], pour calculer des primitives visuelles 2D utili- sées dans un schéma de commande. Enfin, l’usage de points quelconques permet d’envisager l’atterrissage sur des zones pas ou peu préparées. Dans [Cesetti 2010], des points d’intérêts servent d’outils basiques pour la classification de zones sûres d’atterrissage.

2.3.1.2 Contour

La localisation par contour se base sur les bords de la piste ou l’utilisation d’un modèle plus complet comprenant les marquages et les abords, ce qui assure une bonne précision de localisation.

Bords de la piste. Reposant sur le même principe et inspirée par la détection de mar- quages au sol pour la robotique mobile ou l’automobile, une quantité importante d’études a adopté l’approche suivante : extraction des contours en appliquant les filtres de Sobel ou de Canny et transformée de Hough pour repérer les principales droites dans l’image [Sasa 2000,

Shang 2007,Tandra 2008,Vladimir 2012]. Par exemple, dans [Sasa 2000,Zhang 2008,Xiang-Bin 2011], les droites parallèles de la piste, la ligne d’horizon et le point de fuite sont extraits et utilisés

pour déterminer la pose. [Rives 2002] s’est intéressé à la reconstruction de la pose à l’aide des distances orthogonales entre les bords de la piste et le centre de l’image, moyennant l’hypothèse de petits angles. Le DLR a effectué des tests en vol d’algorithmes de localisation par rapport à la piste reposant sur l’hypothèse des petits angles, avec des images bispectrales en SWIR et LWIR pour améliorer la robustesse du traitement d’image [Doehler 2004, Doehler 2006]. Chaque canal est analysé séparément, prenant en compte les spécificités du canal observé, et les résultats comparés pour être ensuite fusionnés. Les outils employés font partie des outils "classiques" du traitement d’images, comme la détection de contours, le chainage, la segmen- tation de la piste. Dans [LIU 2007], trois droites quelconques de l’environnement sont utilisées. Pour améliorer le résultat, un filtre de Kalman, prenant en compte les informations de l’avion est ajouté dans [Qiu 2003,Tsai 2008,Hamza 2009]. Les méthodes précédentes fournissent en sortie une localisation. [Barat 2008] propose de suivre la piste dans l’image en se servant de ses bords, à l’aide d’un contour actif représenté à partir de quatre points et illustré Fig.2.13c. La particularité de ce contour actif est qu’il fonctionne avec des points saillants.

Ces méthodes estiment la pose avec peu d’informations, généralement les bords de la piste. Une mauvaise extraction peut ainsi conduire à une localisation faussée.

Modèle des marquages de la piste. La localisation passive par rapport à la piste d’un porte-avions est un sujet d’étude encore peu exploité. À ma connaissance, [Le Guilloux 1991] est le seul à s’être intéressé à ce problème à l’aide de techniques reposant sur les contours, présenté Fig. 2.13a. La méthode qu’il a proposée extrait les contours du marquage de la piste, les chaine et met en correspondance les segments avec un modèle des marquages de la piste basé sur un a priori de la position initiale pour estimer la pose. En utilisant les mêmes outils de base, la détection du point de fuite et la recherche de contours le long des lignes épipolaires, la NASA a proposé un algorithme de localisation d’une caméra par rapport à une piste d’atterrissage en utilisant ses bords mais aussi ses marquages [Kasturi 1994]. Les méthodes précédentes sont constituées par sur une succession d’étapes indépendantes nécessitant le réglage de paramètres. Des approches plus intégrées, reposant sur des modèles de la piste d’atterrissage et de ses environs ont été utilisées. [Soni 1994] propose l’utilisation d’un modèle du contour de la piste. En partant d’une position que l’on pense proche de la réelle, une fonction de coût prenant en compte les contours du modèle et ceux de l’image courante, est calculée dans un espace discrétisé. Son minimum correspond à la localisation estimée, au prix d’un temps de calcul important et d’une imprécision dépendant du pas choisi. Un algorithme de suivi, développé à l’origine pour le domaine spatial et hybridé avec

2.3 Suivi du porte-avions 67 un filtre de Kalman est appliqué pour la localisation par rapport à une piste dans [Fürst 1999]. Dans le projet européen Pégase, les études menées par l’équipe Lagadic de l’Inria sur le suivi basé modèle 3D [Comport 2006] ont prouvé la précision et la généricité de l’algorithme pour l’atterrissage. En effet, ce suivi ne nécessite par d’hypothèses particulières sur la géométrie à suivre, permettant l’emploi de modèles linéiques complexes. Cet algorithme sera présenté de manière plus approfondie dans la Section 2.3.2.1. La Fig. 2.13d présente la projection dans l’image du modèle suivi (en vert) sur les contours du paysage survolé.

(a) [Le Guilloux 1991] (b) [Doehler 2006]

(c) [Barat 2008] (d) [Comport 2006]

Figure 2.13 – Localisation basée contour

2.3.1.3 Dense

Le qualificatif dense des méthodes présentées dans cette section concerne l’utilisation des valeurs des pixels d’un patch de l’image. [Soni 1994] propose aussi une fonction de coût cal- culée, de manière exhaustive, à l’aide d’une image noir et blanc générée avec le modèle de la piste et l’image courante binarisée. Une approche plus simple encore est proposée dans [Meng 2006]. La piste est d’abord segmentée et l’image binarisée. Le somme des carrés des différences (SSD) est ensuite calculée, de manière exhaustive, entre un masque et une zone d’intérêt de l’image binarisée courante, pour estimer la position de la piste dans l’image. On peut objecter la faible robustesse de la méthode quant aux variations de luminosité et de taille de la piste dans l’image, qui n’est pas directement prise en compte.

Des méthodes ne nécessitant pas de traitement d’images bas niveau et prenant en compte les déformations dans l’image liées à la trajectoire d’atterrissage permettent d’obtenir une localisation par rapport à la piste. Dans le cadre du projet européen Pégase, un algorithme de suivi de plan dans l’image a été implémenté par l’IST et l’équipe Arobas de l’Inria pour l’atterrissage par asservissement visuel [Gonçalves 2010], présenté Fig. 2.14a. L’algorithme estime l’homographie entre le plan contenu dans une image de référence et ce même plan de l’image courante. La méthode repose sur la minimisation du critère de similarité SSD uti- lisant la valeur des pixels des patchs des deux images. Cette méthode a été aussi employée dans [Gong 2006] et testée en vol dans [Martínez 2011a] et est présentée en Section2.3.2.2. Dans le prolongement de cette classe de méthodes, un suivi multimodal par maximisation de l’information mutuelle entre les pixels des deux patchs a été employé dans [Dame 2012b] pour estimer l’homographie entre l’image courante infrarouge et une image de référence prise par un satellite dans le domaine visible, présentées Fig. 2.14b. On notera que la pose à l’image courante peut être calculée en décomposant la matrice d’homographie et sous réserve de la connaissance de la pose de l’image de référence. L’utilisation de l’information mutuelle en tant que critère à minimiser engendre des temps de calcul conséquents, mais d’autres critères per- mettent de faire un suivi multimodal limité avec des temps de calcul plus faibles [Richa 2011].

(a) [Gonçalves 2009] (b) [Dame 2012b]

Figure 2.14 – Suivis denses de la piste lors d’atterrissage à l’aide d’une image de référence

Les techniques de détection et de localisation appliquées à l’atterrissage repèrent et suivent la piste au cours du temps. La section suivante présente les suivis que l’on utilisera dans le cadre de cette étude.