Ac�vités de recherche de l’équipe PR du laboratorie MIS
Fabio MORBIDI
E-mail: fabio.morbidi@u-picardie.fr
M2 EEAII, parcours ViRob, A.U. 2017-2018
Laboratoire MIS
Équipe Perception Robotique
Vous êtes ici
Laboratorie MIS: présentation
V Laboratoire de l’UPJV (Amiens et Saint-Quentin) V Thèmes de recherche (TIC):
V Automatique V Cryptographie V Informatique
V Recherche opérationnelle
V Robotique et vision par ordinateur V Environ 90 personnes
V 50 permanents
V 40 doctorants, post-doctorants, ingénieurs de recherche V 2 secrétaires et 2 techniciens (H. Midavaine)
MIS: Modélisation, Information & Systèmes
1) Équipe PR (Perception Robotique): resp. G. Caron et E. Mouaddib
2) Équipe COVE (Commandes et Véhicules): resp. A. El Hajjaji
3) Équipe GOC (Graphes, Optimisation et Contraintes): resp. C.-M. Li
4) Équipe SDMA (Systèmes Distribués, Mots et Applications): resp. V. Villain
V 8 Permanents: 6 Maître de Conférences (Caron, Kachi, Morbidi, Potelle), 2 Professeurs V 9 doctorants (J. Caracotte, S. Renaux), 2 ingénieurs de recherche (T. Potin, T. Gokhool)
Directeur: G. Dequen
Plate-formes robotiques de
l’équipe PR
Équipe PR: activités de recherche
1) Caméras non-conventionnelles
V Modélisation de caméras omnidirectionnelles (catadioptriques, multi-fisheye), plénoptiques et RGB-D (ex. Kinect de Microsoft)
V Conception d’algorithmes de calibration
Système “four-in-one”: 4 miroirs paraboliques, une caméra
orthographique
Caméra plénoptique ou
“light-field” (Lytro)
V Applications: asservissement visuel, localisation/navigation de robots mobiles et cartographie basées vision
Caméra catadioptrique avec miroir hyperbolique
(uEye)
Caméra twin-fisheye (Ricoh Theta S)
2) Drones
V Modélisation (multi-rotor, voilure fixe)
V Perception embarquée et fusion multi-capteurs V Commande (basée vision): position et d’attitude V Optimisation énergétique de trajectoire
Phantom 4 de DJI
Pelican de Ascending Technologies Bebop 2 de Parrot
DISCO FPV de Parrot
Équipe PR: activités de recherche
3) Realité virtuelle et systèmes immersifs V Numérisation et modélisation 3D
V Lasergrammétrie et photogrammétrie
V Aide à la navigation dans un environnement 3D (realité virtuelle/augmentée) V Préservation et valorisation du patrimoine culturel
Oculus Rift
"Haar invariant signatures and spatial recognition using omnidirectional visual information only", O. Labbani-Igbida, C. Charron, E. Mouaddib, Auton. Robot. vol. 30, n. 3, pp. 333-349, 2011
Équipe PR: activités de recherche
Compas visuel
Robot mobile (Pioneer 3-AT)
Image de référence Image actuelle
✓ ?
Camera omnidirectionnelle
V Direct (aucune segmentation de l’image) V Précis
V Robuste aux changements d’éclairage V Caméra partialement calibrée
V Environnements non-structurés
“Phase Correlation for Dense Visual Compass from Omnidirectional Camera-Robot Images”, F. Morbidi, G. Caron, in IEEE Robotics and Automation Letters, vol. 2, n. 2, pp. 688-695, avril 2017
Module de la transformée log-polaire de Fourier Image omnidirectionnelle Fenêtre 2-D de
Hamming
Compas visuel basé sur la méthode de la correlation phase
Équipe PR: activités de recherche
“Spherical Visual Gyroscope for Autonomous Robots using the Mixture of Photometric Potentials”, G. Caron, F. Morbidi, in Proc. IEEE Int. Conf. Robot. Autom., mai 2018, to appear
Gyroscope visuel sphérique basé sur le mélange de potentiels photométriques
V Nouvelle representation d’une image sphérique basée sur le Mélange de Potentiels Photométriques (MPP)
V Le gyroscope est précis, robuste et facile à utiliser (un seul paramètre de réglage)
V Validation expérimentale: caméra twin- fisheye montée sur l’effecteur d’un robot industriel et sur un drone à voilure fixe V SVMIS: dataset d’images disponible
gratuitement sur Internet
Drone Disco de Parrot avec une caméra twin-fisheye (Ricoh Theta S)
1) SEARCH:
“Système d’Exploration Aérienne pour la Recherche et la Cartographie en milieu Hostile”2) COALAS:
“Plateforme Cognitive pour l’Assistance aux Personnes Dépendantes”V Projet de la région Picardie (2012-2015): laboratoires MIS et Heudiasyc (UTC)
V Projet U.E. Interreg IVA (2012-2015): France-Angleterre
3) ADAPT:
“Dispositifs d'assistance à l'autonomisation de personnes handicapées grâce à la robotique”V Projet U.E. Interreg IVA (2017-2021): France-Angleterre
-- Robots Autonomes --
Équipe PR: projets de recherche
1) SEARCH:
“Système d’Exploration Aérienne pour la Recherche et la Cartographie en milieu Hostile”V Exemple: recherche et détection automatique de personnes en difficulté (marée haute) dans la Baie de Somme
V Un seul drone ou une cohorte de drones à voilure fixe (meilleure autonomie) V Multi-modalité: lumière visible & infrarouge (IR)
Visible
IR
+ +
V Fauteuil roulant semi-autonome
V Équipe PR: navigation basée sur la vision omnidirectionnelle (asservissement visuel photométrique)
2) COALAS:
“Plateforme Cognitive pour l’Assistance aux Personnes Dépendantes”Caméra panoramique
Démonstrateur
Équipe PR: projets de recherche
16 partenaires (8 français, 8 anglais)
3) ADAPT:
“Dispositifs d'assistance à l'autonomisation de personnes handicapées grâce à la robotique”Axes du projet:
V Réalisation d'un fauteuil roulant électrique intelligent et connecté compensant les handicaps des utilisateurs grâce à des technologies d'assistance à la conduite V Réalisation d'un simulateur de conduite en réalité virtuelle pour une expérience immersive du fauteuil roulant
V Formation destinée aux professionnels de santé sur les apports du numérique pour les technologies d'assistance
http://adapt-project.com
E-cathédrale
: “Réalisation et exploitation d'une maquette numérique de la cathédrale d'Amiens”V Projet de la région Hauts-de-France (avec l’ONERA, à partir de sept. 2018) V Programme de recherche sur 15 ans (2010-2025): plusieurs partenaires locaux (Amiens Metropole) et projets satellites
Équipe PR: projets de recherche
5) ScanBot:
“Scanners Robotisés pour la Numérisation Automatique du Patrimoine”6) IGNIFUSION
: “Cartographie Précise et Complète de Réseaux Hydrauliques Complexes: Application aux Systèmes d'Extinction Automatique d'Incendie”V Thèse CIFRE co-financiée par l’ANRT (2018-2021)
4) SUMUM
: “Stratégie de docUmentation MUltiéchelle, multiModale du patrimoine culturel et naturel : acquisition, traitement, étude et diffusion”V Projet ANR, 4 partenaires français (2017-2021)
-- Numérisation 3D --
E-cathédrale:
“Réalisation et exploitation d'une maquettenumérique de la cathédrale d'Amiens” (porteur: Prof. E. Mouaddib) V Le modèle 3D obtenu est destiné au grand public, aux jeunes (pédagogie dans les écoles) et aux spécialistes (conservation du patrimoine, études d’histoire de l’art, etc.)
V Modèlisation 3D de la charpente de la flèche
Site web: https://mis.u-picardie.fr/E-Cathedrale V Nuage d’environ 10 milliards de points colorés
V Campagnes de numérisation (octobre 2010-juillet 2016)
Équipe PR: projets de recherche
V Lasergrammétrie (scanners lasers Leica ScanStation C10 et Faro Focus3D X 130) V Photogrammétrie aérienne et terrestre (avec l’IGN)
V Topographie
Leica ScanStation Faro Focus3D
Technologies utilisées pour la numérisation 3D:
Équipe PR: projets de recherche
Cibles sphériques
Scanner laser
Scanners lasers et cibles dans la cathédrale
Juillet 2016 Octobre 2011
Poutres de la charpente Toiture des collatéraux (côté sud-est)
Arcs-boutants
Équipe PR: projets de recherche
V Lasergrammétrie
Chœur: vue du côté nord-est (Printemps 2016)
Vue de l’intérieur, côté nord-est (Printemps 2016)
Équipe PR: projets de recherche
V Lasergrammétrie
V Photogrammétrie
Modèle 3D du portail du transept sud logiciel MicMac (5 millions de points)
Modèle 3D du transept sud (laser)
16 images à haute résolution prises sur un arc de circle à une distance de 20 m du portail (14 novembre 2016)
Navigation pertinente dans un nuage de points 3D [Habibi et al.’14]
Équipe PR: projets de recherche
Projet Assiduitas
Navigation pertinente dans un nuage de points 3D [Habibi et al.’14]
Projet Assiduitas
5) ScanBot:
“Scanners Robotisés pour la Numérisation Automatique du Patrimoine”En Picardie …
V 1607 immeubles (édifices et jardins), dont la conservation présente un intérêt historique ou artistique (au 31 décembre 2011)
V Coût des travaux dans les chantiers de restauration des monuments classés en péril: 43.67 M€ en 2007
Équipe PR: projets de recherche
En Iran…
La statue du grand Bouddha (Dipankara) avant et après sa destruction en mars 2001 par les Talibans
En Syrie…
Le temple de Baal à Palmyre (32 ap. J.-C.).
Le 30 août 2015, le site a été détruit à l'explosif par l'État Islamique
5) ScanBot:
“Scanners Robotisés pour la Numérisation Automatique du Patrimoine”Équipe PR: projets de recherche
5) ScanBot:
“Scanners Robotisés pour la Numérisation Automatique du Patrimoine”V Le doctorat est le diplôme universitaire le plus haut
V Le doctorat est fait au sein d’un laboratoire ou unité de recherche (34 unités à l’UPJV)
V Le doctorat a une durée de 3 ans en France et en Europe (jusqu’à 5 ans aux États-Unis):
il se termine par une soutenance de thèse devant un jury
V Le doctorant est encadré par un directeur de thèse HDR (et un co-encadrant)
V Le doctorat ouvre la porte à des positions permanentes dans les universités et dans les labos de recherche publiques et privés (en France: CNRS, INRIA, CEA, ONERA, Thales, etc.) V Pour plus d’infos, visitez la page web de l’Ecole Doctorale Sciences, Technologie, Santé de l’UPJV (directeur: A. El Hajjaji)
www.u-picardie.fr/ecoles-doctorales/edsts/accueil/
V Financements: allocation ministérielle, fonds région/U.E., CIFRE (avec une entreprise)
