Detection, Localisation et Tracking d’Objets basé Deep Learning pour un Fauteuil Roulant Intelligent.

(1)

HAL Id: hal-02989535

https://hal.archives-ouvertes.fr/hal-02989535

Submitted on 5 Nov 2020

HAL

is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire

HAL, est

destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Detection, Localisation et Tracking d’Objets basé Deep Learning pour un Fauteuil Roulant Intelligent.

Redouane Khemmar, Louis Lecrosnier, Romain Rossi, Jean-Yves Ertaud, France Rouvray, Jean-Yves Ertaud, Benoit Decoux, Dupuis Yohan

To cite this version:

Redouane Khemmar, Louis Lecrosnier, Romain Rossi, Jean-Yves Ertaud, France Rouvray, et al..

Detection, Localisation et Tracking d’Objets basé Deep Learning pour un Fauteuil Roulant Intelligent..

Handicap 2020 Technologies pour l’autonomie et l’inclusion, Nov 2020, Paris, France. �hal-02989535�

(2)

Détection, Localisation et Suivi d’Objets basé Deep Learning pour un Fauteuil Roulant Intelligent

1^st Louis Lecrosnier UNIRouen, Normandy University.

ESIGELEC/IRSEEM Saint Etienne du Rouvray, France

louis.lecrosnier@esigelec.fr

2^nd Redouane Khemmar UNIRouen, Normandy University.

redouane.khemmar@esigelec.fr

3^rd Nicolas Ragot UNIRouen, Normandy University.

nicolas.ragot@esigelec.fr

4^th Romain Rossi UNIRouen, Normandy University.

romain.rossi@esigelec.fr

5^th Jean-Yves Ertaud UNIRouen, Normandy University.

Jean-Yves.Ertaud@esigelec.fr

6^th Benoit Decoux UNIRouen, Normandy University.

benoit.decoux@esigelec.fr

7^th Dupuis Yohan UNIRouen, Normandy University.

yohan.dupuis@esigelec.fr

Résumé—Dans cet article, nous présentons nos travaux sur le développement d’un système d’aide à la conduite pour un fauteuil roulant électrique intelligentafind’améliorer l’autonomie de personnes à mobilité réduite. Notre cas d’utilisation, construità partird’une étudeclinique, reposesurla détection, l’estimationdelaprofondeur,lalocalisationetlesuivid’objetsde l’environnementintérieurdufauteuilàsavoir: portes,poignées de porte, interrupteurs d’éclairage, etc. Cela a pour objectif non seulement d’améliorer la perception autour du fauteuil roulant maisaussi d’asservircedernierpoursedéplacer,d’une manière semi-autonome, vers ces cibles. Tout d’abord, nous présentonsuneadaptationànotrecasd’usagedel’algorithmede détectiond’objetYOLOV3.Parlasuite,nousprésenteronsnotre approche d’estimation de profondeur en utilisant une caméra Intel RealSense. Enfin, comme troisième et dernière étape de notreapproche,nousprésentonsnotreapprochedesuivid’objets 3D basée sur l’algorithme SORT. Afin de valider l’ensemble des développements de notre approche, nous avons réalisé des expérimentations dans unenvironnementintérieurcontrôlé. La détection, l’estimation de la distance et le suivides objets sont expérimentésàl’aidedenotreproprejeudedonnées.Cedernier comprenddescouloirs,portes,poignéesetinterrupteurs.Undes scénariosétudiépourvaliderlaplateformedéveloppéecomprend non seulement la détection et le suivi d’objets, mais aussi le déplacementdufauteuilroulantversl’unedecesciblesdésignée comme pointsd’intérêts.

Motsclés—deeplearning,détectionetsuivid’objets,estimation de distance,fauteuil roulantélectrique,mobilitéintelligente.

Ce travail est financé dans le cadredu projet INTERREG VA FMA ADAPT "Assistive Devices for empowering disAbled People through robotic Technologies" http ://adapt-project.com . Le Programme FMA est un programme deCoopération TerritorialeEuropéenne qui vise à financer des projets de coopération ambitieux dans la région frontalière entre la France etl’Angleterre. LeProgramme est financé par leFonds Européen deDéveloppementRégional(FEDER)

I. INTRODUCTION

La détection, la reconnaissance, la localisation et le suivi d’objets sont des tâches très importantes en robotique et en vision par ordinateur. Ces procédés sont réalisés grâce à l’utilisationdedifférentsmoyensdemesure(caméra,LIDAR, RADAR)et d’algorithmes(filtres, reconnaissance deformes, extractiondecaractéristiques,classification,etc.).Lestravaux présentés dans cet article portent sur la détection, la locali- sationet lesuivi d’objets pour un fauteuilroulant intelligent basésurlamobilitéintelligente.Notrecontributionviseàdé- velopperladétectiond’objets,l’estimationdelaprofondeuret lesuividecibledufauteuilroulantenutilisantdesapproches d’apprentissageprofond,oudeeplearning.Nousavonsréalisé lesphases d’apprentissage àl’aide d’un jeu de données créé danscetteoptique,puisnousavonsvalidél’approchecomplète auseindelaplateformedenavigationautonomedel’ESIGE- LEC. Cet article est organisé comme suit. L’introduction est présentéedanslasectionI.DanslasectionII,nousprésentons un état de l’art de la détection et du suivi d’objets traitant les approches par apprentissage profond. L’architecture du fauteuilroulantintelligentestprésentée, quantàelle, dans la sectionIII.Notreapprocheliéeàladétection,del’estimation de profondeur et du suivi (ou tracking) d’objets est ensuite détailléeensection IV.Lasection Vconclura l’article.

II. TRAVAUXASSOCIÉS

A. Détection d’Objets

Lesméthodesbaséessurl’apprentissageprofondquioffrent lesmeilleuresperformancespourladétectiond’objets(comme

(3)

lesalgorithmesFastR-CNN[1],FasterR-CNN[2]etMaskR- CNN[3]) sedécomposentendeux modulesprésents dansun réseaudeneuronesconvolutif(CNN)[5](ensembledecellules appelées neuronesqui,travaillant ensemble, permettentindé- pendammentdesprédictionsàpartirdesentréesduréseau).Le premier modulerenvoielescoordonnéesdesrégionsd’intérêt (Region of Interest (ROI)) où un objet (quelle que soit sa nature) serait présent dans l’image. C’est la proposition de ROI. Ledeuxièmemodule estdédié àladétection.Ilfournit uneprédictiondeclassede larégionproposée.

L’algorithme YOLOv3 (YouOnlyLookOnce)[4] estl’un desalgorithmesdedétectiond’objetsenapprentissageprofond les plus performants. YOLO est basé sur le principe de régression au lieu de classification. Cela signifie que tout le processus de localisation d’une ROI englobant un objet et de classification de cet objet se fait en une seule fois.

Cela permet unedétectiond’objet entempsréel sur unGPU standard. Comme YOLO, SSD [6] combine des méthodes de classification et de localisation des ROI, évitant ainsi le rééchantillonnage fastidieuxdes pixels etdescaractéristiques extraites del’imageetcepourchaque boîteenglobante. Pour effectuer l’extraction des caractéristiques de l’image, SSD s’appuie sur l’architecture VGG-16 [7] pour les premières couches du réseau. Les couches suivantes sont progressive- ment réduites en taille pour permettre une détection multi- échelle (contrairement à YOLO). Chacune de ces couches produit unensemble deprédictions dedétection.

B. Basededonnées

Pour la détection d’objets, de nombreux jeux de données sont disponibles librement. Nous pouvons en citer quelques- uns : ImageNet [15]avec 14.000.000 d’instances par image.

Il comprend 1000 classes [16] mais l’accessibilité de ce jeu de données reste limitée. SIFT10M [17] qui comprend 11 Millions d’imagesannotées. Ileststructuré sousla formede pointsde référenced’imagesconnues (méthode SIFT). Open Images [18], qui estun jeu de données communautaire avec plusde9000000 d’images.Lesobjetssontétiquetésavecdes ROI. Il comprend 7881 classes différentes [19]. Les classes sont trèsvariéeset enconstante expansion. COCO[20]avec 1.500.000d’image.Lesobjetssontétiquetésetcatégorisés.Il comprend 80 classes d’objets [21]. COCO-stuff[22] estune version étendue de COCOavecplus de 1800000 d’image.Il comprend181classes[23].PASCALVOC[26]estdédiéàla détection des piétons avec 500000 d’images étiquetées. Elle comprend des classes [27] de 20 objets différents. CIFAR- 100 [28]avecdesimagesà60000.Ellecomprenddesclasses étiquetées à 100 [29] objets. INRIA [30] est une base de données dédiées à la détection de piétons. Caltech [31] est également dédié à la détection de personnes et de piétons.

Dansl’ensemble, cesjeu dedonnéessontrelativementriches concernant les objets lesplus couramment détectés (piétons, voitures, bus, vélos, etc.). Le jeu de données COCO est également la référenceen termesde détectiond’objets etest idéal pourcomparer différentsmodèlesdedétectiond’objets.

Cedernierpropose desbasesdedonnéesdifférentesadaptées

aux phases d’entraînement et à l’inférence des réseaux de neuronnes.Yolov3,parexemple,utiliseImageNetpourformer les53premièrescouchesdesonréseauetétablirlesbasesde données de référence. Cet jeu de données étant très dense, c’était un choix judicieux pour préparer l’entraînement de Yolov3. Cemodèle utiliseensuite d’autres bases de données pour effectuerladétectionetlaclassification,commeCOCO parexemple.

III. ARCHITECTUREDELAPLATEFORMEBASÉEFAUTEUIL

ROULANTELECTRIQUE

Le fauteuilroulant électrique robotique du laboratoire IR- SEEMestunInvacare,modèleBora,donttoutel’électronique propriétaireaétéretiréeetremplacéeparplusieurséléments: 1. Un PC embarqué sous Linux Ubuntu 16.04 LTS, 2. Un pilote moteur de Roboteq, 3. Un joystick Xbox à la place del’originalquipeutêtreconnectéaufauteuilroulantparune connexionUSBouBluetooth,4.UnrouteurWIFIpourobtenir un réseau local sans fil sur le fauteuil roulant, 5. Une IHM embarquéeavecunécrantactile.Lelogicieldufauteuilroulant estentièrementdéveloppésouslemiddlewarerobotiqueROS.

Ladescriptiondufauteuilroulantestillustréedanslafigure1.

Unordinateurembarquéestutilisé,avecUbuntu16.04comme système d’exploitationet 8 Go de RAM et250 Go deSSD, pour l’ensemble du traitement embarqué. L’interaction entre le fauteuilroulant etl’utilisateur s’effectue par le biais d’un écrantactilequiestconnectéàl’ordinateurembarquéparune connexionHDMI.Un pilotedemoteurdeRoboteqestutilisé pour piloter les moteurs. Le fauteuil roulant est connecté et dispose de sonpropre routeur Wi-Fi. Un joystick Xbox One estutilisépourcontrôlermanuellementlefauteuil.Unecaméra Intel RealSense D435 estutilisée pour la vision embarquée, etfournitdesimages couleuretdeprofondeur .

IV. DÉTECTION,LOCALISATIONETSUIVID’OBJETSPAR

DEEPLEARNING

A. Détection d’Objets

Pour effectuer la détection d’objets, nous nous sommes appuyés sur le puissant réseau de neurones YOLOv3. Dans le cadre du projet ADAPT, la détection et la classification desélémentsspécifiquesàl’environnementintérieur(telsque les portes, les poignées de porte et les interrupteurs) est un pointessentiel.Commecesclassessontsous-représentéesdans le jeu de données d’entraînement de YOLOv3 (c’est-à-dire ImageNet[24]),nous avons composéunjeu dedonnées per- sonnaliséquenousavonsutilisépoureffectuerl’entraînement duréseau.Nousavonsextrait755imagesdeportesdujeude données MCIndoor20000 [25], composé d’images étiquetées contenantdiversobjetsd’intérieurs.Nousn’avonspasputrou- verunjeudedonnéesouvertavecunereprésentationsuffisante desinterrupteurs,despoignéesdeportesegmentésetétiquetés.

Pourcette raison,nousavons développénotreproprebasede données ausein de l’ESIGELECconstituéede 1885images, quenousavons combinéaveclesimagesdeportesdelabase de données MCIndoor20000. Nous avons supervisé l’étique- tagede2640imagesprovenantdedeuxensemblesdedonnées

(4)

FIGURE 1: Fauteuil roulant électrique et robotique de l’IR- SEEM.

combinés en utilisant unoutil d’étiquetage semi-automatique quenousavonsdéveloppé.Nousavonsfinalementprocédéau re-entrainementdeYOLOv3 surlesclasses requises.Pour ce processusd’apprentissagepartransfert,nousn’avonsentraîné quelescouchesdeclassificationduréseauneuronal.Lafigure 2 montre les résultats qualitatifs du processus de détection après avoir re-entraîné YOLOv3 sur la reconnaissance de portes, despoignéesdeporteetdesinterrupteurs d’éclairage.

FIGURE 2: Détection d’objets en environnement Indoor du fauteuilroulant comprenantportesetpoignées deportes.

B. Estimationdeprofondeur

Une fois l’étape de détection réalisée, une distance est associéeàchaqueélémentextrait.LacaméraRealsenseD435 peut fournir une image de profondeur avec une précision de l’ordrede 10% pour de courtes distances (0,10−20m). Néanmoins,onobserveunedifférencedechampdevueentre la paire de caméras infrarouges stéréoscopiques fournissant les images de profondeur, et le capteur couleur. Il est donc

nécessaire de mettre en correspondance les images couleurs et infrarouge. Celle-ci est réalisée directement à l’aide des données constructeur. Al’issue de cette étape, on extrait les valeurs de distance pour chaque pixel des ROI retournées par YOlOv3. On applique ensuite un filtre médian sur ces valeurs de manière à écarter les zones où l’information de profondeurpeutêtreincomplèteouerronée.Lafigure2illustre le résultat du processus d’extraction de ROI et l’attribution d’uneinformationdeprofondeur associée.

C. Trackingd’Objets

Enutilisant lacombinaison depositionetprofondeurasso- ciéesàchaque élémentdétecté parl’algorithme dedétection, nous nous appuyons sur l’algorithme SORT (Simple Online and Realtime Tracking) [32] [33] pour suivre les différents objets de la scène lorsque le fauteuil roulant est en mouvement.Surunfluxvidéo,plusieursobjets(portes,interrupteurs et poignées de porte) sont détectés et se voient attribuer une distance donnée. SORT inspecte les objets détectés, et détermine si un objet donné est nouvellement vu, ou si le déplacementdel’objet estuneconséquence desmouvements dufauteuilroulant.CetalgorithmebasésurunfiltredeKalman fournitfinalementunnumérod’identificationuniqueàchaque nouvelobjetdétecté.SORTgardeunetracedeplusieursobjets simultanémentetfiltrelespositionsd’objetsbruyantsassociés auxboîtesdedélimitation enmouvement.

Enfin, nous utilisons les données odométriques provenant de la caméra Realsense T265 pour estimer le déplacement dufauteuilroulant.Nouscombinonscesinformationsavecla positiondel’objetpourvisualiserunecartesémantique3Dde l’environnementcontenantlesobjetsdétectésetsuivis,comme lemontre lafigure3.

FIGURE 3:3Dlocal semanticmap

V. VALIDATIONEXPÉRIMENTALE

Dans l’optique de valider ces algorithmes, nous avons réaliséunjeude donnéesexpérimentalau seindulaboratoire IRSEEM.Un ensemble quatre portes comportantcouleurs et formes de poignées différentes ont été placées dans la zone de couverture d’un système de capture de mouvement. Une

(5)

fois équipées de marqueurs réfléchissants, portes et fauteuil roulant sont localisés par un système Vicon fournissant leur position etorientationavecuneprécisionmillimétrique àune fréquence de 100Hz [34]. De cette manière, on obtient une véritéterrainpermettantdecalculeràhautevitesseladistance entre lefauteuilroulant etlesportes.

Notre ensemble de porte a été placé suivant un arc de cercle (cf. Fig. 4), avec pour optique d’évaluer la capacité de détection lorsque de multiples éléments sont présents simultanément sur une image. Lors de cette expérience, le fauteuil roulant d’ADAPT se déplace dans la scène et, en changeant d’orientation, se retrouve à plusieurs reprises en vis àvisdesdifférentesportes.Onévaluealorsl’erreurentre la distance estiméeà l’issued’une détection par YOlOv3,et lavérité terrainfourniepar lesystèmevicon.

La figure 5 présente ces résultats. Pour un total de 650 détectionsdeportes,onobserveladistanceréelleetladistance estiméeparlacaméraRealsenseD435,ainsiqueladifférence decesdeuxvaleurs.LatableIfournitlesrésultatsnumériques de cette expérimentation. On y note une erreur moyenne de 18.1cm,soit3.8%d’erreursurl’estimationdeladistancedes objets. Ces valeurssont en deçà des données fourniespar le constructeur.

FIGURE 4: Dispositiondes portesdans le jeu dedonnées de validation

CONCLUSION

Nousavons présentédans cedocumentladétection,l’esti- mationde laprofondeur,la localisationetle suividesobjets

Erreursd’estimationdeprofondeur

Médiane(cm) 15.6

Moyenne(cm) 18.1

Ecarttype(cm) 13.5

Médiane(%) 3.2

Moyenne(%) 3.8

Ecarttype(%) 2.6

TABLE I: Evaluation de l’estimation de profondeur sur 650 détections de portes. Ecart entre distance estimée par la caméra et vérité terrain. Erreur absolue en cm, reportée en pourcentage.Valeursmoyennes, médianes etécarttype.

FIGURE5:Résultatsquantitatifsdel’estimationdeprofondeur par lacaméra RealsenseD435.Distance mesuréeentre porte etcamérad’après lesimages deprofondeurs (orange),Vérité terrain (bleu), et écart entre vérité terrain et mesure caméra (vert)

surlabased’unapprentissageapprofondipourunemobilitéin- telligentedesfauteuilsroulants.Ladétectiond’objetsestbasée surl’approcheYOLOV3.Nousavons mesurél’erreurd’esti- mationdedistanceaveclesobjetsdétectés.Enfin,nousavons amélioré une version de l’algorithme SORT afin d’effectuer le suivides objets. L’estimation de la position de l’objet est amélioréegrâceàl’utilisationdufiltredeKalmanétendu.Pour valider l’ensemble des développements,nos modèles ont été réentrainésen utilisant unecomposition dedonnées ouvertes et internes : MCIndoor20000 et ESIGELEC. La détection et le suivi d’objets ont été évalués sous le jeu de données ESIGELECpourvaliderladétectionetlesuivid’objetspour un fauteuil roulant en environnement intérieur. En utilisant notremodèlereentrainésurnotrejeudedonnéespersonnalisé, notreimplémentationoffredebonnesperformancesenmatière d’inférence sur l’environnement intérieurdu fauteuilroulant.

L’ensemble desdéveloppements estintégré surla plateforme viaunecarteNvidiaJetson TX2commecalculateurprincipal pour touslesalgorithmesd’apprentissageprofond (détection, estimationetsuivid’objets).

REMERCIEMENTS

Le travail présenté dans ce document est soutenu par le projet ADAPT qui est réalisé dans le cadre du projet IN- TERREG VA FMA ADAPT ”Assistive Devices for empowering disAbled People through robotic Technologies” http:

//adapt-project.com/index.php. Le programme Interreg FCE estun programme de coopérationterritoriale européennequi vise à financer des projets de coopération de haute qualité dans la région frontalière de la Manche entre la France et l’Angleterre.LeprogrammeestfinancéparleFondseuropéeen de développement régional(FEDER)). Noustenons àremer- cier les ingénieurs du Laboratoire de Navigation Autonome

(6)

(LNA)del’IRSEEMpourleursoutienetleServiceIngénierie Recherche et Développement (SIRD) de l’ESIGELEC pour leur aide dans la phase de test. Ce travail a bénéficié des moyens de calculdu mésocentre CRIANN (Centre Régional Informatique etd’ApplicationsNumériquesdeNormandie).

RÉFÉRENCES

[1] GIRSHICK,Ross.Fastr-cnn.In:ProceedingsoftheIEEEinternational conferenceoncomputervision.2015.p.1440-1448.

[2] REN,Shaoqing,HE,Kaiming,GIRSHICK, Ross,etal.Fasterr-cnn: Towardsreal-timeobjectdetectionwithregionproposalnetworks.In: Advancesinneuralinformationprocessingsystems.2015.p.91-99.

[3] HE,Kaiming,GKIOXARI,Georgia,DOLLÁR,Piotr,etal.Maskr-cnn.

In:ProceedingsoftheIEEEICCV2017.p.2961-2969.

[4] Redmon,JosephandFarhadi,Aliar,YOLOv3:AnIncrementalImpro- vement2018,arXiv

[5] PELLEGRINI, Thomas, FONTAN, Lionel, et SAHRAOUI, Halima.

Réseau de neurones convolutif pour l’évaluation automatique de la prononciation.

[6] LIU,Wei,ANGUELOV,Dragomir,ERHAN,Dumitru,etal.Ssd:Single shotmultiboxdetector.InECCV2016.p.21-37.

[7] HASSAN,M.VGG16:ConvolutionalNetworkforClassificationand Detection.2019.

[8] GODARD,Clément,MACAODHA,Oisin,etBROSTOW, GabrielJ.

Unsupervisedmonoculardepthestimationwithleft-rightconsistency.In IEEECVPR2017.p.270-279.

[9] ZHOU,Tinghui,BROWN,Matthew,SNAVELY,Noah,etal.Unsupervi- sedlearningofdepthandego-motionfromvideo.InIEEECVPR2017.

p.1851-1858.

[10] EIGEN,David, PUHRSCH,Christian,et FERGUS,Rob. Depthmap predictionfromasingleimageusingamulti-scaledeepnetwork.In: Advancesinneuralinformationprocessingsystems.2014.p.2366-2374.

[11] LIU,Fayao, SHEN,Chunhua, LIN, Guosheng, etal.Learningdepth fromsinglemonocularimagesusingdeepconvolutionalneuralfields.

IEEEtransactionsonpattern analysisandmachineintelligence,2015, vol.38,no10,p.2024-2039.

[12] MAYER,Nikolaus,ILG,Eddy,HAUSSER,Philip,etal.Alargedataset totrainconvolutionalnetworksfordisparity,opticalflow,andsceneflow estimation.In:ProceedingsoftheIEEEConferenceonComputerVision andPatternRecognition.2016.p.4040-4048.

[13] TONIONI,Alessio,TOSI,Fabio,POGGI,Matteo,etal.Real-timeself- adaptivedeepstereo.InIEEECVPR2019.p.195-204.

[14] MAYER,Nikolaus,ILG,Eddy,HAUSSER,Philip,etal.Alargedataset totrainconvolutionalnetworksfordisparity,opticalflow,andsceneflow estimation.InIEEECVPR2016.p.4040-4048.

[15] DENG,Jia,DONG,Wei,SOCHER,Richard,etal.Imagenet:Alarge- scalehierarchicalimagedatabase.InIEEECVPR2009.p.248-255.

[16] JEONG,Hyeok-June,PARK,Kyeong-Sik,etHA,Young-Guk.Image preprocessingforefficienttrainingofYOLOdeeplearningnetworks.In: 2018IEEEInternationalConferenceonBigDataandSmartComputing (BigComp).IEEE,2018.p.635-637.

[17] YANG,Jie,ZHAO,Wan-Lei,DENG,Cheng-Hao,etal.FastNearest NeighborSearchBasedonApproximatek-NNGraph.In:International ConferenceonInternetMultimediaComputingandService.Springer, Singapore,2017.p.327-338.

[18] KUZNETSOVA,Alina,ROM,Hassan,ALLDRIN,Neil,etal.Theopen imagesdatasetv4:Unifiedimageclassification,objectdetection,and visualrelationshipdetectionatscale.arXivpreprintarXiv:1811.00982, 2018.

[19] DOYLE,Scott,FELDMAN,MichaelD.,SHIH,Natalie,etal.Cascaded discriminationofnormal,abnormal,andconfounderclassesinhistopa- thology:Gleasongradingofprostatecancer.BMCbioinformatics,2012, vol.13,no1,p.282.

[20] LIN,Tsung-Yi,MAIRE,Michael,BELONGIE,Serge,etal.Microsoft coco : Common objects in context. In : European conference on computervision.Springer,Cham,2014.p.740-755.

[21] CHEN, Xinlei, FANG, Hao, LIN, Tsung-Yi, et al. Microsoft coco captions : Data collection and evaluation server. arXiv preprint arXiv:1504.00325,2015.

[22] CAESAR, Holger, UIJLINGS, Jasper, et FERRARI, Vittorio. Coco- stuff:Thingandstuffclassesincontext.In:ProceedingsoftheIEEE ConferenceonComputerVisionandPatternRecognition.2018.p.1209- 1218.

[23] LI,Jie,RAVENTOS,Allan,BHARGAVA,Arjun,etal.Learningtofuse thingsandstuff.arXivpreprintarXiv:1812.01192,2018.

[24] DENG, Jia, DONG, Wei, SOCHER, Richard, et al. Imagenet : A large-scalehierarchicalimagedatabase.In:2009IEEEconferenceon computervisionandpatternrecognition.Ieee,2009.p.248-255.

[25] Bashiri,FereshtehS.,etal."MCIndoor20000: Afully-labeledimage datasettoadvanceindoorobjectsdetection."Datainbrief17(2018): 71-75.

[26] VICENTE,Sara,CARREIRA,Joao,AGAPITO,Lourdes,etal.Recons- tructingpascalvoc.In:ProceedingsoftheIEEEconferenceoncomputer visionandpatternrecognition.2014.p.41-48.

[27] ZHU,Chao,BICHOT,Charles-Edmond,etCHEN,Liming.Multi-scale colorlocalbinarypatternsforvisualobjectclassesrecognition.In:2010 IEEECVPR,p.3065-3068.

[28] KRIZHEVSKY, Alex,NAIR, Vinod, etHINTON,Geoffrey.Cifar-10 and cifar-100datasets.URl: https://www.cs.toronto.edu/kriz/cifar.

html,2009,vol.6.

[29] CUI,Yin,JIA,Menglin,LIN,Tsung-Yi,etal.Class-balancedlossbased oneffectivenumberofsamples.In:ProceedingsoftheIEEECVPR.

2019.p.9268-9277.

[30] EVERINGHAM,Mark,VANGOOL,Luc,WILLIAMS,ChristopherKI, etal.ThePASCALvisualobject classeschallenge 2007(VOC2007) results.2007.

[31] GRIFFIN, Gregory, HOLUB, Alex,etPERONA, Pietro.Caltech-256 objectcategorydataset.2007.

[32] BEWLEY,Alex,GE,Zongyuan,OTT,Lionel,etal.Simpleonlineand realtimetracking.In:2016IEEEICIPp.3464-3468.

[33] WOJKE,Nicolai,BEWLEY,Alex,etPAULUS,Dietrich.Simpleonline and realtimetrackingwithadeepassociationmetric.In: 2017IEEE ICIP,p.3645-3649.

[34] Merriaux,P.,Dupuis,Y.,Boutteau,R.,Vasseur,P.,Savatier,X.(2017).

Astudyofviconsystempositioningperformance.Sensors,17(7),1591.