Correspondance de structures irr´ eguli` eres pour la segmentation et l’´ edition d’images
Stage de Master 2 (5-6 mois)
Laboratoire :
Laboratoire IMS, UMR 5218, Universit´e de Bordeaux, 351 cours de la lib´eration,33400 Talence – France
Encadrants :
R´emi Giraud / IMS / Signal et Image (remi.giraud@ims-bordeaux.fr)Description du sujet :
Contexte. La massification des donn´ees images trait´ees (HD, 3D, vid´eos, etc.) repr´esente un enjeu de taille pour les ann´ees `a venir. Les processus de traitement classiques sont impact´es par le nombre et la taille des images en constante augmentation, qui peuvent mener `a des temps de calcul tr`es ´elev´es.
Dans ce contexte, les m´ethodes de r´eduction de r´esolution, type superpixels, ont ´et´e progressivement introduites ces derni`eres ann´ees, pour d´ecomposer l’image en zones de couleurs homog`enes tentant de respecter les contours des objets (voir Figure 1(a)). Le nombre d’´el´ements `a traiter est alors con- sid´erablement r´eduit, ce qui permet de diminuer le temps de calcul, tout en permettant potentiellement d’avoir un r´esultat `a l’´echelle superpixellique qui soit proche du r´esultat optimal `a l’´echelle pixellique.
Cependant, les r´egions `a traiter sont `a pr´esent irr´eguli`eres, et ont des formes et des voisinages variables, ce qui limite beaucoup `a l’heure actuelle l’utilisation de cette approche dans les pipelines standards de vision par ordinateur.
En effet, de nombreuses m´ethodes d’analyse et de traitement d’images sont bas´ees sur la recherche de correspondances et utilisent des outils de comparaison bas´es sur des voisinages r´eguliers d´efinis `a l’´echelle pixellique. Un pixel est g´en´eralement d´ecrit par un patch, un voisinage carr´e qui va permettre de trouver des motifs similaires dans la zone de recherche. Cette zone est dite dite “non locale” et peut ˆetre d´efinie dans la mˆeme image par exemple pour le d´ebruitage [Buades et al., 2005] ou dans une ou plusieurs images d’exemples accompagn´ees de v´erit´e terrain par exemple pour la segmentation automatique [Coup´e et al., 2011]. N´eanmoins, dans ces approches, il existe donc autant de patchs `a traiter que de pixels dans les images, ce qui peut mener `a d’importants temps de calcul.
R´ecemment, dans [Giraud et al., 2017a], une premi`ere extension du formalisme bas´e-patch aux struc- tures irr´eguli`eres a ´et´e propos´ee. Un algorithme rapide de recherche semi-al´eatoire bas´e sur PatchMatch [Barnes et al., 2009] a ´et´e introduit pour calculer des correspondances en termes de voisinage de super- pixels. Dans un premier temps, la m´ethode a ´et´e appliqu´ee `a la segmentation et l’´etiquetage depuis une biblioth`eque d’images d’exemples (Figure 1(a)) et au transfert de couleurs rapide entre images [Giraud et al., 2017b] (Figure1(b)). N´eanmoins, les outils de comparaison propos´es sont loin d’ˆetre optimaux et peuvent toujours s’av´erer coˆuteux en termes de complexit´e et de temps de calcul.
Fusion des étiquettes d'exemple Recherche non locale
de correspondances
...
...
...
...
bibliothèque d'images d'exemple
étiquetage du étiquetage final décomposition en
image à traiter
superpixels superpixel
(a) (b)
Figure 1: Sch´ema de la m´ethode de segmentation et d’´etiquetage automatique [Giraud et al., 2017a] (a) et r´esultat de transfert de couleurs [Giraud et al., 2017b] (b) par correspondance de voisinages de superpixels.
1
Objectifs du stage. Ce stage de recherche s’inscrit dans les th´ematiques actuelles de recherche en image (grandes bases de donn´ees, algorithmes rapides de correspondances, segmentation, classifica- tion, etc). Il a pour objectif de r´epondre aux limitations restantes des des outils de correspondance de structures irr´eguli`eres propos´es dans [Giraud et al., 2017a] et d’´etendre ces travaux `a de nouvelles applications.
Une premi`ere ´etape consisterait `a red´efinir la m´ethode de correspondance en cherchant `a am´eliorer par exemple la complexit´e de la distance de comparaison entre deux structures irr´eguli`eres.
Chaque r´egion est g´en´eralement d´ecrite par un histogramme couleur des pixels qu’elle contient, ce qui entraˆıne la perte de l’information spatiale. Un autre objectif du stage serait d’adapter aux r´egions irr´eguli`eres des descripteurs plus avanc´es tels que [Lowe, 2004,Bay et al., 2006] qui ont su prouver leur efficacit´e pour la recherche de correspondance entre images.
Enfin, pour augmenter le potentiel de la m´ethode, un sch´ema multi-´echelles pourra ˆetre con¸cu afin de mettre en correspondance des ´el´ements de tailles diff´erentes entre images, et ainsi pouvoir appliquer l’algorithme `a des bases tr`es h´et´erog`enes.
Avec un algorithme rapide, robuste et g´en´erique, les possibilit´es d’applications sont nombreuses, et le stagiaire pourra ˆetre force de proposition. On pourra s’int´eresser aux bases telles que PASCAL VOC [Everingham et al., 2012], sur des probl´ematiques d’analyse comme la segmentation ou la classification d’images. La m´ethode de transfert de couleurs propos´ee dans [Giraud et al., 2017b] pourrait ´egalement ˆ
etre am´elior´ee pour viser un transfert “s´emantique” o`u l’on viendrait transf´erer les couleurs d’objets similaires dans une autre image.
Candidat Recherch´ e :
Candidat titulaire d’un Master 2 ou d’un diplˆome d’ing´enieur de grande ´ecole, sp´ecialit´e Informa- tique / Image. Des connaissances et exp´eriences solides en traitement de l’image et programmation (MATLAB/Python, C/C++) sont demand´ees. La maˆıtrise de l’anglais scientifique et des qualit´es r´edactionnelles sont ´egalement attendues.
Contact. Pour candidater, envoyez un dossier avec CV, lettre de motivation, relev´es de notes, ainsi que toute pi`ece susceptible de renforcer la candidature (lettre de recommandation, etc). Pour l’envoi des pi`eces demand´ees, ou pour toute question sur le sujet : remi.giraud@ims-bordeaux.fr
R´ ef´ erences :
[Barnes et al., 2009] Barnes, C., Shechtman, E., Finkelstein, A., and Goldman, D. B. (2009). PatchMatch: A randomized correspondence algorithm for structural image editing. ACM Trans. on Graphics (ToG), 28(3).
[Bay et al., 2006] Bay, H., Tuytelaars, T., and Van Gool, L. (2006). SURF: Speeded up robust features. In Proc. of European Conference on Computer Vision (ECCV), pages 404–417.
[Buades et al., 2005] Buades, A., Coll, B., and Morel, J.-M. (2005). A non-local algorithm for image denoising.
InProc. of IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), volume 2, pages 60–65.
[Coup´e et al., 2011] Coup´e, ., Manj´on, J. V., Fonov, V., Pruessner, J., Robles, M., and Collins, D. (2011). Patch- based segmentation using expert priors: Application to hippocampus and ventricle segmentation.NeuroImage (NIMG), 54(2):940–954.
[Everingham et al., 2012] Everingham, M., Van Gool, L., Williams, C. K. I., Winn, J., and Zisserman, A.
(2012). The PASCAL Visual Object Classes Challenge 2012 (VOC2012) Results.
[Giraud et al., 2017a] Giraud, R., Ta, V.-T., Bugeau, A., Coup´e, P., and Papadakis, N. (2017a). SuperPatch- Match: An algorithm for robust correspondences using superpixel patches. IEEE Trans. on Image Processing (TIP).
[Giraud et al., 2017b] Giraud, R., Ta, V.-T., and Papadakis, N. (2017b). Superpixel-based color transfer. In Proc. of IEEE International Conference on Image Processing (ICIP).
[Lowe, 2004] Lowe, D. G. (2004). Distinctive image features form scale-invariant keypoints. International Journal of Computer Vision (IJCV), 60(2):91–110.
2
