Colorisation d’images à partir de graphes de superpixels
Stage de Master 2 (5-6 mois)
Lieu du stage :
Laboratoire LaBRI, UMR CNRS 5800351 cours de la Libération, 33400 Talence, France
Encadrants :
Michaël Clément / LaBRI / Image et Son (michael.clement@labri.fr) Rémi Giraud / IMS / Signal et Image (remi.giraud@ims-bordeaux.fr)Mots-clés :
Colorisation d’images;Segmentation en superpixels;Apprentissage profondFigure 1 – Colorisation à partir d’images de référence, résultats issus de [1].
Description du sujet
Contexte
Le projet de recherchePostProdLEAP1s’intéresse au développement de nouveaux outils pour l’édition d’images et de vidéos d’archives, en partenariat avec l’entreprise Composite Films, basée à Paris. Dans ce processus d’édition des images, les deux étapes principales sont généralement la restauration (débruitage, correction d’artefacts) et la colorisation à partir des images à niveaux de gris. Dans ce stage de recherche, nous nous intéressons principalement à l’étape de colorisation.
Les méthodes récentes de colorisation utilisent des réseaux de neurones convolutifs (CNNs) afin de prédire la couleur de chaque pixel d’une image d’entrée à niveaux de gris [1, 2, 3, 4]. Ces réseaux sont généralement entraînés à partir de grandes bases d’images naturelles déjà colorisées. Par ailleurs, il est souvent nécessaire d’ajouter une étape d’interactivité avec l’utilisateur afin de pouvoir guider le processus de colorisation dans une direction donnée, par exemple à partir d’images de référence (voir les résultats de la Figure1) ou d’annotations manuelles. Cette interactivité est d’autant plus importante lorsque l’on manipule des images d’archives, où certains détails doivent être respectés afin de garantir une cohérence historique. Bien que les méthodes récentes puissent fournir des résultats convaincants, elles se retrouvent souvent confrontées à plusieurs problèmes : artefacts de colorisation, non respect des contours (phénomène decolor bleeding), non prise en compte de détails fins, architectures non adaptées à des images de haute résolution, etc.
Pour pallier ces problèmes, une piste intéressante serait d’intégrer des méthodes de segmentation en régions au sein des approches actuelles. Par exemple, la décomposition d’une image en superpixels [5] (voir la Figure2) apporte de nombreux avantages : d’une part, cela diminue grandement le nombre d’éléments à traiter, et d’autre part, ces régions permettent de respecter la structure des images, notamment les contours entre les objets.
1. https://www.labri.fr/perso/bugeau/PostProdLEAP
1
(a) (b)
Figure 2 – (a) Décomposition en superpixels et (b) représentation duale correspondante [6].
Objectifs du stage
Dans ce stage, nous proposons d’étudier de nouvelles méthodes de colorisation d’images basées sur l’utilisation de décompositions en superpixels. Après une étude bibliographique sur le sujet et une prise en main des approches développées dans l’équipe, plusieurs pistes pourront être envisagées :
— Modélisation de la carte de superpixels sous la forme d’un graphe d’adjacence de régions, puis exploitation au sein de CNNs basés graphes [7] ;
— Adaptation de couches d’attention non-locales [8,9] afin de corréler des cartes de superpixels entre elles (par exemple entre une image à coloriser et une ou plusieurs images de référence) ;
— Combinaison de superpixels classiques avec leur représentation duale (superpixels centrés sur les contours) ainsi que des aspects multi-échelles [6] afin d’enrichir les caractéristiques extraites.
Ces différentes pistes pourront être testées et validées expérimentalement sur des bases d’images natu- relles, ainsi que sur des images d’archives fournies par l’entreprise Composite Films.
Profil recherché
Étudiant·e en Master 2 ou dernière année d’école d’ingénieurs, spécialisé·e en informatique, image et/ou intelligence artificielle. Des connaissances et expériences solides en traitement d’images, apprentis- sage profond et programmation (Python, TensorFlow/PyTorch, C/C++) sont demandées. La maîtrise de l’anglais scientifique et des qualités rédactionnelles sont également très importantes.
Candidature :Pour candidater, envoyer un dossier avec CV, lettre de motivation, relevés de notes, ainsi que toute pièce susceptible de renforcer la candidature (lettre de recommandation, etc.). Pour l’envoi des pièces demandées, ou pour toute question sur le sujet, envoyer un mail aux encadrants du stage.
Références
[1] He, M., Chen, D., Liao, J., Sander, P. V., and Yuan, L. “ Deep exemplar-based colorization”.ACM Transactions on Graphics 37.4 (2018), 47:1–47:16.
[2] Zhang, R., Isola, P., and Efros, A. A. “ Colorful image colorization”.European Conference on Computer Vision (ECCV).
2016.
[3] Vitoria, P., Raad, L., and Ballester, C. “ChromaGAN: Adversarial picture colorization with semantic class distribution”.
Winter Conference on Applications of Computer Vision (WACV). 2020.
[4] Su, J.-W., Chu, H.-K., and Huang, J.-B. “Instance-aware image colorization”.Conference on Computer Vision and Pattern Recognition (CVPR). 2020.
[5] Stutz, D., Hermans, A., and Leibe, B. “Superpixels: An evaluation of the state-of-the-art”.Computer Vision and Image Understanding 166 (2018), pp. 1–27.
[6] Giraud, R., Boyer, M., and Clément, M. “Multi-scale superpatch matching using dual superpixel descriptors”.Pattern Recognition Letters133 (2020), pp. 129–136.
[7] Kipf, T. N. and Welling, M. “ Semi-supervised classification with graph convolutional networks”.International Con- ference on Learning Representations (ICLR). 2017.
[8] Wang, X., Girshick, R., Gupta, A., and He, K. “Non-local neural networks”. Conference on Computer Vision and Pattern Recognition (CVPR). 2018, pp. 7794–7803.
[9] Zhang, H., Goodfellow, I., Metaxas, D., and Odena, A. “ Self-attention generative adversarial networks”.International Conference on Machine Learning (ICML). 2019.
2
