Afin de comprendre l’impact des améliorations proposées sur le problème de segmen-tation cérébral, nous approfondissons dans cette section l’étude des performances pour le réseau PatchNet et les deux versions proposées : PatchNet + DistBranch, PatchNet Full. On étudie pour cela la variation de la distance de Hausdorff en fonction des patients ou des structures, dans l’objectif de mettre en lumière les cas (patients ou structures) les plus problématiques et d’étudier l’évolution des performances pour ces derniers. La figure 9.2
indique pour chacun des patients de la base MICCAI12, les variations de la distance de Hausdorff toutes structures confondues, cela permet d’étudier globalement le réalisme de la segmentation proposée par les modèles. On constate globalement que quelques patients se détache par l’augmentation de la variance et de la médiane. Toutefois, l’utilisation de la branche DistBranch et du modèle complet apportent une forte baisse et une meilleure stabilité de la distance de Hausdorff et ce pour tous les patients.
Figure 9.2 – Illustration de la dispersion de la distance de Hausdorff, pour toutes les structures de chaque patients de la base de test MICCAI12. On compare les performances du réseau par patch PatchNet, avec l’ajout de la position du patch et l’utilisation de toutes les branches.
On souhaite aussi connaître l’utilité de la méthode à l’échelle anatomique, pour déceler des améliorations plus précises. La figure9.3détaille la variation du Hausdorff sur chaque structures, tous patients confondus. Au vu du nombre important de structures cérébrales dans la base MICCAI12, nous faisons le choix de se concentrer sur les 15 régions ayant les plus mauvais résultats sur la métrique de Hausdorff, pour suivre leurs évolutions. De même que pour l’étude en fonction des patients, on note une baisse globale de la distance de Hausdorff et une stabilisation au même seuil pour les deux architectures avec DistBranch et Full.
9.8. CONCLUSION
Ces résultats en fonction des patients et des régions tendent à confirmer que l’utilisation de la connaissance de position apporte une amélioration nette de la segmentation produite par le modèle, en augmentant le réalisme par rapport à l’anatomie humaine.
Figure 9.3 – Illustration de la dispersion de la distance de Hausdorff, pour tous les patients de la base de test MICCAI12, en fonction des 15 structures les plus mal délimitées. On compare les performances du réseau par patch PatchNet, avec l’ajout de la position du patch (DistBranch) et l’utilisation de toutes les branches (Full).
9.8 Conclusion
Dans ce chapitre, nous avons présenté les résultats des expériences menées pour com-prendre l’influence des différentes améliorations proposées à notre architecture de RNC PatchNet. On constate que l’encodage de la position et l’encodage par le biais de la branche DistBranch apporte les plus fortes améliorations des anomalies de segmentation sur la dis-tance de Hausdorff (-75% par rapport à PatchNet). La combinaison finale des approches conduit à un gain significatif pour le Dice (+7%) et la distande de Hausdorff (-76%), avec une augmentation du nombre de paramètres de l’ordre de 127%. Malgré la complexité spa-tiale et temporelle supérieure au réseau SegNet comparé en entrée, l’approche par patch proposée est plus compétitive sur les aspects de qualité de segmentation et de robustesse aux erreurs anormales.
P-A. Ganaye 79
Chapitre 10
Conclusion
Dans cette partie nous avons présenté nos contributions à la segmentation par patch avec des RNC. Une partie des résultats a été présentée en session orale à la conférence ISBI 2018 [Ganaye et al., 2018b].
Nous avons défini un cadre pour l’intégration de connaissances spatiales dans n’im-porte quel réseau de classification par patch, qui par défaut ne prend pas naturellement en compte la position dans l’image, pourtant si importante en imagerie médicale et utile pour éliminer les principales incohérences anatomiques. Nous avons montré que l’intégra-tion des distances du patch aux points de repère, dans un RNC 2D multi-résolul’intégra-tion peut aider à réduire les incohérences de segmentation et améliorer la qualité globale de la sortie. La représentation de la position sous la forme d’une image de distances, ainsi que l’uti-lisation de convolution pour l’extraction de descripteurs sur cette dernière est un facteur déterminant dans l’amélioration des résultats. L’ajout de données provenant d’un atlas probabiliste construit sur la base d’apprentissage et d’un patch 3D, ont fait progresser la qualité globale du modèle. Toutefois la distance de Hausdorff est très majoritairement diminuée par l’ajout de l’image de distances.
Une piste d’amélioration probable serait de combiner la méthode avec un recalage défor-mable pour obtenir des positions plus précises en recalant les patients sur un même atlas. Puis, à l’aide de ces coordonnées spatiales dans l’atlas déformé, nous pourrions construire une image de distances et l’utiliser en entrée du modèle PatchNet Full, on conserverait ainsi la méthode originale en affinant les positions.
Malgré les améliorations proposées, l’approche par patch connaît des limitations, à savoir que l’image est segmentée itérativement en classifiant chaque patchs séparément. Même si ces opérations peuvent être parallélisées pour plus d’efficacité, des architectures plus op-timisées pour la segmentation ont été proposées [Long et al., 2015, Ronneberger et al.,
81
CHAPITRE 10. CONCLUSION
2015, Badrinarayanan et al., 2017]. Ces architectures dites "entièrement convolutives" ouvrent la voie à l’exploitation de contraintes globales à l’échelle de l’image, telles que la cohérence volumique et anatomique, ce qui est pour le moment impossible avec une méthode par patch.
Les approches basées sur des RNC par patch sont généralement entraînées dans le but de minimiser les erreurs de classification entre la segmentation prédite et la vérité terrain. Ces différences sont mesurées par des fonctions de coût telles que l’entropie croisée et le Dice, mais ne se basent pas sur les connaissances topologiques du domaine, pourtant très importantes pour renforcer le réalisme des délimitations. Leur précision est donc limitée à la fois par leur capacité de perception puis par la quantité et la qualité des données d’entraînement disponibles. Idéalement la base de données devrait refléter toute la varia-bilité inter-sujets et les annotations devraient connaître un large consensus entre experts. Ces deux conditions étant rarement réunies, les premières méthodes basées sur des RNC n’apportaient pas toujours une nette amélioration par rapport aux pipelines de segmen-tation traditionnels. Aussi diverses tentatives visant à exploiter des propriétés telles que l’invariance anatomique et la connaissance sémantique dans le cadre de RNC furent propo-sées en détection d’objets et segmentation d’images. L’introduction de contraintes spatiales spécifiques dans un RNC, avec pour objectif de réduire les incohérences de segmentation, a motivé le travail présenté dans la partie suivante de ce manuscrit.
III Prise en compte de contraintes
anatomiques d’adjacence dans
un RNC pour la segmentation
d’images médicales
83
Chapitre 11
Introduction
Bien que les réseaux de neurones convolutifs aient démontré leurs capacités de recon-naissances visuelles et de reconstruction dans plusieurs domaines de l’imagerie médicale, ils restent à l’heure actuelle inaptes à capturer naturellement des contraintes anatomiques de haut niveau (voisinage inter-structures, inclusion, connexité), des connaissances pourtant évidentes pour un radiologue. Ce manque de robustesse peut mener à des anormalités de segmentation lorsque les données d’entrée présentent des caractéristiques encore inconnues au système. Par exemple dans la figure11.1, on peut voir le résultat de plusieurs coupes où un réseau de segmentation entraîné sur des données cérébrales a produit des annotations inconsistantes par rapport à l’anatomie cérébrale (présence de groupes de pixels isolés, fuite).
Figure 11.1 – Erreurs de segmentation aberrantes produites par un réseau de segmentation convolutif (PatchNet, cf section6.3) sur la base cérébrale MICCAI 2012.
Pour rendre plus robustes les solutions basées sur un RNC, des contraintes de formes [Oktay et al., 2018,Ravishankar et al., 2017], de volume [Kervadec et al., 2019] ou d’ad-jacence [BenTaieb and Hamarneh, 2016] ont été proposées ces dernières années. Nous les
85
CHAPITRE 11. INTRODUCTION
divisons en deux familles :
— apprentissage de connaissances de domaine : une représentation de l’espace des struc-tures anatomiques est apprise, puis le réseau de segmentation final est entraîné en utilisant cette représentation latente pour régulariser l’apprentissage du réseau de segmentation.
— modélisation de l’a priori : une information topologique ou géométrique est modélisée à travers une fonction de coût différentiable. À l’aide d’un a priori déterminé par l’utilisateur ou extrait des données, le RNC est contraint de produire des résultats qui respecte la connaissance modélisée.
Dans la suite de ce chapitre, nous présentons des travaux issus de ces deux familles de RNC avec contraintes pour des applications médicales.
11.1 Apprentissage des connaissances de domaine
La première approche pour limiter les erreurs de segmentation consiste à apprendre une représentation latente des structures anatomiques, souvent par le biais d’un auto-encodeur, puis de l’utiliser pour quantifier la dissimilarité entre la sortie et la vérité terrain dans l’espace appris. Cette mesure est alors exploitée lors de l’apprentissage du réseau de segmentation final, sous la forme d’une pénalisation sur la sortie du modèle.
Figure 11.2 – Réseau de segmentation par RNC (à droite) avec contrainte de domaine apprise par auto-encodeur (à gauche). Figure issue de [Oktay et al., 2018].
L’approche proposée dans [Oktay et al., 2018] incite le modèle à suivre des proprié-tés anatomiques (forme, orientation) à travers une représentation latente apprise. Comme illustré dans la figure11.2, dans un premier temps un auto-encodeur convolutif est entraîné sur les cartes de segmentation pour déterminer une représentation latente des structures. Enfin, un second réseau destiné à la tâche de segmentation, est entraîné en minimisant le terme d’entropie croisée classique, ainsi que la distance euclidienne entre la sortie du réseau et la vérité terrain dans l’espace latent fourni par l’auto-encodeur.