Fusion de segmentations complémentaires d'images médicales par Intelligence Artificielle et autres méthodes de gestion de conflits

HAL Id: tel-03022231

https://tel.archives-ouvertes.fr/tel-03022231

HAL is a multi-disciplinary open access

archive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Fusion de segmentations complémentaires d’images

médicales par Intelligence Artificielle et autres méthodes

de gestion de conflits

Lisa Corbat

To cite this version:

Lisa Corbat. Fusion de segmentations complémentaires d’images médicales par Intelligence Artificielle et autres méthodes de gestion de conflits. Imagerie médicale. Université Bourgogne Franche-Comté, 2020. Français. �NNT : 2020UBFCD029�. �tel-03022231�

TH `ESE DE DOCTORAT DE L’ ´ETABLISSEMENT UNIVERSIT ´E BOURGOGNE FRANCHE-COMT ´E

PR ´EPAR ´EE `A L’UNIVERSIT ´E DE FRANCHE-COMT ´E

´

Ecole doctorale n°37

SPIM : Sciences Pour l’Ing ´enieur et Microtechniques

Doctorat d’Informatique

par

LISA

CORBAT

Fusion de segmentations compl ´ementaires d’images m ´edicales par

Intelligence Artificielle et autres m ´ethodes de gestion de conflits

Unit ´e de Recherche : Femto-st/DISC

Th `ese pr ´esent ´ee et soutenue `a Besanc¸on, le 13 octobre 2020

Composition du Jury :

FRED´ ERIC´ AUBER Prof., UBFC Centre Hospitalier R ´egional

Universitaire de Besanc¸on (CHRUB)

Pr ´esident

JEAN-PHILIPPE THIRAN Prof., ´Ecole Polytechnique F ´ed ´erale de

Lausanne (EPFL)

Rapporteur

DANIELRACOC ´EANU Prof., Univ. Sorbonne de Paris Rapporteur

HENRISOUCHAY Dr., Clinical Research Manager for

France, Global Research Organization, GE Healthcare

Examinateur

JEAN-CHRISTOPHELAPAYRE Prof., Univ. de Bourgogne/Franche-Comt ´e Directeur

JULIEN HENRIET MCF, Univ. de Bourgogne/Franche-Comt ´e Co-Directeur

écol e doctoral e sciences pour l ’ingénieur et microtechniques

Universit ´e Bourgogne Franche-Comt ´e 32, avenue de l’Observatoire 25000 Besanc¸on, France

R ´esum ´e :

Le n ´ephroblastome est la tumeur du rein la plus fr ´equente chez l’enfant et son diagnostic est exclusivement bas ´e sur l’imagerie. Ce travail qui fait l’objet de nos recherches s’inscrit dans le cadre d’un projet de plus grande envergure : le projet europ ´een SAIAD (Segmentation Automatique de reins tumoraux chez l’enfant par Intelligence Artificielle Distribu ´ee). L’objectif du projet est de parvenir `a concevoir une plate-forme capable de r ´ealiser diff ´erentes segmentations automatiques sur les images sources `a partir de m ´ethodes d’Intelligence Artificielle (IA), et ainsi obtenir une reconstruction fid `ele en trois dimensions. Dans ce sens, des travaux r ´ealis ´es dans une pr ´ec ´edente th `ese de l’ ´equipe de recherche ont men ´e `a la cr ´eation d’une plate-forme de segmentation. Elle permet la segmentation de plusieurs structures individuellement, par des m ´ethodes de type Deep Learning, et plus particuli `erement les r ´eseaux de neurones convolutifs (CNNs), ainsi que le Raisonnement `a Partir de Cas (R `aPC). Cependant,

il est ensuite n ´ecessaire de fusionner de mani `ere automatique les segmentations de ces diff ´erentes structures afin d’obtenir une segmentation compl `ete pertinente. Lors de l’agr ´egation de ces structures, des pixels contradictoires peuvent apparaˆıtre. Ces conflits peuvent ˆetre r ´esolus par diverses m ´ethodes bas ´ees ou non sur l’IA et font l’objet de nos recherches. Nous proposons tout d’abord une premi `ere approche de fusion non focalis ´ee sur l’IA en utilisant la combinaison de six m ´ethodes diff ´erentes, bas ´ees sur diff ´erents crit `eres pr ´esents sur l’imagerie et les segmentations. En parall `ele, deux autres m ´ethodes de fusion sont propos ´ees en utilisant, un CNN coupl ´e au R `aPC pour l’une, et un CNN utilisant une m ´ethode d’apprentissage sp ´ecifique existante en segmentation pour l’autre. Ces diff ´erentes approches ont ´et ´e test ´ees sur un ensemble de 14 patients atteints de n ´ephroblastome et d ´emontrent leur efficacit ´e dans la r ´esolution des pixels conflictuels et leurs capacit ´es `a am ´eliorer les segmentations r ´esultantes.

Mots-cl ´es : N ´ephroblastome, Imagerie m ´edicale, Fusion de segmentations, Gestion de conflits, Deep

Learning

Abstract:

Nephroblastoma is the most common kidney tumour in children and its diagnosis is based exclusively on imaging. This work, representing the focus of our research, is part of a larger project: the European project SAIAD (Automated Segmentation of Medical Images Using Distributed Artificial Intelligence). The aim of the project is to design a platform capable of performing different automatic segmentations from source images using Artificial Intelligence (AI) methods, and thus obtain a faithful three-dimensional reconstruction. In this sense, work carried out in a previous thesis of the research team led to the creation of a segmentation platform. It allows the segmentation of several structures individually, by methods such as Deep Learning, and more particularly Convolutional Neural Networks (CNNs), as well as Case Based Reasoning (CBR).

However, it is then necessary to automatically fuse the segmentations of these different structures in order to obtain a complete relevant segmentation. When aggregating these structures, contradictory pixels may appear. These conflicts can be resolved by various methods based or not on AI and are the subject of our research. First, we propose a fusion approach not focused on AI using the combination of six different methods, based on different imaging and segmentation criteria. In parallel, two other fusion methods are proposed using, a CNN coupled to the CBR for one, and a CNN using a specific existing segmentation learning method for the other. These different approaches were tested on a set of 14 nephroblastoma patients and demonstrated their effectiveness in resolving conflicting pixels and their ability to improve the resulting segmentations.

Keywords: Nephroblastoma, Medical imaging, Segmentations fusion, Conflict management, Deep

R

EMERCIEMENTS

Je tiens `a remercier l’ensemble des membres du jury pour avoir accept ´e d’y faire partie et d’ ´evaluer mon travail. Je remercie ´egalement Jean-Philippe THIRAN et Daniel RA-COC ´EANU d’avoir accept ´e d’ ˆetre les rapporteurs de cette th `ese.

Mes remerciements vont ensuite `a Julien HENRIET et Jean-Christophe LAPAYRE, mes co-directeur et directeur de th `ese, pour m’avoir aid ´ee et guid ´ee tout le long de ces trois ann ´ees. Ce fut un r ´eel plaisir de travailler avec vous, et mes f ´elicitations pour avoir su supporter mon caract `ere parfois compliqu ´e `a vivre.

Je remercie le programme europ ´een Interreg ainsi que le projet SAIAD pour avoir financ ´e mes travaux. Je tiens ´egalement `a remercier tous les membres du projet, pour leur colla-boration et leur motivation, ce qui nous a permis de mener `a bien ce projet. Je tiens en particulier `a remercier toute l’ ´equipe du CHU de Besanc¸on pour leur expertise m ´edicale, sans quoi ce travail n’aurait pu aboutir. En particulier, merci `a Yann CHAUSSY, Lor ´edane VIEILLE et ´Elise LACROIX d’avoir toujours ´et ´e pr ´esents et r ´epondu `a mes nombreuses interrogations.

Ensuite, je tiens `a remercier l’ensemble de l’ ´equipe du DISC pour leur sympathie et leur accueil au sein du laboratoire. Merci `a mes amis et coll `egues doctorants pour la bonne ambiance, la d ´ecouverte de multiples restaurants, les pauses croissants du mercredi, et les soir ´ees jeux de soci ´et ´e. Enfin, merci `a toi Florent, mon ami et coll `egue de bureau, pour tous ces bons moments. Nous nous sommes aid ´es et soutenus mutuellement durant nos th `eses, et j’aurai toujours en m ´emoire nos d ´ebuts o `u nous apprenions ensemble les bases des r ´eseaux de neurones `a coup de conversations tr `es anim ´ees.

Merci `a Guillaume, mon compagnon, d’avoir toujours ´et ´e `a mes c ˆot ´es et de m’avoir ´epaul ´ee dans toutes les situations. Nos trois petits chats, Niva, Nelly et Plume, ont ´egalement ´et ´e d’un soutien et d’un r ´econfort sans faille (tant que de la nourriture ´etait en jeu). Je remercie ´egalement Isabelle, sa maman au grand cœur, sur qui je sais que je peux toujours compter.

Enfin, mes remerciements ne seraient pas complets sans parler de mes parents. Maman, Papa, vous avez toujours ´et ´e pr ´esents pour moi, et m’avez toujours soutenue et pouss ´ee

`a aller encore et toujours plus loin. Pour tout c¸a, MERCI.

S

OMMAIRE

Introduction 7

Introduction g ´en ´erale . . . 7

Plan du m ´emoire . . . 8

Quelques indications pour la lecture de ce rapport . . . 10

I Contexte et ´etat de l’art 11 1 Contexte de ces travaux de recherche 15 1.1 Le contexte du projet SAIAD . . . 15

1.1.1 Le n ´ephroblastome . . . 15

1.1.2 Les reins . . . 16

1.1.3 Les objectifs du projet . . . 17

1.1.4 Le financement et les partenaires . . . 18

1.2 L’acquisition des donn ´ees . . . 18

1.2.1 Les images num ´eriques . . . 18

1.2.2 Les images scanner . . . 19

1.2.3 Deux temps d’acquisition : les temps vasculaire et tardif . . . 20

1.3 La segmentation et la reconstruction 3D . . . 21

1.3.1 La d ´efinition d’une segmentation d’image . . . 21

1.3.2 Les m ´ethodes de segmentation existantes . . . 22

1.3.3 La construction et la repr ´esentation 3D . . . 24

1.4 La plate-forme existante COLISEUM-3D . . . 25

1.4.1 La couche de donn ´ees . . . 25

1.4.2 La segmentation des diff ´erentes structures . . . 26

1.4.3 Le recalage temps vasculaire / temps tardif . . . 27

1.4.4 La fusion des diff ´erentes segmentations . . . 28

1.5 Les m ´etriques d’ ´evaluation de segmentations . . . 28

1.5.1 Les m ´etriques utilisant la matrice de confusion . . . 28

1.5.2 La m ´etrique VoI . . . 32

4 SOMMAIRE

1.5.3 La m ´etrique GCE . . . 33

Synth `ese . . . 35

2 Les m ´ethodes classiques de fusion de segmentations 37 2.1 Les m ´ethodes dites intuitives . . . 37

2.1.1 Le vote . . . 38

2.1.2 L’intersection et l’union . . . 39

2.2 Les m ´ethodes de fusion dans le cadre de la segmentation Multi-Atlas . . . 40

2.2.1 La m ´ethode SBA . . . 40

2.2.2 La m ´ethode STAPLE . . . 41

2.3 Les m ´ethodes bas ´ees sur une ou plusieurs m ´etriques . . . 42

2.3.1 La m ´ethode bas ´ee sur F-Mesure . . . 43

2.3.2 La m ´ethode bas ´ee sur VoI . . . 46

2.3.3 La m ´ethode bas ´ee sur PRI . . . 47

2.3.4 La m ´ethode bas ´ee sur GCE . . . 48

2.4 Les autres m ´ethodes bas ´ees sur les distances et les similarit ´es . . . 49

2.4.1 La m ´ethode Neighbours and Intensity : NandI . . . 49

2.4.2 La m ´ethode bas ´ee sur K-moyenne . . . 51

2.5 Les m ´ethodes multicrit `eres . . . 51

2.5.1 La m ´ethode EFA-BMFM . . . 52

2.5.2 La m ´ethode GCE+F-Mesure . . . 53

Synth `ese . . . 54

3 La fusion de segmentations par r ´eseaux de neurones 55 3.1 Le principe des r ´eseaux de neurones . . . 56

3.1.1 Les notions g ´en ´erales . . . 56

3.1.2 Les r ´eseaux de neurones convolutifs . . . 60

3.1.3 Les CNNs pour la segmentation . . . 62

3.2 Diff ´erentes applications des r ´eseaux de neurones `a la fusion de segmen-tations . . . 64

3.2.1 La fusion par une couche de convolution . . . 65

3.2.2 La fusion par trois couches de convolution . . . 66

3.2.3 La fusion par FCM . . . 66

3.2.4 La fusion par un r ´eseau plus profond . . . 67

SOMMAIRE 5

II Contribution 71

4 Agr ´egation de diff ´erentes m ´ethodes classiques pour la fusion de

segmenta-tions et la gestion de conflits 75

4.1 Les diff ´erentes m ´ethodes de gestion de conflits utilis ´ees et adapt ´ees . . . . 75

4.1.1 Notre nouvelle m ´ethode de gestion de conflits nomm ´ee ADS2 . . . 76

4.1.2 L’adaptation de la m ´ethode bas ´ee sur VoI et la nouvelle m ´ethode bas ´ee sur Dice . . . 77

4.1.3 Nouvelle m ´ethode 3D-NandI issue de NandI . . . 79

4.1.4 L’adaptation des champs al ´eatoires conditionnels pour la gestion de conflits . . . 80

4.2 Les mod `eles de gestion de conflits impl ´ement ´es . . . 82

4.2.1 Le fonctionnement des mod `eles . . . 82

4.2.2 La fusion des r ´esultats de la gestion de conflits . . . 84

4.3 Les r ´esultats sur nos diff ´erentes m ´ethodes de gestion de conflits . . . 84

4.3.1 L’acquisition des donn ´ees . . . 84

4.3.2 Le calcul des param `etres optimaux pour la gestion des conflits . . . 89

4.3.3 Les r ´esultats sur les deux mod `eles . . . 89

4.4 Discussions . . . 96

4.4.1 L’efficacit ´e et la comparaison des diff ´erentes m ´ethodes utilis ´ees . . 96

4.4.2 Le meilleur mod `ele de gestion des conflits `a utiliser . . . 97

4.4.3 Les diff ´erents degr ´es de difficult ´e de r ´esolution de conflits . . . 97

Synth `ese . . . 99

5 M ´ethodes de fusion de segmentations bas ´ees sur l’Intelligence Artificielle 101 5.1 L’architecture du r ´eseau de neurones cr ´e ´ee pour la fusion . . . 101

5.2 Le syst `eme Deep Learning coupl ´e au R `aPC pour la fusion de segmentations102 5.2.1 La mod ´elisation d’un cas . . . 104

5.2.2 La phase de rem ´emoration . . . 105

5.2.3 Le pr ´e-traitement et la phase d’entraˆınement du r ´eseau . . . 106

5.3 La m ´ethode OVASSION pour la fusion de segmentations2 . . . 107

5.3.1 Le principe de la nouvelle m ´ethode d’entraˆınement . . . 107

5.3.2 Formalisation . . . 108

5.4 Les r ´esultats . . . 110

5.4.1 Les param `etres d’entraˆınement . . . 110

5.4.2 L’ ´evaluation des diff ´erentes m ´ethodes . . . 111

6 SOMMAIRE

5.5 Discussions . . . 118 5.5.1 Les performances des diff ´erents r ´eseaux de neurones . . . 118 5.5.2 La diff ´erence de performances entre les deux structures anatomiques118 5.5.3 Discussion sur les performances de la m ´ethode DL-R `aPC . . . 119 5.5.4 Le temps de calcul . . . 120 5.5.5 Comparaison des performances des m ´ethodes utilisant ou non

l’In-telligence Artificielle . . . 120 Synth `ese . . . 122 Conclusion et perspectives 123 Conclusion . . . 123 Perspectives . . . 124 Ma bibliographie personnelle 129 Bibliographie 138 Nomenclature 139

I

NTRODUCTION

I

´

´

L’ `ERE DU TRAITEMENT D’IMAGES

Les donn ´ees num ´eriques de types images et vid ´eos sont omnipr ´esentes et de plus en plus massives, dans bien des domaines : t ´el ´ed ´etection, imagerie m ´edicale ou encore ro-botique. Le traitement d’images est une discipline large, permettant de traiter des images et ayant diff ´erents int ´er ˆets, comme l’am ´elioration de leur qualit ´e ou la possibilit ´e d’ex-traire de multiples informations. Le traitement d’images est ´etroitement li ´e `a la vision par ordinateur, qui consiste en la compr ´ehension et l’interpr ´etation d’une sc `ene `a par-tir d’une ou plusieurs images. La vision par ordinateur cherche alors, par le biais d’une machine, `a imiter le syst `eme visuel humain, notamment gr ˆace `a diff ´erents outils de trai-tement d’images. L’intelligence artificielle joue ´egalement un grand r ˆole dans la vision par ordinateur et le traitement d’images complexes afin, par exemple, d’y d ´etecter et d’y reconnaitre des ´el ´ements pr ´ecis. Depuis quelques ann ´ees, il est possible d’interpr ´eter l’information issue de donn ´ees num ´eriques, gr ˆace notamment aux r ´eseaux de neurones qui imitent le principe g ´en ´eral de fonctionnement des neurones du cerveau humain.

CONTEXTE GEN´ ERAL´

Le n ´ephroblastome est la tumeur r ´enale la plus fr ´equente chez l’enfant. Cette tumeur d ´eforme et pousse le rein pathologique, et peut potentiellement envahir les voies uri-naires. La r ´ealisation de segmentations de l’ensemble de ces structures permet aux per-sonnels m ´edicaux d’obtenir une vision plus pr ´ecise de la situation, et ainsi de pouvoir planifier au mieux la suite de la prise en charge du jeune patient. En effet, si la tumeur n’est pas trop envahissante et qu’elle ne recouvre pas les voies urinaires, il est alors possible de r ´ealiser une n ´ephrectomie partielle du rein touch ´e, ´egalement appel ´ee chi-rurgie conservatrice. Dans le cas contraire, si l’envahissement est trop important, alors une n ´ephrectomie totale est recommand ´ee, car le risque de r ´ecidive est alors trop ´elev ´e. Ainsi, les segmentations permettent, en plus de d ´eterminer le type d’intervention chirurgi-cale `a r ´ealiser, d’aider les chirurgiens lors de la planification de l’intervention (les outils `a utiliser, l’anticipation d’ ´eventuelles difficult ´es, . . . ). Cependant, ces segmentations doivent actuellement ˆetre r ´ealis ´ees manuellement ou `a l’aide d’outils guid ´es par un personnel m ´edical. Dans tous les cas, une forte intervention humaine est n ´ecessaire. La r ´ealisation de ces segmentations est alors tr `es chronophage (entre 6 et 9 heures en moyenne) et doit ˆetre r ´ealis ´ee par un praticien qualifi ´e : chirurgien ou radiologue. C’est pourquoi, ces segmentations ne sont quasiment jamais r ´ealis ´ees, obligeant ainsi les experts m ´edicaux `a analyser et `a interpr ´eter directement les dizaines `a centaines de coupes 2D en noir et blanc r ´ealis ´ees par le scanner.

8 Introduction

Les travaux de cette th `ese s’inscrivent dans le cadre du projet Europ ´een SAIAD,

si-gnifiant Segmentation Automatique de reins tumoraux chez l’enfant par Intelligence Artificielle Distribu ´ee. Ce projet a pour objectif de fournir une repr ´esentation fid `ele du

n ´ephroblastome et des structures avoisinantes, `a l’aide de segmentations calcul ´ees par des techniques d’Intelligence Artificielle (IA). La repr ´esentation de l’abdomen de chaque patient peut alors ˆetre fournie, sans intervention humaine ou a minima avec une interven-tion limit ´ee, ce qui permet de ne pas faire perdre un temps pr ´ecieux `a un ou plusieurs personnels de sant ´e, et de mieux ´evaluer l’opportunit ´e de r ´ealiser une n ´ephrectomie par-tielle lorsque cela est possible.

Le n ´ephroblastome et le rein pathologique ont d ´ej `a pu ˆetre segment ´es via diff ´erentes techniques de segmentations par IA, notamment par apprentissage profond (Deep Lear-ning) et par Raisonnement `a Partir de Cas (R `aPC), dans le cadre d’une pr ´ec ´edente

th `ese. Ces techniques de segmentations sont regroup ´ees au sein d’une plate-forme de segmentation appel ´ee COLISEUM-3D (COLaborative platform with artificial Intelligence

forSEgmentation of tUmoral kidney in Medical images in 3D). Cette plate-forme permet

de segmenter individuellement chaque structure, par des techniques conc¸ues et opti-mis ´ees pour chacune. Elle pr ´evoit ´egalement, `a la suite du syst `eme de segmentations, l’agr ´egation de ces structures, afin d’obtenir la reconstruction totale du patient. Cette th `ese, a donc pour objectif de d ´efinir les meilleurs moyens de fusion de ces diff ´erentes segmentations compl ´ementaires.

OBJECTIF DE NOS TRAVAUX

Apr `es la segmentation des diff ´erentes structures ind ´ependamment, il est alors l ´egitime de se demander comment les fusionner, afin d’obtenir des segmentations consensus contenant l’ensemble des structures. En th ´eorie, comme chaque segmentation est com-pos ´ee d’une seule structure ind ´ependante des autres, la fusion de ces segmentations compl ´ementaires ne devrait pas poser de probl `eme. Or, ces segmentations calcul ´ees par IA ne sont pas parfaites, et donc certaines structures peuvent se chevaucher. Certains pixels appartiennent alors `a plusieurs structures dans les diff ´erentes segmentations. On parle dans ce cas de pixels en conflit. Mais comment r ´esoudre ces conflits lors de la fusion ? Comment d ´eterminer `a quelle structure ces pixels doivent appartenir ?

Les travaux de recherche pr ´esent ´es ici s’inscrivent donc dans la suite logique des pr ´ec ´edents travaux accomplis dans le cadre du projet SAIAD. Ils se situent ´egalement au niveau de la derni `ere couche de la plate-forme COLISEUM-3D, afin d’effectuer la seg-mentation par IA de diff ´erentes structures de patients atteints de n ´ephroblastome. Cette fusion de segmentations des diff ´erentes structures est alors la derni `ere ´etape avant l’ob-tention d’une visualisation plus pr ´ecise de l’abdomen du patient, et ainsi aider au mieux le personnel m ´edical dans la planification de l’intervention chirurgicale du jeune patient.

P

´

La premi `ere partie de ce manuscrit est compos ´ee de 3 chapitres et est consacr ´ee `a la d ´efinition du contexte et `a notre ´etat de l’art. Dans le premier chapitre, nous abordons plus en d ´etails le contexte dans lequel s’est d ´eroul ´ee cette th `ese. Nous d ´etaillons la probl ´ematique m ´edicale du projet SAIAD pour les patients atteints de

Introduction 9

n ´ephroblastome. Nous expliquons les modes d’acquisition des diff ´erentes donn ´ees num ´eriques, ainsi que des notions succinctes d’imagerie. Nous abordons le principe de segmentation d’images et de leur repr ´esentation 3D, ainsi qu’un rapide aperc¸u des diff ´erentes techniques de segmentation existantes. Puis, nous introduisons la plate-forme COLISEUM-3D existante, r ´ealis ´ee dans le cadre du projet SAIAD, compos ´ee de diff ´erentes couches, dont une permettant la segmentation de diff ´erentes structures ab-dominales et une autre permettant la fusion de leur repr ´esentations. Enfin, ce chapitre se termine par la pr ´esentation de diff ´erentes m ´etriques d’ ´evaluation de segmentations pr ´esentes dans la litt ´erature : m ´etriques tr `es importantes pour s’assurer de la justesse de ces repr ´esentations num ´eriques, mais ´egalement utiles dans l’agr ´egation de ces diff ´erentes segmentations.

Le second chapitre est consacr ´e aux diff ´erentes m ´ethodes existantes issues de la litt ´erature, non bas ´ees sur l’IA, pour l’agr ´egation de multiples repr ´esentations. Nous abor-dons notamment les m ´ethodes intuitives comme le vote majoritaire, les m ´ethodes de fu-sion utilis ´ees dans le cadre de techniques de segmentation Multi-Altas, en passant par les m ´ethodes se basant sur des m ´etriques d’ ´evaluation aussi bien que celles bas ´ees sur d’autres informations pr ´esentes dans les images, comme les distances entre pixels et les similarit ´es de niveaux de gris.

Le troisi `eme chapitre est d ´edi ´e aux approches de fusion par IA et notamment par r ´eseau de neurones. Dans un premier temps, nous pr ´esentons les notions essentielles `a la bonne compr ´ehension des r ´eseaux de neurones convolutifs (CNN) pour la segmenta-tion, en passant du perceptron `a l’apprentissage profond (Deep Learning), ainsi qu’aux diff ´erentes couches utiles dans ces r ´eseaux pour le traitement d’images. Dans un second temps, nous abordons les r ´eseaux utilis ´es dans la litt ´erature pour la fusion de segmenta-tions, avec principalement les r ´eseaux utilis ´es dans le cadre de la d ´etection de saillances, domaine dans lesquelles l’agr ´egation d’images est largement utilis ´ee.

La deuxi `eme partie, compos ´ee de 2 chapitres, est consacr ´ee `a nos diff ´erentes contri-butions. Le premier chapitre de cette partie aborde notre premi `ere contribution bas ´ee sur des techniques de fusion dites classiques, ou non bas ´ees sur des concepts d’IA. Deux mod `eles de fusion et de gestion des pixels en conflit (conflits d ˆus `a la fusion) sont propos ´es. Ces mod `eles utilisent un ensemble de m ´ethodes issues de la litt ´erature (et dans ce cas adapt ´ees) ou cr ´e ´ees, afin de r ´esoudre ces conflits. Les r ´esultats de ces m ´ethodes sont ensuite agr ´eg ´es dans un processus final de fusion permettant d’obtenir une segmentation consensus de ces diff ´erentes m ´ethodes classiques. Les r ´esultats des diff ´erentes m ´ethodes et des diff ´erents mod `eles sont pr ´esent ´es et discut ´es. Ce chapitre int `egre ´egalement une discussion sur la comparaison et l’efficacit ´e de ces diff ´erentes m ´ethodes, ainsi que du mod `ele le plus optimal.

Enfin, le dernier chapitre aborde nos deux contributions bas ´ees sur l’IA, avec l’utilisa-tion de CNN ainsi que de R `aPC. La premi `ere combine un CNN avec un R `aPC per-mettant ainsi d’entraˆıner le r ´eseau `a l’aide de cas s ´electionn ´es dans la base de cas du R `aPC. L’entraˆınement est ´egalement ajust ´e en fonction des similarit ´es des diff ´erents cas choisis. La seconde contribution par IA est ´egalement pr ´esent ´ee : elle utilise un CNN avec une m ´ethode d’entraˆınement particuli `ere, nomm ´ee OV2ASSION, bas ´ee sur un sur-apprentissage par patient. Enfin, les r ´esultats et les discussions de ces m ´ethodes par IA sont ´egalement pr ´esent ´es avec une analyse de leur gestion des pixels en conflit ainsi que de l’am ´elioration de la qualit ´e des segmentations.

10 Introduction

Q

Le plan est organis ´e sur quatre niveaux : Parties, Chapitres, Sections et Sous-Sections. Il est utile de savoir que la Partie II, pr ´esentant les contributions et r ´esultats, est ind ´ependante de la premi `ere Partie, d ´edi ´ee au contexte de la th `ese et `a l’ ´etat de l’art sur diff ´erentes approches.

Chaque partie poss `ede une introduction pr ´esentant son sujet, tout comme chaque cha-pitre. Une synth `ese est disponible `a la fin de chaque chapitre afin de r ´esumer son contenu.

Les r ´esultats de nos travaux ont pour la plupart ´et ´e publi ´es. La liste des publications personnelles est donn ´ee avant la bibliographie plac ´ee en fin du document.

I

C

ONTEXTE ET

ETAT DE L

´

’

ART

13

Cette premi `ere partie du manuscrit de th `ese pr ´esente le contexte g ´en ´eral ainsi que l’ ´etat de l’art r ´ealis ´e sur les diff ´erentes m ´ethodes de fusion de segmentations existantes. Elle introduit ´egalement diff ´erentes notions m ´edicales et d’Intelligence Artificielle (IA), indis-pensables `a la bonne compr ´ehension de mes travaux de th `ese et des contributions pr ´esent ´ees.

Le premier chapitre introduit le projet SAIAD (Segmentation Automatique de reins tumo-raux chez l’enfant par Intelligence Artificielle Distribu ´ee), qui a pour objectif de r ´ealiser des repr ´esentations 3D automatiques, gr ˆace aux segmentations, calcul ´ees par IA, de n ´ephroblastome : qui est la tumeur r ´enale la plus fr ´equente chez l’enfant. Le principe de la segmentation et les techniques pour son ´evaluation sont abord ´es, ainsi que les diff ´erents avancements du projet dans la cr ´eation d’une plate-forme et de plusieurs m ´ethodes de segmentation.

Le second chapitre pr ´esente les diff ´erentes m ´ethodes que nous appelons classiques pour la fusion de segmentations dans la mesure o `u elles ne sont pas bas ´ees sur des concepts d’IA. Ces m ´ethodes sont class ´ees en cinq cat ´egories : les m ´ethodes intui-tives, les m ´ethodes pour la segmentation Multi-Atlas, les m ´ethodes par l’utilisation de m ´etriques, les m ´ethodes par distances et similarit ´es, et enfin les m ´ethodes combin ´ees. Pour clore cette partie, le troisi `eme chapitre introduit les r ´eseaux de neurones, en pas-sant du principe g ´en ´eral d’un neurone artificiel aux r ´eseaux utilis ´es dans le cadre du trai-tement d’images, appel ´es r ´eseaux de neurones convolutifs (CNNs). Puis, les diff ´erents CNNs utilis ´es particuli `erement pour la fusion de segmentations dans la litt ´erature sont pr ´esent ´es.

1

C

ONTEXTE DE CES TRAVAUX DE

RECHERCHE

Les travaux de cette th `ese s’inscrivent dans le cadre du projet Europ ´een SAIAD qui

a pour objectif de proposer une plate-forme capable de segmenter automatiquement, c’est- `a-dire sans intervention humaine, ou a minima avec une intervention limit ´ee, le n ´ephroblastome, qui est la tumeur r ´enale la plus fr ´equente chez l’enfant. Ces segmenta-tions permettent de fournir aux chirurgiens et aux radiologues des repr ´esentasegmenta-tions 3D de l’abdomen du patient, leur permettant ainsi d’obtenir de nombreuses informations utiles pour la planification de l’acte chirurgical qui sera la n ´ephrectomie (l’ablation totale ou partielle du rein touch ´e).

Ce projet ayant initialement d ´ebut ´e en 2017, plusieurs travaux ont d ´ej `a ´et ´e men ´es pa-rall `element `a cette th `ese sur la recherche des meilleures techniques de segmentation par Intelligence Artificielle (IA). Ainsi, diff ´erentes structures de l’abdomen de patients at-teints de n ´ephroblastome ont pu ˆetre segment ´ees par Deep Learning, apprentissage

profond, utilisant le principe des r ´eseaux de neurones, et segment ´ees parCase Based Reasoning, Raisonnement `a Partir de Cas (R `aPC), coupl ´e `a des m ´ethodes classiques

de segmentation. Les segmentations de ces diff ´erentes structures doivent ensuite pou-voir ˆetre agr ´eg ´ees afin d’obtenir la segmentation consensus finale. C’est sur ce dernier point que s’inscrivent les travaux de cette th `ese.

La section suivante introduit plus en d ´etails le projet SAIAD, et les contours de nos tra-vaux de th `ese, et donne les connaissances de base sur la segmentation et les m ´etriques d’ ´evaluation, notions essentielles `a la bonne compr ´ehension du projet et des contribu-tions de cette th `ese.

1.1/

L

SAIAD

1.1.1/ LE NEPHROBLASTOME´

Le n ´ephroblastome ou tumeur de Wilms est une tumeur sp ´ecifique `a l’enfant qui constitue 5 `a 10% des tumeurs malignes chez l’enfant. Il s’agit de la tumeur r ´enale la plus fr ´equente chez l’enfant et elle survient g ´en ´eralement entre 1 et 5 ans [Plantaz15, IncaNephro07]. Cependant, il s’agit d’un cancer rare dont une centaine de cas est diagnostiqu ´ee chaque ann ´ee en France. Aucune cause particuli `ere n’a, pour l’heure, ´et ´e prouv ´ee dans l’ap-parition du n ´ephroblastome. La tumeur est rapidement ´evolutive, et son traitement,

16 CHAPITRE 1. CONTEXTE DE CES TRAVAUX DE RECHERCHE

sant `a gu ´erir totalement l’enfant, est pluridisciplinaire, en associant la chirurgie, la chi-mioth ´erapie et la radioth ´erapie, ce qui permet un taux de gu ´erison de 90% pour les formes communes [Kaste2008]. Le principe du traitement est le suivant : une chi-mioth ´erapie pr ´eop ´eratoire peut ˆetre effectu ´ee afin de r ´eduire la taille de la tumeur et faciliter l’intervention. Une ablation du rein touch ´e est alors r ´ealis ´ee, que l’on appelle ´egalement n ´ephrectomie qui peut ˆetre totale ou partielle. Enfin, une chimioth ´erapie ou une radioth ´erapie est pr ´econis ´ee afin de d ´etruire d’ ´eventuelles m ´etastases et cellules r ´esiduelles. De pr ´ef ´erence, la chimioth ´erapie est pr ´econis ´ee face `a la toxicit ´e de la ra-dioth ´erapie pour l’enfant.

1.1.2/ LES REINS

De couleur rouge brun, les reins sont des organes puissants jouant de nombreux r ˆoles essentiels pour notre organisme. Par paire, ils sont situ ´es de chaque c ˆot ´e de la co-lonne vert ´ebrale sous la cage thoracique. Ils permettent la r ´egulation de la quantit ´e d’eau pr ´esente dans notre organisme, ainsi que la filtration du sang et l’ ´elimination par les urines des d ´echets pr ´esents dans le sang. Les reins permettent ´egalement de r ´eguler la pression du sang dans les art `eres gr ˆace `a la production d’hormones. La Figure 1.1 pr ´esente sch ´ematiquement le rein humain et sa vascularisation.

FIGURE1.1 – Sch ´ema du rein et de sa vascularisation (issue de KidneyStructures by P.M.

Jaworski [SiteWebKidney2020]).

Le rein est form ´e de deux parties : le parenchyme r ´enal qui est compos ´e du cortex et de la m ´edulla (la partie centrale du rein), et les voies excr ´etrices. L’art `ere r ´enale permet au

sang d’arriver jusqu’au rein. Les n ´ephrons, d’environ un million, se situent dans le paren-chyme r ´enal, et filtrent le sang qui ressort par laveine r ´enale. Les urines form ´ees dans

lescavit ´es excr ´etrices, et plus particuli `erement dans les calices puis dans le bassinet,

sont ´evacu ´ees par l’uret `ere, qui permet son transport vers la vessie. Par jour, les reins filtrent en moyenne 120 litres de sang et produisent 1 `a 2 litres d’urine.

1.1. LE CONTEXTE DU PROJET SAIAD 17

1.1.3/ LES OBJECTIFS DU PROJET

L’intervention chirurgicale du n ´ephroblastome m `ene la plupart du temps `a une n ´ephrectomie totale du rein touch ´e, consistant `a enlever la tumeur ainsi que la totalit ´e du rein. Cependant, compte tenu du tr `es jeune ˆage des patients, l’id ´eal est de r ´ealiser, lors-qu’il est possible, une n ´ephrectomie partielle en ´epargnant ainsi la partie saine et fonc-tionnelle du rein. Ce type de chirurgie est dite conservatrice. Le choix de l’acte chirurgical se base sur les recommandations de la Soci ´et ´e Internationale d’Oncologie P ´ediatrique (la SIOP) qui a ´etabli un certain nombre de crit `eres `a v ´erifier tels que la taille de la tumeur ou encore sa localisation. L’envahissement tumoral des voies urinaires est ´egalement un crit `ere important. En effet, si l’envahissement de la tumeur est limit ´e au cortex r ´enal, alors une chirurgie conservatrice est envisageable. Au contraire, si les voies urinaires sont envahies, alors une n ´ephrectomie totale est impos ´ee pour ´eviter tous risques de r ´ecidive. Jusqu’ `a tr `es r ´ecemment, la volont ´e de sauvegarde du rein tumoral n’ ´etait envi-sag ´ee qu’en cas de n ´ephroblastome bilat ´erale. Cependant, la SIOP recommande main-tenant d `es que possible la sauvegarde du rein touch ´e, car il a ´et ´e prouv ´e que le taux de gu ´erison est proche de 90% en cas de chirurgie conservatrice respectant les crit `eres d ´ecrits ci-dessus, et qu’en cas de n ´ephrectomie totale se pose un risque pr ´edominant de d ´evelopper, un jour au cours du reste de vie du jeune patient, une insuffisance r ´enale. Une repr ´esentation compl `ete du n ´ephroblastome et des structures abdominales voisines (comme les reins, les vaisseaux sanguins et les cavit ´es r ´enales), le tout par une segmen-tation 3D r ´ealis ´ee `a partir d’images scanner, permet d’offrir aux personnels m ´edicaux toutes les informations dont ils ont besoin afin de planifier l’intervention : prendre une d ´ecision sur le type de n ´ephrectomie `a r ´ealiser, anticiper sur ce que l’on va rencontrer pendant l’op ´eration, sa dur ´ee, la quantit ´e de mat ´eriel sanguin n ´ecessaire. . . Mais cette ex-traction de donn ´ees (segmentation, reconstruction 3D. . . ) est actuellement r ´ealis ´ee ma-nuellement par les radiologues ou les chirurgiens et prend en g ´en ´eral entre 6 et 9 heures d’un temps pr ´ecieux de sp ´ecialiste. Ce travail manuel utilise parfois l’aide de logiciels assez complexes comme ITK Snap [SiteWebITK2020] ou 3D-Slicer [SiteWebCFI2020] qui r ´ealisent des segmentations `a partir d’algorithmes simples comme le seuillage ou la croissance de r ´egion. Que les segmentations soient r ´ealis ´ees manuellement ou avec l’aide d’un logiciel, la t ˆache n’en reste pas moins longue et chronophage.

En g ´en ´eral, ces segmentations ne sont donc pas effectu ´ees car le temps d’un person-nel m ´edical (radiologue ou chirurgien) est pr ´ecieux et, sans information sur l’envahisse-ment tumoral, le chirurgien n’a principalel’envahisse-ment pas d’autres choix que de recourir `a une n ´ephrectomie totale du rein touch ´e. L’objectif du projet est donc de permettre l’automati-sation des segmentations de tumeurs r ´enales par des outils d’Intelligence Artificielle, le tout sans intervention humaine ou, a minima, avec tr `es peu d’intervention humaine. Actuellement, plusieurs verrous scientifiques se pr ´esentent. Les segmentations de tu-meurs r ´enales peuvent ˆetre longues et difficiles `a r ´ealiser m ˆeme par un expert du do-maine car certaines structures sont difficilement reconnaissables (diff ´erenciables) sur les images scanner. Par exemple, les enfants ne poss `edent que tr `es peu de tissus adipeux, ce qui a pour cons ´equence que la tumeur peut se confondre avec les muscles, dont les intensit ´es de gris sont similaires. Enfin, nous sommes confront ´es `a une grande variabi-lit ´e des cas. Le projet a pour objectif de r ´ealiser une visualisation de l’abdomen de tous les enfants atteints de n ´ephroblastome, ce qui recouvre des enfants d’ ˆages relativement diff ´erents. La taille des organes peut donc fortement varier d’un patient `a un autre. La tumeur peut ´egalement ˆetre de n’importe quelle taille et forme et elle peut se situer `a

18 CHAPITRE 1. CONTEXTE DE CES TRAVAUX DE RECHERCHE

n’importe quel endroit sur le rein (coll ´ee au rein, plus invasive ou encore recouvrante).

1.1.4/ LE FINANCEMENT ET LES PARTENAIRES

SAIAD (Segmentation Automatique de reins tumoraux chez l’enfant par Intelligence Artificielle Distribu ´ee) est un projet Interreg V Franco-Suisse d’une dur ´ee de 36 mois

et d’un montant de 1 281 938,81 C, dont le soutien financier des Fonds Europ ´een de D ´eveloppement R ´egional (FEDER) est de 520 223,28 C, de fonds f ´ed ´eraux Interreg Suisse de 132 900 C et du canton de Neuch ˆatel de 90 000 C.

Plusieurs partenaires ont activement particip ´e au projet :

• Le CHRU de Besanc¸on fournit les donn ´ees anonymis ´ees des patients dont les images scanner et les segmentations correspondantes r ´ealis ´ees manuellement, • L’agence bisontine de l’entreprise MainCare Solution [SiteWebIDOin2020] a cr ´e ´e

une plate-forme s ´ecuris ´ee de stockage et de visualisation des donn ´ees patients, • L’EPFL ( ´Ecole Polytechnique F ´ed ´erale de Lausanne) a ´et ´e charg ´ee de l’ ´etat de l’art

des techniques de segmentations non r ´ealis ´ees par IA,

• L’entreprise CFI [SiteWebCFI2020] travaille sur la reconstruction en 3D des seg-mentations,

• Notre d ´epartement informatique (DISC) de l’institut CNRS FEMTO-ST de l’Univer-sit ´e de Franche-Comt ´e est charg ´e de l’ ´etat de l’art et de l’impl ´ementation des tech-niques de segmentations automatiques par IA.

Notons : Julien Henriet, codirecteur de cette th `ese, est le chef de file scientifique de ce projet Interreg V et j’ai ´et ´e durant cette th `ese l’ing ´enieure en charge du projet.

1.2/

L’

´

La premi `ere ´etape du projet a ´et ´e, au fil des derniers mois, l’acquisition de donn ´ees, c’est- `a-dire l’acquisition des repr ´esentations abdominales de diff ´erents patients par les radiologues. Dans cette section, nous d ´efinissons les images num ´eriques ainsi que les images num ´eriques acquises par scanographie, appel ´ees images scanner. Pour finir, nous d ´efinissons un peu plus en d ´etails les types d’images obtenues dans le cadre du projet.

1.2.1/ LES IMAGES NUMERIQUES´

Une image est un regroupement de pixels ayant chacun une valeur qui lui est propre repr ´esentant une couleur. Une image en noir est blanc est compos ´ee uniquement de nuances de gris. Le codage de la couleur est r ´ealis ´e sur un octet et s’effectue sur une va-leur comprise entre 0 et 255 : 0 ´etant la couva-leur noire et 255 la couva-leur blanche. Chaque pixel d’une image en couleurs est compos ´e de 3 octets correspondant `a l’espace colo-rim ´etrique RVB pour Rouge Vert et Bleu. Le m ´elange de ces trois valeurs donne une

1.2. L’ACQUISITION DES DONN ´EES 19

FIGURE1.2 – Illustration de la repr ´esentation d’images de taille 6 × 6 en noir et blanc et en couleurs.

couleur unique et il existe ainsi 256 × 256 × 256 couleurs possibles pour chaque pixel de l’image. La Figure 1.2 illustre la repr ´esentation d’une image en un ou plusieurs octets. Une image en noir et blanc de taille H × L (Le nombre de pixels en hauteur multipli ´e par le nombre de pixels en largeur) peut alors ˆetre repr ´esent ´ee sous forme d’une matrice de m ˆeme taille. Une image en couleurs sera quant `a elle repr ´esent ´ee par une matrice de taille 3 × H × L afin d’ajouter pour chaque pixel les 3 valeurs RVB.

1.2.2/ LES IMAGES SCANNER

Une acquisition par scanner, ´egalement appel ´ee tomodensitom ´etrie ou CT-scan (pour Computerized Tomography scan) est un examen qui, gr ˆace `a un appareil d’imagerie m ´edicale, utilise des rayons X afin de mesurer leur absorption par les tissus. Ceci permet d’obtenir la repr ´esentation des structures anatomiques, coupe par coupe, du patient. L’as-semblage de ces coupes permet ainsi d’obtenir une visualisation de l’abdomen du patient en 3 dimensions. Ces repr ´esentations sont ensuite stock ´ees sous format DICOM (pour Digital Imaging and Communications in Medicine). Ce format est une norme qui a pour but de standardiser les donn ´ees issues des diff ´erentes modalit ´es d’imagerie m ´edicale (comme la radiographie (rayons-X), la tomographie (CT-Scan), les ultrasons, l’imagerie nucl ´eaire, l’imagerie par r ´esonance. . . ). Son but est notamment de faciliter la communi-cation et le transfert des images entre les diff ´erentes modalit ´es d’imagerie m ´edicale et les diff ´erents h ˆopitaux. En plus de la repr ´esentation des structures anatomiques, un fichier DICOM comporte de nombreuses autres informations relatives au patient, `a l’examen

20 CHAPITRE 1. CONTEXTE DE CES TRAVAUX DE RECHERCHE

ainsi qu’ `a l’acquisition des images.

1.2.3/ DEUX TEMPS D’ACQUISITION: LES TEMPS VASCULAIRE ET TARDIF

Les images scanner d’un patient atteint de n ´ephroblastome doivent permettre de vi-sualiser diff ´erentes structures abdominales : le rein sain, le rein pathologique, le n ´ephroblastome, le syst `eme de circulation sanguine (l’art `ere r ´enale et la veine r ´enale) et enfin les cavit ´es r ´enales. Mais cette derni `ere structure est difficile, voire impossible, `a visualiser sur les images scanner de base. Il est n ´ecessaire d’utiliser un produit de contraste, produit iod ´e hydrosoluble, qui permet d’am ´eliorer le contraste des structures ing ´erant le produit : en particulier les cavit ´es r ´enales.

Ainsi, l’examen doit ˆetre r ´ealis ´e en deux temps, comme illustr ´e par la Figure 1.3 : letemps vasculaire et le temps tardif. Dans un premier temps, lorsque le produit de contraste

est administr ´e au patient, les structures fortement vascularis ´ees deviennent plus discer-nables avec des intensit ´es de contrastes plus importantes. C’est le cas pour les reins, les cavit ´es et la tumeur. Un premier jeu d’images scanner (en moyenne 96 coupes transver-sales successives par patient) est alors r ´ealis ´e en temps vasculaire. Plusieurs minutes apr `es l’injection, le produit est ensuite filtr ´e par les reins et passe dans les voies urinaires. Ainsi, les cavit ´es r ´enales apparaissent plus distinctement en blanc dans le deuxi `eme jeu d’images scanner r ´ealis ´e en temps tardif ( `a nouveau en moyenne par patient 96 coupes transversales successives).

FIGURE 1.3 – Exemple d’une image scanner d’une coupe d’un patient atteint de n ´ephroblastome (a) en temps vasculaire et (b) en temps tardif.

Comme plusieurs minutes se sont ´ecoul ´ees entre les deux jeux de donn ´ees, le jeune patient, malgr ´e les consignes donn ´ees par le personnel soignant, peut bouger, entraˆınant ainsi un d ´ecalage important entre les images acquises au cours des deux temps. Afin d’obtenir une bonne correspondance entre ces deux temps d’images, il faut alors recourir

`a un recalage (cf. Section 1.4.3).

Il est `a noter que nous avons, dans le projet SAIAD, seulement des acquisitions d’images scanner, et non des images de type IRM (Imagerie par R ´esonance Magn ´etique). En effet, l’acc `es `a l’examen scanner est plus rapide, et la dur ´ee s’ ´ecoulant entre deux temps d’acquisition par IRM est beaucoup plus longue, rendant alors le fait de maintenir le jeune patient le plus immobile possible, plus complexe.

1.3. LA SEGMENTATION ET LA RECONSTRUCTION 3D 21

1.3/

L

3D

1.3.1/ LA DEFINITION D´ ’UNE SEGMENTATION D’IMAGE

La segmentation d’une image permet de regrouper les pixels de l’image entre eux se-lon certains crit `eres et caract ´eristiques. L’image est alors divis ´ee en diff ´erentesclasses, r ´egions, ´egalement appel ´ees segments, et une ´etiquette (ou en anglais label) sera

at-tribu ´ee `a chaque pixel, de telle sorte que les pixels ayant les m ˆemes caract ´eristiques poss `edent la m ˆeme ´etiquette. Le processus de segmentation permet alors d’obtenir une image modifi ´ee plus significative, ce qui permet d’extraire les informations ca-ract ´eristiques contenues dans l’image.

Il existe diff ´erents types de segmentations. L’image peut ˆetre segment ´ee dans sa globa-lit ´e, ou la segmentation peut ne cibler que certains ´el ´ements, voire seulement les contours de ces ´el ´ements. Il existe ´egalement une diff ´erence entre la segmentation s ´emantique et la segmentation d’instance :

• La segmentation s ´emantique segmente l’image en attribuant une classe `a chaque type d’ ´el ´ement pr ´esent dans l’image. Nous avons un concept de cat ´egorie.

• La segmentation d’instance attribue une nouvelle ´etiquette `a chaque ´el ´ement ren-contr ´e dans l’image, peu importe s’il s’agit du m ˆeme type d’ ´el ´ement. Nous avons ici un concept d’instance. Ce type de segmentation peut ˆetre int ´eressant dans le but de compter le nombre total d’objets pr ´esents, sans distinction par cat ´egorie.

Il existe ´egalement des m ´ethodes de segmentation par superpixels permettant une

sur-segmentation de l’image dont le but est de diviser l’image en un nombre assez cons ´equent de r ´egions, et ainsi obtenir une grande quantit ´e d’informations.

FIGURE1.4 – Repr ´esentation de la segmentation s ´emantique du n ´ephroblastome `a partir

d’une image scanner en temps vasculaire.

La Figure 1.4 illustre la segmentation s ´emantique du n ´ephroblastome que nous vou-lons obtenir dans le cadre du projet SAIAD. L’ ´etiquette rose est attribu ´ee au rein sain, l’ ´etiquette bleue `a la veine, l’ ´etiquette rouge `a l’art `ere, l’ ´etiquette marron au rein patholo-gique, l’ ´etiquette verte `a la tumeur et enfin l’ ´etiquette noire `a l’arri `ere-plan de l’image. Il en

22 CHAPITRE 1. CONTEXTE DE CES TRAVAUX DE RECHERCHE

est de m ˆeme pour le temps tardif, dans lequel cette fois-ci seulement les cavit ´es r ´enales et l’arri `ere-plan seront repr ´esent ´es dans la segmentation.

1.3.2/ LES METHODES DE SEGMENTATION EXISTANTES´

Il existe une grande vari ´et ´e de m ´ethodes de segmentation, que ce soit par des proc ´ed ´es simples comme un simple seuillage ou par des techniques d’IA. Zaitoun et al., dans [Zaitoun2015], pr ´esentent en 2015 une classification de toutes les m ´ethodes de segmen-tations existantes, et bien que les recherches sur l’utilisation des r ´eseaux de neurones dans ce domaine ´etaient `a leur d ´ebut, ils sont ´egalement cit ´es. Dans cet ´etat de l’art, la plupart des m ´ethodes sont class ´ees en deux groupes :

• Lesm ´ethodes bas ´ees sur les r ´egions : elles divisent l’image en plusieurs r ´egions

de sorte que les pixels d’une r ´egion poss `edent au moins une caract ´eristique com-mune. C’est le cas pour l’algorithme des K-Moyenne (K-Mean), la m ´ethode de Di-vision et Fusion (Split and Merge), la croissance de r ´egions (Region Growing) ou encore les algorithmes de seuillage (Threshold ).

• Les m ´ethodes bas ´ees sur les contours et plus particuli `erement sur les

simili-tudes : elles d ´etectent les diff ´erents ´el ´ements dans l’image gr ˆace `a la diff ´erence de niveaux de gris obtenue au niveau de leurs contours. Sont alors mises en ´evidence des m ´ethodes plus pouss ´ees comme les approches bas ´ees sur la logique floue [Soesanti2011], les algorithmes g ´en ´etiques [Tosta2017] [Khan2015], et les r ´eseaux de neurones.

Ces diff ´erentes approches sont ´egalement pr ´esent ´ees dans les travaux de N. Senthilku-maran et R. Rajesh [SenthilkuSenthilku-maran2009].

1.3.2.1/ LA SEGMENTATION PAR RESEAUX DE NEURONES´

L’engouement pour l’utilisation des r ´eseaux de neurones pour la segmentation, `a partir de 2015, a permis `a cet axe de recherche d’ ˆetre l’un des plus explor ´es dans la litt ´erature, avec un nombre consid ´erable de nouveaux r ´eseaux. Pour n’en citer que quelques uns, en 2015 a ´et ´e produit le r ´eseau FCN-8s pour la segmentation [Long2015] (r ´eseau que nous d ´eveloppons dans la Section 3.1.3 et la Figure 3.8), puis DecoupledNet [Hong2015], U-Net [Ronneberger2015], DeepLab [Chen2017] et des r ´eseaux avec le principe encoder-decoder comme le r ´eseau DeconvNet [Noh2015] et SegNet [Badrinarayanan2017]. Le

principe encoder-decoder est d’avoir :

• une premi `ere partieencoder du r ´eseau permettant d’extraire les caract ´eristiques,

• et la seconde partiedecoder pour sur ´echantillonner/agrandir les images obtenues

de la premi `ere partie.

L’ ´etat de l’art r ´ealis ´e par Zhao et al. [Zhao2017] pr ´esente les diff ´erents r ´eseaux de neu-rones profonds de la litt ´erature, dans le cadre d’objets difficilement diff ´erentiables, que ce soit pour la classification, la d ´etection ou la segmentation d’images.

1.3. LA SEGMENTATION ET LA RECONSTRUCTION 3D 23

Les r ´eseaux de neurones dans le contexte m ´edical sont ´egalement nombreux, comme le pr ´esentent Litjens et al. dans [Litjens2017]. De nombreuses ´etudes ont ´et ´e men ´ees sur la segmentation de reins sains et m ˆeme pathologiques ([Torres2018], [Thong2018]), mais la segmentation automatique du n ´ephroblastome reste encore un d ´efi. Le fonctionnement g ´en ´eral d’un r ´eseau de neurones et les diff ´erentes couches utilis ´ees pour la segmentation sont d ´evelopp ´es dans la suite de ce document dans la Section 3.1.

1.3.2.2/ LA SEGMENTATION PARRAISONNEMENT A` PARTIR DE CAS

Le Raisonnement `a Partir de Cas (R `aPC ou encore CBR pour Case-Based Reasoning), est une m ´ethode de r ´esolution de probl `emes bas ´ee sur l’analogie s’appuyant sur les exp ´eriences pass ´ees pour r ´esoudre un nouveau probl `eme. Il s’agit d’une m ´ethode d’IA avec une approche orient ´ee connaissance. En se rem ´emorant des situations similaires au nouveau cas `a r ´esoudre, cette m ´ethode peut construire une nouvelle solution en se basant sur les solutions des situations rem ´emor ´ees. C’est dans les ann ´ees 1970 que le concept du R `aPC est n ´e, mais sa premi `ere impl ´ementation est r ´ealis ´ee dix ans plus tard par Kolodner et al. [Kolodner1983], et Reisbeck et al. qui nomment pour la premi `ere fois ce principe comme Case-Based Reasoning [Reisbeck1989].

FIGURE1.5 – Exemple d’un cycle basique d’un syst `eme R `aPC.

Selon JL. Kolodner en 1992 [Kolodner1992], le cycle de travail d’un R `aPC peut ˆetre d ´ecrit en quatre ´etapes, illustr ´ees par la Figure 1.5. Ces ´etapes servent de base pour la majorit ´e des syst `emes R `aPC introduits par la suite dans la litt ´erature :

• La phase de rem ´emoration : lors de l’entr ´ee d’un nouveau cas dans le syst `eme, il s’agit de chercher et de r ´ecup ´erer le cas le plus similaire dans la base de cas. Plusieurs cas peuvent ˆetre rem ´emor ´es. La s ´election d’un cas utilise une mesure de similarit ´e calcul ´ee entre le nouveau cas et les cas de la base de donn ´ees.

• La phase d’adaptation : la solution du cas rem ´emor ´e est modifi ´ee pour s’adapter au nouveau cas.

24 CHAPITRE 1. CONTEXTE DE CES TRAVAUX DE RECHERCHE

• La phase d’ ´evaluation : la solution adapt ´ee est appliqu ´ee au nouveau cas. Si le r ´esultat n’est pas satisfaisant, la solution doit passer par une r ´evision, g ´en ´eralement manuelle, afin d’obtenir une solution correcte.

• La phase de stockage/capitalisation : c’est cette ´etape qui offre au R `aPC la capacit ´e d’apprentissage. Lorsque la solution est correcte, le nouveau cas et sa solution sont int ´egr ´es `a la base de cas, afin de l’enrichir. Ainsi, le R `aPC sera plus performant avec le temps, gr ˆace `a une base de cas plus cons ´equente et h ´et ´erog `ene. La base de cas peut ´egalement avoir une organisation hi ´erarchique permettant une optimisation en temps de la phase de rem ´emoration, dans le cas d’une base de cas cons ´equente.

Aamodt et al. [Aamodt1994] proposent ´egalement un cycle de R `aPC similaire mais plus simple contenant ´egalement 4 ´etapes : l’ ´etape de rem ´emoration, l’ ´etape de r ´eutilisation, dans laquelle il n’y a pas d’adaptation de la solution, l’ ´etape de r ´evision, et enfin l’ ´etape de r ´etention. Les principes de ces phases sont globalement les m ˆemes que pour les phases de JL. Kolodner.

Le R `aPC, combin ´e `a une m ´ethode de segmentation ou de fusion, peut alors ˆetre utilis ´e dans la segmentation d’images ou la fusion de segmentations, gr ˆace aux pa-ram `etres de ces m ´ethodes stock ´es dans la base. En 1999, P. Perner propose un syst `eme R `aPC coupl ´e `a une m ´ethode de seuillage pour la segmentation d’images m ´edicales [Perner1999]. En 2008, M. Frucci, Perner et al. [Frucci2008] reprennent cette contribution en proposant un syst `eme R `aPC pour la segmentation par watershed (ligne de partage des eaux). Cette m ´ethode de segmentation consid `ere l’image comme un relief topogra-phique dont on simule l’inondation [Beucher1993]. Ces travaux sont eux-m ˆemes repris en 2012 pour ˆetre am ´elior ´es par A. Attig et P. Perner en 2012 [Attig2012].

1.3.3/ LA CONSTRUCTION ET LA REPRESENTATION´ 3D

La visualisation 3D `a partir des segmentations calcul ´ees offre une aide int ´eressante pour la caract ´erisation du n ´ephroblastome, et permet ainsi aux professionnels de visualiser les crit `eres de la SIOP, planifier l’intervention et anticiper les ´eventuelles difficult ´es. Cette mod ´elisation permet ´egalement de mieux illustrer l’envahissement tumoral. La Figure 1.6 montre la mod ´elisation souhait ´ee du n ´ephroblastome, qui a ´et ´e r ´ealis ´ee sur le logiciel 3D-Slicer `a partir des segmentations 2D, segmentations effectu ´ees par les radiologues en semi-automatique sur le m ˆeme logiciel `a partir des images scanner.

La repr ´esentation holographique, comme pr ´esent ´ee dans la Figure 1.7, permet une meilleure visualisation dans l’espace du n ´ephroblastome ainsi qu’une meilleure com-munication avec le patient et la famille. `A terme, elle pourrait servir, coupl ´ee `a un syst `eme de reconnaissance de mouvements (de type Kinect [Gallo2011] ou Leap Motion [Weichert2013]), de repr ´esentation interactive. Les chirurgiens auraient alors la possibilit ´e de visualiser la tumeur pendant l’op ´eration, juste avec des gestes sans contact direct, ce qui limiterait ´egalement les risques d’infection. Il est ´egalement possible de r ´ealiser des impressions 3D de cette reconstruction, avec des mat ´eriaux et des couleurs diff ´erents pour des raisons de communication, comme la repr ´esentation holographique.

1.4. LA PLATE-FORME EXISTANTE COLISEUM-3D 25

FIGURE 1.6 – Repr ´esentation 3D de la segmentation s ´emantique du n ´ephroblastome,

obtenue `a partir des segmentations successives des coupes 2D des images scanner. La couleur marron repr ´esente les reins, le rouge l’art `ere, le bleu la veine, le vert la tumeur, et en jaune les cavit ´es r ´enales.

FIGURE1.7 – Repr ´esentation en pyramide holographique de la segmentation s ´emantique 3D du n ´ephroblastome - r ´ealis ´ee par l’entreprise CFI dans la cadre du projet SAIAD.

1.4/

L

-

COLISEUM-3D

Une plate-forme d ´edi ´ee `a la segmentation des diff ´erentes structures abdominales chez l’enfant atteint de n ´ephroblastome, a d ´ej `a ´et ´e conc¸ue, dans le cadre de la th `ese de Florent Marie [Marie2019]. Cette plate-forme porte le nom deCOLISEUM-3D pour COLaborative

platform with artificialIntelligence for SEgmentation of tUmoral kidney in Medical images

in 3D. Pr ´esent ´ee dans la Figure 1.8, elle est compos ´ee de trois couches : la couche

donn ´ees, la couche segmentation, et la couche fusion.

1.4.1/ LA COUCHE DE DONNEES´

La premi `ere couche de la plate-forme est la couche de donn ´ees, regroupant l’ensemble des donn ´ees utiles pour la r ´ealisation des segmentations et des fusions de segmenta-tions. Elle est compos ´ee de trois sous-couches :

26 CHAPITRE 1. CONTEXTE DE CES TRAVAUX DE RECHERCHE

FIGURE1.8 – Organisation de la plate-forme COLISEUM-3D.

• l’Atlas qui contient les images scanner des patients en format DICOM ou JPEG, • les connaissances m ´etier qui regroupent toute l’expertise m ´edicale comme les

seg-mentations r ´ealis ´ees manuellement ou semi-automatiquement par les radiologues afin de servir de r ´ef ´erence et de r ´esultat id ´eal (que l’on appelle g ´en ´eralement les

v ´erit ´es terrain),

• et enfin la base de cas qui s’appuie sur les deux autres sous-couches, dans le cas de techniques de segmentation comme le R `aPC afin de rendre les donn ´ees exploitables.

Ces 3 sous-couches permettent la r ´ealisation d’une base de donn ´ees pour chaque tech-nique de segmentation utilis ´ee. Par cons ´equent, cette couche est fortement li ´ee `a la couche de segmentation.

1.4.2/ LA SEGMENTATION DES DIFFERENTES STRUCTURES´

Le principe de la plate-forme COLISEUM-3D est de concevoir un syst `eme de segmen-tation propre `a chaque structure. La couche de segmensegmen-tation contient l’ensemble des processus de segmentation utilis ´es. Cette couche fait partie int ´egrante de la th `ese de

1.4. LA PLATE-FORME EXISTANTE COLISEUM-3D 27

Florent Marie [Marie2019]. Ainsi, pour la segmentation des reins pathologiques, un mo-dule de segmentation parR `aPC coupl ´e `a un algorithme de segmentation par croissance r ´egion a ´et ´e impl ´ement ´e [Marie2018]. Dans ce syst `eme R `aPC, une phase d’adaptation

sp ´ecifique a ´et ´e d ´evelopp ´ee : elle permet de modifier les param `etres de la croissance r ´egion du cas rem ´emor ´e afin de proposer une segmentation finale plus juste.

Pour la segmentation de la tumeur, un autre module a ´et ´e impl ´ement ´e utilisant du Deep Learning, et plus particuli `erement unr ´eseau de neurones convolutif (CNN)

ap-pel ´e FCN-8s [Long2015] utilis ´e avec une m ´ethode originale d’apprentissage apap-pel ´ee

OV2ASSION (Overlearning Vector for Valid Sparse SegmentatIONs) [Marie2019]. Cette

m ´ethode d’apprentissage consiste `a r ´ealiser un entraˆınement personnalis ´e `a chaque pa-tient et sur un faible jeu de donn ´ees. Elle est pr ´esent ´ee plus en d ´etail dans la suite de ce document, Section 5.3. `A la suite du processus de segmentation par Deep Learning, un post-traitement parCRF (Champs Al ´eatoires Conditionnels, Conditional Random Field )

[Krahenbuhl2011] est finalement appliqu ´e.

Dans cette couche de segmentation, il reste `a concevoir et `a impl ´ementer un module de segmentation pour les vaisseaux sanguins `a partir des images en temps vasculaire d’une part, et un module de segmentation par R `aPC pour les cavit ´es urinaires `a partir des images en temps tardif d’autre part.

1.4.3/ LE RECALAGE TEMPS VASCULAIRE / TEMPS TARDIF

La tumeur r ´enale, les reins et les vaisseaux sanguins sont visibles dans les images scan-ner en temps vasculaire. `A l’inverse, les cavit ´es r ´enales ne sont visibles que dans les images scanner en temps tardif pour des raisons pr ´esent ´ees dans la Section 1.2.3. Ce-pendant, plusieurs minutes s’ ´ecoulent entre les acquisitions des images en temps vascu-laire puis en temps tardif. Le jeune patient, malgr ´e les consignes de rester immobile, est susceptible de bouger, ce qui entraˆıne un d ´ecalage potentiel entre les deux temps d’ac-quisition. De plus, le simple fait de respirer peut ´egalement engendrer un d ´ecalage. Ainsi, afin d’obtenir l’ensemble de ces structures sur une seule repr ´esentation num ´erique, ces deux temps doivent ˆetre mis en correspondance : c’est ce que l’on entend parrecalage temps vasculaire / temps tardif.

Dans le cas d’un recalage entre deux images, l’une d’elles est qualifi ´ee d’image de r ´ef ´erence, c’est- `a-dire qu’aucune modification ne sera appliqu ´ee sur cette image, tan-dis que la seconde image sera alors une image dite flottante, transform ´ee pour corres-pondre `a l’image de r ´ef ´erence. Il existe diff ´erentes m ´ethodes de recalage qui consistent `a appliquer une transformation spatiale sur l’image flottante. Des transformations simples peuvent ˆetre appliqu ´ees, comme une translation ou une rotation. Comme avec ces m ´ethodes, l’image n’est pas d ´eform ´ee et les angles et distances sont conserv ´es, on parle alors de recalage rigide. On peut ´egalement pratiquer des transformations af-fines ([Jenkinson2001]), ou encore ´elastiques ([Shen2002], [Kybic2003]) dans lesquelles toutes les d ´eformations sont possibles. Ces diff ´erentes m ´ethodes de recalage sont pr ´esent ´ees dans l’ ´etat de l’art de Lisa Gottesfeld Brown [Brown1992].

L’application d’un recalage entre les images en temps vasculaire et en temps tardif ne r ´esulte pas uniquement de simples transformations rigides, et il est n ´ecessaire d’aller plus loin avec l’utilisation de transformations plus pouss ´ees. En effet, les reins ont ten-dance `a avoir des mouvements plus complexes induits notamment par la respiration. Afin de d ´eduire les transformations ad ´equates `a appliquer, des points de rep `eres pr ´esents

28 CHAPITRE 1. CONTEXTE DE CES TRAVAUX DE RECHERCHE

dans les deux images ont ´et ´e d ´etermin ´es (on parle alors d’une approche g ´eom ´etrique). Le pelvis est une structure osseuse int ´eressante et nous permet d’obtenir les points de rep `ere requis. Pour l’heure, seules des transformations rigides ont ´et ´e appliqu ´ees en d ´eduction de ces points de rep `ere. Bien que ces r ´esultats pr ´eliminaires soient encoura-geants, les travaux futurs visent `a utiliser des transformations ´elastiques afin de mieux prendre en compte les mouvements dus `a la respiration.

1.4.4/ LA FUSION DES DIFFERENTES SEGMENTATIONS´

Ces travaux de th `ese s’int `egrent dans le cadre de la couche fusion de la plate-forme. L’objectif de cette couche est de fusionner plusieurs segmentations en une seule

segmentation consensus. Actuellement, le rein tumoral et la tumeur ´etant segment ´es, la couche de fusion g `ere l’agr ´egation de ces deux structures. Comme ces structures sont compl ´ementaires, il devrait, `a priori, dans le cas de segmentations parfaitement calcul ´ees (par la couche pr ´ec ´edente), ne pas y avoir de r ´eelle difficult ´e. Chaque pixel des segmentations ´etant, dans ce cas id ´eal, associ ´e `a une seule structure, une simple union des segmentations devrait permettre d’obtenir la segmentation consensus.

Cependant, dans la pratique, les segmentations calcul ´ees ne sont pas parfaites et un pixel peut ˆetre associ ´e `a diff ´erentes structures. Il y a alors sur ce pixel un conflit qu’il faut r ´esoudre. Le principe, en cas de conflits, est alors de rechercher la meilleure strat ´egie ou bien le meilleur crit `ere de fusion afin de r ´esoudre ces pixels en conflit et rendre une seg-mentation consensus la plus juste possible, la justesse d’une segseg-mentation ´etant ´evalu ´ee par rapport aux v ´erit ´es terrain fournies par les experts du domaine (en l’occurence ici, les segmentations guid ´ees manuellement par les radiologues et chirurgiens du CHRU de Besanc¸on). Un ´etat de l’art sur les diff ´erentes m ´ethodes de fusion de segmentations est pr ´esent ´e dans la suite de ce document dans les Chapitres 2 et 3.

1.5/

L

´

’ ´

Lorsqu’une segmentation est r ´ealis ´ee, il est important de pouvoir ´evaluer la conformit ´e du r ´esultat par rapport `a la v ´erit ´e terrain. Pour cela, diff ´erentes m ´etriques d’ ´evaluation existent, permettant de comparer une image calcul ´ee avec une autre, appel ´ee v ´erit ´e terrain. Certaines de ces m ´etriques peuvent ˆetre calcul ´ees avec la matrice de confusion, utilisant les facteurs Vrai Positif (VP), Vrai N ´egatif (VN), Faux Positif (FP) et Faux N ´egatif (FN). La plupart des mod `eles de fusion classiques de segmentation se basent

´egalement sur certaines de ces m ´etriques comme crit `eres de fusion.

1.5.1/ LES METRIQUES UTILISANT LA MATRICE DE CONFUSION´

La matrice de confusion [Provost1998], pr ´esent ´ee par la Figure 1.9, peut ˆetre utilis ´ee dans le cas plus large de l’ ´evaluation d’un syst `eme de classification.

• Un pixel est dit Vrai Positif (VP) pour une classe donn ´ee s’il a ´et ´e ´etiquet ´e `a cette classe dans la segmentation calcul ´ee et qu’il y est ´egalement dans la v ´erit ´e terrain. Le pixel est alors correctement ´etiquet ´e.

1.5. LES M ´ETRIQUES D’ ´EVALUATION DE SEGMENTATIONS 29

FIGURE1.9 – La matrice de confusion.

• Un pixel est dit Vrai N ´egatif (VN) pour une classe donn ´ee s’il n’a pas ´et ´e ´etiquet ´e `a cette classe dans la segmentation calcul ´ee et qu’il n’y est ´egalement pas dans la v ´erit ´e terrain. Le pixel est alors ´egalement correctement ´etiquet ´e.

• Un pixel est dit Faux Positif (FP) pour une classe donn ´ee s’il a ´et ´e ´etiquet ´e `a cette classe dans la segmentation calcul ´ee mais qu’il n’y est pas dans la v ´erit ´e terrain. Le pixel n’est alors pas correctement ´etiquet ´e.

• Un pixel est dit Faux N ´egatif (FN) pour une classe donn ´ee s’il n’a pas ´et ´e ´etiquet ´e `a cette classe dans la segmentation calcul ´ee mais qu’il y est dans la v ´erit ´e terrain. Le pixel n’est ´egalement pas correctement ´etiquet ´e.

Les m ´etriques qui suivent utilisent cette matrice de confusion dans leur comparaison entre deux segmentations.

1.5.1.1/ LA SENSIBILITE ET LA SP´ ECIFICIT´ E´

Les termes de sensibilit ´e ( ´egalement appel ´ee rappel) et de sp ´ecificit ´e sont des termes

statistiques. La sensibilit ´e est une mesure de la fraction Vrai Positif, tandis que la sp ´ecificit ´e, oppos ´ee `a la sensibilit ´e, est une mesure de la fraction Vrai N ´egatif.

La sensibilit ´e S E et la sp ´ecificit ´e S P sont d ´efinies par :

S E = NV P NV P+ NFN (1) S P= NV N NV N + NFP (2) avec NXX le nombre de pixels appartenant aux diff ´erentes cat ´egories de la

ma-trice de fusion.

30 CHAPITRE 1. CONTEXTE DE CES TRAVAUX DE RECHERCHE

1.5.1.2/ LE SCOREDICE

La m ´etrique Dice, ou coefficient de Sørensen, est couramment utilis ´ee par les experts en imagerie m ´edicale. Elle donne une valeur de similarit ´e, comprise entre 0 et 1, entre deux ensembles X et Y. Dans le contexte de l’imagerie et de la segmentation, X repr ´esente la segmentation calcul ´ee et Y la segmentation d ´esir ´ee (v ´erit ´e terrain).

Soient deux ensembles X et Y `a comparer, la m ´etrique Dice (ou score Dice) est d ´efinie par :

Dice= 2 |X ∩ Y|

|X|+ |Y| (3)

Elle peut ´egalement ˆetre not ´ee avec la matrice de confusion comme :

Dice= 2NV P 2NV P+ NFP+ NFN

(4)

D ´efinition

1.5.1.3/ LE SCOREIOU

L’indice IoU pour Intersection over Union ou appel ´e ´egalement indice de Jaccard est g ´en ´eralement utilis ´e dans la comparaison de segmentations calcul ´ees avec des m ´ethodes de segmentation automatiques. Comme pour le score Dice, il compare deux ensembles X et Y, mais est plus ”punitif” sur les erreurs de segmentations.

Soient deux ensembles X et Y `a comparer, l’indice IoU est d ´efini par :

IoU = |X ∩ Y|

|X ∪ Y| (5)

Il peut ´egalement ˆetre not ´e avec la matrice de confusion comme :

IoU = NV P NV P+ NFP+ NFN

(6)

D ´efinition

1.5.1.4/ LA METRIQUE´ F-MESURE

La m ´etrique F-mesure ( ´egalement nomm ´ee F-measure ou harmonic mean of precision-recall measure) [Martin2004] est une m ´etrique utilis ´ee pour ´evaluer la qualit ´e de contours produits par une segmentation. Elle calcule un score de performance en ´evaluant l’accord entre les contours d’une segmentation calcul ´ee et les contours de la v ´erit ´e terrain gr ˆace

1.5. LES M ´ETRIQUES D’ ´EVALUATION DE SEGMENTATIONS 31

La m ´etrique F-Mesure est d ´efinie par :

F = 2(P ∗ S E)

P+ S E (7)

O `u :

• S E est la sensibilit ´e

• P est la pr ´ecision d ´efinie par :

P= NV P NV P+ NFP

(8)

D ´efinitions

1.5.1.5/ L’INDICE DE RAND

L’indice de Rand (RI) est introduit par [Rand1971] pour calculer la similarit ´e entre deux ensembles de donn ´ees. Dans le cas de la comparaison entre une segmentation calcul ´ee Stet sa v ´erit ´e terrain Sg, l’indice de Rand est donn ´e par la somme du nombre de paires de pixels ayant la m ˆeme ´etiquette dans St _{et S}g_{et de ceux ayant des ´etiquettes diff ´erentes,}

le tout divis ´e par le nombre total de paires de pixels possibles.

Soit St_{la segmentation calcul ´ee et S}g_{la v ´erit ´e terrain, l’indice de Rand est d ´efini}

ainsi : RI(St, Sg)= a+ b a+ b + c + d = a+ b _n 2  (9) D ´efinitions O `u :

• n est le nombre total de pixels d’une image,

• a repr ´esente le nombre de paires de pixels assign ´ees `a la m ˆeme r ´egion dans St _et

Sg,

• b repr ´esente le nombre de paires de pixels assign ´ees dans la m ˆeme r ´egion dans St

mais dans des r ´egions diff ´erentes dans Sg_,

• c repr ´esente le nombre de paires de pixels assign ´ees dans la m ˆeme r ´egion dans Sg mais dans des r ´egions diff ´erentes dans St,

• et d repr ´esente le nombre de paires de pixels assign ´ees `a des r ´egions diff ´erentes dans les deux segmentations.