La matrice de confusion

• Un pixel est dit Vrai N ´egatif (VN) pour une classe donn ´ee s’il n’a pas ´et ´e ´etiquet ´e `a cette classe dans la segmentation calcul ´ee et qu’il n’y est ´egalement pas dans la v ´erit ´e terrain. Le pixel est alors ´egalement correctement ´etiquet ´e.

• Un pixel est dit Faux Positif (FP) pour une classe donn ´ee s’il a ´et ´e ´etiquet ´e `a cette classe dans la segmentation calcul ´ee mais qu’il n’y est pas dans la v ´erit ´e terrain. Le pixel n’est alors pas correctement ´etiquet ´e.

• Un pixel est dit Faux N ´egatif (FN) pour une classe donn ´ee s’il n’a pas ´et ´e ´etiquet ´e `a cette classe dans la segmentation calcul ´ee mais qu’il y est dans la v ´erit ´e terrain. Le pixel n’est ´egalement pas correctement ´etiquet ´e.

Les m ´etriques qui suivent utilisent cette matrice de confusion dans leur comparaison entre deux segmentations.

1.5.1.1/ LA SENSIBILITE ET LA SP´ ECIFICIT´ E´

Les termes de sensibilit ´e ( ´egalement appel ´ee rappel) et de sp ´ecificit ´e sont des termes

statistiques. La sensibilit ´e est une mesure de la fraction Vrai Positif, tandis que la sp ´ecificit ´e, oppos ´ee `a la sensibilit ´e, est une mesure de la fraction Vrai N ´egatif.

La sensibilit ´e S E et la sp ´ecificit ´e S P sont d ´efinies par :

S E = NV P NV P+ NFN (1) S P= NV N NV N + NFP (2) avec NXX le nombre de pixels appartenant aux diff ´erentes cat ´egories de la ma-

trice de fusion.

30 CHAPITRE 1. CONTEXTE DE CES TRAVAUX DE RECHERCHE

1.5.1.2/ LE SCOREDICE

La m ´etrique Dice, ou coefficient de Sørensen, est couramment utilis ´ee par les experts en imagerie m ´edicale. Elle donne une valeur de similarit ´e, comprise entre 0 et 1, entre deux ensembles X et Y. Dans le contexte de l’imagerie et de la segmentation, X repr ´esente la segmentation calcul ´ee et Y la segmentation d ´esir ´ee (v ´erit ´e terrain).

Soient deux ensembles X et Y `a comparer, la m ´etrique Dice (ou score Dice) est d ´efinie par :

Dice= 2 |X ∩ Y|

|X|+ |Y| (3)

Elle peut ´egalement ˆetre not ´ee avec la matrice de confusion comme :

Dice= 2NV P 2NV P+ NFP+ NFN

(4)

D ´efinition

1.5.1.3/ LE SCOREIOU

L’indice IoU pour Intersection over Union ou appel ´e ´egalement indice de Jaccard est g ´en ´eralement utilis ´e dans la comparaison de segmentations calcul ´ees avec des m ´ethodes de segmentation automatiques. Comme pour le score Dice, il compare deux ensembles X et Y, mais est plus ”punitif” sur les erreurs de segmentations.

Soient deux ensembles X et Y `a comparer, l’indice IoU est d ´efini par :

IoU = |X ∩ Y|

|X ∪ Y| (5)

Il peut ´egalement ˆetre not ´e avec la matrice de confusion comme :

IoU = NV P NV P+ NFP+ NFN

(6)

D ´efinition

1.5.1.4/ LA METRIQUE´ F-MESURE

La m ´etrique F-mesure ( ´egalement nomm ´ee F-measure ou harmonic mean of precision- recall measure) [Martin2004] est une m ´etrique utilis ´ee pour ´evaluer la qualit ´e de contours produits par une segmentation. Elle calcule un score de performance en ´evaluant l’accord entre les contours d’une segmentation calcul ´ee et les contours de la v ´erit ´e terrain gr ˆace

1.5. LES M ´ETRIQUES D’ ´EVALUATION DE SEGMENTATIONS 31

La m ´etrique F-Mesure est d ´efinie par :

F = 2(P ∗ S E)

P+ S E (7)

O `u :

• S E est la sensibilit ´e

• P est la pr ´ecision d ´efinie par :

P= NV P NV P+ NFP

(8)

D ´efinitions

1.5.1.5/ L’INDICE DE RAND

L’indice de Rand (RI) est introduit par [Rand1971] pour calculer la similarit ´e entre deux ensembles de donn ´ees. Dans le cas de la comparaison entre une segmentation calcul ´ee Stet sa v ´erit ´e terrain Sg, l’indice de Rand est donn ´e par la somme du nombre de paires de pixels ayant la m ˆeme ´etiquette dans St _{et S}g_{et de ceux ayant des ´etiquettes diff ´erentes,}

le tout divis ´e par le nombre total de paires de pixels possibles.

Soit St_{la segmentation calcul ´ee et S}g_{la v ´erit ´e terrain, l’indice de Rand est d ´efini}

ainsi : RI(St, Sg)= a+ b a+ b + c + d = a+ b _n 2  (9) D ´efinitions O `u :

• n est le nombre total de pixels d’une image,

• a repr ´esente le nombre de paires de pixels assign ´ees `a la m ˆeme r ´egion dans St _et

Sg,

• b repr ´esente le nombre de paires de pixels assign ´ees dans la m ˆeme r ´egion dans St

mais dans des r ´egions diff ´erentes dans Sg_,

• c repr ´esente le nombre de paires de pixels assign ´ees dans la m ˆeme r ´egion dans Sg mais dans des r ´egions diff ´erentes dans St,

• et d repr ´esente le nombre de paires de pixels assign ´ees `a des r ´egions diff ´erentes dans les deux segmentations.

32 CHAPITRE 1. CONTEXTE DE CES TRAVAUX DE RECHERCHE

Dans le cas o `u nous comparons deux segmentations ayant respectivement deux classes, alors a, b, c et d sont d ´efinis ainsi :

a= 1 2[NV P(NV P− 1)+ NFP(NFP− 1)+ NV N(NV N − 1)+ NFN(NFN − 1)] (10) b= 1 2[(NV P+ NFN) 2_{+ (N} V N + NFP)2− (NV P2 + NV N2 + NFP2 + N2FN)] (11) c= 1 2[(NV P+ NFP) 2_{+ (N} V N + NFN)2− (NV P2 + N 2 V N + N 2 FP+ N 2 FN)] (12) d = n(n − 1) 2 − (a+ b + c) (13) D ´efinitions

Nous pouvons noter que le coefficient bin ˆomial n₂ de l’ ´equation 9 peut ´egalement ˆetre calcul ´e comme n(n−1)₂ .

1.5.2/ LA METRIQUE´ VOI

La mesure VoI (Variation of Information) [Meilua2003] [Meilua2007] permet de comparer deux segmentations et de quantifier la quantit ´e d’informations perdues ou gagn ´ees en passant d’une ´etiquette `a une autre. Il s’agit d’une m ´etrique de comparaison probabiliste bas ´ee sur les r ´egions qui utilise l’entropie et l’information mutuelle des segmentations,

et qui est d ´efinie ci-dessous. Elle n’utilise donc pas la matrice de confusion. En imagerie, l’entropie peut ´egalement ˆetre calcul ´ee par l’histogramme normalis ´e de l’image. Plus le r ´esultat de la m ´etrique VoI est faible, et plus les deux segmentations sont similaires.

Soit une segmentation St_{, l’entropie H de cette segmentation est d ´efinie par :}

H(St)= − Rt X i=1 P(i)logP(i)= − Rt X i=1 nt_i nlog nt_i n (14)

et l’information mutuelle I entre deux segmentations St et Sgest d ´efinie par :

I(St, Sg)= Rt X i=1 Rg X j=1

P(i, j)log( P(i, j)

P(i)P( j)) (15)

D ´efinitions

O `u :

1.5. LES M ´ETRIQUES D’ ´EVALUATION DE SEGMENTATIONS 33

• Rgcorrespond au nombre de r ´egions de la segmentation Sg, • et P(i)= n

t i

n est la probabilit ´e qu’un pixel appartienne `a la classe i de la segmentation

St (n ´etant le nombre total de pixels de la segmentation), • P(i, j)= ni j

n, la probabilit ´e qu’un pixel appartienne `a la classe i de la segmentation

St et `a la classe j de la segmentation Sg_.

La mesure de la m ´etrique VoI entre deux segmentations est alors la somme de leurs entropies respectives moins deux fois leur information mutuelle.

Soit St _{et S}g _{la segmentation calcul ´ee et la segmentation d ´esir ´ee, le VoI entre}

ces deux segmentations est d ´efini par :

VoI(St, Sg)= H(St)+ H(Sg) − 2 ∗ I(St, Sg) (16)

D ´efinition

O `u :

• H() est l’entropie d’une segmentation,

• I() est l’information mutuelle entre deux segmentations.

1.5.3/ LA METRIQUE´ GCE

L’erreur de la coh ´erence globale, ou en anglais Global Consistency Error, nomm ´ee GCE [Martin2001], est une m ´etrique d’ ´evaluation qui consid `ere la nature multi- ´echelle des seg- mentations en ´evaluant la mani `ere dont une segmentation peut constituer un raffinement d’une autre segmentation. Elle est ´evidemment utilis ´ee pour ´evaluer la similarit ´e d’une segmentation calcul ´ee avec la v ´erit ´e terrain. Une segmentation est similaire `a une autre si chacune de ces r ´egions obtenues est un sous-ensemble, ou g ´eom ´etriquement iden- tique, `a une r ´egion dans la deuxi `eme segmentation.

Soit St =nCt₁, Ct₂, . . . , Ct

Rt

o

et Sg= nC₁g, Cg₂, . . . , C_Rgg

o

la segmentation calcul ´ee St et la v ´erit ´e terrain Sg_{comprenant chacune R}t _{et R}g_{r ´egions, ainsi que p}

i un pixel de

l’image. La mesure GCE utilise l’erreur de raffinement local (LRE) not ´ee :

LRE(St, Sg, pi)=   C t <pi>\ C g <pi>      C t <pi>    (17) D ´efinition O `u :

34 CHAPITRE 1. CONTEXTE DE CES TRAVAUX DE RECHERCHE

• Ct_<pi>est la r ´egion de la segmentation St incluant le pixel pi,

• Cg_<pi>est la r ´egion de la v ´erit ´e terrain Sg_{incluant le pixel p} i. Dans l’ ´equation 17, C t <pi>  

 est alors la cardinalit ´e de l’ensemble des pixels de la r ´egion C dans lequel se situe le pixel pide la segmentation St, et \ est l’op ´erateur de diff ´erenciation

des ensembles1_.

La mesure LRE n’est pas sym ´etrique, et permet seulement de savoir si St est un raffi- nement de Sg _{et non le contraire. La m ´etrique GCE vise `a rendre la mesure sym ´etrique}

et `a l’appliquer `a chaque pixel d’une segmentation. Son r ´esultat se situe dans l’intervalle [0,1], 0 signifiant que la segmentation calcul ´ee correspond parfaitement `a la v ´erit ´e terrain et 1 repr ´esente une segmentation compl `etement diff ´erente de la v ´erit ´e terrain.

Soit St _{et S}g _{la segmentation calcul ´ee et la v ´erit ´e terrain, la formule GCE est}

d ´efinie par : GCE(St, Sg)= 1 nmin        n X i=1 LRE(St, Sg, pi), n X i=1 LRE(Sg, St, pi)        (18) D ´efinition O `u :

• nest le nombre total de pixels de l’image des segmentations,

• LRE est le calcul de l’erreur de raffinement local pr ´esent ´e dans l’ ´equation 17.

1. ´Egalement appel ´e compl ´ement relatif. Si A \ B alors il s’agit de l’ensemble des ´el ´ements appartenant `a A mais pas `a B.

1.5. LES M ´ETRIQUES D’ ´EVALUATION DE SEGMENTATIONS 35

S

YNTHESE

`

Dans ce premier chapitre nous avons d ´etaill ´e le projet SAIAD (Segmentation Automatique de reins tumoraux chez l’enfant par Intelligence Artificielle Distribu ´ee) qui a pour objectif de proposer une plate-forme capable de seg-

menter automatiquement, c’est- `a-dire sans intervention humaine, ou a minima avec une intervention limit ´ee, le n ´ephroblastome, qui est la tumeur r ´enale la plus fr ´equente chez l’enfant. Diff ´erentes structures sont impact ´ees par le n ´ephroblastome, et l’objectif g ´en ´eral est d’obtenir une repr ´esentation 3D fid `ele de l’abdomen du patient, permettant aux professionnels (chirurgiens et radio- logues) d’acqu ´erir de nombreuses informations utiles. La repr ´esentation de ces structures est r ´ealis ´ee par des segmentations, `a partir des images scanner du patient.

Les techniques de segmentation d’images sont nombreuses, et celles par IA le sont encore plus, en particulier par r ´eseau de neurones : un axe de recherche pr ´esent dans la litt ´erature de mani `ere tr `es importante ces derni `eres ann ´ees. La plate-forme COLISEUM-3D, d ´evelopp ´ee au sein du projet par Florent Marie, r ´ecent Docteur de notre ´equipe de recherche, a pour objectif de faire collabo- rer diff ´erentes approches de segmentations et de fusion de segmentations afin de fournir la repr ´esentation 3D du n ´ephroblastome. Elle est compos ´ee d’une couche de donn ´ees, d’une couche de segmentation et d’une couche de fusion. C’est dans la couche de segmentation que sont r ´ealis ´ees les segmentations des structures, ce travail faisant partie de la th `ese de Florent Marie. Ainsi, le rein pa- thologique a ´et ´e segment ´e par une technique de R `aPC coupl ´ee `a la croissance r ´egion, et la segmentation de la tumeur a ´et ´e calcul ´ee par r ´eseau de neurones, et plus particuli `erement par un CNN (FCN-8s). Une m ´ethode sp ´ecifique d’ap- prentissage des r ´eseaux de neurones pour la segmentation, appel ´ee OV2AS- SION, a ´egalement ´et ´e conc¸ue dans le cas de jeu d’apprentissage contenant une faible quantit ´e de donn ´ees.

`

A la suite de la couche de segmentation, le verrou le plus important ´etait de d ´evelopper la couche de fusion, qui est le cœur de la pr ´esente th `ese. Cette

couche a pour objectif d’agr ´eger les diff ´erentes segmentations calcul ´ees auto- matiquement, contenant chacune une structure, afin d’obtenir une segmentation finale regroupant l’ensemble de ces structures. Lors de la fusion, des conflits entre les pixels peuvent apparaˆıtre et des m ´ethodes pour g ´erer ces conflits sont n ´ecessaires.

Enfin, afin de valider la conformit ´e par rapport `a la v ´erit ´e terrain des segmenta- tions calcul ´ees, il existe de nombreuses m ´etriques d’ ´evaluation comparant deux segmentations. En pr ´esence d’une segmentation calcul ´ee et d’une segmenta- tion dite v ´erit ´e terrain, on peut alors ´evaluer la justesse de la segmentation cal- cul ´ee. Certaines de ces m ´etriques peuvent ´egalement ˆetre utilis ´ees dans les m ´ethodes de gestion de conflits lors de la fusion de ces segmentations, que nous verrons dans le chapitre suivant.

36 CHAPITRE 1. CONTEXTE DE CES TRAVAUX DE RECHERCHE

Dans le chapitre suivant, nous pr ´esentons l’ ´etat de l’art des diff ´erentes m ´ethodes de fusion de segmentations que nous avons appel ´ees classiques. Ainsi, des m ´ethodes simples, comme le vote, des m ´ethodes de fusion utilis ´ees dans le cadre de la seg- mentation dites Multi-Atlas, ou encore des m ´ethodes de fusion utilisant les m ´etriques d’ ´evaluation sont pr ´esent ´ees.

2

LES METHODES CLASSIQUES DE´

FUSION DE SEGMENTATIONS

La fusion de multiples segmentations est ´etudi ´ee principalement afin d’am ´eliorer la segmentation d’images. Certaines approches ont pour principe de concevoir une m ´ethodologie qui segmente plusieurs fois une image avec des algorithmes diff ´erents, voire le m ˆeme algorithme avec diff ´erents param `etres (l’algorithme de segmentation uti- lis ´e ´etant g ´en ´eralement assez simple et rapide), dans le but d’obtenir diff ´erentes seg- mentations `a fusionner `a l’aide d’une proc ´edure de fusion. L’hypoth `ese avanc ´ee est que la segmentation consensus g ´en ´er ´ee soit plus juste. Au lieu de chercher le meilleur al- gorithme de segmentation avec des param `etres optimaux, ce qui peut devenir lourd et co ˆuteux, il s’agit plut ˆot de s’int ´eresser `a trouverles meilleurs strat ´egies et crit `eres de fusion de segmentations.

Dans la litt ´erature est ´egalement d ´ecrite une approche de segmentation appel ´ee segmen- tation Multi-Atlas utilisant une ´etape de fusion sur plusieurs segmentations afin d’obtenir la segmentation finale. Les m ´ethodes de fusion utilis ´ees sont principalement les m ˆemes et seront d ´ecrites dans ce chapitre.

Ainsi, nous proposons un ´etat de l’art g ´en ´eral sur les diff ´erentes m ´ethodes de fusion de segmentations dites classiques, dans le sens o `u elles ne font pas appel `a des concepts d’IA. Ces derni `eres ont ´et ´e class ´ees en plusieurs cat ´egories : les m ´ethodes de fusion intuitives (comme le vote majoritaire ou l’intersection et l’union), les m ´ethodes de fu- sion utilis ´ees dans le cadre de la segmentation Multi-Atlas, les m ´ethodes utilisant des m ´etriques, les m ´ethodes bas ´ees sur les distances et les similarit ´es et enfin les combinai- sons de diff ´erentes m ´ethodes de fusion.

2.1/

L

ES METHODES DITES INTUITIVES

´

Les m ´ethodes intuitives sont celles qui paraissent les plus ´evidentes et les plus faciles pour fusionner les segmentations et g ´erer les ´eventuels conflits qui peuvent d `es lors apparaˆıtre. Cependant, ces m ´ethodes sont loin d’ ˆetre les plus efficaces dans le cas de segmentations plus complexes. En effet, si des erreurs d’ ´etiquetage se retrouvent dans la plupart voire dans une seule des segmentations `a fusionner, alors ces erreurs peuvent tr `es facilement se retrouver dans la segmentation finale, la rendant ainsi inexacte.

38 CHAPITRE 2. LES M ´ETHODES CLASSIQUES DE FUSION DE SEGMENTATIONS

2.1.1/ LE VOTE

2.1.1.1/ LA FUSION PAR VOTE MAJORITAIRE

La technique de fusion par vote majoritaire est la plus simple `a mettre en œuvre. Elle consiste simplement `a affecter `a chaque pixel de la segmentation finale l’ ´etiquette qui apparaˆıt le plus fr ´equemment pour ce pixel dans toutes les segmentations `a fusionner ([Rohlfing2004a, Mitchell2010a]). La Figure 2.1 pr ´esente la fusion par vote majoritaire de 3 segmentations de taille 5 × 5 et ´etiquet ´ees 0 ou 1.

Dans le document Fusion de segmentations complémentaires d'images médicales par Intelligence Artificielle et autres méthodes de gestion de conflits (Page 34-43)