7.2.1 Objectif et Hypoth`eses
L’objectif de l’exp´erimentation est d’´evaluer la performance du syst`eme de segmen-tation propos´e en le comparant `a d’autres syst`emes. Le framework utilis´e est propos´e dansHoover et al.(1996). A travers cette exp´erimentation, nous essayons de v´erifier les hypoth`eses suivantes :
Hypoth`ese 1 : Malgr´e le caract`ere non d´eterministe du syst`eme propos´e, dˆu aux trajectoires semi-arbitraires des agents, les r´esultats de plusieurs ex´ecutions ne sont pas significativement diff´erents.
Hypoth`ese 2 : Pour des valeurs optimales des param`etres du syst`eme propos´e, les r´esultats obtenus sont significativement ´equivalents `a ceux des meilleurs syst`emes utilis´es dans la comparaison.
Hypoth`ese 3 : La correction des contours par les m´ethodes de r´egularisation, en l’oc-currence la r´egularisation bayesienne et la r´egularisation floue, permettent d’am´eliorer significativement les r´esultats de segmentation. Les deux m´ethodes ne pr´esentent pas de diff´erences significatives.
7.2.2 La base d’images
La base d’images est divis´ee en deux parties distinctes. La premi`ere correspond `a 10 images d’apprentissage. Elle est utilis´e pour l’entraˆınement des m´ethodes de segmen-tation afin d’estimer les meilleures valeurs des param`etres respectifs aux diff´erentes m´ethodes. La deuxi`eme partie contient 30 images, utilis´ees comme images de test. Toutes les images sont des images r´eelles de taille 512 × 512. La complexit´e des images varie d’images contenant un simple objet, aux images contenant plusieurs objets en occlusion visuelle. En nombre de r´egions, les images varient de 9 `a 27 r´egions avec une moyenne de 15.23 et un ´ecart-type de 5.15. Pour chacune des images, nous disposons des r´esultats, respectivement de la segmentation correspondant `a la r´ealit´e terrain (Ground Truth : GT), et de ceux de chacune des m´ethodes utilis´ees dans la comparaison.
7.2.3 Les m´ethodes utilis´ees dans la comparaison
Nous avons utilis´e les r´esultats des 4 m´ethodes cit´ees dans Hoover et al. (1996) afin de comparer nos r´esultats `a ceux produits par ces m´ethodes. Toutes les m´ethodes cit´ees sont d´edi´ees `a la segmentation d’images de profondeur. Nous pr´esentons un bref descriptif de chacune de ces m´ethodes.
USF de ”University of South Florida, USA” : le principe de l’algorithme d’USF est bas´e sur l’estimation du plan tangent `a la surface en chaque pixel de l’image. La m´ethode proc`ede ensuite `a un accroissement de r´egions par ajout de pixels ayant les mˆemes plans tangents.
UB de ”University of Bern, Switzerland” : l’algorithme est bas´e sur le principe d’accroissement de r´egions. Cependant, l’´etiquetage de tout pixel est renforc´e par l’hy-poth`ese que les pixels appartenant aux segments de la ligne de scan appartiennent `a la mˆeme surface. Les pixels sont regroup´es en prenant en compte leur appartenance `a la ligne de scan, et non plus consid´er´es individuellement.
UE de ”University of Edinburgh, Scotland” : suivant le mˆeme chemin que l’al-gorithme d’USF, en am´eliorant les r´esultats de l’accroissement de r´egions par un trai-tement d’am´elioration sp´ecifique, des pourtours des r´egions.
WSU de ”Washington State University, USA” : l’algorithme proc`ede `a l’esti-mation des vecteurs normaux aux surfaces par une analyse en composantes principales. Les composantes de position et d’orientation sont regroup´ees et classifi´ees, en sp´ecifiant le nombre maximal de classes (r´egions). Certaines r´egions adjacentes seront fusionn´ees, et ce, en fonction de leur degr´e de coplanarit´e.
7.2.4 Les m´etriques de performance
Nous utilisons les m´etriques de performance d´efinies dans le framework introduit par Hoover et al. (1996) (voir section 7.3), afin d’´evaluer les performances de notre syst`eme, et pour comparer nos r´esultats `a ceux obtenus par les syst`emes pr´ec´edemment introduits. Les m´etriques, au nombre de 5, se calculent `a partir de la comparaison des r´egions issues de la segmentation d’une image, aux r´egions de la segmentation manuelle correspondant `a la r´ealit´e terrain (suppos´ee id´eale). Ces m´etriques sont :
– le nombre d’instances de d´etections correctes – le nombre d’instances de sur-segmentations – le nombre d’instances de sous-segmentations – le nombre d’instances de r´egions omises – le nombre d’instances de r´egions de bruit.
Un seuil de tol´erance de comparaison de r´egions est utilis´e. Les m´etriques pr´ec´edentes sont calcul´ees pour une s´erie de valeurs de ce seuil, comprises entre 0.5 et 1.0. Afin d’assurer la fiabilit´e de la comparaison, les valeurs des m´etriques sont calcul´ees par un outil software offert par les concepteurs du framework (Hoover et al. (1996)).
7.2.5 Test des hypoth`eses
Hypoth`ese 1
Dix ex´ecutions sont effectu´ees pour un ensemble de 3 images, de complexit´e variable. Pour chacune de ces images, la m´etrique de d´etection correcte est calcul´ee en variant le seuil de tol´erance T de 0.5 `a 0.95. Les valeurs obtenues sont utilis´ees pour calculer les moyennes et les ´ecart-types de cette m´etrique.
Nous nous attendons `a ce que les moyennes calcul´ees soient repr´esentatives de l’´echantillon des 10 ex´ecutions (´ecart-types faibles). En effet, nous nous attendons `a ne pas trouver des valeurs aberrantes, concluant `a la non repr´esentativit´e des moyennes.
Hypoth`ese 2
Pour chacune des 30 images de la base d’images et pour chaque valeur du seuil de tol´erance, la segmentation effectu´ee est compar´ee `a la segmentation manuelle GT. Pour chaque segmentation, nous enregistrons les nombres respectivement ; de cas de d´etection correcte, de cas de sur-segmentation, de cas de sous-segmentation, de cas d’omission et de cas de bruit.
Nous calculons pour chaque segmentation manuelle, la moyenne, le minimum et le maximum des nombres de r´egions. Ceux-ci seront utilis´es pour calculer les pourcentages de la moyenne du minimum et du maximum pour chaque valeur du seuil de tol´erance T . Pour chacune des m´etriques, trois graphiques sont `a tracer et `a comparer : le premier correspond aux moyennes, le second aux minimums, et le troisi`eme, aux maximums.
Hypoth`ese 3
La courbe de d´etection correcte sans r´egularisation est compar´ee aux courbes de d´etection correcte avec r´egularisation. Les courbes correspondant respectivement `a la
r´egularisation bayesienne, et `a la r´egularisation floue sont ´egalement compar´ees.