Evaluation

Afin de juger de la qualit´e de l’annotation obtenue, une annotation manuelle de l’image de test peut ˆetre utilis´ee comme v´erit´e de terrain. Cependant, l’annotation ma- nuelle compl`ete d’une grande image est une tˆache tr`es co ˆuteuse, plus co ˆuteuse encore pour notre image de test compte tenu de sa complexit´e. Aussi, nous nous proposons de d´eterminer manuellement et de mani`ere al´eatoire, un certain nombre de r´egions pour chaque classe, et de mesurer le degr´e de reconnaissance de chacune de ces r´egions par notre approche d’annotation. En d’autres termes, pour chaque r´egion Rsi appartenant `a

7.2. EXPERIMENTATIONS ET R´ ESULTATS´ 135

FIG. 7.8 – Image Quickbird de Marseille `a annoter.

un concept s´emantique s selon la v´erit´e de terrain (annotation manuelle), soient Nsm le

nombre de patches appartenant `a cette r´egion, et Nsa le nombre de patches de l’image

annot´ee r´esultante, inclus dans la r´egion Rsi et associ´es au concept s, la r´egion Rsi est

parfaitement identifi´ee lorsque le degr´e de reconnaissance dRest proche de 1 :

dR=

Nsa

Nsm

(7.6) Pr´ecisons que le nombre de r´egions annot´ees manuellement n’est pas le mˆeme pour toutes les classes ´etant donn´ee l’in´egale r´epartition des diff´erentes classes dans l’image de test. En outre, lorsque plusieurs r´egions de test ont ´et´e retenues pour un concept s´emantique, ces derni`eres sont si possible choisies de telle sorte que leurs contextes spa- tiaux soient diff´erents. Ceci dans le but de diversifier les tests afin d’avoir une ´evaluation plus compl`ete, refl´etant au mieux la r´ealit´e. Nous jugeons ainsi de la capacit´e de notre syst`eme d’annotation `a reconnaˆıtre les r´egions de test ind´ependamment de leur voisi- nage. Enfin, pour chaque concept s´emantique, les tailles des r´egions sont du mˆeme ordre de grandeur.

7.2.2.4 Analyse des r´esultats

Carat´eristiques radiom´etriques Nous pr´esentons tout d’abord les r´esultats obtenus en n’utilisant que les caract´eristiques spectrales pour le calcul des mots visuels, c’est-`a-dire les 4 bandes spectrales et les n´eocanaux. La validation crois´ee a donn´e en moyenne 95.31% de bonne classification, quelques confusions justifi´ees par la nature des descrip- teurs utilis´es ´etant pr´esentes. La structure hi´erarchique de la figure 7.10 ´etablit les rela- tions entre les diff´erentes classes. Ces liens sont ´evalu´es en calculant une distance entre

(a) (b)

(c) (d)

(e) (f)

(g) (h)

FIG. 7.9 – Exemples d’images de la base d’apprentissage Quickbird de Marseille. (a) : carri`eres (CA), (b) : espaces de v´eg´etation (EV), (c) : grands bˆatiments (GB), (d) : mer (ME), (e) : montagne (MT), (f) : port (PO), (g) : zones r´esidentielles (ZR), et (h) : zones urbaines (ZU).

les diff´erentes distributions de topics. Nous avons utilis´e ici la distance du cosinus, tr`es populaire dans les syst`emes de recherche d’images et de texte, et qui se d´efinit comme suit entre deux vecteurs a et b :

cos(a, b) = a.b

kak.kbk (7.7)

7.2. EXPERIMENTATIONS ET R´ ESULTATS´ 137

FIG. 7.10 – Cette structure hi´erarchique indique les relations entre les 8 classes, bas´ees sur le calcul de la distance du cosinus entre les diff´erentes distributions des topics. Plus ces derni`eres sont similaires, plus les classes correspondantes sont proches dans la structure hi´erarchique.

aussi proches dans la structure hi´erarchique. Nous pouvons ainsi pr´evoir quelques confu- sions entre les zones r´esidentielles et les zones urbaines, entre les grands bˆatiments et les carri`eres, mais aussi entre les espaces verts et les montagnes.

L’image de test est compl`etement annot´ee, suivant la proc´edure sus-d´ecrite. De ma- ni`ere globale, les r´esultats semblent int´eressants. Plus rigoureusement, l’´evaluation de l’annotation effectu´ee selon la proc´edure d´ecrite dans la section 7.2.2.3, donne les r´esultats consign´es dans le tableau 7.2. En effet, ce dernier indique le degr´e de reconnaissance de chacune des r´egions de test avec notre approche d’annotation. Ainsi, chaque classe a une `a trois r´egions de test choisies pour chaque concept s´emantique.

L’examen du tableau 7.2 montre qu’il est possible de scinder les diff´erentes classes en trois cat´egories. La premi`ere regroupe les classes qui sont tr`es bien identifi´ees telles que les grands bˆatiments, la mer et les zones urbaines. En effet, chacune des r´egions d’´evaluation pour chacune de ces classes est presque parfaitement d´etermin´ee (au moins `a 98%). La deuxi`eme cat´egorie rassemble 4 classes qui sont assez bien reconnues. En effet, nous avons obtenu jusqu’`a 97% de bonne identification pour les ports, 94% pour les espaces verts, 90% pour les zones r´esidentielles et 90% pour les carri`eres. Le dernier groupe enfin, se r´eduit `a la classe des montagnes qui est mal reconnue, avec seulement 40% de bonne classification.

Les erreurs de reconnaissance pr´esentes sont principalement li´ees aux similitudes spectrales fortes avec d’autres classes. Les carri`eres, par exemple, se confondent quelque- fois aux grands bˆatiments dont les toits ont g´en´eralement une forte intensit´e lumineuse (figure 7.11). Ce type d’erreur est accentu´e par le fait que la mod´elisation des images par l’Allocation Dirichlet Latente implique de travailler de mani`ere locale sur un voisi- nage de pixels, repr´esent´e par des mots. Dans la litt´erature, un mot est en g´en´eral une r´egion de l’image issue d’une segmentation, par analogie avec l’analyse de texte. Dans

TAB. 7.2 – Evaluation de l’annotation en utilisant les caract´eristiques spectrales unique- ment : degr´es de reconnaissance de diff´erentes r´egions de test d´etermin´ees manuellement pour chaque classe.

CA EV GB ME MT PO ZR ZU

R´egion 1 0.90 0.94 1 1 0.40 0.97 0.90 1 R´egion 2 - 0.92 0.99 1 - 0.89 0.81 1 R´egion 3 - 0.65 0.99 - - - 0.75 0.98

nos exp´erimentations, un mot a ´et´e consid´er´e comme ´etant une fenˆetre de pixels, obte- nue en d´ecoupant l’image suivant une grille r´eguli`ere. Il est bien vrai que la taille du mot a ´et´e d´etermin´ee de mani`ere empirique, cependant, une fenˆetre de pixels ne sau- rait capturer toute l’information qui pourrait ˆetre contenue dans un segment de l’image. Par ailleurs, elle pourrait m´elanger des informations contenues dans plusieurs r´egions, rendant ainsi impure ou biais´ee, l’information d´elivr´ee par le mot. C’est un biais qui in- fluence de mani`ere non n´egligeable le calcul des mots visuels, et donc la d´etermination des topics latents. En effet, pour peu que deux classes aient des similitudes spectrales, ce biais pourrait fortement avantager l’une des classes aux d´epens de l’autre. Et pour cette derni`ere classe, les confusions seront plus ou moins fortes en fonction des mots appartenant initialement aux diff´erentes r´egions de test. Les remarques faites ci-dessus pour les mots valent ´egalement pour les documents `a classifier, puisque ces derniers sont obtenus en d´ecoupant la grande image `a annoter suivant un maillage r´egulier. Un do- cument peut par cons´equent combiner des informations appartenant `a plusieurs classes. La proc´edure de prise en compte de l’information spatiale, d´ecrite dans la section 7.1.2, permet d’att´enuer les effets caus´es par ce mode d’obtention des documents.

Par ailleurs, pour les espaces verts, les zones r´esidentielles et les ports, certaines r´egions d’´evaluation sont bien identifi´ees et d’autres un peu moins bien. Par exemple, il existe une diff´erence de taux de reconnaissance de 29% entre les premi`ere et troisi`eme r´egions de test de la classe des espaces verts. Cela peut s’expliquer en consid´erant la nature des r´egions voisines et adjacentes `a la r´egion de test. En effet, si la r´egion de test est en- tour´ee de r´egions appartenant `a des classes s´emantiques proches de la sienne, la qualit´e de la reconnaissance peut en pˆatir, puisque l’utilisation des fenˆetres de pixels pour la mod´elisation LDA, obtenues par d´ecoupage selon une grille r´eguli`ere, favorise les confu- sions au niveau des fronti`eres des r´egions, et a fortiori, celles de r´egions appartenant `a des classes s´emantiques proches. La figure 7.13 illustre le cas des espaces verts, o `u l’une des r´egions de test, principalement entour´ee de r´egions appartenant aux zones r´esidentielles, n’est reconnue qu’`a 65%, parce que confondue `a cette derni`ere classe au niveau des fronti`eres (figure 7.13(a)), tandis que l’autre zone d’´evaluation, principalement adjacente aux grands bˆatiments avec lesquels les risques de confusions sont moindres, a 94% de bonne identification (figure 7.13(b)). De mˆeme, comme le montre la figure 7.11, la zone d’´evaluation des montagnes est principalement assimil´ee aux espaces verts, car non seule- ment ces deux classes ont des ressemblances flagrantes d’un point de vue radiom´etrique, mais en plus la r´egion de test des montagnes est voisine d’une r´egion appartenant aux espaces verts.

7.2. EXPERIMENTATIONS ET R´ ESULTATS´ 139

FIG. 7.11 – R´egions de test pour les carri`eres (d´etour´ee en bleu) et les montagnes (d´etour´ee en rouge). Les carri`eres, de forte intensit´e, sont quelquefois confondues avec les grands bˆatiments dont les toits sont lumineux. La montagne, quant `a elle, est essentiellement assimil´ee aux espaces verts.

FIG. 7.12 – L´egende associ´ee aux annotations obtenues sur les images Quickbird de Mar-

seille.

Influence de la texture Pour juger de l’apport des primitives de texture bas´ees sur les filtres miroirs en quadrature (QMF), nous avons men´e des exp´erimentations avec les mˆemes r´egions de test. Les r´esultats obtenus, contenus dans le tableau 7.3, sont compar´es `a ceux du tableau 7.2.

Nous constatons que, par rapport au cas pr´ec´edent o `u seules les caract´eristiques spec- trales ont ´et´e utilis´ees, il n’y a aucune ou tr`es peu de diff´erences dans les taux de recon- naissance des classes mer, zones urbaines et carri`eres, les deux premi`eres ´etant d´ej`a tr`es bien identifi´ees sans l’utilisation de la texture. L’am´elioration est notable pour la classe

(a) (b)

FIG. 7.13 – Exemples de r´egions de test pour les espaces verts. (a) : la r´egion de test est

principalement entour´ee de r´egions appartenant aux zones r´esidentielles et n’est reconnue qu’`a 65%. (b) : la r´egion de test est principalement adjacente aux grands bˆatiments avec lesquels les risques de confusions sont moindres et a 94% de bonne identification.

TAB. 7.3 – Evaluation de l’annotation en utilisant les caract´eristiques spectrales et textu-

relles : degr´es de reconnaissance de diff´erentes r´egions de test d´etermin´ees manuellement pour chaque classe.

CA EV GB ME MT PO ZR ZU

R´egion 1 0.89 0.81 0.95 1 0.77 0.65 0.82 1 R´egion 2 - 0.78 0.97 1 - 0.85 0.78 1 R´egion 3 - 0.78 0.96 - - - 0.99 0.95

des montagnes, qui passe de 40% `a 77%, mais n’est toujours pas tr`es bien identifi´ee. Les grands bˆatiments et les ports sont moins bien reconnus, ce qui n’est gu`ere surprenant, les primitives de texture ne caract´erisant g´en´eralement pas de mani`ere pertinente, ce type de classes haute r´esolution, riches en structures lin´eaires. En ce qui concerne les espaces verts et les zones r´esidentielles, le taux de reconnaissance augmente pour certaines r´egions de test, tandis qu’il d´ecroˆıt pour d’autres. Cela est probablement li´e aux confusions entre les diff´erentes classes, accentu´ees par voisinage de la r´egion de test. La figure 7.14 montre l’exemple d’une r´egion d’´evaluation des zones r´esidentielles, dont l’ajout de la texture a am´elior´e le taux de reconnaissance.

De mani`ere g´en´erale, l’apport de la texture est moindre, et pour la majorit´e des classes, la qualit´e de l’identification est mˆeme d´egrad´ee. Nous pensons que ceci est en grande par- tie d ˆu `a la r´esolution de l’image qui est assez haute (2.44 m). En effet, les classes qui ont un niveau s´emantique plus ´elev´e, telles que les grands bˆatiments, sont plut ˆot moins bien reconnues. Dans la suite, nous ne consid´ererons donc pas les carat´eristiques texturelles et utiliserons uniquement les caract´eristiques spectrales pour les exp´erimentations.

7.2. EXPERIMENTATIONS ET R´ ESULTATS´ 141

(a) (b)

FIG. 7.14 – Exemple d’une r´egion de test de la classe des zones r´esidentielles. L’annotation a ´et´e op´er´ee en utilisant les caract´eristiques spectrales pour 75% de reconnaissance (a), puis les caract´eristiques spectrales et texturelles pour 99% de reconnaissance (b).