Efficacité des algorithmes avec et sans apprentissage préalable

A des fins de comparaison, les résultats de deux types de classifieurs appliqués sur les images sont présentés : les classifieurs par angle spectral (SAM) et les méthodes à vecteurs support (SVM). Différents noyaux et méthodes de séparation d’hyperplan ont été utilisés pour la méthode SVM. La comparaison des résultats avec la vérité terrain permet de juger de l’efficacité des algorithmes mis en place. Notons cependant que cette vérité terrain (en : ground truth) correspond à une labellisation manuelle de chaque pixel de l’image, basée sur l’interprétation visuelle de l’utilisateur. Elle n’est donc pas universelle et on admettra une certaine marge d’erreur, notamment proche des contours (changements de contraste) des objets.

Chaque classifieur est appliqué sur l’image originale et après filtrage (lissage). Pour évaluer l’efficacité de nos algorithmes de classification, nous utilisons la précision et le rappel définis en 0.

Dans un premier temps, nous caractérisons les images de la vérité terrain. Sur une photo de rail propre, elle comporte deux classes : la table de roulement et le pied du rail (hors champ). En ce qui concerne la classification, nous choisissons de regrouper ces deux clusters en un seul ensemble. En supplément, sur chacune des images de la vérité terrain, nous recensons le nombre de pixels correspondant à une pollution et ceux correspondant à un rail propre (1-nbre de pixels de la pollution). Un rail propre aura généralement un score de 100% rail propre (tous les pixels de l’image correspondent à du rail).

Nous pouvons maintenant comparer les résultats obtenus à la vérité terrain.

5.1 Performance des SVM

Nous commençons par étudier les performances des méthodes à vecteurs supports.

Dans le cas d’une configuration SVM SMO linéaire, nous faisons varier la valeur seuil (en : bias ou threshold) du modèle entre 0,001 et 25. Pour chaque image résultat, nous comptons le nombre de pixels étiquetés « feuille » pour le comparer à celui de la vérité terrain. A titre d’exemple, les chiffres sont donnés dans le Tableau 7.

Tableau 7 - Impact de la variation du seuil sur la classification par SVM binaire linéaire-SMO Nombre de pixels « feuille » Nombre de pixels « rail » Pourcentage de pollution trouvée Vérité terrain 26841 85668 24,8% SVM SMO L s=0,001 55322 57187 49,2% SVM SMO L s=0,005 55323 57186 49,2% SVM SMO L s=0,01 55326 57183 49,2% SVM SMO L s=0,05 55338 57171 49,2% SVM SMO L s=0,1 55361 57148 49,2% SVM SMO L s=0,5 55553 56956 49,4% SVM SMO L s=1 55835 56674 49,6% SVM SMO L s=5 58003 54506 51,6% SVM SMO L s=10 61594 50915 54,7% SVM SMO L s=15 65523 46986 58,2% SVM SMO L s=20 70554 41955 62,7% SVM SMO L s=25 79450 33059 71,0%

143 | P a g e

Cette analyse indique que des variations du seuil dans l’intervalle [0,1] n’apportent pas de grands écarts dans les résultats. En sortant de l’intervalle [0,1] en revanche, les mauvaises classifications augmentent fortement (Figure 90).

Nous calculons les valeurs de précisions et rappels pour ces 12 classifications ainsi que pour le couple « Linéaire-LS ». Nous obtenons les courbes données en Figure 91.

La courbe de la Figure 91 peut être interprétée comme ceci. Lorsque le seuil augmente, le cluster étiqueté « feuille » voit sa tolérance augmenter, il grossit : le nombre de pixels mal classés augmente faisant diminuer fortement sa précision. En revanche, puisque le nombre de pixels reconnus comme de la feuille augmente, il y a plus de chance d’englober tous les pixels feuille de la vérité terrain. Voilà pourquoi le rappel augmente alors que la qualité de la segmentation paraît visuellement très détériorée.

Etant donnée la forte similarité des résultats « Linéaire-SMO » et « Linéaire-LS », nous choisissons arbitrairement le « Linéaire-SMO » pour la comparaison des performances avec les autres méthodes testées.

Figure 90 - Résultats obtenus par SVM-SMO avec un noyau linéaire après une étape de pré-filtrage spatial. Gauche : seuil à 0,001. Droite : seuil à 25. Image originale présentée en Figure 87, bas gauche.

Figure 91 - Courbe Precision / Recall obtenue par variation du seuil d'un SVM SMO et d’un SVM LS avec noyau linéaire.

144 | P a g e

Des courbes Precision/Recall (P/R) illustrant les performances de l’algorithme testé sont tracées pour différents noyaux du SVM et pour différente optimisation de l’hyperplan. Elles sont montrées en Figure 92 et Figure 93. La Figure 92 a été obtenue en faisant varier les niveaux de filtrage par diffusion anisotropique. Le nombre d’itérations varie de 1 à 12, kappa=4 fixé, lambda=0,1 fixé. Des trois combinaisons SVM testés, la tanh-SMO présente clairement les moins bons résultats avec une précision et un recall moyens de 0,2.

La Figure 93 a été obtenue pour différents seuils appliqués aux noyaux testés (linéaire et tangente hyperbolique). Dans le cas de tanh, le seuil correspond à P2. Les valeurs varient de 0,001, 0,005, 0,01, … à 1, 5, 10, 15, 20, 25. Les différents couplages noyau-équation font ressortir que le couple tanh-SMO fournit une précision très pauvre pour un recall identique aux autres méthodes testées. Cette méthode n’est donc pas poursuivie, menant à une classification que nous jugeons mauvaise.

Figure 93 - Courbes P/R pour l'analyse de l'influence du changement de seuil. Deux noyaux ont été testés.

Figure 92 - Courbes P/R pour l'analyse de l'influence du filtrage par diffusion anisotropique. Deux noyaux ont été testés (linéaire et tangente hyperbolique)

145 | P a g e

Les performances du noyau linéaire semble relativement constante, quel que soit le paramètre testé, avec un recall R > 0,9 et une précision aux alentours de P > 0,45.

5.2 Performances des NMF-SAM

Nous évaluons maintenant les résultats de NMF-SAM. Contrairement aux SVM que l’on a choisis en « 1 contre tous », soient deux clusters résultants après classification, la NMF-SAM hiérarchique présente autant de cluster que la demande qui est donnée en entrée de l’algorithme. Prenons l’exemple où k=4 dans le cas d’une image végétation. L’image résultat présente quatre classes dont une correspond à la pollution et trois correspondent au rail (surface, spécularité, pied). Par construction, la pollution végétale est affichée de couleur verte. Pour la comparaison avec les images vérité terrain et l’obtention des données P/R, sans reconnaissance supervisée sur les endmembers, un simple seuillage permettant de fusionner les classes n’étant pas de couleur verte est appliqué sur les masques NMF-SAM pour ne conserver que deux classes à l’instar du SVM.

Dans la suite de ces travaux de thèse, il pourra être intéressant de fusionner les clusters de caractéristiques communes dès leur création. De cette façon, la décomposition NMF sera plus précise et le rail propre, au lieu de présenter plusieurs clusters, sera uniformément segmenté (excepté peut-être au niveau des spécularités).

La NMF, de par son initialisation aléatoire, fournit des résultats qui ne sont pas parfaitement stables. Ceci est illustré sur la Figure 94. Malgré cela, les résultats sont tout de même bons puisque la précision est comprise entre 0,8 et 0,9 et le recall est supérieur à 0,9. Une initialisation fixée apporte une amélioration de la précision ; le recall reste inchangé. Une comparaison avec les courbes P/R obtenues pour le SVM TANH LS est donnée en Figure 95.

Figure 94 - Courbes P/R pour l’analyse de l’influence de l’initialisation de la NMF. Les différents points d’une même courbe ont été obtenus avec les mêmes paramètres d’entrée. L’instabilité de la classification est visible et l’amélioration liée à l’initialisation par spectres de référence de la NMF, bien que faible, est cependant notable.

146 | P a g e

Le calcul de précision et rappel sur le NMF pour différents niveaux d’itérations du filtrage a aussi été effectué. Les valeurs obtenues montrent visuellement (Figure 96) que ces itérations permettent l’amélioration de la précision mais les résultats sont surprenants. Ceci s’explique par la variabilité de la NMF à paramètres fixés. Ainsi, même si l’on peut constater une amélioration, il est difficile de la quantifier.

Figure 96 - Impact du filtrage par diffusion anisotropique sur les résultats de la NMF-SAM. Gauche : une itération du filtrage. Droite : 12 itérations de filtrage.

147 | P a g e