Données satellitaires et données de référence

Les données utilisées sont quasiment identiques à celles du Chapitre 6. Ainsi, trois jeux de données sont utilisées dans ces expérimentations : simulées, SPOT-Landsat, et Sentinel-2.

Données simulées et SPOT-Landsat

Les données simulées présentées et évaluées au Chapitre 6 sont étudiées ici. Dans ces données, chaque échantillon est décrit par le profil de NDVI simulé pour quinze dates. Par ailleurs, ces données sont composées de cinq classes de végétation.

Concernant les données SPOT-Landsat, les variables utilisées ici sont les bandes spec- trales de chaque image et le profil de NDVI. Ces données correspondent donc au jeu de

données BS-NDVI numéro 5 du Tableau 5.4 introduit au Chapitre 5. Elles sont com- posées de cinq classes, et chaque échantillon est décrit par un vecteur de variables de dimension 119.

Les deux jeux de données sont composés de 500 échantillons d’apprentissage par classe. Le bruit d’étiquetage présenté à la Section 5.2.2 est utilisé pour la génération des données mal étiquetées. Les expérimentations menées ici sont réalisées pour deux niveaux de bruit : 20 % et 40 %.

Afin d’évaluer les performances de classification obtenues après le filtrage, des échan- tillons test ne contenant pas de données mal étiquetées sont nécessaires. Pour les données simulées et SPOT-Landsat, ces échantillons test sont les mêmes que ceux utilisés au Cha- pitre 5. Ainsi, chaque jeu de données est composé de 500 échantillons test par classe.

Le Tableau 7.3 montre les résultats de référence décrits à la Section 7.3.1. La pre- mière ligne montre les résultats obtenus pour les données simulées, tandis que la seconde ligne montre les résultats obtenus pour les données SPOT-Landsat. La première colonne montre les valeurs d’OA obtenues par un RF lorsqu’aucune donnée mal étiquetée n’est présente dans les échantillons d’apprentissage. La deuxième colonne et la quatrième co- lonne montrent les résultats obtenus lorsque l’apprentissage du RF est réalisé en utilisant les échantillons d’apprentissage corrompus par 20 et 40 % de bruit respectivement. Enfin, la troisième et cinquième colonne montrent les valeurs d’OA obtenues après un filtrage idéal. Dans ce dernier cas, toutes les données mal étiquetées sont détectées, puis suppri- mées par l’étape de filtrage. Pour ces résultats de classification, l’algorithme utilisé est le RF dont la configuration est présentée à la Section 7.3.1.

Tableau 7.3 – Valeurs d’Overall Accuracy (OA) obtenues pour les données simulées et SPOT- Landsat dans différentes configurations.

0 % 20 % 20 % 40 % 40 %

sans bruit sans filtrage filtrage idéal sans filtrage filtrage idéal

Simulées 88,2 83,8 87,3 67,0 84,6

SPOT-Landsat 92,7 90,0 92,3 85,6 92,6

Le Tableau 7.3 montre que la présence de données mal étiquetées influence fortement les performances de la classification, particulièrement pour les données simulées. La perte d’OA est plus forte pour les données simulées car les échantillons sont décrits seulement par le profil de NDVI. Comme montré au Chapitre 5, l’ajout de variables permet d’être plus robuste à la présence de données mal étiquetées.

Par ailleurs, les résultats du Tableau montrent le gain sur les performances apporté par le filtrage idéal. Ce dernier permet par exemple d’augmenter l’OA de 17 % pour un niveau de bruit de 40 % dans le cas des données simulées. Cependant, une perte d’OA peut être observée entre le filtrage idéal et le cas sans bruit. Cette perte est normal puisque la suppression des données mal étiquetées a pour conséquence de réduire le nombre d’échantillons d’apprentissage.

Données Sentinel-2

Pour les données Sentinel-2 acquises en 2016, l’ensemble des échantillons disponibles est étiqueté avec deux données de référence.

La première donnée de référence correspond au RPG de l’année 2014, tandis que la second correspond aux données terrain 2016. Puisque les images Sentinel-2 sont acquises en 2016, les données RPG 2014 sont obsolètes. Ainsi, les échantillons extraits de ces données qui ont changé d’occupation des sols entre 2014 et 2016 sont considérés comme

des données mal étiquetées. Les données terrain 2016 sont quant à elles considérées comme idéales.

Dans ce chapitre, les échantillons décrits par les étiquettes 2014 sont utilisés en entrée de l’étape de filtrage. L’objectif est donc de nettoyer ces données afin de pouvoir réali- ser un apprentissage robuste qui obtienne de bonnes performances. Plus exactement, les échantillons utilisés sont ceux présentés dans le Tableau 6.7 à la Section 6.4.3. Au total, six classes de végétation sont présentes, et chaque classe est composée de 500 échantillons. La dimension de chaque vecteur de variable est de 300.

Par ailleurs, les données terrain 2016 sont principalement utilisées pour extraire les échantillons test qui servent à évaluer les performances de classification des différents jeux de données utilisés à l’entrée du classifieur. De plus, elle est aussi utilisée pour extraire des échantillons d’apprentissage non-bruités qui permettront d’évaluer les résultats du cas idéal sans bruit.

Afin de résumer ces informations, le Tableau 7.4 détaille par classe le nombre d’échan- tillons test, le nombre d’échantillons d’apprentissage et le pourcentage de données mal étiquetées. La dernière colonne correspond au pourcentage de données mal étiquetées par classe présentes dans les données utilisées en apprentissage.

Tableau 7.4 – Nombre d’échantillons test, nombre d’échantillons d’apprentissage et pourcentage de données mal étiquetées pour les données Sentinel-2.

nb. d’échantillons nb. d’échantillons % ME test (2016) d’apprentissage (2014) CP 197 992 29,2 M 125 573 24,4 C 43 384 500 30,0 T 115 618 29,8 V 11 973 0,0 P 72 200 20,0 Total 566 740 3000 ∼ 22,2 %

CP : Céréales à paille. M : Maïs. C : Colza. T : Tournesol. V : Vignes. P : Prairies. % ME : pourcentage de données mal étiquetées

Comme pour les données simulées et SPOT-Landsat, trois résultats de référence sont calculés : 1) le cas sans bruit, 2) le cas filtrage idéal, et 3) le cas sans filtrage. Ces résultats de classification sont évalués en utilisant les échantillons test décrits dans la première colonne du Tableau 7.4.

Le Tableau 7.5 montre les valeurs d’OA et de F-Score par classe obtenues. La première colonne montre les performances obtenues dans le cas idéal sans bruit. La deuxième co- lonne montre les performances obtenues sans filtrage dont l’apprentissage est réalisé avec les données bruitées de 2014. Enfin, la troisième colonne montre les valeurs d’OA obte- nues après l’utilisation d’un filtrage idéal. Pour ces résultats, l’algorithme de classification utilisé est le RF dont la configuration est présentée à la Section 7.3.1.

Le Tableau 7.5 montre que l’OA diminue de plus de 15 % en présence de données mal étiquetées. Toutes les classes sont impactées par la présence des données mal étiquetées, mais pas de la même manière. Par exemple, la classe colza est très sévèrement touchée par la présence des données mal étiquetées avec un F-Score de 40 %. Au contraire, la classe vigne est moins impactée par la présence des données mal étiquetées. Ce résultat est attendu puisque la classe vigne ne contient pas de données mal étiquetées.

Tableau 7.5 – Valeurs d’Overall Accuracy (OA) et de F-Scores obtenues pour les données Sentinel-2 lorsque les données sans bruit, sans filtrage et parfaitement filtrées sont utilisées pour l’apprentissage d’un Random Forest.

2016 2014 2014

sans bruit sans filtrage filtrage idéal

Céréales à paille 95,5 79,5 92,9 Maïs 96,6 84,3 93,8 Colza 91,4 40,0 80,9 Tournesol 95,8 79,6 93,5 Vignes 84,2 78,8 77,3 Prairies 89,5 79,2 85,4 OA 94,4 78.2 90,9

7.4

Résultats des expérimentations

Dans ces travaux, les stratégies de filtrage étudiées sont divisées en deux catégories : les filtrages non-itératifs et les filtrages itératifs. En suivant ce découpage, cette partie s’intéresse à évaluer et comparer ces deux stratégies. L’évaluation de ces filtrages sera réalisée en utilisant les métriques présentées à la Section 7.3.1.

Pour les deux catégories de filtrage, trois méthodes de détection de données mal étique- tées sont considérées : 1) les méthodes d’édition couramment utilisées dans la littérature, 2) les méthodes basées sur les scores d’outlier du RF qui ont montré des bonnes per- formances au Chapitre 6, et 3) les méthodes basées sur la combinaison des prédictions des arbres construits par le RF. Pour chacune de ces méthodes, le critère de décision permettant d’identifier les données mal étiquetées est analysé.

Une première étude consiste à appliquer une seule fois les méthodes de détection. Outre le critère de décision, ces filtrages non-itératifs nécessitent de définir le traitement à appliquer aux données identifiées comme étant mal étiquetées.

Une deuxième étude consiste à étudier les méthodes de détection de manière itérative. Pour ces filtrages itératifs, les échantillons mal étiquetés sont détectés et traités à chaque itération. Le filtrage s’arrête alors lorsque le critère d’arrêt est respecté. Pour chacune des approches étudiées les critères de décision et d’arrêt seront évalués.

Dans un premier temps, les filtrages non-itératifs sont étudiés. Dans un deuxième temps, les processus itératifs sont analysés. Les meilleurs filtrages non-itératifs et itératifs sont ensuite étudiés sur les données Sentinel-2.