Revue EPS n° 192 1985
III. PLACE DES ARTICLES DIDACTIQUES DANS LA REVUE EPS Les données quantitatives
Nesse grupo foram replicados alguns dos experimentos realizados em Xie et al. (2018) permitindo a comparação direta dos resultados de diferentes métodos avaliados nesse estudo com os resultados proporcionados pelo WMoEBS e WMoEBS2. Os métodos utilizados já foram justificados e discutidos no Capítulo 3, porém suas particularidades são descritas quando necessário e também estão organizados em métodos de aprendizado supervisionado (ou semi- supervisionado) e não supervisionado. Essa organização foi utilizada na comparação, pois o uso do Ground Truth (GT) pode influenciar na qualidade da classificação.
– Trivariate mutual information-clonal selection algorithm (TMI-CSA) (FENG et al., 2014);
– Semi-supervised band selection approach based on TMI and graph regulation (ST- MIGR) (FENG et al., 2014);
– Information gain - gray wolf optimizer (IG-GWO) (XIE et al., 2018); • Não Supervisionados:
– Ward’s linkage and Mutual Information (WaLuMi) (MARTINEZ-USO et al., 2007); e
– Maximum information and minimum redundancy-clonal selection algorithm (MIMR- CSA) (FENG et al., 2016).
Em Xie et al. (2018) as imagens consideradas foram as mesmas desta pesquisa, que são a Indian Pines, Salinas e Pavia University. O SVM com 5-fold cross-validation com radial basis function (RBF) também foi utilizado para classificar os pixels das imagens com bandas selecio- nadas por cada um dos métodos estudados, ou seja, o mesmo classificador que foi considerado nas avaliações do WMoEBS e WMoEBS2. A mesma estratégia de estimativa de parâmetros do SVM também foi aplicada. A abordagem de classificação utilizada no SVM também é um contra todos. Para métodos que necessitam de uma quantidade pré-determinada de bandas, foram definidas 30 bandas para imagens Indian Pines e Salinas enquanto para imagens Pavia University foram definidas 20 bandas. Essas mesmas quantidades foram utilizadas como limiar máximo da estratégia de reparo para o WMoEBS e WMoEBS2.
Uma diferença entre o WMoEBS e os métodos comparados é a utilização da informação es- pacial, o que permite observar a influência do uso dessa informação frente a outros métodos da literatura. Além disso, como o filtro espacial com kernel 2 ×2 sem sobreposição foi aplicado, o WMoEBS teve uma quantidade inferior de pixels de treinamento em relação aos demais méto- dos comparados, o que pode influenciar negativamente em seus resultados. Justamente por isso e para uma avaliação mais adequada do processo de seleção de bandas em si, sem considerar a informação espacial, o WMoEBS2 também foi aplicado e comparado com outros métodos da literatura. Particularmente, para o método WMoEBS2 foi possível utilizar exatamente a mesma configuração do Xie et al. (2018), ou seja, todas as amostras possíveis dos pixels puderam ser distribuídas aleatoriamente entre as multiplicidades (folds) consideradas. Ainda, conforme foi apresentado em Xie et al. (2018), o desvio padrão das quantidades de bandas foi omitido neste primeiro grupo de experimentos.
Os resultados de classificação e quantidade de bandas proporcionadas pelos diferentes mé- todos para as imagens Indian Pines, Salinas e Pavia University estão organizados nos grupos
supervisionado (ou semi-supervisionados) e não supervisionados e são apresentados a seguir.
6.2.1 Supervisionados
Os resultados de classificação e quantidade de bandas usados para comparar os métodos supervisionados com o método proposto são mostrados na Tabela 6.2.
Tabela 6.2. Resultados da quantidade de bandas e índices de classificação dos experimentos replicados com métodos supervisionados, WMoEBS e WMoEBS2.
Imagem Método OA% σ AA% σ KC σ
Indian Pines WMoEBS (28 bandas) 89,6 0,8 84,5 4,6 0,88 0,01 WMoEBS2 (26 bandas) 89,3 0,4 89,9 1,4 0,88 0,01 TMI-CSA (30 bandas) 72,9 2,0 55,5 2,3 0,69 0,02 STMIGR (30 bandas) 74,4 1,0 57,4 1,2 0,70 0,01 IG-GWO (30 bandas) 85,2 0,8 82,6 6,6 0,83 0,01 Salinas WMoEBS (26 bandas) 94,9 0,3 97,8 0,1 0,94 0,00 WMoEBS2 (28 bandas) 94,4 0,1 97,5 0,1 0,94 0,00 TMI-CSA (30 bandas) 90,8 0,2 94,3 0,2 0,90 0,00 STMIGR (30 bandas) 91,3 0,3 95,3 0,3 0,90 0,00 IG-GWO (28 bandas) 93,9 0,2 97,0 0,7 0,93 0,00 Pavia University WMoEBS (17 bandas) 96,6 0,2 95,8 0,7 0,95 0,00 WMoEBS2 (20 bandas) 94,8 0,3 94,3 0,4 0,93 0,00 TMI-CSA (20 bandas) 86,2 1,6 79,4 2,7 0,81 0,02 STMIGR (20 bandas) 87,2 1,5 82,8 1,6 0,83 0,02 IG-GWO (18 bandas) 94,2 0,2 92,3 1,0 0,92 0,00
6.2.1.1 Análise dos Resultados do Grupo de Experimentos 1: Supervisionados
Comparando-se os métodos WMoEBS e o WMoEBS2 com os métodos TMI-CSA, ST- MIGR e IG-GWO em cada uma dos índices são realizadas as seguintes observações:
• Índice KC: Considerando os três métodos supervisionados, ou seja, TMI-CSA, STMIGR e IG-GWO, com o WMoEBS e, também, o WMoEBS2, observa-se que somente as ban- das selecionadas pelo IG-GWO, o WMoEBS e também o WMoEBS2 promoveram bons resultados para o KC, superiores a 0,8, para IH Indian Pines. Porém, para as imagens Sali- nas e Pavia University, todos os métodos tiveram o KC superior a 0,8, ou seja, resultados desejados. Esse primeiro índice é um indicativo que o IG-GWO e o método proposto podem proporcionar bons resultados mesmo sem a utilização da informação espacial. • Índices OA e AA: Para OA e AA, o WMoEBS proporcionou os melhores desempenhos
em relação aos outros algoritmos, seguido pelo próprio WMoEBS2, o que novamente sugere que o método proposto é superior aos métodos supervisionados modernos mesmo
quando a informação espacial não é utilizada. Apenas para imagem Indian Pines, o WMo- EBS2 proporcionou resultados melhores para os índices AA do que quando utilizada a informação espacial no WMoEBS. Uma explicação para o melhor desempenho é que para o WMoEBS2 foi considerada uma maior quantidade de amostras durante a sele- ção de bandas, treinamento e testes permitindo uma elaboração de modelo e testes mais adequadas. Quando comparados com os outros métodos testados, observa-se que os re- sultados proporcionados pelo IG-GWO (Filter) foram os que mais se aproximaram dos resultados proporcionados pelo WMoEBS e WMoEBS2, porém ainda inferior.
• Quantidade de bandas: O WMoEBS e o WMoEBS2 também apresentaram bons resul- tados de quantidade de bandas quando comparados com os outros métodos. Além dos métodos propostos, o IG-GWO conseguiu reduzir a quantidade de bandas de forma pró- xima a cada um desses métodos para as imagens Salinas e Pavia University. Os outros métodos tiveram a quantidade de bandas pré-determinada.
Síntese dos Resultados do Grupo de Experimentos 1 – Supervisionados: Na observação direta da classificação com os índices de avaliação, o WMoEBS e WMoEBS2, ou seja, com ou sem a informação espacial, apresentaram melhores resultados em todos os casos analisados onde foram comparados com outros métodos supervisionados. O bom desempenho também é repetido para a quantidade de bandas. O método IG-GWO foi o que mais se aproximou dos valores do WMoEBS e WMoEBS para classificação e quantidade de bandas. Porém, mesmo quando a informação espacial não foi utilizada no método proposto (WMoEBS2), o resultado de classificação do IG-GWO foi inferior. Os outros métodos comparados tiveram uma quantidade pré-definida de bandas desejadas, porém mesmo com essa maior quantidade em relação aos outros, apresentaram resultados inferiores de classificação. Assim como mostrado previamente, o bom desempenho do WMoEBS é mais destacado quando a utilização da informação espacial foi utilizada, pois isso foi demonstrado para maioria dos casos.
6.2.2 Não Supervisionados
De forma similar ao caso anterior, os resultados usados para comparar o método proposto com métodos com aprendizado não supervisionados da literatura são mostrados na Tabela 6.3. 6.2.2.1 Análise dos Resultados do Grupo de Experimentos 1: Não Supervisionados
• Índice KC: Dos dois métodos não supervisionados analisados, o único que não apresen- tou um valor de KC maior que 0,8 para todos os casos foi o WaLuMi. O MIMR-CSA teve bom desempenho nesse caso, assim como o WMoEBS e o WMoEBS2.
Tabela 6.3. Resultados da quantidade de bandas e índices de avaliação de classificação dos experimentos replicados com métodos não supervisionados, WMoEBS e WMoEBS2.
Imagem Método OA% σ AA% σ KC σ
Indian Pines WMoEBS (28 bandas) 89,6 0,8 84,5 4,6 0,88 0,01 WMoEBS2 (26 bandas) 89,3 0,4 89,9 1,4 0,88 0,01 WaLuMi (30 bandas) 80,6 0,8 68,2 2,0 0,78 0,01 MIMR-CSA (30 bandas) 84,5 0,9 79,4 1,8 0,82 0,01 Salinas WMoEBS (26 bandas) 94,9 0,3 97,8 0,1 0,94 0,00 WMoEBS2 (28 bandas) 94,4 0,1 97,5 0,1 0,94 0,00 WaLuMi (30 bandas) 93,0 0,2 96,4 0,2 0,92 0,00 MIMR-CSA (30 bandas) 93,5 0,2 96,8 0,1 0,93 0,00 Pavia University WMoEBS (17 bandas) 96,6 0,2 95,8 0,7 0,95 0,00 WMoEBS2 (20 bandas) 94,8 0,3 94,3 0,4 0,93 0,00 WaLuMi (20 bandas) 90,1 1,0 86,7 1,2 0,87 0,01 MIMR-CSA (20 bandas) 92,5 0,3 89,1 0,6 0,90 0,00
• Índices OA e AA: Assim como no KC, o método não supervisionado MIMR-CSA foi o que proporcionou melhores resultados para os índices OA e AA nos casos testados, porém com valores não muito próximos ao WMoEBS e o WMoEBS2, sendo esses últimos ainda melhores. O outro método não supervisionado, WaLuMi, não teve um desempenho bom de AA principalmente para imagem Indian Pines.
• Quantidade de bandas: Para esse índice, ambos os métodos não supervisionados com- parados utilizam uma quantidade de bandas pré-definida, portanto apresentaram quanti- dades de bandas maiores que o WMoEBS e WMoEBS2, visto que o propósito é a redução dessas quantidades.
Síntese dos Resultados do Grupo de Experimentos 1 – Não Supervisionados: Os méto- dos não supervisionados, quando comparados com o WMoEBS e WMoEBS2 proporcionaram um desempenho inferior de classificação para todas índices analisados. Nem todos os métodos não supervisionados conseguem um bom desempenho do índice KC para imagem Indian Pines, ao contrário do método proposto que, com ou sem a informação espacial, sempre proporcionou bons resultados. De todos métodos não supervisionados, o MIMR-CSA foi o que apresentou resultados mais próximos aos propostos, portanto no futuro pode ser explorado como alternativa para quando dados rotulados não estão disponíveis.
Os experimentos apresentados por Xie et al. (2018) neste subcapítulo foram reproduzidos para possibilitarem comparações de diferentes métodos em relação ao WMoEBS e WMoEBS2. O WMoEBS, com ou sem informação espacial, apresentou a maioria dos melhores resultados quando comparado diretamente com outros métodos da literatura para os índices avaliados em relação aos resultados de classificação ou quantidade de bandas. Para possibilitar uma expan-
são na análise de resultados e comprovar o bom funcionamento do WMoEBS, na sequência é apresentado o segundo grupo de experimentos onde diversos métodos comparativos foram reproduzidos e testes estatísticos também foram realizados.