O objetivo da simulação foi verificar em qual configuração de tamanho do mapa, de número de subconjuntos e de percentagem de bagging, o melhor valor da acurácia poderia ser obtida.
Cada experimento foi executado 10 vezes e foram obtidos valores médios para um intervalo de confiança de 95%. Os resultados foram comparados com um único mapa SOM, para verificar a melhora na acurácia.
A Tabela 4.2 apresenta os resultados experimentais para cada conjunto de dados. A coluna “Equação” mostra qual foi a equação de fusão que alcançou o melhor resultado, para cada conjunto de dados. A Equação (3.1) é a mais simples das três equações tes- tadas, sendo apenas uma média simples entre os vetores dos dois neurônios de peso. A Equação (3.2) é uma média ponderada entre pesos dos neurônios e seus hits. A Equação (3.3) é uma média ponderada entre pesos dos neurônios, hits e índice de validação de agrupamento. Esta última equação, a mais complexa dentre as três utilizadas, apresentou o melhor resultado para apenas 2 dos 15 conjuntos de dados avaliados.
A coluna “Abordagem” refere-se à forma como os mapas foram ordenados e fundidos, tal como especificado na Subseção 3.1.3. Para a maioria dos conjuntos de dados, as abordagens 2 (Mapas ordenados pelo MSQE e combinados pelo critério da melhora do índice de validação) e 3 (Mapas ordenados pelo índice de validação e combinados pelo critério da melhora do índice de validação) foram as que levaram aos melhores resultados para o método proposto.
A coluna “CVI”, de Cluster Validity Index - índice de validação de agrupamentos - mostra qual índice foi usado para conseguir a melhor acurácia de fusão em relação ao único mapa, para cada conjunto de dados (DB é o índice Davies-Bouldin e CH é o índice Calinski e Harabasz). O índice Davies-Bouldin é o que aparece mais vezes e o índice PBM não conduziu a bons resultados para os conjuntos de dados utilizados.
A coluna “Tamanho do mapa” refere-se ao tamanho do mapa que alcançou o melhor valor da acurácia. O mapa 15x15 não obteve resultados para os conjuntos de dados ava- liados. Isto não significa que mapas com estas dimensões, ou seja, com 225 neurônios na camada de saída, não são apropriados. Apenas significa que, para estes conjuntos de dados, mapas com 100 ou com 400 neurônios se adaptaram melhor aos dados de entrada e conduziram à melhores acurácias.
A coluna “Bagging” mostra que, para grande parte dos conjuntos de dados, utilizando 90% das amostras foi possível obter os melhores resultados. Uma elevada percentagem do valor Bagging significa que há uma maior variedade de dados para o treinamento,
4.2. MAPAS DE TAMANHOS IGUAIS 39
levando a um melhor resultado de acurácia da fusão. Estes resultados mostram que é possível obter boas precisões sem utilizar todos os elementos do conjunto de treinamento. A coluna “Número de Subconjuntos” mostra o número de subconjuntos que foram avaliados para encontrar a melhor acurácia. Para a maioria dos conjuntos de dados utili- zados nesta experimento, as melhores acurácias foram obtidas com grandes quantidades de subconjuntos. Isto era esperado, uma vez que quanto mais subconjuntos disponíveis, mais fusões podem ocorrer e, consequentemente, o resultado da acurácia melhora.
A acurácia de um único mapa de Kohonen é comparado com os resultados da acurácia do comitê de mapas nas duas últimas colunas da tabela.
Como pode ser visto na Tabela 4.2, para todos os conjuntos de dados utilizados neste experimento, houve melhora na acurácia. Para os conjuntos Tetra e Two Diamonds as acurácias tanto para o mapa único quanto para o comitê foram de 100%. Isso deve-se ao fato de que as classes destes conjuntos de dados são bem distintas, como pode ser observado na Figura A.2.
40 CAPÍTULO 4. RESUL T ADOS
Tabela 4.2: Resultados da fusão de mapas de tamanhos iguais
Dataset Equação Abordagem CVI Tamanho Bagging Número de Acurácia Acurácia
do mapa (%) subconjuntos único mapa do comitê
BC Wisconsin (3.1) 2 DB 20x20 90 80 0.9634 0.9661 Chainlink (3.3) 2 DB 10x10 70 80 0.6654 0.7685 Column (3.2) 3 DB 10x10 70 100 0.6674 0.7219 Engytime (3.1) 1 CH 20x20 70 10 0.9538 0.9587 Heart (3.1) 2 Dunn 20x20 90 30 0.7879 0.8037 Ionosphere (3.2) 3 DB 10x10 90 20 0.7037 0.7211 Iris (3.1) 2 Dunn 10x10 50 70 0.9200 0.9260 Lsun (3.3) 3 DB 10x10 90 100 0.7500 0.9850 PimaIndians (3.2) 3 CH 20x20 50 60 0.6458 0.6939 Seeds (3.2) 3 DB 20x20 70 60 0.8809 0.9243 Tetra (3.1) 2 Dunn 20x20 90 90 1 1
Two Diamonds (3.1) 3 Dunn 10x10 90 50 1 1
Wine (3.1) 2 CDbw 10x10 90 80 0.9382 0.9635
4.2. MAPAS DE TAMANHOS IGUAIS 41
A Figura 4.1 mostra a acurácia média (pois foram realizados dez experimentos) obtida para cada conjunto de dados. As linhas pretas verticais mostram o valor da acurácia para um único mapa de Kohonen. Como pode ser observado, em todas as situações as acu- rácias médias alcançadas pelo método proposto foram maiores do que as acurácias para um único mapa, exceto para os conjuntos Tetra e TwoDiamonds, que tiveram o mesmo valor, de 100% na performance. Assim, evidencia-se que através da fusão de mapas de Kohonen, é possível aumentar o valor da acurácia do algoritmo de agrupamento.
Figura 4.1: Acurácia média para mapas de tamanhos iguais. Fonte: Elaborada pelo autor.
No trabalho de Demšar (2006) são apresentadas maneiras de comparar a performance de algoritmos de agrupamento ou de classificação, considerando múltiplos conjuntos de dados. Entre os testes apresentados, foi escolhido o teste não paramétrico de Wilcoxon (Signed Rank Test), com nível de significância de 0,05.
Através deste teste, pode-se avaliar se o resultado obtido pelo comitê de mapas de Kohonen é estatisticamente diferente das acurácias obtidas por um único mapa. A hipó- tese nula, H0, é que não há diferença entre as acurácias obtidas pelo mapa único e pelo
comitê de mapas.
O teste de Wilcoxon rejeitou a hipótese nula, com valor p igual a 0, 0004882, ou seja: o método proposto obteve resultados de acurácia que são diferentes, e melhores, do que a
42 CAPÍTULO 4. RESULTADOS
acurácia de um único mapa.
As Figuras 4.2 a 4.15 mostram a acurácia (eixo Z) obtida para cada conjunto de dados de acordo com a variação da porcentagem de Bagging (eixo X) e quantidade de subcon- juntos (eixo Y).
Em cada figura, as linhas pretas representam o intervalo de confiança do experimento, que foi repetido dez vezes, e as regiões quentes (em vermelho) representam a maior acu- rácia média obtida e regiões frias (em azul) mostram acurácias médias mais baixas.
Por exemplo, a Figura 4.2 mostra que a maior acurácia média obtida para o conjunto de dados BC Wisconsin foi conseguida com uma maior quantidade de subconjuntos e com uma percentagem elevada de Bagging. A análise pode ser estendida para as demais figuras.
Figura 4.2: Acurácia para mapas iguais - BC Wisconsin.
Fonte: Elaborada pelo autor
Figura 4.3: Acurácia para mapas iguais - Chainlink.
Fonte: Elaborada pelo autor
Figura 4.4: Acurácia para mapas iguais - Column.
Fonte: Elaborada pelo autor
Figura 4.5: Acurácia para mapas iguais - Engytime.
4.2. MAPAS DE TAMANHOS IGUAIS 43
Figura 4.6: Acurácia para mapas iguais - Heart.
Fonte: Elaborada pelo autor
Figura 4.7: Acurácia para mapas iguais - Ionosphere.
Fonte: Elaborada pelo autor
Figura 4.8: Acurácia para mapas iguais - Iris.
Fonte: Elaborada pelo autor
Figura 4.9: Acurácia para mapas iguais - Lsun.
Fonte: Elaborada pelo autor
Figura 4.10: Acurácia para mapas iguais - Pimaindians.
Fonte: Elaborada pelo autor
Figura 4.11: Acurácia para mapas iguais - Seeds.
44 CAPÍTULO 4. RESULTADOS
Figura 4.12: Acurácia para mapas iguais - Tetra.
Fonte: Elaborada pelo autor
Figura 4.13: Acurácia para mapas iguais - Wine.
Fonte: Elaborada pelo autor
Figura 4.14: Acurácia para mapas iguais - Two diamonds.
Fonte: Elaborada pelo autor
Figura 4.15: Acurácia para mapas iguais - Wingnut.
Fonte: Elaborada pelo autor