Como já mencionado anteriormente, a seleção dinâmica de classi cadores é uma abor- dagem de combinação de múltiplos classi cadores que seleciona um subconjunto de classi- cadores mais adequados na sua fase de uso para classi car cada novo padrão de consulta à medida que ele é apresentado ao sistema, enquanto que na estática, a escolha dos com- ponentes do comitê é de nida uma só vez a priori, e permanece inalterada durante o seu uso. Também foi visto nos experimentos anteriores que os melhores resultados, na maioria dos casos, são alcançados por um subconjunto de classi cadores de um universo, logo essa seção busca identi car qual a melhor estratégia para selecionar este subconjunto (estática ou dinâmica) através de alguns experimentos descritos a seguir.
a) Experimento 1
Objetivo - Montado para a escolha das melhores con gurações para as redes seletoras da primeira e segunda abordagem.
explicado na metodologia. A tabela 8 apresenta um resumo estatístico desses 30 agentes sobre o conjunto de validação (B1). O conjunto original de testes foi dividido em 40 conjuntos, os quais foram formados aleatoriamente sem reposição mantendo a representatividade das classes. A montagem das matrizes de saídas desejadas e particulares dos parâmetros das duas abordagens dinâmicas são descritas a seguir:
• Na matriz de targets para treinamento da rede seletora multirrótulo foi montada sobre a acurácia dos agentes sobre o conjunto de validação e seguindo duas etapas: 1) se os agentes tiverem acertado uma amostra i teriam que ter pelo menos um nível de con ança de 85% da primeira para a segunda saída mais alta para poder passar para a próxima etapa, caso contrário recebem 0; 2) nalmente, recebem como valor 1 na matriz de targets aqueles agentes que acertaram a amostra i que têm valores de saídas maiores do 90% do que o agente que proporcionou a maior saída para aquela amostra. Como essa abordagem utiliza-se de um limiar para seleção dos agentes, então o intervalo entre 0.2 e 0.7 com acréscimo de 0.1 foi utilizado para a escolha do melhor limiar.
• A matriz de targets para treinamento da rede seletora unirótulo também levou em consideração a acurácia dos agentes sobre o conjunto de validação e foi construída, onde o agente que demonstrasse o melhor nível de con ança para classi car uma amostra i receberia 1 e todos os outros 0. Posteriormente, essa matriz foi subdividida em 3 matrizes de dimensão 10 × M para treinamento de 3 redes seletoras.
Tabela 8: Resumo estatístico dos 30 agentes selecionados, a diversidade utilizada foi a métrica par-a-par Disagreement.
Acurácia Diversidade Maior 93.84% 0.1026 Menor 87.30% 0.0334 Média 90.11% 0.0703 Desvio 0.0206 0.0134
Foram realizados 5 treinamentos sucessivos para cada rede seletora das duas abor- dagens variando no número de neurônios e selecionando a melhor. Para todos os treinos foram usados os seguintes parâmetros: a) função de propagação dos neurô- nios - sigmoidal; b) algoritmo de treinamento das redes seletoras - trainrp; c) número máximo de ciclos de treino - 1000 epochs.
A tabela 9 apresenta o desempenho, desvio padrão sobre os 40 conjuntos de testes e o tamanho dos comitês com o desvio padrão sobre cada amostra do conjunto de teste das duas abordagens dinâmicas propostas neste trabalho.
Tabela 9: Resultados das duas abordagens (AB1 e AB2) sobre os 40 conjuntos de teste.
AB1 AB2
Limiar 0.7 0.6 0.5 0.4 0.3 0.2 -
Desempenho MédiaDesvio 0.021994.52% 94.63% 94.83% 94.77% 94.77% 94.77% 95.01%0.0211 0.0212 0.0223 0.0232 0.0234 0.0238 Tamanho do
Comitê Média 13.4362 14.4294 15.2395 15.9425 16.5593 17.1581 3.0000Desvio 9.9137 9.9817 9.9907 9.9624 9.9265 9.8667 0 Conclusão - Analisando a tabela 9, pode-se tirar as seguintes conclusões:
1. A primeira abordagem, mesmo variando o limiar, houve pouca diferença dos seus resultados tanto no desempenho quanto no tamanho do comitê, porém dentre todas as con gurações desta abordagem a que obteve melhor resultado foi a que utiliza 0.5 como limiar;
2. A segunda abordagem obteve melhores resultados do que a primeira, em ques- tão de desempenho, com um número muito menor de agentes selecionados para a tomada de decisão nal.
b) Experimento 2
Objetivo - Montado com o objetivo de identi car qual estratégia de seleção (estática ou dinâmica) apresenta, de forma consistente, os melhores resultados em termos de generalização.
Execução - Para isso, consideraram-se os 30 agentes candidatos escolhidos do ex- perimento anterior. Foram empregadas nesse experimento as seguintes estratégias estáticas: 1a) Sem seleção; 2a) Construtiva sem Exploração (CS) (COELHO, 2006) e 3a) Construtiva com Exploração (CC) (COELHO, 2006). Na outra vertente, as dinâmicas foram: 1a) as duas abordagens propostas nesta pesquisa proveniente do experimento anterior (AB1 com limiar 0.5 e AB2); 2a) DCS-LA com precisão local total proposto por (WOODS; KEGELMEYER JR.; BOWYER, 1997) e 3a) KNORA-E
proposto por (KO; SABOURIN; BRITTO JR., 2008). Os algoritmos foram testados so- bre os 40 conjuntos de testes divididos no experimento 1 e avaliados através de
intervalos de con ança com nível de signi cância de 5%, juntamente com a aná- lise ROC. A métrica utilizada para a transformação da curva ROC em um escalar foi a área abaixo da curva e como está se tratando de um problema multiclasse e uma curva para cada classe, então utilizou-se a soma das áreas das curvas para comparação.
A gura 30 e a tabela 10 mostram os resultados dos intervalos de con ança e a soma das áreas das curvas ROC. Já a tabela 10 mostra o tamanho dos comitês que foram formados pelas estratégias para a classi cação dos padrões de teste.
Figura 30: Intervalos de Con ança com nível de signi cância de 5%. Tabela 10: Resumo Estatístico das áreas das curvas ROC sobre os 7 algoritmos.
Área da Curva ROC
Estáticas Dinâmicas
ALG. SS CS CC DCS-LA KNORA-E AB1 AB2
Média 25.8961 25.8911 25.8695 25.0701 25.4104 25.7245 25.8994 Desvio
Tabela 11: Resumo Estatístico da quantidade de agentes selecionados para classi car as amostras do conjunto de teste sobre os 7 algoritmos.
Tamanho do Comitê
Estáticas Dinâmicas
ALG. SS CS CC DCS-LA KNORA-E AB1 AB2
Média 30 7 4 1 21.5144 15.2395 3
Desvio
Padrão 0 0 0 0 11.2277 9.9907 0
Conclusão - Com base nos resultados adquiridos, pode-se chegar as seguintes con- clusões:
1. Os métodos DCS-LA e KNORA-E foram os que obtiveram os piores resultados, levando em consideração os intervalos de con ança como a soma das áreas abaixo da curva;
2. As abordagens dinâmicas propostas neste trabalho superaram as estratégias dinâmicas sugeridas na literatura, levando em consideração os dois critérios de avaliação.
3. As estratégias estáticas apresentaram intervalos de con ança similares aos mé- todos AB1 e AB2, assim não se pode a rmar, somente através dessa avaliação, qual foi o melhor algoritmo pelo fato de haver uma grande intersecção entre os intervalos, porém levando-se em consideração, também, o tamanho do comitê, o método AB2 é o que gera comitês como menos elementos diminuindo, assim, a complexidade do problema.
4. A abordagem AB2 também mostrou-se a mais proveitosa dentre as outras, levando em consideração o critério de avaliação da curva ROC;
Através desta análise, pode-se observar que as duas versões propostas nesta pesquisa para seleção de comitês dinâmicos alcançaram uma melhoria na média, quando comparados com as outras duas abordagens dinâmicas propostas na literatura, já quando compara- das com as seleções estáticas não houve basicamente nenhuma diferença de desempenho, porém quanto ao tamanho do comitê ocorreu uma pequena melhoria.
Os resultados obtidos neste estudo são muito encorajadores, uma vez que mostra que o uso de um processo de seleção dinâmica de classi cadores que leva em conta o auxilio de redes seletoras é positiva para o desempenho e o tamanho dos conjuntos.