Os resultados serão comparados através do teste estatístico de Friedman, onde as classificações médias foram calculadas da seguinte forma: Para cada conjunto de dados, o método que alcançou o melhor desempenho recebeu a classificação 1, a segunda melhor classificação 2 e assim por diante. Em caso de empate, ou seja, dois métodos apresentaram a mesma precisão de classificação para o conjunto de dados, suas classificações médias foram somadas e divididas por dois. A classificação média foi obtida, considerando todos os conjuntos de dados. O algoritmo de melhor desempenho foi o que apresentou a menor classificação média. Em seguida, o valor da diferença crítica (CD) foi calculado usando o teste post-hoc de Nemenyi recomendado emDemsar (2006).
Será usado o diagrama de diferença crítica (CD) proposto em Demsar (2006) para ter uma indicação visual do teste estatístico. Técnicas nas quais a diferença nas classificações médias é menor que a diferença crítica são conectadas por uma barra preta
Capítulo 5. Metodologia experimental 45
(ou seja, os resultados são estatisticamente equivalentes, de acordo com a análise de classificação).
5.2.1
Modelos para comparação
Como os modelos propostos são caracterizados como do tipo recomendação, para confirmar sua eficácia, eles serão comparados com alguns dos algoritmos de seleção dinâmica mais relevantes, apresentados no trabalho de Cruz et al. (2017a), e que estão listados na Tabela5.
Duas abordagens diferentes serão usadas: Seleção dinâmica de classificadores (DCS) e Seleção dinâmica de comitês (DES).
Tabela 5 – Modelos de comitês dinâmicos
Técnica Critério de seleção Abordagem Referencia Year
rank Classifier Rank Ranking DCS Sabourin et al. [Sabourin et al.(1993)] 1993
ola Overall Local Accuracy Accuracy DCS Woods et al.[?] 1997
lca Local class accuracy Accuracy DCS Woods et al.[?] 1997
mcb Multiple Classifier Behavior Behavior DCS Giacinto et al.[Giacinto and Roli(2001)] 2001 kne K-Nearest Oracles Eliminate Oracle DES Ko et al.[Ko et al.(2008)] 2008 knu K-Nearest Oracles Union Oracle DES Ko et al.[Ko et al.(2008)] 2008 desp DES Performance Probabilistic DES Woloszynski et al.[Woloszynski et al.(2012)] 2012
meta META-DES Meta-learning DES Cruz et al.[Cruz et al.(2015)] 2015
5.2.1.1 Modified Classifier Ranking (DCS-Rank)
No método Modified Classifier Ranking (?),(Sabourin et al.,1993), O ranking de um único classificador base ci é estimado simplesmente pelo número de amostras consecutivas
corretamente classificadas na região de competência θi. O classificador que classifica
corretamente o maior número de amostras consecutivas é considerado com a classificação mais alta e é selecionado como o classificador mais competente para a classificação de xj.
5.2.1.2 Overall Local Accuracy (OLA)
Neste método (?), o nível de competência, δi,j, de um classificador base ci será
calculado simplesmente como a classificação de sua precisão na região de competência θi,
conforme a equação 5.1. O classificador que apresentar o nível de competência mais alto, será escolhido para predizer a classe de xj.
δi,j = 1 K K X k=1 P (ωl|xk ∈ ωl, ci) (5.1)
Capítulo 5. Metodologia experimental 46
5.2.1.3 Local Classifier Accuracy (LCA)
A técnica LCA (?) é semelhante a OLA, com uma única diferença de que, a precisão local é calculada em relação a classe de saída ωl (ωl e a classe atribuída a xj por ci) para
toda a região de competência, de acordo com a Equação5.2. O classificador que apresentar o nível de competência mais alto, δi,j, é selecionado para predizer a classe de xj.
δi,j = P xk∈ωlP (ωl|xk, ci) PK k=1P (ωl|xk, ci) (5.2)
5.2.1.4 Multiple Classifier Behavior (MCB)
A técnica MCB é baseada no Behavior Knowledge Space (BKS) (Huang and Suen,
1995) e na precisão do classificador local, onde, dada uma nova amostra xj, sua região
de competência, θj, será estimada. Então, os perfis de saída da amostra de teste e os da
região de competência são calculados usando o algoritmo BKS.
A semelhança entre o perfil de saída da amostra de teste xej e aqueles da sua
região de competência, xek∈ θj, serão calculados conforme a Equação 5.3. Amostras com
semelhanças inferiores a um limite predefinido são removidas da região de competência
θj. Portanto, o tamanho da região de competência é variável, pois também depende do
grau de semelhança entre a amostra da consulta e as da sua região de competência.Depois que todas as amostras semelhantes são selecionadas, a competência do classificador base,
δi,j, é simplesmente estimado por sua precisão de classificação na região de competência
resultante. S(xj,e xke ) = 1 M M X i=1 T (xj, xk) (5.3) 5.2.1.5 KNORA-Eliminate
A técnica usada pelo KNORA-Eliminate (Ko et al., 2008) explora o conceito de Oracle. Dada a região de competência θj, somente os classificadores que classificam corre-
tamente todas as amostras pertencentes a região de competência serão selecionados. Em outras palavras, todos os classificadores que atingem 100% de precisão serão selecionados para comporem o comitê C0. As decisões dos classificadores selecionados serão agregadas usando o voto da maioria. Se não houver nenhum classificador selecionado, o tamanho da região de competência será reduzido, e a procura pelos classificadores competentes será reiniciada.
Capítulo 5. Metodologia experimental 47
5.2.1.6 KNORA-Union
A técnica KNORA-Union (Ko et al., 2008) seleciona todos os classificadores que consigam classificar corretamente pelo menos uma amostra na região de competência. Este método também, considera que um classificador base pode participar mais de uma vez na etapa de votação, quando ele consegue classificar corretamente mais de uma instancia na região de competência. O número de votos de um dado classificador base ci é igual ao
número de amostras na região de competência, θj, para o qual ele prediz corretamente a
classe.
5.2.1.7 Dynamic Ensemble Selection - Performance (DES-P)
Proposto por Woloszynski et al. (Woloszynski et al., 2012), este método trabalha da seguinte forma: Primeiro, o desempenho local de um classificador base ci será calculada
dentro da região de competência θj, através da diferença entre a precisão do classificador
base ci, na região de competência θj (denotada por P (cb i|θj)), e o desempenho de um
classificador aleatório, ou seja, o modelo de classificação que aleatoriamente escolhe uma classe com igual probabilidade. Para um problema de classificação com L classes, o desempenho do classificador aleatório será (RC = 1
L). Portanto, o nível de competência δi,j nesta técnica, será calculado conforme a Equação5.4.
δi,j =P (cb i|θj) −
1
L (5.4)
O classificador base que tiver um valor positivo de δi,j, ou seja, teve maior acurácia
local que o classificador aleatório, será escolhido para compor o comitê C0.
5.2.1.8 META-DES
O método META-DES é baseado na premissa que um problema de seleção dinâmica de comitês pode ser considerado como uma metaproblema (Nunes et al., 2016). Esse metaproblema usa critérios diferentes em relação ao comportamento de um classificador base ci, para decidir se é competente o suficiente para classificar uma determinada amostra
de teste xj. O metaproblema será definido comoCruz et al. (2015):
• As metaclasses podem ser ou “competente” (1) ou “incompetente” (0) para classifi- carem xj;
• Cada conjunto de metacaracterísticas fi corresponde a diferentes critérios de medida
Capítulo 5. Metodologia experimental 48
• As metacaracterísticas são codificadas em um vetor de metacaracterística vi,j.
• Um metaclassificador λ será treinado baseado nas metacaracterísticas vi,j para
predizer se ci conseguira fazer uma predição correta para xj, ou seja, se ele e
competente o bastante para classificar xj.
Em outras palavras, um metaclassificador, λ, é treinado para predizer se um classifi- cador base ci é competente o bastante para classificar uma dada amostra de teste xj. Depois
que o pool de classificadores e gerado, o modelo executa um estagio de metatreinamento, onde as metacaracterísticas são extraídas de cada instancia pertencente ao treinamento e ao conjunto de seleção dinâmica (DSEL). Então, os meta-atributos extraídos são usadas para treinar o metaclassificador λ.Assim, a vantagem de usar a meta-aprendizagem é que vários critérios podem ser codificados como conjuntos diferentes de metacaracterísticas, a fim de estimar o nível de competência dos classificadores de base. Além disso, a regra de seleção é aprendida pelo metaclassificador usando os metacaracterísticas extraídos dos dados de treinamento. Quando uma amostra desconhecida xj, é apresentada ao sistema,
suas metacaracterísticas serão calculadas conforme xj, e apresentadas ao metaclassificador.
O nível de competência δi,j do classificador base ci para a classificação de xj será estimada
pelo metaclassificador.
5.3
Síntese do capítulo
Neste capítulo, foram apresentadas as metodologias utilizadas para a implementação das propostas apresentadas no capítulo anterior, a ferramenta de caracterização dos dados, e os procedimentos de geração da metabase e de recomendação da estrutura.
49
6 Resultados
Neste capítulo fazemos uma discussão dos resultados alcançados que estão organi- zados nas Seções 6.1, 6.2, 6.3 e 6.4, que apresentam, respectivamente, o desempenho dos dois modelos propostos, o desempenho de todos os modelos, a análise de todos os modelos, e finalmente, a análise da dependência de atributos.