Antes de realizar a comparação dos resultados gerados pelos métodos propostos com os métodos da literatura, foi preciso chegar a um consenso acerca de quais os melhores resultados dentre os diversos gerados e discutidos nos experimentos das Seções8.1,8.2e8.3. Além disso, como uma das visadas contribuições dessa pesquisa é verificar se há ganhos na implementação de Abordagens Multiobjetivo para o problema abordado, é importante comparar as duas soluções multiobjetivo propostas com o também proposto método de otimização simples. Portanto, essa seção aborda justamente a definição dos melhores resultados atingidos por cada método, considerando todos os experimentos realizados com as diversas funções apresentadas e tendo em mente os trade-offs entre desempenho preditivo, interpretabilidade e tempo de treinamento, além de ser realizada a comparação direta entre os métodos propostos.
Para cada método proposto foram realizadas três diferentes análises, uma voltada ao desempenho das predições, outra focada na interpretabilidade dos modelos gerados e uma última que se atendeu aos tempos de treinamento. Como vários critérios foram avaliados, para que se chegasse a uma conclusão justa do melhor resultado atingido e coerente com as preferências dessa pesquisa, definiu-se uma ordem de importância dos critérios considerando as três análises, sendo essa: Geral > Nível 1 > Classes Folha > Nível 2 > Nível 3 > Nível 4 > Regras > Testes por Regra > Testes Ativos > Tempo de Treinamento. Portanto, assim como ocorre frequentemente em trabalhos de Data Mining, deu-se preferência a critérios de desempenho preditivo em vez de interpretabilidade, pois apesar de ser preferível ter um modelo interpretável, essa preocupação vem em segundo plano. Assim, comparou-se os valores de cada experimento em ordem de importância e considerando os resultados do teste estatístico de Wilcoxon. Esse teste foi aplicado a fim de verificar a existência de diferenças significativas entre experimentos e, deste modo, definir os melhores resultados com certo viés estatístico.
A partir dos experimentos com oHC-GAvistos na Tabela8, tem-se as funçõeshP,hR
e hF empatadas como as melhores execuções já que não houveram diferenças significativas entre elas. Quanto as demais funções, essas diferiram com relevância estatística e, portanto, foram consideradas inferiores. As funções hierárquicas voltaram a empatar dentro do intervalo de significância estatística quando levado em conta a análise de interpretabilidade dos modelos, apresentada na Tabela 9. No entanto, a função hF foi considerada como a melhor execução
quando considerado os tempos de treinamento apresentados na Tabela10. Esse é o último critério na ordem de importância previamente apresentada, e ondehFse mostrou estatisticamente melhor que os demais, obtendo na média dos dois conjuntos um tempo de 399 minutos, enquanto que o segundo colocadohR, levou 634 minutos para gerar induzir os modelos de regras.
Quanto aos resultados doHC-WGA, foram seis execuções empatadas estatisticamente considerando a análise de desempenho preditivo apresentada na Tabela11, sendo essas a fórmula ponderadahF(80%) +PC(20%) e todas as cinco ponderações de pesos para a combinaçãohF+
VG. Quando comparados os resultados dessas execuções na análise de interpretabilidade vista na Tabela12, observou-se uma diferença significativamente menor no número de regras gerado pela fórmula hF(20%) +VG(80%) em relação as demais, que na média dos dois conjuntos, induziu 1430 regras em oposição as 1711 regras do segundo colocadohF(40%) +VG(60%), o que resultou em sua definição como a melhor execução para oHC-WGA.
Já em relação aos experimentos com oHC-LGA, os melhores resultados de desempenho preditivo vistos na Tabela14considerando tanto o PGSB quanto o REPBASE, foram obtidos pelas otimizações em conjunto das funçõeshPehR,hRehP,hFePC,hFeVG, e por fim,hFe AU (P RC), todas essas empatadas segundo o intervalo de significância estatística. Sendo assim, analisou-se o critério seguinte na ordem de importância: os números de regras gerados por essas execuções. Segundo a análise de interpretabilidade exibida na Tabela 15, observou-se que a otimização dehFePCgerou 1543 regras na média entre os conjuntos, obtendo superioridade estatística em relação ao segundo colocadohFeVG, que gerou 1698 regras.
Portanto, como configurações finais de cada método tem-seHC-GAusandohFcomo função de aptidão,HC-WGAcom a fórmula ponderadahF(20%) +VG(80%) e,HC-LGAcom as funçõeshFePC. A Tabela19faz um apanhado geral dos critérios avaliados, de forma que contabiliza uma pontuação final para determinar o melhor método de otimização e, para isso, considera-se apenas a média dos melhores resultados nos dois conjuntos de dados. Cabe salientar que quando há um empate entre métodos, ambos recebem +1 em sua pontuação final, ademais, apenas o melhor resultado pontua. Os significados dos símbolos utilizados são descritos abaixo:
•
N
: Melhor resultado.• 4: Segundo melhor resultado. • B: Empate.
Tabela 19 – Comparação de desempenho entre os métodos propostos.
Geral N1 N2 N3 N4 Folhas Regras Testes Testes p/ Regra Tempo Total HC-GA B B B B N B 5 5 B 4 6 HC-WGA 5 B 5 5 5 5 N N B 5 3 HC-LGA B N B B 4 B 4 4 B N 7
Cabem algumas considerações a respeito dos resultados mostrados na Tabela19. To- mando como base somente a pontuação final (coluna Total), em que todos os critérios têm a mesma relevância e aonde foram comparados os valores médios sem a aplicação de um teste estatístico, tem-se oHC-LGAcomo o melhor método já que apresentou os valores mais altos, seguido doHC-GAem segundo e o HC-WGAem último lugar. No entanto, aplicando testes estatísticos nos valores médios e seguindo a ordem de importância definida, oHC-WGAaparece em primeiro lugar visto que gerou um número significativamente menor de regras em relação ao segundo colocadoHC-LGA. Esse por sua vez também mostrou vantagem estatística quanto ao número de regras induzidas em comparação com oHC-GA. Desse modo, pode se inferir que as Abordagens Multiobjetivo configuram boas soluções ao problema da indução de regras para a
HCdeTEs, mostrando inclusive superioridade estatística ao método de otimização simples.