Evolution to Open Systems - Digital Technical Journal Digital Equipment Corporation

O objetivo desse experimento é fazer uma comparação entre a BO-AMHM e suas estratégias de decisão PAES, GRASP, NSGA-II e Anytime-PLS. Além disso, comparamos a arquitetura proposta com hibridizações PAES+Anytime-PLS, GRASP+Anytime-PLS e NSGA-II+Anytime-PLS também propostas neste trabalho.

Foi usado o tempo de execução máximo de uma hora como critério de parada para a BO-AMHM. O tempo de processamento de cada estratégia de decisão hibridizada foi limitado a 2 minutos. O critério de parada de uma hora usado na BO-AMHM também foi usado nas estratégias de decisão quando executadas separadamente, bem como nas hibridizações propostas.

Usamos os parâmetros apresentados na Tabela 6. Nas hibridizações, o algoritmo principal (PAES, GRASP ou NSGA-II) é executado. Após o término de cada iteração do algoritmo principal, o Anytime-PLS é executado por dois minutos tomando como entrada o conjunto não dominado resultante da iteração. Escolhemos o tempo de dois minutos para execução do Anytime-PLS porque as estratégias de decisão são hibridizadas na BO- AMHM são executadas por esse tempo.

Conforme discutido na seção 5.2, na implementação da BO-AMHM proposta neste trabalho são executados oito estratégias de decisão em paralelo, dado que temos oito agentes. Para fazer uma análise justa, cada um dos algoritmos PAES, GRASP, NSGA-II, Anytime-PLS, PAES+Anytime-PLS, GRASP+Anytime-PLS e NSGA-II+Anytime-PLS, é executado oito vezes em paralelo. Então calculamos os indicadores de cada conjunto não dominado obtido e tomamos os melhores valores como resultado.

Até onde vai o conhecimento do autor, não existe na literatura arquitetura para hi- bridização de algoritmos de otimização para os cenários multi ou biobjetivo. Por esse motivo, comparações com outras arquiteturas de hibridização equivalentes à BO-AMHM não foram realizadas. Assim, nossas comparações em relação à literatura são feitas com o estado da arte para o PCVSB, Anytime-PLS (DUBOIS-LACOSTE, 2015).

Os resultados apresentados para a BO-AMHM foram obtidos com a variante HYP+FOO. Escolhemos essa variante porque ela obteve um dos melhores resultados em comparação às demais, em termos do indicador hipervolume, conforme discutido na seção 5.3.

Nesse experimento, usamos os indicadores de qualidade hipervolume binário, epsilon aditivo e R2 com função de Tchebyche, para avaliar a qualidade do conjuntos de aproxi- mação obtidos pelos diferentes algoritmos, conforme descrito na seção 5.1.2. Os resultados mostrados foram obtidos de 30 execuções independentes de cada algoritmo, para cada uma das instância apresentadas na Tabela 5.

As tabelas 15, 16 e 17 mostram as médias dos indicadores hipervolume binário, epsilon aditivo e R2 com função de Tchebyche, computados para os conjuntos de aproximação obtidos por cada algoritmo, em 30 execuções independentes.

As médias apresentadas nas tabelas 15, 16 e 17 mostram que a BO-AMHM superou, nos três indicadores, as estratégias de decisão executadas separadamente em todas as instâncias, incluindo o Anytime-PLS, e que a BO-AMHM superou os algoritmos híbridos propostos em 10 das 11 instâncias de teste.

A exceção na comparação com os híbridos ocorreu apenas na instância clustere- dAB300. Nessa instância, a BO-AMHM superou os algoritmos NSGA-II-Híbrido e PAES- Híbrido no indicador epsilon aditivo e empatou em média com o GRASP-Híbrido. Entre- tanto, nos indicadores hipervolume e R2, a BO-AMHM obteve valor médio pior para a instância clusteredAB100 do que os obtidos pelos três híbridos.

Em algumas instâncias o Anytime-PLS isolado desempenhou melhor em média do que os híbridos. No indicador hipervolume, por exemplo, o Anytime-PLS superou ao menos um dos três híbridos nas instâncias kroAB100, kroAB150, kroAB200, randomAB100, mi- xedAB100 e clusteredAB100. Isso indica que nem sempre as hibridizações propostas para o PAES, GRASP e NSGA-II com o Anytime-PLS trazem melhores resultados em média. Por outro lado, o Anytime-PLS sempre é superado pela BO-AMHM nas instâncias em que aquele supera os híbridos, o que leva a conclusão de que a hibridização na BO-AMHM é em média mais poderosa do que as hibridizações realizadas no PAES, GRASP e NSGA-II. Em várias instâncias dos indicadores epsilon e R2 podemos observar o mesmo.

As guras 28, 29 e 30 exibem os boxplots dos valores de indicadores obtidos nas execu- ções de cada algoritmo, para as instâncias kroAB100(a), kroAB200(b), clusteredAB100(c) e clusteredAB300(d). Os boxplots para as demais instâncias podem ser consultados no Apêndice B e permitem conclusões semelhantes.

Instância _AMHMBO- GRASP NSGA-II PAES Anytime-_PLS GRASP-_Híbrido NSGA-II-_Híbrido _HíbridoPAES- kroAB100 -0,65587 -0,27427 -0,58806 -0,45657 -0,65018 -0,64965 -0,65015 -0,64968 kroAB150 -0,53243 -0,05183 -0,44958 -0,33588 -0,53056 -0,52856 -0,52862 -0,52712 kroAB200 -0,42011 0,11412 -0,31122 -0,22137 -0,41819 -0,41570 -0,41392 -0,41426 euclidAB100 -0,67107 -0,28081 -0,63229 -0,44631 -0,66411 -0,66492 -0,66477 -0,66487 euclidAB300 -0,34399 0,25503 -0,20354 -0,09078 -0,33312 -0,34166 -0,34077 -0,34181 randomAB100 -0,51460 -0,13854 -0,49671 -0,32003 -0,50365 -0,50324 -0,50352 -0,50438 randomAB300 -0,29629 0,27954 -0,24129 -0,12319 -0,29418 -0,28736 -0,28502 -0,28555 mixedAB100 -0,66319 -0,26819 -0,59685 -0,44770 -0,65486 -0,65442 -0,65561 -0,65490 mixedAB300 -0,27850 0,31520 -0,19446 -0,07160 -0,25419 -0,26254 -0,26277 -0,26136 clusteredAB100 -0,57625 -0,18198 -0,51578 -0,41554 -0,57255 -0,57226 -0,57250 -0,57297 clusteredAB300 -0,27249 0,34165 -0,15415 -0,08513 -0,26949 -0,27562 -0,27584 -0,27608

Tabela 15: Média dos indicadores hypervolume binário para as instâncias de teste usadas no terceiro experimento.

Instância _AMHMBO- GRASP NSGA-II PAES Anytime-_PLS GRASP-_Híbrido NSGA-II-_Híbrido _HíbridoPAES- kroAB100 -0.29733 -0,11054 -0,29058 -0,25350 -0,29519 -0,29506 -0,29556 -0,29480 kroAB150 -0,20981 0,03562 -0,16351 -0,10729 -0,20873 -0,20786 -0,20830 -0,20779 kroAB200 -0,17949 0,08779 -0,14029 -0,10041 -0,17889 -0,17875 -0,17878 -0,17831 euclidAB100 -0,29952 -0,11724 -0,29537 -0,22836 -0,29706 -0,29741 -0,29702 -0,29734 euclidAB300 -0,11459 0,19213 -0,06945 -0,01524 -0,11310 -0,11385 -0,11378 -0,11367 randomAB100 -0,23072 -0,02044 -0,23071 -0,17073 -0,22594 -0,22531 -0,22631 -0,22616 randomAB300 -0,11974 0,20845 -0,10442 -0,06024 -0,11934 -0,11916 -0,11807 -0,11825 mixedAB100 -0,30934 -0,10911 -0,30048 -0,25262 -0,30583 -0,30585 -0,30588 -0,30547 mixedAB300 -0,09377 0,22583 -0,07641 -0,01339 -0,08753 -0,09028 -0,08931 -0,09086 clusteredAB100 -0,18668 0,00592 -0,15398 -0,09648 -0,18502 -0,18496 -0,18519 -0,18527 clusteredAB300 -0,08797 0,23910 -0,04112 -0,00639 -0,08749 -0,08797 -0,08784 -0,08786

Tabela 16: Média dos indicadores epsilon aditivo para as instâncias de teste usadas no terceiro experimento.

Instância _AMHMBO- GRASP NSGA-II PAES Anytime-_PLS GRASP-_Híbrido NSGA-II-_Híbrido _HíbridoPAES- kroAB100 -0,24674 -0,13125 -0,23770 -0,20301 -0,24591 -0,24584 -0,24595 -0,24581 kroAB150 -0,18598 -0,02622 -0,17386 -0,14223 -0,18533 -0,18532 -0,18529 -0,18517 kroAB200 -0,13539 0,05097 -0,11750 -0,09019 -0,13516 -0,13494 -0,13490 -0,13482 euclidAB100 -0,25621 -0,13827 -0,25164 -0,20372 -0,25518 -0,25526 -0,25518 -0,25523 euclidAB300 -0,11044 0,11712 -0,08013 -0,03914 -0,10955 -0,11040 -0,11033 -0,11039 randomAB100 -0,18747 -0,06247 -0,18573 -0,13587 -0,18526 -0,18512 -0,18527 -0,18530 randomAB300 -0,10364 0,12581 -0,08964 -0,05012 -0,10340 -0,10242 -0,10170 -0,10191 mixedAB100 -0,25528 -0,13124 -0,24229 -0,20273 -0,25397 -0,25387 -0,25401 -0,25392 mixedAB300 -0,08993 0,14055 -0,07077 -0,03049 -0,08589 -0,08715 -0,08711 -0,08726 clusteredAB100 -0,20491 -0,08123 -0,19894 -0,17224 -0,20409 -0,20411 -0,20409 -0,20415 clusteredAB300 -0,08294 0,14907 -0,05901 -0,03659 -0,08260 -0,08326 -0,08316 -0,08326

Tabela 17: Média dos indicadores R2 com função de Tchebyche para as instâncias de teste usadas no terceiro experimento.

Podemos concluir das guras 28, 29 e 30 que a BO-AMHM e os algoritmos Anytime- PLS e híbridos são muito superiores em relação às estratégias de decisão executadas separadamente, incluindo o Anytime-PLS, nos três indicadores.

O GRASP obteve os piores resultados, seguido pelo PAES e NSGA-II. Este último desempenhou melhor em todas as instâncias em relação àquelas duas estratégias de decisão. A BO-AMHM, o Anytime-PLS e híbridos obtiveram melhores resultados que o GRASP, PAES e NSGA-II, em todas as instâncias.

As guras 28, 29 e 30 mostram que os indicadores hipervolume, epsilon e R2 foram concordantes na maioria das instâncias. Isto é, um algoritmo que obteve melhor desempenho em relação ao indicador hipervolume também obteve melhor desempenho em relação ao indicador epsilon aditivo por exemplo.

(a) kroAB100 (b) kroAB200

Figura 28: Boxplots dos valores do indicador hipervolume binário obtidos no terceiro experimento para as instâncias kroAB100 (a), kroAB300 (b), clusteredAB100 (c) e clus- teredAB300(d).

(a) kroAB100 (b) kroAB200

Figura 29: Boxplots dos valores do indicador epsilon aditivo obtidos no terceiro experimento para as instâncias kroAB100 (a), kroAB300 (b), clusteredAB100 (c) e clustere- dAB300(d).

(a) kroAB100 (b) kroAB200

Figura 30: Boxplots dos valores do indicador R2 com função de Tchebyche obtidos no terceiro experimento para as instâncias kroAB100 (a), kroAB300 (b), clusteredAB100 (c) e clusteredAB300(d).

A escala das guras 28, 29 e 30 não permite a comparação entre a BO-AMHM, Any- time-PLS e híbridos. Por esse motivo, exibimos os boxplots desses algoritmos em menor escala nas guras 31, 32 e 33, para as instâncias kroAB100(a), kraAB200(b), clustere- dAB100(c) e clusteredAB300(d). Os boxplots em menor escala para as demais instâncias podem ser consultados no Apêndice B e permitem conclusões semelhantes.

As guras 31, 32 e 33 mostram que a BO-AMHM obtém valores menores para os indicadores hipervolume, epsilon aditivo e R2, com menor desvio padrão, nas instânci- as kroAB100, kroAB200 e clusteredAB100, em relação aos algoritmos Anytime-PLS e híbridos.

A única exceção ocorre na instância clusteredAB300. Nessa instância, existe interseção entre os boxplots da BO-AMHM, Anytime-PLS e híbridos. Nos indicadores hipervolume e R2, os boxplots mostram que a BO-AMHM obteve os melhores e piores valores nas 30 execuções independentes e um desvio padrão maior em relação ao Anytime-PLS e híbridos, o que levou a um valor médio pior na instância clusteredAB300, conforme mostram as tabelas 15 e 17. Os boxplots do indicador epsilon aditivo mostram maior semelhança entre as distribuições dos cinco algoritmos, o que justica a semelhança entre médias apresentadas na Tabela 16 e empate entre a BO-AMHM e o híbrido GRASP+Anytime- PLS.

(a) kroAB100 (b) kroAB200

Figura 31: Boxplots dos valores do indicador hipervolume binário obtidos no terceiro experimento para as instâncias kroAB100 (a), kroAB300 (b), clusteredAB100 (c) e clus- teredAB300(d), com os algoritmos BO-AMHM, Anytime-PLS e híbridos.

(a) kroAB100 (b) kroAB200

Figura 32: Boxplots dos valores do indicador epsilon aditivo obtidos no terceiro experimento para as instâncias kroAB100 (a), kroAB300 (b), clusteredAB100 (c) e clustere- dAB300(d), com os algoritmos BO-AMHM, Anytime-PLS e híbridos.

(a) kroAB100 (b) kroAB200

Figura 33: Boxplots dos valores do indicador R2 com função de Tchebyche obtidos no terceiro experimento para as instâncias kroAB100 (a), kroAB300 (b), clusteredAB100 (c) e clusteredAB300(d), com os algoritmos BO-AMHM, Anytime-PLS e híbridos.

Aplicamos o teste de Kruskal-Wallis com múltiplas comparações par a par e nível de signicância 0,05, para vericar diferenças estatísticas entre a BO-AMHM, suas estratégias de decisão executadas separadamente e os híbridos propostos.

As tabelas 18, 19, 20 e 21 apresentam os p-valores obtidos para as instâncias kro- AB100, kroAB200, clusteredAB100 e clusteredAB300, respectivamente, para o indicador hipervolume.

Os p-valores obtidos para o indicador epsilon aditivo obtidos nas instâncias kroAB100, kroAB200, clusteredAB100 e clusteredAB300, são exibidos nas tabelas 22, 23, 24 e 25, respectivamente.

Finalmente, as tabelas 26, 27, 28 e 21 apresentam os p-valores obtidos para as instân- cias kroAB100, kroAB200, clusteredAB100 e clusteredAB300, para o indicador R2 com função de Tchebyche, respectivamente.

As tabelas de p-valores do terceiro experimento para as demais instâncias, nos três indicadores de qualidade, podem ser consultadas no Apêndice B e permitem conclusões semalhantes. P-valores inferiores a 10−5 _{são exibidos como 0,00000 nessas tabelas.}

O teste de Kruskal-Wallis não rejeitou a hipótese de igualdade entre o Anytime-PLS e híbridos nas instâncias com 100 vértices, kroAB100, euclidAB100, randomAB100, mi- xedAB100 e clusteredAB100. Nessas instâncias, a hibridização entre o Anytime-PLS e os algoritmos PAES, GRASP e NSGA-II usados como estratégias de decisão estatisticamente não traz melhoras ou pioras em relação à execução isolada do Anytime-PLS. Para todas as instâncias com 150, 200 e 300 vértices, a hipótese de igualdade foi rejeitada entre o Anytime-PLS e híbridos.

Para instâncias com menos de 300 vértices, a hipótese de igualdade foi rejeitada em algunas instâncias e indicadores nos testes de Kruskal-Wallis entre a BO-AMHM e os demais algoritmos. Abaixo listamos as instâncias e indicadores onde a hipótese de igualdade não foi rejeitada para instâncias com 300 vértices, isto é, onde a BO-AMHM produz saídas estatisticamente semalhantes aos algoritmos:

• Indicador hipervolume:

euclidAB300: BO-AMHM e GRASP-Híbrido; randomAB300: BO-AMHM e Anytime-PLS; clusteredAB300: BO-AMHM e Anytime-PLS; • Indicador epsilon aditivo:

randomAB300: BO-AMHM, Anytime-PLS e GRASP-Híbrido;

clusteredAB300: BO-AMHM, Anytime-PLS, GRASP-Híbrido, NSGA-II-Híbrido e PAES-Híbrido.

• Indicador R2 com função de Tchebyche:

euclicAB300: BO-AMHM, GRASP-Híbrido e PAES-Híbrido; randomAB300: BO-AMHM, Anytime-PLS;

clusteredAB300: BO-AMHM e Anytime-PLS;