Un modèle de pivot d’écosystème territorial de la mobilité

Segundo [Soares 2004], de maneira geral, há quatro diferentes abordagens para su- gestão de algoritmos em meta-aprendizagem: um algoritmo único, um conjunto de algo- ritmos, um ranking de algoritmos e a performance estimada dos algoritmos.

A primeira consiste em informar o melhor algoritmo, ou seja, aquele que gera, hipote- ticamente, o melhor modelo para uma dada tarefa ou base de dados, de acordo com algum critério. Exemplos podem ser encontrados em [Koepf et al. 2000]. Uma limitação seria a eventual indisponibilidade do algoritmo em um dado momento, não sendo possível sua

aplicação.

Uma abordagem mais flexível seria a segunda, que informa, dentre os algoritmos con- siderados, o conjunto de algoritmos que apresentam melhor estimativa de desempenho na base de dados. Além do melhor algoritmo, estão presentes neste conjunto também os algoritmos que não possuam desempenho estatisticamente inferior ao melhor. No caso em que o usuário esteja disposto a experimentar mais de um algoritmo, esse tipo de re- comendação não fornece nenhuma orientação quanto à ordem em que os experimentos devem ser realizados. Como exemplo, citamos o projeto Statlog, no qual as sugestões eram apresentadas dessa forma.

Uma terceira abordagem mostra os algoritmos em ordem de preferência com relação à base de dados. A ordem de preferência pode ser estabelecida tomando por base a acurá- cia dos classificadores, por exemplo, como em [Bensusan & Kalousis 2001], ou medidas mais complexas, tais como tempo de execução do algoritmo ou o quão fácil o modelo gerado pode ser interpretado.

Por fim, um algoritmo de regressão pode ser utilizado no meta-nível. Com essa abor- dagem, o método prevê o desempenho dos algoritmos. O desempenho estimado pode ser utilizado para gerar ranking dos algoritmos [de Souza 2010], [Kalousis 2002].

Nesta dissertação a sugestão será construída utilizando a terceira forma de sugestão, oferecendo a preferência do algoritmo com relação à base de dados, enquanto parâmetro de um comitê homogêneo.

3.2 Considerações Finais

Neste capítulo, foram apresentados conceitos gerais de meta-aprendizagem e sua apli- cação no âmbito da recomendação de algoritmos. Conceitos abordados, tais como: ca- racterização de dados, meta-aprendizagem para recomendação de algoritmos, medidas de avaliação, formas de sugestão, são importantes para o entendimento da aplicação dos mesmos ao longo deste trabalho. Foram ainda apresentados os três âmbitos em que a recomendação de algoritmos se dará nesta dissertação. Tais algoritmos representarão al- guns dos parâmetros de configuração de arquitetura de um comitê dentro do processo de construção.

Experimentos

Conforme discutido no Capítulo 3, abordagens de meta-aprendizagem tem sido apli- cada a diversas categorias de problemas. Dentre as aplicações mais comuns, tem-se o pro- blema de gerar regras que tenham a capacidade de relacionar o desempenho de algoritmos de aprendizado de máquina com as propriedades das bases de dados [Brazdil et al. 2009]. Levando em consideração esta aplicação, podemos utilizar tal conceito como forma de ajuda na criação de sistemas que forneçam sugestões sobre que algoritmos utilizar em situações específicas. Sinteticamente, eles operam nas seguintes etapas básicas: geração de meta-exemplos a partir dos problemas disponíveis, indução de um meta-modelo capaz de aprender a relação entre os meta-atributos de entrada e o meta-atributo alvo, e a apli- cação do meta-modelo para a construção de recomendação que dê suporte à seleção de algoritmos para novos problemas.

Este capítulo é dedicado a apresentação dos experimentos computacionais realizados nas investigações para avaliar a utilização de meta-aprendizagem na escolha dos melho- res parâmetros de configuração para um comitê homogêneo de classificadores: o melhor classificador base, a melhor arquitetura, bem como o melhor tamanho da mesma. Os ex- perimentos e análises foram divididos em três partes, conforme metodologia de pesquisa apresentada no Capítulo 3.

Para viabilizar os experimentos, um protótipo foi desenvolvido em linguagem de pro- gramação Java fazendo uso da API do Framework WEKA [Witten & Frank 2005].

O WEKA [Witten & Frank 2005] é um ambiente que disponibiliza uma gama de al- goritmos de aprendizado de máquina que foi desenvolvida pela University of Waikato na Nova Zelândia. Inclui, ainda, diversas ferramentas para transformação de dados, tais como algoritmos de discretização, implementações de algoritmos para mineração de da-

dos (classificação, agrupamento, regras de associação). É importante ressaltar que esse framework vem sendo adotado, frequentemente, como base de desenvolvimento e vali- dação de novas abordagens de aprendizado de máquina, sobretudo, aquelas baseadas em comitês de máquinas [Canuto et al. 2007], [Soares et al. 2006]. Os algoritmos não tive- ram suas configurações de parâmetros alteradas, sendo utilizada a configuração padrão do FrameworkWEKA.

4.1 Condução dos Experimentos

Com o intuito de validar esta abordagem, foi empregado o procedimento 10-fold cross-validationem todas as etapas dos experimentos [Mitchell 1997] para todas as con- figurações de comitê. Desta maneira, todos os resultados apresentados nesta dissertação referem-se a média sobre 10 diferentes conjuntos de teste.

Como já mencionado, os experimentos desta dissertação foram conduzidos em busca da viabilidade do uso de meta-aprendizagem na escolha dos melhores parâmetros de con- figuração de um comitê homogêneo.

A Figura 4.1 ilustra o processo implementado para os experimentos. Neste processo, os comitês gerados são avaliados em cada uma das meta-bases do repositório. O resultado da avaliação dos comitês juntamente com as meta-características calculadas pela Data Ca- racterization Toolformarão as meta-bases utilizadas no processo de meta-aprendizagem. Em um primeiro momento, os experimentos foram conduzidos da seguinte maneira: na primeira parte, as investigações foram realizadas em busca do melhor classificador base, onde inicialmente, nove algoritmos foram investigados. Estes nove algoritmos fo- ram divididos em três grupos: todos os nove algoritmos, seis algoritmos e quatro algorit- mos. O critério de escolha dos elementos destes grupos foi a quantidade de meta-exemplo que cada algoritmo conseguiu rotular. Dentre os nove algoritmos, foram separados os seis que mais rotulou meta-exemplos e destes seis, foram separados os quatro que mais se des- tacaram na avaliação. Na segunda parte, já de posse do melhor algoritmo de aprendizado no nível base, a investigação foi direcionada a encontrar o melhor método de geração de arquitetura para o comitê, onde dois métodos foram investigados, o Bagging e o Boosting. Na terceira e última parte, sabendo-se, qual o melhor método de aprendizado no nível base e qual foi a arquitetura que se destacou, a investigação foi acerca do melhor tamanho da

Figura 4.1: Processo Experimental.

arquitetura recomendada, onde estes tamanhos foram agrupados, de maneira que, nove tamanhos médios diferentes foram investigados dentre um universo de 27 tamanhos de comitê, onde o menor possui 2 componentes base e o maior possui 28 componentes base, como apresentado a seguir:

A proposta inicial era investigar dez indutores diferentes como candidatos a classifi- cador base, dois métodos postulantes a gerador de arquitetura e, a partir da melhor arqui- tetura, estabelecer parâmetros para recomendar o seu melhor tamanho. Três grupos de tamanhos foram estabelecidos e investigados, como segue: Primeiramente, ( Pequeno1_,

Médio2e Grande3), em um segundo momento ( Pequeno4e Grande5) e por último, (Pe- queno6, Médio7, Grande8, Muito Grande9). Vale a pena ressaltar que esta definição foi estabelecida com o intuito de não ultrapassar muito o limite dos 25 componentes, uma vez que [Kuncheva 2004] afirma que mais de 25 componentes em um comitê não gera

1_{2 a 10 componentes} 2_{11 a 19 componentes} 3_{20 a 28 componentes} 4_{2 a 15 componentes} 5_{16 a 28 componentes} 6_{2 a 8 componentes} 7_{9 a 15 componentes} 8_{16 a 22 componentes} 9_{23 a 28 componentes}

ganhos significativos. Investigamos tamanhos de 2 a 28 componentes afim de deixarmos uma margem acima deste limite, já comprovado empiricamente [Kuncheva 2004].

A investigação do melhor classificador base com os 10 indutores propostos inicial- mente não se tornou viável, em virtude do tempo com os experimentos associados aos modelos de rede neural, como detalhado na seção de análise dos resultados. Novos expe- rimentos foram realizados considerando os nove indutores do conjunto de 10 propostos inicialmente. Quanto a investigação da arquitetura, foram utilizados os métodos Bagging e Boosting como candidatos a melhor estratégica de geração de arquitetura de um comitê homogêneo.

No protótipo implementado para validação da nossa proposta, 486 configurações de comitês diferentes foram avaliados em 110 conjunto de dados distintos utilizando o mé- todo de amostragem 10-fold-cross-validation. Dos 486 comitês 243 tiveram seus com- ponentes gerados a partir do método Bagging e 243 a partir do método Boosting, sendo formados por 27 configurações de cada tipo de indutor utilizado no classificador base (Árvore de decisão, Decision Stump, Decision Table, Naïve Bayes, K-NN, SVM (Support Vector Machines), REP Tree, JRip, PART). Cada um desses 27 comitês das arquiteturas Bagginge Boosting e tem seu número componentes base configurado iterativamente (va- riando de 2 a 28). No total foram avaliados 486 configurações diferentes de comitês em 110 bases de dados relativas a problemas diversos, os quais são apresentados na seção seguinte.