que as quantidades envolvidas, Wie Wj, são menores do que Cie Cj.
Com a inclusão dos níveis de atividades h (.) dos protótipos no cálculo, obtém-se uma minimização dos erros causados pela quantização vetorial que o Mapa de Kohonen produz, já que introduz no cálculo a aproximação da densidade de pontos no espaço de entrada ora representados pelos protótipos.
Na sequência, os comitês de máquinas são introduzidos, abordando aspectos relativos à geração, seleção e combinação dos componentes destes comitês.
2.4
Comitês de máquinas
Um comitê de máquinas, ou ensemble, pode ser visto como uma coleção de redes neurais artificiais individuais, que possuem diversidade entre si e que levam à uma maior capacidade de generalização do que quando trabalhando em separado (Dietterich, 2000).
Cada componente atua independentemente dos outros e gera uma solução que é com- binada pelo comitê, produzindo uma única saída. A Figura 2.5 mostra a estrutura geral de um comitê de máquinas.
Figura 2.5: Estrutura de um comitê de méquinas. (Coelho, 2006)
O estudo de comitês de máquinas iniciou com o trabalho de Hansen e Salamon (1990), combinando redes neurais artificiais, treinadas separadamente, conseguindo melhorar a capacidade de generalização do sistema.
Um comitê de máquinas baseia-se no princípio de "dividir-para-conquistar", bus- cando superar o desempenho de uma máquina de aprendizado operando de modo isolado (Haykin, 2001). Os comitês de máquinas podem ser divididos em dinâmicos e estáticos.
No caso dinâmico, o comitê recebe o nome de mistura de especialistas, onde a di- visão de tarefas e a síntese dos especialistas são realizadas simultaneamente e de forma automática pelo algoritmo de aprendizagem (Haykin, 2001).
Nos comitês estáticos cada componente apresenta uma solução para o problema e estas soluções são agregadas fornecendo um só resultado. Desta forma, há um aumento
16 CAPÍTULO 2. FUNDAMENTAÇÃO TEÓRICA
da capacidade de generalização, diminuição da variância do modelo e maior tolerância à ruídos quando comparados ao resultado de um único componente (Haykin, 2001).
Um dos requisitos básicos para o bom resultado do comitê de máquinas é que os com- ponentes generalizem de forma diferente, pois de nada adianta combinar modelos que adotam os mesmos procedimentos e hipóteses para a solução de um problema, sendo fundamental que os erros apresentados por cada um dos componentes sejam descorrelaci- onados (Perrone e Cooper, 1993). Isso pode ser obtido, por exemplo, utilizando diferentes conjuntos para o treinamento ou variando os parâmetros de treinamento de cada rede neu- ral que compõe o comitê de máquinas, entre outras maneiras.
2.4.1
Construção de um comitê de máquinas
As etapas da construção de um comitê de máquinas são: geração de componentes, seleção dos componentes e combinação dos componentes individuais (Villanueva, 2006). Inicialmente, geram-se os componentes candidatos a participarem do comitê. Na sequência, selecionam-se os componentes candidatos que irão contribuir realmente para a melhoria do desempenho do comitê. Por fim, combinam-se as saídas de cada componente em uma única saída.
Na etapa da geração de componentes é preciso considerar um baixo erro de treina- mento e uma descorrelação entre os erros de cada componente. Também é necessário que haja diversidade entre os componentes, para garantir que generalizem de modo dife- rente. Para garantir que as redes neurais tenham diversidade entre si, pode-se adotar como estratégias:
• Inicialização aleatória dos pesos para cada componente. • Variação na arquitetura da rede neural.
• Variação do algoritmo de treinamento. • Re-amostragem dos dados.
No caso da re-amostragem dos dados duas técnicas são bastante utilizadas: Bagging e Boosting.
Bagging(Breiman, 1996) é uma técnica de geração de conjuntos distintos de treina-
mento a partir de um único conjunto, através de re-amostragem com reposição.
Por exemplo, considere um único conjunto de treinamento com N amostras, para trei- nar m componentes. O objetivo é construir m conjuntos de treinamento com N amostras cada um. Com uma distribuição de probabilidade uniforme para seleção das amostras a
2.4. COMITÊS DE MÁQUINAS 17
partir do conjunto fonte, teremos algumas amostras selecionadas mais de uma vez, pois há reposição.
Há a possibilidade de os componentes não generalizarem de forma satisfatória, mas a combinação destes modelos pode resultar em uma generalização melhor do que cada componente individual.
Boosting(Schapire, 1990) é um método em que os conjuntos de treinamento são ge-
rados através de uma amostragem não uniforme, diferentemente do método Bagging. A probabilidade de uma dada amostra ser escolhida depende da contribuição desta para o erro dos componentes já treinados.
Tomando como exemplo um problema de classificação, uma amostra que não seja cor- retamente classificada pelos componentes já treinados terá uma maior probabilidade de ser selecionada do que uma amostra que seja corretamente classificada. Assim, esta amos- tra terá uma chance maior de compor o conjunto de treinamento do próximo componente a ser treinado.
Um dos problemas desta técnica é a necessidade de treinamento sequencial dos com- ponentes do comitê, uma vez que as probabilidades devem ser redefinidas de acordo com o comportamento dos componentes já treinados.
A versão mais popular do algoritmo de Boosting é chamada AdaBoost, na qual cada componente é treinado sequencialmente e a distribuição dos dados de treinamento é feita levando-se em consideração os erros do componente treinado no passo imediatamente anterior.
Considerando a etapa da seleção de componentes, pode ser que nem todos os com- ponentes contribuam para o desempenho global do comitê. Assim, é preciso identificar e descartar estes componentes, uma vez que a inclusão de todos eles no comitê pode degradar sua performance (Zhou et al., 2002).
Uma maneira de selecionar os componentes é através de alguma medida de erro, por exemplo. Dois são os métodos mais citados na literatura para seleção de componentes: o construtivo e o da poda.
O método construtivo pode ser descrito desta maneira: os M candidatos a comporem o comitê são ordenados com base em algum critério, por exemplo medida de erro, que irá mensurar o desempenho individual de cada componente. O que tiver melhor desempenho individual é inserido no comitê. O próximo candidato (o de segundo melhor desempenho individual), é adicionado ao comitê. Se o desempenho do comitê de máquinas melhorar, o comitê passa a ter dois componentes. Caso contrário, o elemento recém-inserido é removido. Este processo se repete então para todos os demais candidatos restantes na lista ordenada gerada inicialmente.
18 CAPÍTULO 2. FUNDAMENTAÇÃO TEÓRICA
O método da poda funciona de modo oposto ao método construtivo. Os M candida- tos também são ordenados a partir de seu desempenho individual em relação à medida de erro, por exemplo. Todos os candidatos são inseridos no comitê. O candidato com pior performance individual é removido e o comitê de máquinas tem seu desempenho avaliado novamente. Se ocorrer uma melhora de seu desempenho em relação à configuração an- terior, o comitê passa a contar então com M-1 componentes. Senão, o candidato retirado volta ao comitê e o processo se repete para os demais candidatos, exceto o de melhor desempenho individual, que nunca é removido do comitê de máquinas.
A seleção de componentes é realizada basicamente para maximizar a generalização do modelo, descartando componentes que não contribuam para o desempenho do comitê. De acordo com Greene et al. (2004), a diversidade entre os componentes é necessária, porém não é suficiente para gerar uma solução melhor do que um único componente se não for utilizado um método de integração adequado para combinar estes componentes.
De acordo com Villanueva (2006), a combinação dos componentes para obter o re- sultado final do comitê de máquinas pode ser baseada em técnicas de votação simples, para tarefas de classificação de dados ou média simples ou ponderada, para tarefas de regressão de dados. No caso de agrupamentos de dados, onde não há conhecimento à pri- ori, uma opção é empregar a matriz de co-associação. Esta combinação dos componentes é feita através da chamada função consenso. Ela deve ser escolhida cuidadosamente, pois influencia diretamente o resultado do comitê de máquinas.
2.4.2
Algumas aplicações de comitês de máquinas
É possível encontrar variações nas implementações dos métodos de comitês de má- quinas e suas aplicações em diversas áreas do conhecimento: Wang (2006) empregou comitês para a classificação e predição de dados de expressão de genes, para a correta e confiável classificação de tumores, o que é essencial para o sucesso do tratamento. Outra aplicação médica é encontrada em Krawczyk et al. (2012), que utilizou comitês para re- conhecimento não invasivo de fibrose hepática. Greene et al. (2004) também estudou as técnicas de comitês aplicadas em diagnósticos médicos.
Em Villanueva (2006) e Chitra e Uma (2010) foram empregados comitês de máquinas para predição de séries temporais, obtendo um ganho significativo quando comparado com o uso de um único modelo preditor. Curiac e Volosencu (2012) utilizou comitês de classificadores para detecção de anomalias em redes de sensores sem fio.
Comitês de máquinas também foram aplicados em previsão de tempo, com resultados satisfatórios (Maqsood et al., 2004).
2.4. COMITÊS DE MÁQUINAS 19
A abordagem de comitês demonstrou ser uma forma eficaz para aumentar a precisão e robustez de reconstrução de sinal de sensores em uma planta de geração de energia nuclear (Baraldi et al., 2010).
Em seu trabalho, Coelho (2006), propôs uma metodologia de criação de comitês de máquinas para problemas de classificação, onde os componentes são redes neurais ar- tificiais do tipo perceptron multicamadas. Para que fossem gerados bons candidatos a comporem o comitê, atendendo a critérios de desempenho e de diversidade, foi aplicada uma meta-heurística populacional imuno-inspirada, caracterizada por definir automati- camente o número de indivíduos na população a cada iteração, promover diversidade e preservar ótimos locais ao longo da busca. Os resultados obtidos indicam a validade da metodologia de criação de comitês de máquinas.
Em Naldi (2011), o autor investigou as técnicas de combinação de agrupamentos, através de algoritmos evolutivos e de índices de validação aplicadas na seleção de agru- pamentos para combinação e na mineração distribuída de dados, conseguindo partições de boa qualidade e com bom desempenho computacional.
No trabalho de Ferreira (2012), o método para construção de comitês é baseado em rotação, que utiliza a técnica de extração de características da análise de componentes principais (PCA) como artifício para rotacionar os eixos formados pelos subgrupos de atributos para construção de comitês diversos e acurados.
Até aqui foram relatados alguns trabalhos utilizando a técnica de comitês de máquinas, para demonstrar a diversidade e exito na aplicação desta técnica em diversas áreas do conhecimento. Neste trabalho são empregados comitês de Mapas de Kohonen. A seguir são descritos apenas alguns trabalhos para ilustrar o emprego do método em variadas áreas.
Em Jiang e Zhou (2004), um método de segmentação de imagens, baseado em um conjunto de redes SOM é proposto. Os pixels são agrupados de acordo com a cor e carac- terísticas espaciais em cada rede SOM. Após combinam-se os resultados de agrupamento para dar a segmentação final. Os resultados experimentais mostram que o método pro- posto apresenta um desempenho melhor do que métodos baseados em segmentação de imagem.
Georgakis et al. (2005) comparou um comitê de máquinas de SOM com o SOM tra- dicional em organização e recuperação de documentos. Como critério para combinação dos mapas, foi utilizada a distância euclidiana entre os neurônios, para determinar quais neurônios estavam alinhados, possibilitando a fusão. Os mapas foram avaliados dois a dois, até que todos os mapas foram combinados em um só. O comitê de SOM obteve um melhor resultado do que a aplicação tradicional. Para esta metodologia, todos os mapas
20 CAPÍTULO 2. FUNDAMENTAÇÃO TEÓRICA
devem ter o mesmo tamanho.
No trabalho de Saavedra et al. (2007), a fusão dos neurônios foi denominada Fusion-
SOM e baseia-se nos polígonos de Voronoi - regiões do espaço de entrada às quais os
neurônios do mapa de Kohonen podem ser associados, ou seja, para os neurônios serem combinados, precisam representar a mesma região do espaço de entrada.
O trabalho de Low et al. (2005) apresenta uma abordagem de comitê chamada Mapa de Kohonen Extendido e Cooperativo (Cooperative EKM - Extendend Kohonen Maps) com mapeamento indireto aplicado a movimentação de robôs.
No trabalho de DeLooze (2006) um conjunto de redes SOM são utilizadas para iden- tificar e caracterizar adequadamente ataques a computadores.
Tsai (2014) desenvolveu modelos de previsão de dificuldades no mercado financeiro, baseados em comitê de SOM, obtendo resultados melhores do que modelos individuais.
Em Fustes et al. (2013) foi utilizado comitê de SOM, para análise não supervisionada de outliers, que permite a descoberta de conhecimento em bancos de dados astronômicos, como a missão Gaia, da agência espacial européia que vai observar com uma precisão posições, distâncias, movimentos do espaço, e muitas propriedades físicas de mais de um bilhão de objetos em nossa galáxia e além.