Necessity of Formulating the Evaluation of Axial Burnup Profiles as a Decision Problem

A maioria dos algoritmos de treinamento utilizados para o ajuste dos valores das conexões dos pesos das redes neurais artificiais, como o algoritmo de retro-propagação [Rumelhart et al., 1986] e os algoritmos de gradiente conjugados [Hertz et al., 1991] [Hush e Horne, 1993] [Møller, 1993], é baseada em informações sobre o gradiente descendente da função objetivo. Entretanto, estes algoritmos são freqüentemente atraídos para mínimos locais da função e são simplesmente incapazes de achar o mínimo global se a função a ser otimizada for multimodal e/ou não diferenciável.

Para contornar estes problemas, AG tem sido utilizado para o treinamento evolutivo dos pesos de redes neurais artificiais. Como o treinamento dos algoritmos genéticos é baseado exclusivamente na evolução de indivíduos produzidos e aperfeiçoados através da aplicação de operadores genéticos, a procura por um possível conjunto ótimo de valores de conexões não depende do cálculo do gradiente descendente. Devido a esta independência, algoritmos genéticos podem ser utilizados para otimizar funções não diferenciáveis e até mesmo não contínuas. Adicionalmente, o processo de treinamento baseado na evolução de populações de indivíduos também fornece aos algoritmos genéticos um paralelismo intrínseco que contribui para solucionar problemas com espaços de busca largos, complexos e multimodais. Todas estas características fazem com que algoritmos genéticos sejam uma alternativa atraente para o treinamento dos pesos das conexões de RNAs. De fato, uma grande quantidade de pesquisa tem sido desenvolvida com esta finalidade, inclusive para o treinamento evolutivo de redes neurais destinadas ao processamento de dados com dependências temporais [Branke, 1995] [Yao, 1995] [Yao, 1999]. Nestes trabalhos essencialmente duas questões são inevitavelmente abordadas: (1) o esquema de representação dos valores das conexões em cromossomos e (2) o conjunto de

problema computacional a ser resolvido. Diferentes esquemas de representação dos valores das conexões e diferentes conjuntos de operadores podem conduzir a performances de treinamento completamente diferentes.

Na versão original do algoritmo genético, inicialmente proposto por Jonh Holland [Holland, 1975] e David Goldberg [Goldberg, 1989], os possíveis pontos (ou possíveis soluções) do espaço de busca (ou domínio do problema de otimização) foram codificados utilizando seqüências de números binários. Muitos outros trabalhos dedicados ao estudo da aplicabilidade de AG para a otimização dos pesos das conexões de redes neurais também utilizam a mesma abordagem [Branke, 1995] [Yao, 1995] [Yao, 1999]. Nestes trabalhos, cada peso de uma conexão é representado por um número binário com uma quantidade determinada de bits (0s ou 1s). E a representação de uma rede neural é construída concatenando todas as representações binárias dos seus pesos em um único cromossomo.

A vantagem deste tipo de representação é a simplicidade e a aplicabilidade em problemas diversos. Devido à simplicidade, esta abordagem permite uma aplicação direta dos operadores clássicos de cruzamento e mutação. Não há necessidade de elaboração de operadores mais sofisticados e a implementação em hardware é também facilitada, já que os pesos são todos representados em termos de seqüências de bits com limitada precisão.

A grande desvantagem da representação binária é justamente o balanço que é necessário fazer entre a precisão e o tamanho final do cromossomo. Se poucos bits forem utilizados para representar um valor de uma conexão então o treinamento pode não ter sucesso, já que algumas conexões com valores reais não poderão ser representadas de forma precisa. Por outro lado, se muitos bits forem usados, cromossomos que representem redes neurais muito grandes serão inevitavelmente muito longos e a evolução poderá ser ineficiente.

Uma alternativa para a representação com seqüências binárias é a representação direta, utilizando número reais. Neste tipo de abordagem, como os pesos são representados por números reais, cada individuo de uma população em evolução é codificado em um vetor real e, por isso, operadores tradicionais de cruzamento e mutação não são mais aplicáveis. Outros tipos de operadores precisam ser elaborados. Montana e Davis [Montana e Davis, 1989] definiram uma grande variedade de operadores genéticos que incorporaram diversas heurísticas sobre o treinamento de redes neurais. A idéia por trás destes operadores

é reter detectores de características importantes que são formados ao redor dos neurônios escondidos durante a evolução dos pesos.

4.2.1.1. Ajuste híbrido dos pesos

Apesar dos algoritmos genéticos apresentarem uma série de qualidades mais atraentes do que outros algoritmos clássicos de treinamento de redes neurais, isto não significa que os mesmos obterão sempre os melhores resultados para qualquer tipo de problema. Além da performance destes algoritmos ser dependente do tipo de representação e da qualidade dos operadores adotados; assim como outros algoritmos de busca global, os algoritmos genéticos são usualmente bastante ineficientes para encontrar resultados precisos, localizados em mínimos locais [Yao, 1999]. Para contornar esta limitação, AG pode ser combinado com outros algoritmos de busca local, como o próprio algoritmo de retro-propagação e outros que são baseados no gradiente descendente. Neste tipo de abordagem híbrida, a habilidade de AG para encontrar soluções globais pode ser utilizada para inicialmente localizar boas regiões no espaço de busca que poderão, em uma etapa posterior, ser mais precisamente vasculhadas por algum algoritmo de busca local. Treinamentos híbridos como estes têm sido utilizados com sucesso em diversas áreas [Yao, 1999].

Lee [Lee, 1996] e vários outros [Belew e Schraudolph, 1991] [Omatu e Yoshioka, 1997] [Erkmen e Ozdogan, 1997] [Omatu e Deris, 1999] usaram AG para inicialmente procurar por um conjunto de pesos de conexões próximo do ótimo para, em seguida, usar o algoritmo de retro-propagação (BP) para fazer o ajuste fino destes pesos. Seus resultados mostraram que o sistema híbrido composto por AG e BP apresentou melhores resultados do que cada uma das técnicas aplicadas isoladamente. Adicionalmente, como AG é menos sensível às condições iniciais de treinamento (como valores iniciais dos pesos das conexões) do que o algoritmo de retro-propagação, o sistema híbrido resultante da combinação dos dois se mostrou mais estável quanto aos resultados finais apresentados. Abordagens híbridas semelhantes a essa também foram elaboradas para evoluir pesos para redes neurais com aprendizagem competitiva [Merelo et al. 1993] e redes de Kohonen [Wang e Xu, 1996].