Nas redes “feedforward”, os elementos de processamento das redes “feedforward” são conectados de tal maneira que todos os sinais propagam-se em apenas uma direção das unidades de entrada da rede para as unidades de saída. As redes neurais recorrentes (RNRE) diferem das redes “feedforward”, pois nas RNRE existem conexões “feedforward” e conexões “feedback” ao longo dos sinais que podem ter propagação em direções opostas. Exemplos de RNRE são as RNs de Hopfield e “Bidirectional Associative M emory” (BAM).
As redes “feedforward” não tem memória dinâmica, e o método “tapped-delay-line” é usualmente adotado visando a RN em representar sistemas dinâmicos. Contudo, este método apresenta desvantagens, quanto a velocidade de aprendizado, devido ao largo número de unidades na camada de entrada.
Esta desvantagem é ocasionada, se a ordem do sistema a ser identificado é desconhecida, isto tem de ser sobrestimado e por conseqüência um elevado número de unidades na entrada no “buffer” deve ser dado para tratar sistemas de ordem elevada. Isto usualmente leva a uma RN com estrutura de grandes dimensões e baixa velocidade de aprendizado.
U m grande número de unidades, na camada de entrada, também faz o identificador altamente susceptível a ruídos externos. Uma outra desvantagem é que a estrutura de treinamento é diferente da estrutura do conjunto “recall” e freqüentemente as RNs são treinadas de maneira
Capítulo 5. Modelagem e controle via redes neurais artificiais 51
adequada com a conjunto de dados de treinamento, mas têm performance deficiente com conjuntos de “recall” (padrões de teste, objetivando observar quão genérica é a RN). Por esta razão, não é uma atividade fácil obter-se simuladores independentes de um sistema dinâmico (Pham and Liu, 1992).
Devido a sua estrutura, as RNRE não sofrem das desvantagens da redes “feedforward” . As RNRE podem ser classificadas como totalmente ou parcialmente recorrentes. As RNRE totalmente recorrentes possuem conexões “feedforward” e “feedback”, isto é, possuem todo tipo de conexão recorrente e todas ajustáveis.
Em redes parcialmente recorrentes, a estrutura principal da RN é não-recorrente. As conexões “feedforward” são treináveis. As conexões realimentadas são formadas através de um conjunto de unidades de contexto não treináveis.
As unidades de contexto memorizam alguns estados passados das unidades ocultas, e somente as saídas da RN dependem de um agregado de estados anteriores e da entrada atual da RN. Isto é o porque destas redes parcialmente recorrentes possuírem as características de uma memória dinâmica (Haykin, 1994; Zuben e Netto, 1994).
Entre as RNRE, a rede neural de Elman (Elman, 1990) é um dos tipos mais simples que podem ser utilizados com o algoritmo BP. A rede é originalmente projetada para aplicações de processamento de linguagem, contudo pode ser aplicada na identificação de sistemas dinâmicos, cujo procedimento é descrito a seguir.
5.4.1 Rede neural parcialmente recorrente de Elman
O diagrama de blocos de uma rede neural parcialmente recorrente de Elman (RNPREE) é mostrado na figura 5.3. Nota-se que em adição aos neurônios ou elementos de processamento (EPs) da camada de entrada, camada oculta e camada de saída, a RNPREE tem também unidades de contexto, como é o caso de redes parcialmente recorrentes em geral.
Capítulo 5. Modelagem e controle via redes neurais artificiais 52
camada de entrada camada oculta camada de saída
Figura 5.3 - Rede neural parcialmente recorrente de Elman.
As unidades de entrada e saída interagem com o ambiente externo, enquanto que as unidades oculta e unidade de contexto não interagem. Os EPs da camada de entrada são somente unidades de “buffer” (armazenamento temporário dos dados) que passam o sinal sem processá- los. Os EPs da camada de saída são lineares, que servem para a soma dos sinais passados para eles. Enquanto os EPs da camada oculta podem ter funções de ativação lineares ou não-lineares.
As unidades de contexto são usadas somente para memorizar as prévias ativações dos EPs da cam ada oculta e podem ser considerados para a função de armazenar atrasos de tempo de um passo. As conexões “feedforward” são modificáveis e as conexões recorrentes são fixas. Devido ao fato que as conexões recorrentes serem fixas, as RNPREE são somente parcialmente recorrentes (Elman, 1990).
Para um especifico tempo “k”, as ativações prévias dos EPs da camada oculta (tempo “k- 1”) e entradas correntes (no tempo “k”) são utilizadas como entradas para a RNPREE. N esta fase a RNPREE é um a RN “feedforward” . A regra de aprendizado BP é utilizada para o treinamento da RN.
Capítulo 5. Modelagem e controle via redes neurais artificiais 53
Após este passo de treinamento, as ativações dos EPs, da camada oculta no tempo “k”, são enviadas para trás (“back”), através das interconexões, para as unidades de contexto e salvas para o próximo passo de aprendizado (tempo “k+1”). As funções de ativação dos EPs da camada oculta podem ser lineares ou não-lineares, contudo neste trabalho utiliza-se a tangente hiperbólica, conforme equação (5.5).
5.4.1.1 Rede neural de Elman modificada
As RNPREE com EPs constituídos de funções de ativação lineares têm sido utilizadas para identificar sistemas lineares. Através de simulações computacionais, nota-se que a RNPREE pode identificar sistemas lineares de primeira ordem facilmente, mas apresenta dificuldades para identificar sistemas lineares de ordem mais elevada que I a. ordem.
Coeficientes de aprendizado elevado causam oscilações e igualmente instabilidades no processo de treinamento. Para obter-se desempenho mais adequado introduz-se “auto-conexões” nas unidades de contexto da RNPREE, para dar a RNPREE unidades de inércia (“units inertias”), e deste modo melhorar a capacidade de memorização da RNPREE tanto para utilização de funções de ativação lineares quanto não-lineares, obtendo-se assim uma RNPREE modificada (RNPREMOD) (Pham and Liu, 1992).
A modificação é efetuada na RNPREE básica, exposta na figura 5.2. A saída da j-ésim a unidade de contexto da RNPREE é dada por:
x ck (k) = aXj (k - 1 ) + xj (k - 1) (5.10)
onde X - ( k ) e X j ( k ) são as saídas da j-ésim a unidade de contexto e j-ésimo EP da cam ada oculta e
a é o ganho da realimentação das auto-conexões. O valor de a adotado é o mesmo para todas auto-conexões e não é modificado no algoritmo de treinamento. Enquanto na RNPREM OD a equação (5.10) é transformada em
Capítulo 5. Modelagem e controle via redes neurais artificiais 54
A equação 5.11 mostra que a saída das unidades de contexto é uma integração da saída da camada oculta que é conectada a ela. O valor de a é entre [0; 1], sendo que o valor mais próximo de 1 habilita a unidade de contexto para agregar mais saídas passadas.
Desde que a ordem do sistema dinâmico é relatada ao número das saídas passadas que a saída presente depende. Isto leva a possibilidade da introdução de auto-alimentações nas unidades de contexto visando-se aumentar a capacidade da RNPREE em modelar sistemas dinâmicos de ordem elevada. Um diagrama esquemático da RNPREMOD é apresentado na figura 5.4.
camada de entrada camada oculta camada de saída
Figura 5.4 - Rede neural parcialmente recorrente de Elman modificada.