Évaluation de la qualité de la mise en terre des plants

Redes Neurais Recorrentes (RNN, do inglês Recurrent Neural Network) possuem laços de realimentação entre os neurônios, que geram uma memória intrínseca capaz de armazenar o histórico dos dados de entrada e repassá-lo em certa medida para as respostas subsequentes. En- tretanto, em uma rede neural recorrente clássica, essa inserção de feedback pode trazer grandes dificuldades no estabelecimento dos pesos sinápticos já que podem acarretar em convergência lenta, possível convergência para ótimos locais de qualidade ruim, instabilidade e complexidade computacional elevada (HAYKIN, 2001).

Como meio de evitar tais dificuldades Jaeger (2001) propôs as redes neurais com esta- dos de eco (ESN, do inglês Echo state network) como sendo um novo tipo de RNN. Diferente das

redes feedforward, em que uma mesma entrada sempre resultará na mesma saída, as redes RNN possibilitam saídas diferentes para a mesma entrada, uma vez que esta dependerá do estado em que a rede se encontra. Assim, o nome estado de eco foi inspirado no fato de que um estado da rede ESN é baseado no eco dos estados anteriores (HAYKIN, 2008). Ademais, as ESNs também são consideradas aproximadores universais (SCHAEFER; ZIMMERMANN, 2007).

As ESNs possuem 3 (três) camadas: de entrada, a segunda, que é chamada de reser- vatório de dinâmicas, constituída por neurônios totalmente interconectados, o que gera uma característica não-linear, e a terceira camada, a de saída, responsável por combinar as saídas do reservatório de dinâmicas. Esta última, por sua vez, corresponde a parte linear da rede. Diferente de outras propostas de RNNs, que podem possuir realimentação em qualquer camada, as ESNs propostas por Jaeger (2001) neste trabalho apenas possuem realimentação no reservatório de dinâmicas.

Na Figura 10 é possível ver que os neurônios do reservatório de dinâmicas são conec- tados entre si, enquanto os neurônios da camada de saída combinam o resultado do reservatório de dinâmicas e fornecem a saída da rede.

Figura 10 – Rede de estado de echo (ESN)

u

y

x

W

W

W

. . .

. . .

Fonte: Adaptado de Siqueira (2013)

Nota-se pela Figura 10 que as entradas da rede fazem parte do vetor de entradas ut = [𝑢1, 𝑢2, 𝑢3, . . . , 𝑢𝑡−𝐾+1]𝑇. Por sua vez os coeficientes da camada de entrada Win ∈ R𝑁 ×𝐾 pon- deram linearmente as entradas e as passam ao reservatório de unidades não-lineares totalmente interconectadas W ∈ R𝑁 ×𝑁. O reservatório então gera as ativações xt = [𝑥1𝑡, 𝑥𝑡2, 𝑥3𝑡, . . . , 𝑥𝑁𝑡 ]𝑇 que são os estados da rede. Estes são atualizados a cada nova entrada, sendo que os novos estados para a entrada 𝑡 + 1 são dados pela Equação 4.22 (OZTURK; XU; PRíNCIPE, 2007).

xt+1 = f (Winut+1+ Wxt) (4.22)

reservatório f (·) = (𝑓1(·), 𝑓2(·), 𝑓3(·), . . . , 𝑓𝑁(·)), 𝐾 representa o número de entradas e 𝑁 é o número de neurônios no reservatório. Convenciona-se que quando 𝑡 = 0 os estados da rede são nulos (SIQUEIRA, 2013).

Por sua vez, o vetor de saída da rede yt+1é dado pela Equação 4.23

yt+1 = Woutxt+1 (4.23)

sendo Wout ∈ R𝐿×𝑁 a matriz com os pesos sinápticos da camada de saída e 𝐿 o número de saídas da rede.

Assim como nas ELMs, os pesos sinápticos do reservatório de dinâmicas das ESN não são ajustados durante o treinamento. Também se faz uso do operador pseudo-inversa de Moore-

Penrose para realizar o ajuste da camada de saída a partir dos estados de eco X ∈ R𝐾×𝑁,

conforme a Equação 4.24

Wout= (X𝑇X)−1X𝑇d _(4.24)

onde d ∈ R𝐿×𝐾 é o sinal desejado para a saída da rede.

Vale ressaltar que assim como ocorre nas ELMs, os pesos da ESN também podem ser melhorados com a adição do Coeficiente de Regularização. Desse modo os pesos da camada de saída de uma ESN também podem ser obtidos através da Equação 4.21.

4.8.2.1 Propriedade de estado de eco

Jaeger (2001) comprovou a propriedade de estado de eco (PEC) constando que os es- tados xtsão assintoticamente independentes da condição inicial. Isso significa que os mesmos valores de entrada não resultam nos mesmos sinais de saída, mas uma mesma sequência tempo- ral de entradas converge sempre a sinais de saída similares, de modo que a rede possui estados de eco.

Em seu trabalho Jaeger (2001) ainda definiu 2 condições para existência dessa propri- edade:

1. Os sinais de entrada devem ser extraídos de um espaço compacto 𝐵;

2. Os estados da rede devem sempre estar contidos dentro de um conjunto compacto de es- tados admissíveis 𝐴 ⊂ R𝑁.

Se essas condições forem satisfeitas, o estado do reservatório irá depender assintotica- mente somente do histórico de entrada e a rede será considerada uma rede com estados de eco (JAEGER, 2003).

4.8.2.2 Construção do reservatório de dinâmicas

Como visto na seção anterior (4.8.2.1), o reservatório de dinâmicas de uma ESN deve necessariamente obedecer a propriedade de estado de eco. Na literatura existem 2 propostas principais para sua construção, de modo que este obedeça a PEC e, consequentemente, a rede funcione de forma correta.

A primeira proposta é a de Jaeger (2001). De uma maneira simples o reservatório é criado a partir de uma matriz de pesos com certo grau de esparsidade. Posteriormente foi pro- vado que um padrão esparso de conexões favorece o desacoplamento dos grupos de neurônios, induzindo o desenvolvimento de dinâmicas individuais e pouco relacionadas.

Jaeger descreveu várias formas de criar a matriz de pesos, sendo que a principal de- las define 3 valores possíveis. Para decidir qual será seu valor é feito um sorteio seguindo as probabilidades descritas na Equação 4.25.

𝑊_𝑘𝑖𝑖𝑛 = ⎧ ⎪ ⎨ ⎪ ⎩ 0, 4 com probabilidade de 0, 025 −0, 4 com probabilidade de 0, 025 0 com probabilidade de 0, 95 (4.25)

A segunda proposta foi feita por Ozturk, Xu e Príncipe (2007). Nesta, o objetivo dos autores foi elaborar um reservatório rico do ponto de vista da entropia média dos estados de eco. O resultado foi uma estratégia em que os autovalores respeitam uma distribuição uniforme no circulo unitário, criando uma matriz canônica como mostra a Equação 4.26.

𝑊_𝑘𝑖𝑖𝑛 = ⎡ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ 0 0 0 . . . 0 −𝑟𝑁 1 0 0 . . . 0 0 0 1 0 . . . 0 0 0 0 1 . . . 0 0 .. . ... ... ... ... ... 0 0 0 . . . 1 0 ⎤ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ (4.26)

na qual 𝑟 é o raio espectral unitário, e 𝑁 é a quantidade de neurônios presente no reservatório de dinâmicas. Vale dizer aqui que 𝑟 é um parâmetro livre no intervalo [0, 1], portanto seu valor varia de problema para problema e deve ser determinado antes que a rede possa ser treinada.