Activités à l'année

organizado em uma matriz em formato csv (comma separated values) contendo nove colunas e 2386 linhas (instâncias). Cada coluna da matriz correspondia a posições dos grafemas de um susbtantivo: grafema 1, grafema 2, grafema 3, grafema 4, grafema 5, grafema 6, grafema 7, grafema 8 e grafema 9. Cada linha da matriz correspondia aos valores que preenchem a posição dos grafemas de um substantivo (letras do alfabeto). Portanto, em cada linha (instância) um susbtantivo foi introduzido. Cada um dos grafemas foi representado por um número. A Tabela 11, abaixo, apresenta os valores de cada grafema dos substantivos presentes no corpus.

Tabela 11: Representação numérica dos grafemas dos substantivos presentes no corpus.

Grafemas Valores a 1 ã 21 á 25 e 4 i 8 í 22 o 12 ó 23 u 18 ú 29 c 2 d 3 f 5 g 6 h 7 l 9 m 10 n 11 p 13 q 14 r 15 s 16 t 17 v 19 z 20

As posições dos grafemas de cada substantivo e seus valores representaram os inputs apresentados à rede. Esse procedimento

permitiu a simulação da leitura de cada substantivo na medida em que a rede "aprendeu" que cada um deles é representado por uma sequência de grafemas (máximo nove grafemas) com valores distintos.

Caso um determinado substantivo apresentasse uma quantidade de grafemas inferior a nove, a coluna correspondente ao valor do grafema foi preenchida com valor "0". A anotação de cada substantivo foi realizada de trás para frente (do último grafema ao primeiro) para que fosse possível que o grafemas finais de todos os substantivos estivessem alinhados em uma mesma coluna. Esse procedimento foi importante para que a rede "compreendesse" que o último input correspondia à terminação dos substantivos. Os inputs das 2386 instâncias foram apresentados à rede de uma só vez (aleatoriamente) para simular a apresentação visual de estímulos.

Os substantivos introduzidos no corpus foram selecionados do conjunto de estímulos criados para o Experimento 2 do Capítulo 4 (cf. Apêndice E). No total, foram selecionados 40 diferentes substantivos do português distribuídos em 4 categorias de forma. A Tabela 12, abaixo, apresenta a distribuição.

Tabela 12: Categorias de formas e quantidade de substantivos escolhidos para cada categoria.

Categorias de forma Terminação Quantidade de substantivos Exemplos Regular -a 11 Linha, ideia -o 11 Carro, acordo Irregular

-ão 4 Mão, região

-ema 3 Cinema,

sistema

Transparente -agem 2

Viagem, Imagem

Opacas -e 5 (3 masculinas e 2 femininas) Filme, nome, saudade

Note que a categoria dos substantivos regulares representou mais de 50% (22 de 40) das formas selecionadas para a composição do

corpus. Esse procedimento foi adotado para simular a proporção maior

de itens regulares quanto ao gênero no português em relação às outras formas (cf. Cap.2). Cabe esclarecer, também, que o corpus foi construído de maneira a compreender substantivos que apresentam e que não apresentam uma relação entre estrutura e gênero. Por exemplo, foram apresentados três substantivos masculinos com terminação em -e, e dois femininos também terminadas em -e. Além disso, o corpus foi composto por substantivos masculinos e femininos com terminação em -

a, masculinos e femininos com terminação em -ão.

Cada um dos substantivos entrou no arquivo de treino uma quantidade de vezes proporcional (10%) à sua frequência de ocorrência no Corpus Brasileiro. Por exemplo, se a frequência de um substantivo era de 900 por milhão no Corpus Brasileiro, então esse substantivo foi apresentado à rede 90 vezes. Foram selecionados substantivos de frequência média e alta (cf. Apêndice E). O arquivo final compreendeu 2386 entradas de substantivos (2386 instâncias).

O output do modelo foi representado por valores categóricos em dois níveis: ‘F’ para a o gênero feminino, e ‘M’ para o gênero masculino.

Os diagramas de caixa da Figura 9 ilustram a quantidade de entrada de formas e a organização dessas categorias de formas em instâncias do arquivo da matriz.

Figura 9: : Organização do conjunto de dados: Quantidade de formas/distribuição das formas em instâncias (linhas).

5. 3 O treinamento

A modelagem da rede neural foi realizada em linguagem R usando o pacote Caret (KUHN, 2008), versão 6.0-41, método ‘nnet’. O método nnet tem como base um perceptron multicamadas. Mais especificamente, o método nnet é especializado em redes neurais multicamadas de tipo feedforward para o aprendizado supervisionado. O treinamento em nnet utiliza o algorítimo Backpropagation tradicional.

O treinamento da rede para as simulações apresentadas neste capítulo utilizou uma técnica conhecida como validação cruzada (cross-

validation). A validação cruzada é uma técnica útil em determinar,

durante o treinamento, a capacidade de generalização do modelo. Por meio da validação cruzada, é possível selecionar o modelo e os parâmetros de modelagem que exibem melhor desempenho na classificação dos substantivos inanimados do português (presentes no

corpus) em categorias de gênero. Selecionar o modelo com os melhores

parâmetros de modelagem é importante para evitar situações de

overfitting ou underfitting. Uma situação de overfitting ocorre quando

quantidade de informação pequena contida no banco de dados.

Underfitting é a situação contrária, isto é, quando a arquitetura e os

parâmetros selecionados para o modelo não dão conta da quantidade de informação contida no banco de dados, comprometendo a capacidade de generalização do modelo.

Para o treinamento da rede empregando a técnica de validação cruzada, foi preciso dividir o corpus em 2 subconjuntos: subconjunto de treino e subconjunto de teste. O subconjunto de treino, por usa vez, foi dividido em blocos: as 1783 instâncias do conjunto de dados separado para o treino (±75% das 2386 instâncias) foram divididas em dez blocos (ten-fold cross validation). A validação cruzada consiste na modelagem de um dos dez blocos de dados. O modelo resultante é então testado (validado) em outro bloco de dados. Esse processo continua até que todos os blocos tenham sido modelados e testados. O desempenho final é baseado na acurácia das predições dos modelos ao longo do processo de validação.

Para a modelagem empregada no presente estudo, o processo da validação cruzada foi repetido cinco vezes e programado para comparar quatro arquiteturas diferentes de modelos em 1000 épocas. O modelo final é o que apresentou melhor desempenho médio na validação cruzada. Figura 10, a seguir, ilustra a comparação do desempenho dos quatro modelos resultantes do treinamento empregando a técnica da validação cruzada. Os modelos diferenciam-se em relação aos seguintes parâmentros: nº de neurônios na camada intermediária (hidden units: 1, 3, 5 e 7) e taxa de weight decay15(0.0 a 0.1).

15 _{Weight decay é uma forma de limitar a complexidade da rede neural por}

meio da multiplicação dos pesos por um fator menor que 1. Esse processo evita que os pesos se tornem muito grandes. A taxa de weight decay ‘penaliza’ pesos que se tornam muito grandes sem necessidade.

Figura 10: Comparação do desempenho de quatro modelos com diferentes parâmetros/complexidades.

!