Créances et engagements par signature

Para trazer uma riqueza maior de discussão dentro do escopo de aplicação de aprendizado de máquina na análise de sentimentos foram consideradas outras duas bases de testes. Essas bases têm o objetivo de avaliar o poder discriminativo de modelos treinados com uma base que não divide um ambiente similar ou exato.

Até o momento, todas as bases de testes são amostradas dentro de uma mesma população de avaliações, mantendo uma correlação natural em tema e linguagem. Uma das grandes dificul- dades na criação de um modelo de aprendizado de máquina do tipo supervisionado é justamente a escassez de exemplos já rotulados. Em bases de comentários em geral, por exemplo, não é obri- gatória a associação do texto escrito pelo usuário com uma nota ou uma indicação de polaridade, tornando o processo de aprendizagem supervisionado impossível. No entanto, existe a possibili- dade de utilizar um modelo de classificação de sentimentos previamente treinado para estimar a polaridade de avaliações ou comentários que não fazem parte do mesmo universo da base de trei- namento.

Com o objetivo de demonstrar tal aplicação, foram obtidas outras duas bases de teste. Uma delas foi desenvolvida de forma a comparar a perda de poder discriminativo ao utilizar uma base treinada com muitos exemplos (casos) de comentários de filmes em inglês, para estimar co- mentários de filmes em português que passaram por processo de tradução automática. A outra base é uma extração de comentários em português de notícias e que serão classificadas segundo o modelo treinado a partir de comentários de filmes em português.

6.4.1 Tradução para o inglês

Para a avaliação de acurácia de um modelo treinado em inglês, mas aplicado em avalia- ções em português, foi selecionada aleatoriamente 7 mil comentários da base FILMES-POR e é chamada neste contexto de FILMES-TRAD. Esses comentários passaram por processo de tradu- ção com utilização de uma API do Google para Python (googletrans). O Quadro 6.5 mostra dois exemplos de comentários traduzidos pela API.

Quadro 6.5 – Exemplos de tradução de comentários da base FILMES-POR para a base FILMES-TRAD

Polaridade Original Traduzido

Positivo

“O melhor filme de todos os tempos, na minha opinião! Além da excelente direção, diálogos marcantes, atuações fenomenais, o filme tem uma carga tão grande de conteúdo motivacio- nal, que deve ser difícil demais alguém ver o filme e não se sentir motivado e feliz! Filme

esperançoso e maravilhoso!”

“The best movie ever, in my opinion! In addition to excellent direction, striking dialogues, phenomenal performances, the film has such a heavy load of motiva-

tional content that it must be too difficult for someone to see the movie and not feel motivated and happy!

Hopeful and wonderful film!”

Negativo

“Quero meus 85 minutos de volta... Desver isso com certeza. Filme clichê até tem alguns que são

divertidos, agora esse? Os fatos, ah os fatos eu ri deles o tempo todo. Filme ruim? Já comentei sobre vários, mas esse é tão fora da realidade e de um nível tão baixo que eu estou aqui perden-

do o meu tempo a convencer alguém que não faça a tragédia de assistir nem ao menos os

primeiros 5 minutos. AFF!!!”

“I want my 85 minutes back ... Undress this for sure. Movie cliché even has some that are fun, now this one?

The facts, ah the facts I laughed at them all the time. Bad movie I have already commented on several, but this one is so out of the reality and of such a low level that I am here wasting my time to convince someone who does not make the tragedy of watching even the

first 5 minutes. AFF !!!”

A utilização desta API de tradução já é uma forma de utilizar PLN para preparar um texto. Essa tecnologia está em constante desenvolvimento, principalmente para que possa acompanhar os surgimentos de expressões idiomáticas e gírias. Um exemplo disso é a palavra “Desver”, pala- vra usada no comentário negativo e que não existe oficialmente na língua portuguesa, mas é um neologismo que expressa o desejo de não ter visto algo. Neste caso, a API traduziu a palavra co- mo “despir”, alterando significado original do neologismo. No entanto, de maneira geral, a tradu- ção manteve o sentido da essência do comentário. O Anexo A mostra 30 comentários traduzidos selecionados aleatoriamente.

6.4.2 Comentários de notícias

Por fim, para testar o poder de predição de sentimentos em uma base de comentários cujo assunto não está correlacionado com o corpus utilizado no treinamento do modelo, foram extraí- dos 15 mil comentários de um site de notícias, o G1. Esta base será denominada NOTÍCIAS.

Como esses comentários não são rotulados pelos próprios usuários do site e esse procedi- mento manual é bastante custoso, foi selecionada uma amostra reduzida para rotulagem manual de modo a obter pelo menos 200 comentários com rótulos cuja polaridade foi possível de identi- ficar.

Esse é um caso bastante comum na linguagem e exemplifica a subjetividade das respostas até mesmo sob o olhar humano. Um procedimento mais rigoroso poderia ser conseguido com a rotulagem múltipla, recomendada, por exemplo, por Hovy e Lavid (2010) apud Brun e Nunes (2018). Esse tipo de rotulagem conta com mais de uma pessoa rotulando independentemente cada comentário. A resposta final é dada por alguma regra pré-estabelecida, como maioria de votos coincidentes e descarte de empate ou busca de consenso para os casos empatados (se o número de votantes for par).

Por motivos de limitação de recurso, não houve tal procedimento de múltipla rotulagem e, portanto, apenas a avaliação de uma pessoa foi considerada. Neste caso, quando surgiram dúvidas em relação à polaridade, o comentário foi considerado indeterminado e retirado da amostra a ser utilizada para o experimento. O Quadro 6.6 mostra exemplos desses comentários.

Quadro 6.6 – Exemplo de comentários da base NOTÍCIAS em português

Polaridade Comentário

Neutro “A muito tempo li que era fácil a criação de uma vacina para o Ebola. Qual a dificuldade?”

Negativa

“Editor, deixa de ser hipócrita, mostra quantos homens morrem por hora no Brasil, essa palha-çada de criar leis por massificação da informação não está colando mais. Etá as mulheres se mostram contra esse tipo de

caixaria em reportagens. Quer ser homem, haja como homem”

Positiva “Amigos,temos que ser patriotas igual os americanos,ou seja,vamos apoiar todas às ati-tudes dos chineses por que eles são os que mais investem em nosso país e os que mais compram nossos produtos.”

O primeiro comentário pode ter certa ironia demonstrada pela pergunta “Qual a dificulda- de?”. No entanto, sem uma sequência de comentários que deram origem a esse ou sem saber se esse é um comentário direto à notícia, ficou difícil alocar uma polaridade específica. Esse tipo de caso foi considerado indeterminado e retirado da amostra. Já o segundo comentário mostra cla- ramente um ataque ao “Editor” e, portanto, foi considerado um comentário com polaridade nega- tiva. O terceiro comentário tem uma linguagem construtiva, fazendo com que a rotulagem pen- desse para a polaridade positiva. De maneira geral, a linguagem utilizada nesses comentários foi bastante coloquial e com certa agressividade. A grande maioria dos comentários tinham cunho de crítica ou ironia e, não raras vezes, ataques a outros comentários. Uma amostra de 30 comentários utilizados na base de teste (exclusão daqueles com polaridade indefinida) pode ser apreciada no Anexo A.

Esse método de avaliação subjetiva foi adotado em aproximadamente 400 comentários. Desses, aproximadamente 8% eram positivos, 42% negativos e 50% indeterminados ou neutros. A amostra final foi desbalanceada quanto à polaridade, já que comentários positivos foram mais raros. Assim, com 200 comentários finais, apenas 16% são positivos.

Por ser uma amostra desbalanceada e estar mais concentrada em comentários negativos, os resultados serão comparados com uma máquina de classificação que sempre aloca uma respos- ta negativa, ou seja, ela tem acurácia média de 84%, mas 0% nos comentários positivos. Essas discussões estão apresentadas na seção 8.3.

Além disso, os comentários dessa base também foram traduzidos automaticamente para o inglês para avaliação da acurácia da máquina treinada com a base FILMES-IN. Essa base será denominada NOTÍCIAS-TRAD.

7 PROCESSO DE MODELAGEM

Após o levantamento e estruturação preliminar das bases, foram definidas as formas de criação das partículas computáveis – os tokens. No entanto, conforme mencionado na seção 2, o presente estudo se restringirá a avaliar unigrams e alguns dos pré-processamentos mencionados. Esta etapa foi realizada com a ajuda da linguagem de programação Python e suas bibliotecas de processamento de linguagem natural, o “nltk”, e o apoio da biblioteca de expressões regulares, o “re”.

Com uma base de dados pré-processadas, parte-se para a construção do vetor de atributos que será colocado como dado de entrada para a máquina de classificação de sentimentos. Dentro de cada etapa desta existem diversas possibilidades de tratamentos que foram discutidas na seção 3 e serão experimentadas nesta seção. As principais bibliotecas do Python utilizadas para esse fim foram “sklearn” e “gensim” (para a criação de embedding de palavras)

Por fim, após a construção do vetor de atributos, a predição é estimada pelas técnicas de aprendizado de máquina com foco em classificação binária. A biblioteca “sklearn” também foi utilizada nesta etapa. As próximas subseções detalham alguns procedimentos, além de explorar as técnicas e os hiperparâmetros que serão escolhidos para os experimentos principais deste estu- do.