PARTIE II : LE PROGRAMME DE RACHAT
VI. M ODALITES DE R EALISATION DU P ROGRAMME
Baseado nos resultados exibidos na Tabela 16, optou-se por empregar variáveis com Coeficiente de Correlação (R) superiores a 0,30 ou inferiores a -0,30 com o coeficiente de atrito, segundo indicado por Haykin (2001) apud Ribeiro (2016). À exceção das variáveis distância de medição, operações entre remoções e macrotextura, que, apesar de apresentarem R dissonantes ao critério estabelecido, foram utilizados na elaboração do modelo devido à sua importância, principalmente para indicar a localização do coeficiente de atrito na PPD.
Após realizar testes com diversas arquiteturas e hiperparâmetros, verificou-se que os melhores resultados apresentados, utilizando o BD 1, foram encontrados com as variáveis de entrada: (i) distância de medição, (ii) lado da medição, (iii) remoção de borracha, (iv) umidade relativa do ar (ICEA), (v) idade do pavimento, (vi) número de operações entre remoções e (vii) macrotextura. Esse modelo foi chamado de Modelo M0.
A arquitetura do Modelo M0 é composta por uma camada oculta com 21 neurônios, função de ativação linear retificada (ReLU), alpha de 0,1, otimizador de pesos LBFGS e quanti- dade máxima de 500 iterações. Os resultados de Coeficiente de Determinação (R2), Erro Médio Quadrático (MSE) e do Erro Médio Absoluto (MAE) estão expostos na Tabela 17.
Tabela 17 – Resultados do Modelo M0
Fase Coeficiente de Determinação (R2) MSE MAE
Treinamento 73,36% 0,003 0,039
Teste 26,98% 0,005 0,056
Fonte: Elaborado pelo autor.
Constatou-se, então, por meio dos resultados da Tabela 16 e da Tabela 17, que a correlação entre a macrotextura, obtida de maneira pontual pelo método da mancha de areia, e o coeficiente de atrito, mensurado de forma contínua pelo GripTester, não apresentam relação significativa. Pesquisas realizadas por Bezerra Filho e Oliveira (2013), Pinheiro Neto, Oliveira e Aguiar (2015) e Ramos et al. (2015) já haviam demonstrado tal condição. Assim como o Modelo M0 também não alcançou resultados satisfatórios. Dessa forma, a variável macrotextura foi desconsiderada.
A partir disso, descartou-se o BD 1 e adotou-se o banco de dados 2 (BD 2), o qual é composto por 18 relatórios de medição de coeficiente de atrito, totalizando 846 observações, e não contém a variável macrotextura. Dessa vez, contudo, não se restringiu apenas às medições de coeficiente de atrito cujas datas de execução fossem próximas às medições de macrotextura,
além do que foi possível, também, utilizar todos os segmentos mensurados pelo GripTester. A matriz de correlação desenvolvida a partir do BD 2 está exposta na Tabela 18.
Tabela 18 – Matriz de correlação
Distância de medição Idade do pa vimento (meses) T emperatura (ICEA) T emperatura (ensaio) Umidade (ensaio) Umidade (ICEA) N o operações entre medições N ooperações (anual) N ooperações entre remoções Coeficiente de atrito Distância de medição 1 - - - -
Idade do pavimento (meses) 0,02 1 - - - -
Temperatura (ICEA) 0,01 0,41 1 - - - -
Temperatura (ensaio) -0,02 -0,23 0,27 1 - - - -
Umidade (ensaio) 0,02 0,59 0,27 0,17 1 - - - - -
Umidade (ICEA) 0,01 0,14 -0,51 -0,32 0,40 1 - - - -
Nooperações entre medições 0,02 0,65 0,40 0,02 0,51 0,09 1 - - -
Nooperações (anual) -0,01 -0,23 -0,04 -0,18 -0,41 -0,50 -0,51 1 - -
Nooperações entre remoções 0,01 0,41 0,22 0,05 0,58 0,06 0,48 -0,25 1 - Coeficiente de atrito 0,16 -0,35 0,05 0,17 -0,24 -0,34 -0,34 0,33 -0,16 1 Fonte: Elaborado pelo autor.
Enfatiza-se que as três variáveis de tráfego, número de operações entre medições, número de operações anual e número de operações entre remoções, foram testadas no modelo separadamente, ou seja, nunca utilizando mais de uma variável de tráfego simultaneamente. Foi adotada aquela que alcançasse o melhor resultado com o modelo.
Foram testadas diferentes formas de pré-processamento dos dados e várias arquitetu- ras de redes. Dentre os parâmetros testados, destacam-se: (i) topologias com até duas camadas ocultas, entre 1 e 100 neurônios; (ii) diferentes funções de ativação, como sigmóide (logistic), tangente hiperbólica (tanh) e linear retificada (ReLU); (iii) variações do hiperparâmetro regu- larizador (alpha ) entre 0,001 e 10; (iv) quantidade de iterações entre 200 a 1.000; (v) e duas formas de otimizar os pesos dos neurônios: utilizando o Gradiente Descendente Estocástico; e o algoritmo de memória limitada Broyden–Fletcher–Goldfarb–Shanno (LBFGS), um otimizador na família de métodos quase-Newton, sendo este mais indicado para menores conjuntos de dados, segundo biblioteca do Scikit-Learn.
Estudou-se também uma maneira de construir uma Rede Neural Artificial de clas- sificação do coeficiente de atrito baseado nos valores de nível de manutenção, 0,53, e nível mínimo, 0,43, considerando uso do GripTester como equipamento de medição a velocidade de
65 km/h; estabelecendo três cenários: (i) abaixo do nível mínimo, (ii) entre o nível mínimo e o nível de manutenção e (iii) acima do nível de manutenção. É importante ressaltar que não há dados suficientes de coeficiente de atrito em todos os cenários para que seja possível desenvolver tal modelo, pois a grande maioria dos dados de coeficientes de atrito estão acima do nível de manutenção. Assim, os modelos elaborados estimam valores em função das variáveis de entrada, como em uma regressão.
4.3 Modelo M1
Esta seção aborda as análises dos resultados modelo desenvolvido sem a variável macrotextura, designado por Modelo M1, o qual foi utilizado o banco de dados 2 (BD 2). As variáveis de entrada são: (i) distância de medição, (ii) lado da medição, (iii) remoção de borracha, (iv) umidade relativa do ar (ICEA), (v) idade do pavimento e (vi) número de operações entre remoções.
No que diz respeito à arquitetura da rede e seus hiperparâmetros, o Modelo M1 é composto por: duas camadas ocultas com 61 e 32 neurônios, respectivamente; função de ativação linear retificada; otimizador de pesos LBFGS; alpha de 0,01; número máximo de 1.000 iterações. Ao empregar o LBFGS como otimizador, todavia, perde-se algumas funcionalidades, tais como não permitir parada antecipada, não utilizar conjunto de validação e também não apresentar a curva de função de perda do treinamento do algoritmo. Contudo, tem-se a vantagem de, em bancos de dados menores, convergir mais rápido do que o Gradiente Descendente Estocástico.
Os resultados das fases de treinamento e teste do Modelo M1 estão expostos na Tabela 19 por meio do Coeficiente de Determinação (R2) e do Erro Médio Quadrático (MSE) e do Erro Médio Absoluto (MAE).
Tabela 19 – Resultados do Modelo M1
Fase Coeficiente de Determinação (R2) MSE MAE
Treinamento 89,94% 0,001 0,022
Teste 73,10% 0,002 0,038
Esse foi o modelo que alcançou o melhor resultado nessa primeira etapa de desenvol- vimento e análise. Para a elaboração desses resultados, foram empregados laços de repetição (for loop) em Python, o qual permite realizar iterações com diversos hiperparâmetros simultâneos e dessa forma proporciona que se atinja o modelo com os melhores resultados dentro das limitações em que foram testadas.
Todavia, a depender dos hiperparâmetros e da quantidade de dados, esses laços de repetição demandam bastante esforço computacional. Neste trabalho foram necessários, em média, 12 horas, utilizando um notebook com processador Intel Core i5-3317U (CPU @ 1.70 GHz) e 8,00 GB de memória RAM para realizar a iteração de duas camadas ocultas de 1 a 100 neurônios, totalizando 10.000 arquiteturas.
A Figura 33 exibe os gráficos de dispersão entre os coeficientes de atrito observado e estimado das fases de treinamento e teste do Modelo M1, desenvolvidos com dados do BD 2. Figura 33 – Gráficos de dispersão do treinamento e do teste do Modelo M1
(a) Treinamento (b) Teste
Fonte: Elaborado pelo autor.
Conforme pode ser observado nos gráficos da Figura 33, os resultados da fase de treinamento do Modelo M1 mostraram -se significativos, com quase 90% de R2, Figura 33(a), cujos valores estão dispostos ao longo da diagonal, linha de tendência, com alguma dispersão. Quanto aos resultados da fase de teste, o R2foi de 73,10%, Figura 33(b), também percebe-se que os valores estão posicionados ao longo da diagonal, contudo, há uma dispersão maior do que na fase de treinamento.
Embora o otimizador LBFGS tenha como limitação não possuir fase de validação, resolveu-se aplicar um relatório de medição de coeficiente de atrito, realizado no dia 14/08/2019 e não utilizado nas fases de treinamento e teste, como validação para o Modelo M1. Os resultados estão expostos na Figura 34.
Figura 34 – Gráficos de dispersão da validação do Modelo M1
Fonte: Elaborado pelo autor.
Quanto à fase de validação do Modelo M1 (Figura 34), é constatado uma elevada dispersão e, principalmente, uma variação dos valores de coeficiente de atrito estimado entre 0,20 e 1,76, enquanto que os valores observados variam de 0,55 a 0,86. No que diz respeito aos erros, esses foram de 0,106 e 0,235 para o MSE e MAE, respectivamente. Logo, pode-se concluir que o Modelo M1 não generaliza bem na presença de novos dados.
Uma das possíveis causas dessa má generalização do Modelo M1 pode ser devido aos dados utilizados para validação, pois algumas variáveis de entrada (input), tais como idade do pavimento, umidade relativa do ar e número de operações entre remoções, estão ou abaixo ou acima da faixa de valores do treinamento, como pode ser visualizado na Figura 35. Outro possibilidade é a ação do hiperparâmetro regularizador alpha no modelo, o qual pode não ter sido eficiente em sua função de evitar o excesso de ajuste (overfitting) e, com isso, o modelo aprendeu também os ruídos dos dados de treinamento.
Figura 35 – Variação dos dados - idade do pavimento, umidade (ICEA) e número de operações entre remoções
Fonte: Elaborado pelo autor.
No que diz respeito às variáveis apresentadas na Figura 35, apresentam-se as seguin- tes considerações: (i) sobre a variável idade do pavimento, é esperado que essa apresente valores superiores aos utilizados no treinamento; (ii) em relação à umidade relativa do ar, essa obteve um valor de 51,88%, abaixo da faixa de valores empregados no conjunto de dados do treinamento, cujo valor mínimo foi de 58,06%; (iii) e, por último, a variável número de operações entre remoções exibiu valor de 36.849, muito acima do valor máximo do conjunto de treinamento, o qual foi de 25.718. Uma das razões que contribuíram para tal diferença, no caso do número de operações, se deve ao fato de que decorreram 279 dias desde a última remoção de borracha: a medição do coeficiente de atrito foi realizada no dia 14/08/2019 e a data da última remoção do acúmulo de borracha, divulgada no mesmo relatório, em 08/11/2018.
Segundo Haykin (2009), a generalização é influenciada por três fatores: (i) pelo tamanho da amostra de treinamento e quão representativa é a amostra do que se deseja representar; (ii) pela arquitetura da rede neural; e (iii) pela complexidade do fenômeno em questão. Como não se sabe exatamente em quais desses fatores o Modelo M1 pode ter incorrido, buscou-se tomar medidas que pudessem contribuir com os fatores i e ii.
Em virtude disso, testou-se um novo modelo, chamado de Modelo M2, com mais dados, utilizando o banco de dados 3 (BD 3), o qual possui 19 relatórios, pois o relatório de 14/08/2019 foi adicionado ao banco de dados do treinamento e teste. Também foram refeitos os testes de pré-processamento, topologias e hiperparâmetros da rede. Dessa vez, porém, foram utilizados valores de alpha superiores a 0,01, já que esse hiperparâmetro atua diretamente na prevenção do excesso de ajuste (overfitting), fenômeno ocorrido com o Modelo M1.
4.4 Resultados do Modelo M2
Esta seção discorre sobre o segundo modelo desenvolvido, denominado de Modelo M2, empregando o BD 3, o qual possui 894 observações. Assim como na elaboração do Modelo M1, foram executadas iterações (for loop) para testar simultaneamente diversas arquiteturas e hiperparâmetros e, dessa maneira, encontrar a Rede Neural Artificial que obtivesse os melhores resultados.
O Modelo M2 tem como arquitetura resultante duas camadas ocultas com 94 e 73 neurônios, respectivamente; função de ativação linear retificada; otimizador de pesos LBFGS; alphade 0,1; número máximo de 600 iterações. A Figura 36 apresenta as variáveis de entrada do Modelo M2, as mesmas do Modelo M1. No tocante aos resultados, esses podem ser visualizados na Tabela 20.
Figura 36 – Arquitetura do Modelo M2
Fonte: Elaborado pelo autor.
Tabela 20 – Resultados do Modelo M2
Fase Coeficiente de Determinação (R2) MSE MAE
Treinamento 77,63% 0,002 0,033
Teste 77,51% 0,002 0,036
Fonte: Elaborado pelo autor.
Os resultados da fase de treinamento do Modelo M2 são inferiores aos do Modelo M1, no que concerne ao R2, e também obteve erros superiores. Nos resultados da fase de teste, entretanto, o R2do Modelo M2 foi superior ao Modelo M1, além de apresentar MAE inferior e mesmo MSE. Esses resultados estão exibidos na Figura 37 em formato de gráficos de dispersão.
Figura 37 – Gráficos de dispersão do treinamento e teste do Modelo M2
(a) Treinamento (b) Teste
Fonte: Elaborado pelo autor.
Apesar dos gráficos da Figura 37 mostrarem significativa dispersão em ambas as fases, também pode-se destacar que manifestaram a mesma tendência de disposição dos valores em torno da diagonal, ou seja, da linha de tendência. Dessa forma, destaca-se a importância de se verificar o histograma dos erros (Figura 38) a fim de melhor analisar tais resultados.
Figura 38 – Histograma dos erros do treinamento e teste do Modelo M2
(a) Treinamento (b) Teste
Por meio dos histogramas dos erros na Figura 38, pode-se perceber que, na fase de treinamento (Figura 38(a)), a maioria dos erros está entre -0,05 e +0,05, notadamente entre -0,025 e 0. Ademais, a média do erro do treinamento é zero e o desvio padrão é de 0,04. Em geral,
50,87% dos resultados obtiveram valores abaixo de 0, ou seja, o modelo estimou coeficientes de atrito maiores do que os observados, situação que, sob a perspectiva da segurança operacional, seria o cenário mais indesejado, pois poderia transmitir à agência reguladora (Agência Nacional de Aviação - ANAC) e ao tomador de decisão, responsável pela manutenção da PPD uma falsa segurança quanto à condição de atrito.
No que diz respeito à fase de teste, Figura 38(b), os erros estão predominantemente entre -0,05 e +0,025, especialmente entre 0 e +0,025. Além disso, 52,22% dos valores são superiores a zero, logo, geralmente, os coeficientes de atrito previstos são inferiores aos obser- vados e, portanto, não apresenta um cenário inseguro para a segurança das operações na PPD. Embora o resultado ideal seja o valor mais próximo possível do observado, pretende-se, ao menos, minimizar as consequências de possíveis erros.
Destaca-se que estimativas de coeficiente de atrito geradas pelo Modelo M2 inferiores ou iguais a 0,60 devem ser consideradas motivo de atenção, pois, de acordo com os gráficos de dispersão na Figura 37 e os histogramas dos erros na Figura 38, essas estimativas podem corresponder até valores observados próximos a 0,50. Portanto, como forma de garantir a segurança das operações na PPD, sempre que o Modelo M2 estimar resultados próximos a 0,60, recomenda-se ao operador do aeródromo a medição em campo do coeficiente de atrito.
E, finalmente, fez-se uma última análise acerca do Modelo M2, para saber como seriam as respostas do modelo diante de cenários com variações de alguns dados de entrada, como a idade do pavimento, a umidade relativa do ar e o número de operações entre remoções. Para tanto, utilizaram-se ± 1, 2 e 3 desvios padrão (s) das médias (x) das variações citadas, cujos resultados são apresentados na Tabela 21.
Tabela 21 – Variações dos dados de entrada do Modelo M2 Variação Idade do pavimento Umidade Node operações
x- s 33 59,16 0 x- 2s 15 51,91 0 x- 3s 0 44,66 0 x+ s 70 73,66 18.977 x+ 2s 88 80,91 28.482 x+ 3s 107 88,16 37.987
Fonte: Elaborado pelo autor.
O resumo estatístico dos resultados do Modelo M2 para as variações dos dados de entrada está presente na Tabela 22. Os resultados de coeficiente de atrito também podem ser visualizado em um histograma na Figura 39.
Tabela 22 – Resultado da análise estatística do Modelo M2
Estatística Coeficiente de atrito
média 0,77 desvio padrão 0,08 mínimo 0,51 25% 0,72 50% 0,77 75% 0,82 máximo 0,95
Fonte: Elaborado pelo autor.
Figura 39 – Histograma de coeficiente de atrito do Modelo M2
Fonte: Elaborado pelo autor.
Os valores de coeficiente de atrito estimados pelo Modelo M2, (Figura 39), consi- derando as variações dos desvios padrão e média, variam de 0,51 a 0,95, com média de 0,77 e desvio padrão de 0,08. Isto posto, constata-se que o modelo não exibiu valores não factíveis, como inferiores a 0 ou superiores a 1,0, algo esperado de um modelo para previsão de coeficiente de atrito que deva funcionar satisfatoriamente.
Diferentemente dos resultados do Modelo M1, o Modelo M2 apresentou resultados mais satisfatórios quando posto à prova sob novos dados. Embora essa última análise apenas revele como o modelo responde caso seja submetido a cenários com tais variações e não seja possível verificar, em campo, esses resultados.
4.5 Considerações finais
O Modelo M2 obteve resultados significativos de Coeficiente de Determinação e erros. Desse modo, considera-se uma ferramenta com potencial de aplicação por proporcionar ao Sistema de Gerência de Pavimentos Aeroportuários a possibilidade de estimar a condição do coeficiente de atrito da PPD.
Assim, é possível antecipar-se a problemas relacionados à frenagem das aeronaves ou mesmo planejar medidas de inspeção e manutenção da pista em momentos mais adequados, buscando diminuir a subjetividade na tomada de decisão. Ademais, possibilita à ANAC a realização de atividades de fiscalização e controle do aeródromo por meio de estimativas do coeficiente de atrito.
Devido à quantidade exaustiva de dados e códigos utilizados nesta Dissertação, optou-se por disponibilizá-los integralmente por meio do endereço eletrônico: <https://github. com/brenoquariguasi/Dissertacao__previsao_de_coeficiente_de_atrito>, inclusive em formato de planilha eletrônica xmlx. Um trecho da programação utilizada para o treinamento do Modelo M2 está exposto no Apêndice A.
O modelo pode ser usado em planilha eletrônica de Excel ou por meio de Jupyter Notebook, plataforma da linguagem de programação Python, como mostrado na Figura 40. A Figura 40(b) exibe apenas a parte de aplicação do código nesse formato.
Figura 40 – Formatos de disponibilização do Modelo M2
(a) Formato Excel
(b) Formato Jupyter Notebook Fonte: Elaborado pelo autor.
5 CONCLUSÕES E RECOMENDAÇÕES
Este capítulo aborda as principais conclusões acerca deste trabalho bem como sugestões para estudos futuros. Destaca-se que as conclusões apresentadas estão relacionadas às especificidades em que esta Dissertação foi desenvolvida e, a partir delas, foi possível conhecer melhor as potencialidades e as limitações do modelo de previsão proposto.
A pesquisa desenvolvida neste trabalho diz respeito ao desenvolvimento de um modelo de previsão para o coeficiente de atrito medido em pista de pouso e decolagem (PPD), por meio de Redes Neurais Artificiais (RNA). Dessa forma, buscou-se contribuir com um Sistema de Gerência de Pavimentos Aeroportuários (SGPA) na tomada de decisão para a manutenção da segurança das operações de pouso e decolagem no que diz respeito à condição de aderência pneu-pavimento da PPD.
5.1 Principais contribuições
O Modelo M2, principal produto desta pesquisa, obteve resultados significativos de Coeficiente de Determinação e erros. Portanto, é possível antecipar-se a problemas relativos à frenagem das aeronaves ou planejar medidas de inspeção e manutenção da pista em momentos mais adequados, diminuindo a subjetividade na tomada de decisão. Além disso, permite a realização de atividades de fiscalização e controle do aeródromo por parte da Agência Nacional de Aviação Civil (ANAC).
O Modelo M2 desenvolvido para previsão de coeficiente de atrito apresentou resulta- dos razoáveis que atestam sua viabilidade de aplicação e capacidade de proporcionar ao tomador de decisão e à agência reguladora (ANAC), estimativas do coeficiente de atrito da PPD, ainda que necessite de aprimoramentos futuros a fim de diminuir o erro do modelo. Acredita-se ainda que, ao utilizar um banco de dados mais robusto, possa-se alcançar resultados cada vez melhores, pois o modelo foi desenvolvido com apenas 19 relatórios de medição de coeficiente de atrito.
No desenvolvimento do modelo, foram empregadas as variáveis de entrada: (i) distância de medição, (ii) lado da medição, (iii) remoção de borracha, (iv) umidade relativa do ar (ICEA), (v) idade do pavimento e (vi) número de operações entre remoções. A partir desses dados de entrada, foi possível construir um modelo com Coeficiente de Determinação considerado satisfatório.
Aplicou-se, também, algumas variações dos dados de entrada, tais como a idade do pavimento, a umidade relativa do ar e o número de operações entre remoções; baseados em suas médias e seus desvios padrão com o intuito de verificar as respostas obtidas pelo modelo. Os resultados apresentaram valores factíveis, superiores a 0,0 e inferiores a 1,0, conforme esperado.
Enfatiza-se as contribuições efetivas desse trabalho: (i) auxiliar na tomada de decisão do operador de aeródromo quanto à realização de medição de coeficiente de atrito em campo ou de medidas de manutenção, reduzindo a subjetividade nesses procedimentos; (ii) possibilitar à agência reguladora, serviços de fiscalização e/ou acompanhamento das condições de atrito em PPD; e (iii) garantir a segurança das operações de pouso e decolagem na PPD de aeródromos civis brasileiros.
5.2 Principais conclusões
Inicialmente foi desenvolvido o Modelo M1, a partir de dados de 18 relatórios de medição de coeficiente de atrito, totalizando 846 observações. Os resultados de R2para fases de treinamento e teste foram de 89,94% e 73,10%, respectivamente. Contudo, constatou-se que tal modelo não generalizava bem para novos conjuntos de dados.
A partir disso, optou-se por treinar um novo modelo, denominado de Modelo M2, com mais dados, contando com 19 relatórios, totalizando 894 observações. Os resultados de R2 para fases de treinamento e teste foram de 77,63% e 77,51%, respectivamente. A diferença entre os resultados das fases de treinamento e teste foi menor no Modelo M2 e também a fase de teste do M2 foi superior ao M1. Por fim, enfatiza-se que o M2 apresentou resultados mais satisfatórios do que o M1, no que tange à capacidade de generalização e, desse modo, foi adotado como modelo final deste trabalho.
5.3 Limitações
Para a realização deste trabalho, foram utilizados dados do Aeroporto Internacional de Fortaleza. Inicialmente enfrentou-se dificuldade na aquisição dos dados, os quais somente foram adquiridos via Lei de Acesso à Informação junto à Agência Nacional de Aviação Civil (ANAC). Posteriormente, houve a necessidade de demandar bastante tempo na organização