A última fase do desenvolvimento de um sistema de predição consiste na fase de testes e refinamento, que envolve a validação e verificação do sistema, de modo a assegurar que: i) o sistema funciona corretamente, ii) forneça resultados verdadeiros e iii) satisfaça os requisitos do(s) parceiro(s) de sistema. Para além destes pressupostos, envolve a realização de eventuais alterações nos seus requisitos, realçando-se por exemplo a aquisição eficaz de dados e a disponibilização de resultados da forma mais percetível possível. Uma das fases mais críticas no desenvolvimento de um sistema de conhecimento com estas caraterísticas é a respeitante ao desenvolvimento da base de dados funcional, uma vez que a evolução temporal vai implicar alterações no sistema para que este continue a executar de forma eficaz as tarefas que estiveram na origem do seu desenvolvimento.
Caso um modelo seja válido, com base neste é possível efetuar previsões sobre outros conjuntos de dados, podendo os resultados obtidos serem comparados com os resultados reais, caso estes sejam conhecidos. Para validação dos resultados obtidos pelo modelo de predição gerado, realizou-se a contabilização das predições efetuadas pelos diferentes cenários de aplicação de diferentes operadores/algoritmos de DM utilizados no módulo de predição, confrontando-as com intervenções reais efetuadas pelas equipas de manutenção da empresa à máquina analisada. A Tabela 4-4 apresenta a contabilização e comparação do número de intervenções reais realizadas e o número de intervenções previstas pelo sistema nos diferentes cenários de aprendizagem.
Tabela 4-4 - Contagem do número de ocorrências reais e as previstas pelo sistema.
Número de Ocorrências
Elétrico Mecânico Setup Software Total Ocorrências Reais 6 136 9 1 152 Oc orrê nc ia s Pre vist as
Redes Naive Bayes 3 117 7 1 128
Árvores de Decisão 3 107 7 1 118 Indução de Regras 5 101 6 1 113 Redes Neuronais Artificiais 2 74 4 0 80
Para o cálculo do número real de ocorrências efetuou-se a contagem das intervenções realizadas pelas equipas de manutenção e registadas na tabela de intervenções contendo registos entre 1 de setembro de 2012 e 31 de dezembro de 2012, enquanto para o cálculo do número de ocorrências previstas foi efetuada uma contagem dos resultados obtidos nos diferentes cenários, onde o melhor resultado é disponibilizados pela saída principal do sistema e apresentada na tabela da Figura 4-12. Os valores obtidos são o resultado da contabilização de todas as intervenções corretivas conforme a sua natureza (ou seja, Mecânica, Setup, Elétrica ou Software). Não considerando que uma ação de manutenção afeta diretamente a eventual necessidade de realizar uma nova intervenção, a Tabela 4-4 conjuntamente com a Figura 4-13 apresenta uma comparação dos dados de intervenções reais e os resultados gerados pelo modelo de previsão nos diferentes cenários.
A previsão obtida pelo modelo indica um menor número de intervenções do que as operadas na realidade. No total de todas as intervenções, a diferença entre a melhor previsão e a realidade é de aproximadamente 15,7%. Esta diferença poderá significar ser um erro de previsão e/ou a existência de um pequeno aumento de intervenções na empresa durante o período analisado, podendo ser fruto de uma degradação da máquina. Este facto poderá também estar relacionado com o intervalo de alerta calculado pelo responsável de manutenção da empresa aquando da definição dos valores máximos e críticos de alerta de monitorização que servem de suporte ao processo decisivo para efetuar uma determinada intervenção preventiva condicionada. Os resultados das predições efetuadas pelo modelo apresentado não considera esses condicionantes e por isso poderá não prever uma intervenção quando efetivamente foi levada a cabo por parte das equipas de manutenção da empresa, e que para o modelo prevê como não necessária.
Capítulo 4 | Desenvolvimento e implementação do módulo de predição 161 Figura 4-13 - Ocorrências reais efetuadas e as previstas pelo sistema.
Para auxílio na análise dos resultados obtidos com o módulo de predição do sistema apresentado, a Figura 4-14 apresenta uma forma alternativa de visualização da tabela de predição que o RapidMiner proporciona. Reporta uma alternativa de visualização dos resultados, output principal do sistema gerado com o modelo que melhor precisão obteve, com a vantagem de permitir indicar a existência de relação entre um determinado parâmetro monitorizado e a ocorrência de um determinado tipo de falha, independentemente do seu valor e relativamente à máquina utilizada no estudo.
O gráfico apresenta no eixo horizontal a predição de falha prevista pelo modelo e na coluna vertical a identificação do parâmetro monitorizado. Analisando a figura poder-se-á verificar, por exemplo, que o modelo indica que falhas mecânicas e/ou software estão diretamente relacionadas com os valores do parâmetro 84. Analisando os restantes parâmetros sobre os quais o modelo prevê uma possível falha, é possível verificar que todos eles se traduzem unicamente na probabilidade de ocorrência de um tipo de falha. As predições efetuadas apresentam uma relação entre o parâmetro 84 e a ocorrência de falhas mecânicas e de software enquanto, por exemplo, o parâmetro 227 se relaciona unicamente com a probabilidade de ocorrência de falhas mecânicas.
6 136 9 1 3 117 7 1 3 107 7 1 5 101 6 1 2 74 4 0 0 20 40 60 80 100 120 140 E L É T R I C O M E C Â N I C O S E T U P S O F T W A R E O CO R R ÊN CIA S
TIPO DE FALHA PREVISTA
Ocorrências Reais Redes Naive Bayes Árvores de Decisão
Figura 4-14 - Visualização gráfica da predição efetuada em relação ao parâmetro real monitorizado.
No caso prático aqui apresentado, a informação utilizada relativa ao equipamento analisado baseia-se em dados recolhidos e armazenados através de registo de monitorização continua e de ações de manutenção que serviram de suporte ao objetivo principal da manutenção preditiva e consequentemente do sistema proposto, a verificação pontual do funcionamento do equipamento antecipando eventuais problemas que possam causar gastos maiores como a manutenção corretiva. Em suma, a construção do modelo de predição assentou em dados relativos à monitorização contínua e nos respetivos instantes em que foram efetuadas intervenções, utilizando o registo do valor do parâmetro responsável pelo alerta real, e assim, incorporar o conhecimento inerente ao instante de atuação. Desta forma, a utilização pelo sistema de uma base de dados inicial contendo esse mesmo apuro e que serviu de suporte à criação do modelo preditivo embebendo todo o know-how adquirido, traduziu-se em predições com elevada precisão, e posteriormente validadas através da confrontação das predições obtidas pelo modelo de predição com os acontecimentos reais, utilizando para tal dados relativos a um período de tempo alargado.
Estes resultados não foram considerados para reformulação dos planos de manutenção da empresa, mas com modelos gerados integrando dados atuais, as previsões geradas com um
Capítulo 4 | Desenvolvimento e implementação do módulo de predição 163
elevado grau de certeza acerca da ocorrência de uma falha, poder-se-ão traduzir na realização de futuras intervenções.