https://lib.uliege.be https://matheo.uliege.be
Master's Thesis : Automation of risk level evaluation of changes at NRB
Auteur : Sadzot, Antoine Promoteur(s) : Louppe, Gilles
Faculté : Faculté des Sciences appliquées
Diplôme : Master en sciences informatiques, à finalité spécialisée en "intelligent systems"
Année académique : 2019-2020
URI/URL : http://hdl.handle.net/2268.2/9076
Avertissement à l'attention des usagers :
Tous les documents placés en accès ouvert sur le site le site MatheO sont protégés par le droit d'auteur. Conformément aux principes énoncés par la "Budapest Open Access Initiative"(BOAI, 2002), l'utilisateur du site peut lire, télécharger, copier, transmettre, imprimer, chercher ou faire un lien vers le texte intégral de ces documents, les disséquer pour les indexer, s'en servir de données pour un logiciel, ou s'en servir à toute autre fin légale (ou prévue par la réglementation relative au droit d'auteur). Toute utilisation du document à des fins commerciales est strictement interdite.
Par ailleurs, l'utilisateur s'engage à respecter les droits moraux de l'auteur, principalement le droit à l'intégrité de l'oeuvre et le droit de paternité et ce dans toute utilisation que l'utilisateur entreprend. Ainsi, à titre d'exemple, lorsqu'il reproduira un document par extrait ou dans son intégralité, l'utilisateur citera de manière complète les sources telles que
mentionnées ci-dessus. Toute utilisation non explicitement autorisée ci-avant (telle que par exemple, la modification du document ou son résumé) nécessite l'autorisation préalable et expresse des auteurs ou de leurs ayants droit.
University of Li`ege - Faculty of Applied Sciences
Automation of risk level evaluation of changes at NRB
Promoter : Professeur Gilles Louppe Contact at NRB : Pascal Lion
Graduation studies conducted for obtaining the Master’s degree in Computer Science by
Antoine
SADZOTAcademic year 2019-2020
Department of Electrical Engineering and Computer Science (Montefiore Institute)
Abstract
NRB is an IT services company based in Li`ege. A part of their business revolves around the management of changes in programs and infrastructures at the request of their clients. Any applied change may potentially provoke unforeseen incidents. To avoid this, each change is linked with a risk level that packs the probability and the level of impact of potential incidents. This way, limited resources can be adequately allocated to sensitive changes. Risk levels are assessed by human, based on several factors.
However, those assessments are sometimes inaccurate, and lead to incidents or bad resources allocation. Thus, this thesis is an attempt at automating the assessment of risks levels. This problem reduces to a supervised classification problem that may be linked to the field of defects prediction with contextual parameters.
Before conducting any experiment, the data is explored in details. Then, to classify changes, we try several types of algorithms, including boosting ensembles, support vector machines, neural networks, ... Transfer learning for NLP is also used with Google’s BERT. The skewness of the labels leads to the exploration of imbal- anced learning solutions. This includes resampling, classes weighting and models selection (like boosting). To assess the performances of the classifiers we develop a custom metric that is inspired from the field of cost sensitive learning.
A comparison with human performances shows the inability of any developed classifier to correctly detect classes. To improve this classifier, We advocate to ex- plore in more details the field of imbalanced learning. We also advocate to use cross-validation techniques applied to temporal data. The development of a cus- tom language model learned on a corpus of texts from NRB may also improve the performances.
1
