Régression non linéaire

La régression non linéaire (N LR) consiste à ajuster un modèle non linéaire pour un ensemble de valeurs afin de déterminer la courbe qui se rapproche le plus de celle des données d’une variable aléatoire dépendante Y en fonction de variables de prédiction indépendantes X(X1, ..., Xp) [62, 63]. Le but de cette méthode est donc de trouver une équation qui permet de décrire les données de sortie en fonction des données d’entrées grâce à un ensemble de données d’apprentissage, et partant de prédire la sortie pour une nouvelle observation dont les paramètres sont pris en entrée [64].

L’ajustement du modèle non linéaire consiste à déterminer les paramètres de l’équation qui permettront de minimiser l’erreur S=||ri||; avec ri =yi−f(xi) étant l’écart entre la sortie attendue (valeur mesurée) et la sortie produite (valeur prédite) par le modèle. Il existe plusieurs types de normes utilisées pour effectuer cette évaluation de l’erreur, mais la plus courante est la norme euclidienne. Cette minimisation de l’erreur requiert pour sa mise en œuvre la méthode des moindres carrés.

La méthode des moindres carrés est une méthode permettant de comparer et de mini-miser l’erreur entre les données expérimentales et les données produites par un modèle [65]. Cette méthode permet de déterminer, parmi un ensemble de fonctions, celle qui reproduit le mieux les données expérimentales. Le but, reste donc d’estimer au mieux la variable dépendante Y en fonction des variables indépendantes regroupées enX, en

minimisant l’erreur d’estimation. Cette technique s’appelle aussi l’ajustement par la mé-thode des moindres carrés. La mémé-thode des moindres carrés permet de construire un estimateur f(x, θ) qui décrit au mieux les données. Son objectif est de trouver les pa-ramètres optimaux θ qui minimisent la somme S(θ) des erreurs quadratiques entre les données prédites et les données de mesures. Cette somme des erreurs quadratiques est définie par (2.18). S(θ) = N X i=1 r²_i(θ) = N X i=1 (yi−f(xi, θ))² (2.18) L’apprentissage dans la méthode de régression non linéaire consiste à trouver les pa-ramètres optimauxθ, donc de trouverθtel que la sommeS(θ) soit minimale. Pour avoir la valeur minimale de S(θ), il faut trouver la valeur de θ qui annule la dérivée de S(θ) en fonction de θ [66]. L’ajustement des paramètres peut se faire grâce à un algorithme itératif consistant à exécuter les étapes suivantes :

1. définir une valeur initiale ˆθ₀ du paramètre ;

2. calculer l’estimateuri+ 1en fonction de l’estimationi;

3. on s’arrête lorsque l’écart entre l’erreur obtenue à l’étape i et l’étape i+ 1 est négligeable

Il peut exister des minimums locaux dans la fonction, qui ne donnent pas la valeur optimale du paramètre, mais qui annulent tout de même la dérivée de la fonction, par conséquent, il importe de prendre plusieurs valeurs initiales du paramètre pour augmen-ter les chances de tomber sur le minimum global de la fonction.

Cette méthode basée sur la régression non linéaire a été utilisée pour l’évaluation de la qualité des images et des vidéos dans [8, 67]. Les modèles d’évaluation sont construits à partir d’un ensemble de caractéristiques extraites soit d’une image (dans les cas d’une évaluation sans référence), soit de la comparaison de l’image originale à l’image déformée. 2.4.6 Arbre de décision

La méthode d’apprentissage automatique basée sur les arbres de décision est une méthode d’apprentissage visant à créer un modèle sous forme d’arbre qui prédit la valeur d’une cible (ou variable dépendante), sur la base d’un ensemble de valeurs d’entrées (ou variables indépendantes) [68]. Un exemple d’un modèle d’arbre de décision est présenté dans la Figure 2.16. Il est constitué de quatre variables indépendantes prises en entrée et d’une variable dépendante continue en sortie. Les méthodes d’apprentissage automatique basées sur les arbres de décision se divisent en deux grandes catégories [69] :

— les arbres de régression, lorsqu’il s’agit d’un problème de prédiction avec la variable à prédire continue ;

— les arbres de classification, dont l’objectif est de construire des groupes homogènes dans l’espace de descripteurs.

Cette méthode est plutôt simple à implémenter. Elle consiste à trouver un partition-nement des individus que l’on représente sous la forme d’un arbre de décision. L’objectif

Racine

Branches Feuilles Nœud de

décision

Figure2.16 – Exemple d’un arbre de décision binaire

est de produire des groupes d’individus les plus homogènes possibles du point de vue de la variable à prédire. Un arbre de décision se construit selon un processus récursif et itératif qui est le partitionnement [70]. Ce processus de partitionnement divise les données en partitions ou branches de l’arbre jusqu’à l’obtention de feuilles pures. Dans ces structures d’arbres, les feuilles représentent les étiquettes des classes et les branches représentent les conjonctions de caractéristiques qui conduisent à ces étiquettes de classe. Le premier sommet (situé au premier niveau dans l’arbre) est la « racine » de l’arbre.

Le modèle de prédiction peut être très facilement lu. On peut traduire un arbre en une base de règles sans altération d’informations. Le chemin menant d’un sommet vers la racine de l’arbre peut être traduit en une partie prémisse d’une règle de prédiction de type attribut-valeur (« SI attribut 1 = valeur 1 ET attribut 2 = valeur 2 » . . . alors « sortie = valeur x ») [71]. Pour classer un nouvel individu, il suffit de l’injecter dans l’arbre, et de lui associer la conclusion attachée à la feuille dans laquelle il aboutit.

L’apprentissage automatique utilisé par la méthode des arbres de décision est un ap-prentissage supervisé. Le gros du problème est donc de construire l’arbre à partir des données d’apprentissage. Pour ce faire, il importe de répondre aux questions suivantes : comment faire le choix de la variable de segmentation sur un nœud ? Comment fixer les seuils ? Comment définir la taille de l’arbre ? Comment prendre une décision en cas d’am-bigüité ? Pour ne se limiter aux seules question dont les réponses préfigurent dans cette étude. Il existe plusieurs méthodes d’apprentissage pour les arbres de décision, parmi lesquelles les méthodes : «ID3 » (Inductive Decision Tree) et son successeur «C4.5 »,

«CART » (Classification and Regression Tree), «CHAID» (Chi-Square Automatic In-teraction Detection), «QU EST » (Quick, Unbiased, Efficient Statistical Trees) [72, 73]. En ce qui concerne la segmentation des variables d’entrées, pour chaque variable can-didate, réaliser le partitionnement des observations et calculer un indicateur de qualité ; la variable retenue sera alors celle qui optimise cet indicateur. Les méthodes diffèrent selon la mesure utilisée : par exemple pour évaluer la pertinence de la variable dans la segmentation,CHAID propose d’utiliser le « Khi-2 » d’écart à l’indépendance, dont la formule est donnée en (2.19). Ce critère varie en 0 et +∞, ce qui le rend parfois difficile à manipuler et à interpréter. Pour résoudre ce problème, il est parfois préférable d’utiliser le critère normalisé en 0 et 1en fonction du degré de liberté qu’est le t de T schuprow, dont la formule est donnée en (2.20). Pour les méthodes ID3 et C4.5 le critère utilisé est plutôt l’entropie, dont la formule est donnée en (2.21).

χ²= K X k=1 L X l=1 n_kl− ⁿk.∗n_.l n