Un SVR (Support Vector Regression) est un séparateur à vaste marge (Support Vector Machine : SVM) utilisé pour la régression de séries temporelles. Les SVRs sont utilisés dans nos travaux pour modéliser les indicateurs de santé construits à partir de données liées au dégradation du composant critique. Avant de présenter les SVRs, nous avons jugé judicieux d’introduire les SVMs.
3.1 Séparateurs à vaste marge
Les séparateurs à vaste marge, appelés également machines à vecteurs de support, sont des tech-niques d’apprentissage supervisées utilisées pour la classification (affectation d’une observation à une classe), la régression (prédiction de la valeur numérique d’une observation) et la détec-tion de formes [156]. ils peuvent donc être utilisés pour détecter à tout instant l’état courant du composant critique. Ils sont une généralisation des classifieurs linéaires et reposent sur deux idées principales : la marge maximale et la fonction noyau. La marge correspond à la plus petite distance entre la frontière de séparation (appelée hyperplan séparateur) et les points les plus proches (appelés vecteurs supports). La fonction noyau permet, dans le cas où les données ne sont pas séparables linéairement, de transformer l’espace de représentation (ensemble des don-nées) en un espace de dimension plus élevée dans lequel il est possible de les séparer linéairement. Les SVMs peuvent être utilisés comme classifieurs bi-classes ou multi-classes sur des données pouvant être séparables ou non séparables [19]. Dans la suite de cette introduction, et dans un souci de clarté, seul le cas bi-classe sur des données non séparables est présenté.
Avant de procéder à la classification par un SVM, on transforme l’ensemble des indicateurs de santé du composant critique en une matrice de données composée de M colonnes (représentant M indicateurs) et N lignes (représentant N observations). Les données contenues dans cette ma-trice, dans laquelle la variable temps n’apparaît pas, peuvent être représentées dans un espace multidimensionnel (cf. figure 3.12). Temps Ind ic a te u rs Indicateur 1 Indicateur 2 xi = xi1 xi = [xi1,xi2] Ind ic a te u r 2 Indicateur 1 x11 … x1j … xiM … … … … … xi1 … xij … … … … … … … xN1 … … … xNM Indicateurs O bs e rv a ti on s
Le but du SVM est de trouver une fonction de classification y(x) à partir de données d’ap-prentissage (figure 3.13). Cette fonction est ensuite utilisée pour classer de nouvelles données.
SVM y(x) = ?
Classe
xi
y( x )i =Ωi
Figure 3.13: Principe de classification par SVM.
Pour séparer les données, on doit accepter que certaines d’entre elles soient mal classées (se re-trouver du mauvais côté des frontières de la marge) en leur attribuant une pénalité qui augmente en fonction de leur éloignement des deux frontières de la marge. On parle ainsi de marge souple (figure 3.14). Pour cela, on introduit des variables ressort (appelées slack variables dans la com-munauté SVM) ξn ≥ 0 avec n = 1, ..., N . On a ainsi une variable ressort pour chaque donnée d’apprentissage, avec ξn = 0 pour les données qui sont du bon côté ou sur la frontière de la marge (données bien classées) et ξn= |ln− y (xn)| pour les autres données ; l ∈ {−1, +1} étant le label correspondant à chaque donnée. Les données qui se trouvent sur l’hyperplan séparateur (y(xn) = 0) vont avoir ξn= 1 et celles qui sont mal classées vont avoir ξn> 1.
Pour résoudre le problème de classification, on cherche un hyperplan séparateur dans l’espace de représentation φ (x) et maximisant la marge. Cet hyperplan est donné sous forme d’une fonction linéaire y(x) :
y (x) = wTφ (x) + b (3.23)
où w et b sont deux paramètres inconnus à estimer à partir des données d’apprentissage et φ (x) une fonction de transformation (cf. section 3.2 du chapitre 2) permettant de passer de l’espace de représentation d’origine vers un espace de dimension plus grande dans lequel il est possible de séparer linéairement les données transformées.
𝜉 > 1
𝜉 < 1
𝜉 = 0 𝜉 = 0
Figure 3.14: Principe du séparateur à marge souple.
Pour trouver les paramètres w et b, on utilise une base de données d’apprentissage composée de N vecteurs x1,..., xN avec des classes labellisées correspondantes l1,..., lN, l ∈ {−1, +1}. On cherche alors à maximiser la marge souple tout en pénalisant les données qui se trouvent du mauvais côté de l’hyperplan séparateur. Cela revient à minimiser la quantité suivante [19] :
η N X n=1 ξn+1 2kwk 2 (3.24)
sous les contraintes :
lny (xn) ≥ −1 + ξn, n = 1, ..., N (3.25)
ξn≥ 0 (3.26)
où η > 0 est un paramètre de réglage qui assure un compromis entre l’erreur de classification et la complexité du modèle recherché.
La minimisation de la quantité donnée par l’équation (3.24) sous les contraintes (3.25) et (3.26) revient à résoudre un problème d’optimisation quadratique pour obtenir les paramètres w et b (voir [19] pour plus de détails). La résolution de ce problème conduit à l’équation de l’hyperplan séparateur qui permet de classer de nouvelles données (valeurs des indicateurs de santé) :
y (x) =
N
X
n=1
anlnk (x, xn) + b (3.27)
Dans l’équation (3.27) k(x, xn) représente la fonction noyau (cf. section 3.2 du chapitre 2) per-mettant de s’affranchir de la définition de la fonction de transformation φ (passage dans un espace de dimension plus grande que la dimension des données d’origine). Le paramètre b est obtenu par une moyenne sur tous les vecteurs supports :
b = 1 NV S X n∈V S ln− X m∈V S amlmk (xn, xm) ! (3.28)
où V S représente le nombre de vecteurs supports (points se trouvant sur la marge ou à l’intérieur de la marge). Dans le modèle (3.27), seuls les vecteurs supports interviennent dans le calcul de la fonction de classification (hyperplan). Les nouvelles observations collectées en ligne peuvent être affectées à l’une des deux classes en fonction du signe obtenu après évaluation de la fonction y(x). Les SVMs peuvent ainsi être utilisés pour estimer l’état de santé courant du composant critique concerné.
3.2 Séparateurs à vaste marge pour régression
Lorsque les SVMs sont utilisés pour la régression, ils sont appelés SVRs. Dans ce cas, la sortie du modèle n’est plus l’appartenance à une classe, mais une valeur réelle (figure 3.15). Les SVRs sont utilisés dans nos travaux sur des indicateurs de santé afin de modéliser la dégradation du composant critique. 𝑥�𝑡+𝑝 SVR 𝑥𝑡 𝑥𝑡−1 𝑥𝑡−2 𝑥𝑡−3
Figure 3.15: Principe simplifié du SVR.
Un SVR est une régression clairsemée (sparse regression) dont l’erreur quadratique de prédiction est légèrement différente de celle d’une régression linéaire. Dans une régression linéaire l’erreur
quadratique est donnée par l’équation suivante : 1 2 N X n=1 {ˆyn− yn}2+τ 2kwk 2 (3.29)
où ˆyn est la valeur estimée par le modèle de régression, yn la valeur réelle, w le vecteur des paramètres de la régression et τ un coefficient de régularisation ajouté pour empêcher le sur-ajustement (overfitting). Dans le cas du SVR, l’erreur quadratique est remplacée par ce qu’on appelle erreur −insensible [19, 156]. Cette erreur est égale à zéro si la valeur absolue de la différence entre la valeur estimée et la valeur réelle est inférieure à , avec ε > 0. Un exemple d’erreur −insensible linéaire en dehors de la région −insensible est donnée par la relation suivante :
Eε(ˆy (x) − y) =
0 si |ˆy (x) − y| < ε
|ˆy (x) − y| − ε sinon (3.30)
Dans un SVR on est amené à minimiser une erreur exprimée par l’équation (3.31) dans laquelle le paramètre η est introduit pour contrôler le compromis entre la précision du modèle et sa complexité. η N X n=1 Eε(ˆy (xn) − yn) +1 2kwk 2 (3.31)
Pour résoudre ce problème, on affecte à chaque point xn de l’indicateur de santé deux variables ressorts ξ ≥ 0 et ˆξ ≥ 0, où ξ > 0 correspond à un point pour lequel yn > ˆy (xn) + ε et ˆξ > 0 correspond à un point pour lequel yn< ˆy (xn) + ε (figure 3.16)
La condition pour qu’un point ynsoit à l’intérieur du −tube est que ˆy (xn)−ε ≤ yn≤ ˆy (xn)+ε.
𝑥 𝑦(𝑥) 𝜉 > 0 𝑦 + 𝜖 𝑦 𝑦 − 𝜖 𝜉̂ > 0 Figure 3.16: Principe du SVR.
Les échantillons qui sont à l’extérieur du tube vérifient les deux conditions suivantes :
yn≤ ˆy (xn) + ε + ξn (3.32)
yn≥ ˆy (xn) − ε − ˆξn (3.33)
avec ξ > 0 et ˆξ > 0.
L’erreur donnée par l’équation (3.31) peut alors être reformulée comme suit :
η N X n=1 ξn− ˆξn +1 2kwk 2 (3.34)
Le modèle de régression peut être ainsi obtenu en minimisant l’erreur formulée par l’équation (3.34) et en tenant compte des contraintes ξ ≥ 0, ˆξ ≥ 0 et de celles données par les expressions (3.32) et (3.33). Cela revient à résoudre un problème d’optimisation quadratique sous contraintes (voir [19] pour plus de détails). La résolution de ce problème conduit au modèle ˆy (xn) permet-tant d’estimer les valeurs de l’indicateur de santé en fonction de nouvelles observations.
ˆ y (xn) = N X n=1 (an− ˆan) k (x, xn) + b (3.35)
Le paramètre b peut être obtenu en prenant un point quelconque pour lequel 0 < an < η et ξn= 0 et qui vérifie ε + ˆyn− yn= 0 : b = yn− ε − N X m=1 (am− ˆam) k (xn, xm) (3.36)
Il est également possible d’utiliser un point pour lequel 0 < ˆan< η.
Pour rappel, dans un SVR les vecteurs supports sont les points pour lesquels an6= 0 ou ˆan6= 0, c’est à dire, les points qui se trouvent sur les frontières du −tube ou à l’extérieur du tube. Ce sont les seuls points qui interviennent dans le modèle de régression (3.35). Les points qui sont à l’intérieur du tube n’interviennent pas dans l’estimation des sorties de nouvelles données d’entrée. Ce résultat est important lors de la mise en œuvre du modèle SVR obtenu puisqu’il permet de réduire le temps de calcul.
La procédure à suivre pour modéliser la dégradation du composant critique en utilisant les SVRs sur des indicateurs de santé est résumée ci-dessous. Cette procédure a été appliquée sur deux types de composants : la dégradation des roulements [134] et l’usure des outils de coupe [16, 17].
1. Construire l’indicateur de santé.
2. Définir les paramètres du SVR : η et k(x, xn).
3. Apprendre le modèle de régression ˆy (xn) =
N
P
n=1
(an− ˆan) k (x, xn) + b à partir des indica-teurs de santé disponibles.
4. Exploiter le modèle appris pour estimer en ligne l’état de santé du composant.
Le modèle de régression obtenu peut être également ajusté à un modèle analytique (de type polynômial, exponentiel, etc.) pour prédire l’état de santé du composant.
3.3 Choix du paramètre η
Le paramètre η, dont les valeurs sont strictement positives, est utilisé dans les SVRs pour assurer un compromis entre l’erreur d’apprentissage et la complexité du modèle. Une valeur importante de ce paramètre conduit à une diminution de l’erreur d’apprentissage, mais augmente la com-plexité du modèle de régression. Pour le définir, on peut réaliser plusieurs tentatives d’appren-tissage/test en modifiant à chaque fois sa valeur, puis on estime et trace l’erreur d’apprentissage et la complexité (ordre du modèle de régression) en fonction des valeurs prises par η. Les ten-tatives d’apprentissage/test peuvent être réalisées avec la méthode de validation croisée (cross validation) [19].