Application du LASSO

Dans cette partie, nous exposons les résultats obtenus par simulation d'un algorithme qui permet d'extraire, à partir des données obtenues par l'algorithme Elastic Net, les attributs corrélés et qui permet de les regrouper dans des ensembles. Pour α strictement comprise entre 0 et 1, nous résolvons le problème suivant :

min 𝛽0,𝛽[ ¹ 2𝑁^{∑(𝑦𝑖 − 𝛽0− 𝑥𝑖} 𝑇𝛽)²+ 𝜆 𝑃_𝛼(𝛽) 𝑁 𝑖=1 ] (4.15)

où 𝛽 est le vecteur de régularisation et 𝛽₀ le terme constant et :

𝑃_𝛼(𝛽) =^{(1 − 𝛼)}

2 ‖𝛽‖₂2+ 𝛼‖𝛽‖₁ (4.16)

Dans toutes les simulations, on prend α=0.4, on choisit cette valeur de α en fonction des résultats expérimentaux.

On définit 200 observations dans ℝ10. Parmi les 10 attributs certains permettent de discriminer deux classes, d'autres pas. Les attributs invariants sont des bruits qui suivent une distribution normale standard. Les attributs variant suivent une distribution normale avec une différence de moyennes entre les classes. On considère que les paires d'attributs (a2 et a4) et (a3 et a5) sont corrélés entre eux respectivement de façon que a4=2a2 et a5=3a3.

La Figure 4.1 présente respectivement l'attribut a1 et l'attribut a2 sur les deux classes (les 100 premières observations sont de la classe 1, les 100 suivantes de la classe 2). L'attribut a1 est non pertinent, il ne présente aucun changement entre les deux classes. En revanche, la distribution de l'attribut a2 change entre les deux classes.

On applique l'algorithme Elastic Net sur ces données. La Figure 4.2 montre les coefficients obtenus par l'application de Elastic Net en fonction de Lambda (λ) (échelle logarithmique).

76

Dans la Figure 4.2, chaque courbe présente la variation du coefficient β d'un des attributs en fonction de λ. Les numéros indiquent le numéro de l'attribut auquel correspond chaque courbe.

Figure 4.1 Attribut a1 et attribut a2 sur les deux classes.

77

Chaque groupe d'attributs ayant une valeur de β égale à zéro pour une même valeur de λ présente un groupe d'attributs corrélés entre eux.

Les résultats montrent ainsi que les attributs a3 et a5 sont corrélés entre eux, de même pour les attributs a2 et a4.

Pour clarifier les résultats obtenus, la Figure 4.3 présente une matrice symétrique dont chaque élément montre la différence Δλ_mn où Δλ_mn = λ_m− λ_n, λ_m étant la valeur de λ pour laquelle le coefficient β de l'attribut am est nul pour la dernière fois et λ_n étant la valeur de λ pour laquelle le coefficient β de l'attribut an est nul pour la dernière fois (Figure 4.2). Pour deux attributs am et an

corrélés Δλ_mn = 0. On trouve que Δλ₂₄ = 0 et Δλ₃₅= 0, ce qui assure que les attributs a2 et a4

sont corrélés entre eux, de même pour les attributs a3 et a5.

Figure 4.3 : 𝚫𝛌_𝐦𝐧 suivant Elastic Net pour (a2 et a4)( a3 et a5) corrélés.

Dans un deuxième exemple, on prend aussi 10 attributs et 200 observations où les ensembles d'attributs (a2 et a4) et (a3, a5 et a8) sont corrélés entre eux respectivement de façon telle que a4=2a2

et a5=3a3 et a8=4a3. On applique l'algorithme Elastic Net sur ces données. La Figure 4.4 montre les coefficients β obtenus par l'application de Elastic Net en fonction de Lambda (λ) (échelle logarithmique).

Les résultats montrent que les attributs a3, a5 et a8 sont corrélés entre eux, de même pour les attributs a2 et a4.

78

Figure 4.4 Elastic net (a2 et a4)(a3, a5 et a8) corrélés

De même, la Figure 4.5 présente une matrice symétrique dont chaque élément montre la différence Δλ_mn où Δλ_mn = λ_m− λ_n, λ_m étant la valeur de λ pour laquelle le coefficient β de l'attribut am est nul pour la dernière fois et λ_n étant la valeur de λ pour laquelle le coefficient β de l'attribut an est nul pour la dernière fois (Figure 4.4). Pour deux attributs am et an corrélés Δλ_mn= 0. On trouve que Δλ₂₄ = 0, Δλ₃₅= 0, Δλ₃₈= 0 et Δλ₅₈ = 0, ce qui assure que les attributs a2 et a4 sont corrélés entre eux, de même pour les attributs a3, a5 et a8.

79

Dans cette partie, on génère deux classes de signaux en utilisant deux filtres Butterworth différents. Chaque classe se compose de 50 signaux. On extrait plusieurs attributs des 100 signaux. Ces attributs sont : fréquence moyenne statistique du signal (MPF), coefficient de dissymétrie (Cd), Kurtosis (Ca), fréquence médiane (fmed), fréquence pic (pf).

En premier lieu, on applique l'algorithme Elastic Net sur ces signaux avec 7 attributs (MPF, Cd, x, Ca, fmed, pf, 5*MPF); où x est un attribut indifférent (bruit). La Figure 4.6 montre les coefficients obtenus par l'application de Elastic Net en fonction de Lambda (λ) (échelle logarithmique).

Figure 4.6 Elastic Net sur 100 signaux de 2 classes et 7 attributs

Les résultats montrent que les attributs MPF, fmed et 5*MPF sont corrélés, ce qui correspond bien au résultat attendu.

De même pour clarifier les résultats obtenus, la Figure 4.7 présente une matrice symétrique dont chaque élément montre la différence Δλ_mn où Δλ_mn= λ_m− λ_n, λ_m étant la valeur de λ pour laquelle le coefficient β de l'attribut am est nul pour la dernière fois et λ_n étant la valeur de λ pour laquelle le coefficient β de l'attribut an est nul pour la dernière fois (Figure 4.6). Pour deux attributs am et an corrélés Δλ_mn = 0. On trouve que Δλ_MPF,fmed = 0, Δλ_MPF,5∗MPF = 0, Δλ_fmed,5∗MPF= 0, ce qui assure que les attributs MPF, fmed et 5*MPF sont corrélés entre eux.

80

Figure 4.7 𝚫𝛌𝐦𝐧 suivant Elastic Net (MPF, fmed et 5*MPF corrélés).

Puis on applique l'algorithme Elastic Net sur ces signaux avec 6 attributs (x, MPF, Cd, Ca, fmed, pf); où x est un attribut indifférent (bruit). La Figure 4.8 montre les coefficients β obtenus par l'application de Elastic Net en fonction de Lambda (λ) (échelle logarithmique).

Cette simulation nous fait aboutir au même résultat : les attributs MPF et fmed sont corrélés.

Figure 4.8 Elastic net sur 100 signaux de 2 classes et 6 attributs.

De même pour clarifier les résultats obtenus, la Figure 4.9 présente une matrice symétrique dont chaque élément montre la différence Δλ_mn où Δλ_mn= λ_m− λ_n, λ_m étant la valeur de λ pour

81

laquelle le coefficient β de l'attribut am est nul pour la dernière fois et λ_n étant la valeur de λ pour laquelle le coefficient β de l'attribut an est nul pour la dernière fois (Figure 4.8). Pour deux attributs am et an corrélés Δλ_mn= 0. On trouve que Δλ_MPF,fmed = 0, ce qui assure que les attributs MPF et fmed sont corrélés entre eux.

Figure 4.9 𝚫𝛌_𝐦𝐧 suivant Elastic Net (MPF et fmed corrélés).