Les Régressions

L’analyse en régression a pour but d’estimer statistiquement la relation entre une variable dépendante et une ou plusieurs variables indépendantes, dites prédicteurs. Les ré- gressions peuvent ainsi aider à modéliser l’évolution d’une grandeur physique en se servant d’un ensemble de données d’autre nature mais qui se corrèlent avec la variable indépen- dante, sans qu’il soit nécessaire de modéliser les phénomènes contenus dans la fonction de transfert physique. Soient 𝑥_𝑘 (𝑘 = 1, … , 𝑀) un ensemble de 𝑀 prédicteurs et 𝑦 une variable pour laquelle l’on souhaite établir une relation avec les prédicteurs. La relation li néaire entre ces variables s’écrit :

𝑦 = 𝑏1𝑥1+ 𝑏2𝑥2+ 𝑏3𝑥3+ ⋯ + 𝑏𝑀𝑥M+ 𝑒 = 𝒙∗𝒃 + 𝑒 (2.80)

où les 𝑏_𝑘’s sont les sensibilités et 𝑒 est l’erreur résiduelle. Si l’on souhaite identifier une relation pour 𝑁 variables dépendantes, elles peuvent s’écrire comme un vecteur colonne 𝒚, le vecteur de sensibilité 𝒃 reste inchangé et les vecteurs 𝒙_𝑘∗ forment les colonnes de la ma- trice de prédicteurs 𝑿 :

𝒚 = 𝑿𝒃 + 𝒆 (2.81)

Dans la majorité des cas pratique, le nombre de échantillons est plus grand que le nombre de variables (𝑁 > 𝑀) et, par conséquent, une solution exacte pour 𝒃 ne peut pas être directement calculée. Une approximation de la solution est souvent trouvée en minimi- sant l’erreur résiduelle (𝒆 = 𝒚 − 𝑿𝒃) à partir de la Méthode des Moindres Carrés, qui s’écrit ici tel que définie par Geladi et Kowalski (104) :

𝒃 = (𝑿′_𝑿)−1_𝑿′_{𝒚 (2.82)}

Toutefois, quand les données qui constituent la matrice de prédicteurs 𝑿 sont co- linéaires entre elles, l’inverse de 𝑿′_{𝑿 peut ne pas exister. Ceci représente la plus grande}

limitation de la Régression Linéaire Multiple (MLR). En effet, il peut y avoir pl usieurs sources de colinéarité parmi les prédicteurs (consulter Belsley et al. (105)). Pour éviter ce problème, de nouvelles techniques ont été développées et permettent d’extraire, parmi les variables indépendantes, un sous-ensemble de variables avec le plus grand pouvoir de pré- diction. Les techniques de la Régression en Composantes Principales (PCR) et la Régres- sion Partielle aux Moindres Carrées (PLSR) sont présentées par la suite.

2.4.2.1 La Régression en Composantes Principales (PCR)

Une matrice de données 𝑿 peut être approximée par le produit de deux petites matrices, 𝑻 et 𝑷∗, de manière à ce que les propriétés intrinsèques aux données de la matrice originale soient conservées dans les nouvelles matrices. Cette décomposition matricielle peut être réalisée au moyen de l’Analyse aux Composantes Principales (PCA). Première- ment pensé par Pearson (106) et ensuite développé par Wold (107) et Hotelling (108), la PCA réalise itérativement la projection des colonnes de X dans des vecteurs colonnes 𝒕_ℎ ainsi que la projection de ses lignes dans des vecteurs ligne 𝒑_ℎ∗ ; ces vecteurs sont orthogo- naux, soit 𝒑_𝑖∗𝒑_𝑗 = 0 et 𝒕_𝑖∗𝒕_𝑗= 0 pour 𝑖 ≠ 𝑗. Pour plus de détails sur l’algorithme de décom- position matricielle, le lecteur pourrait consulter Wold et al. (109).

Le résultat de la PCA revient à représenter la matrice des données 𝑿 au moyen de la matrice 𝑻, dont les dimensions présentant les plus petites valeurs propres ne sont pas prises en compte (les valeurs propres sont calculées lors du processus itératif de projection de la matrice 𝑿 qui donne origine aux vecteurs 𝒕_ℎ et 𝒑_ℎ∗, décrit par la référence (104)). La transformation s’écrit :

𝑻 = 𝑿𝑷 = (𝑻𝑷∗_{)𝑷 = 𝑻𝑰 (2.83)}

où 𝑰 est la matrice Identité. De cette manière, l’équation 2.81 peut assumer la forme :

𝒀 = 𝑻𝑩 + 𝑬 (2.84)

dont la solution du problème aux moindres carrées serait 𝑩̂ = (𝑻∗𝑻)−1𝑻∗𝒀. L’in- verse de la matrice 𝑻∗𝑻 ne pose pas un problème, puisque ses colonnes sont mutuellement orthogonales et la matrice est bien conditionnée. Ainsi, la PCR résout le problème de la colinéarité de la matrice des données et en plus permet d’éliminer partiellement le bruit dans les prédicteurs, au moyen de l’élimination des données à petit pouvoir prédictif. Pour plus de détails sur l’implémentation numérique de la PCR, consulter Dunn et al. (110).

La PCA peut être interprétée comme une méthode pour retrouver les axes princi- paux sur lesquels la projection du nuage de données (prédicteurs de la PCR) possède la plus petite variance. Les axes de la PCA sont connus comme variables latentes ; les directions des variables latentes dans l’espace des données est défini par les vecteurs 𝒑ℎ∗, dites char-

gements, tandis que la positions des données par rapport à ces axes est spécifiée par les vecteurs 𝒕_ℎ, les scores de la PCA. L’orthogonalité entre les axes permet d’éviter les pro- blèmes de mauvais conditionnement de la matrice des données et le choix des axes aux plus petites variances permet d’optimiser les données utilisées pour la prédiction des coefficients issus de la PCR. Néanmoins, les variables latentes ne sont pas choisies en fonction de leur

corrélation avec les variables dépendantes. Ainsi, la PLS est une évolution de la PCR puisque cette méthode construit une relation intérieure reliant les prédicteurs au x variables à estimer.

2.4.2.2 La Régression Partielle aux Moindres Carrés (PLSR)

Les régressions peuvent être utilisées pour modéliser une grandeur à partir d’un ensemble de données différentes en nature mais corrélées avec les variables à modéliser. Pour ces cas, la technique de régression doit d’abord être alimentée par la relation existante entre les prédicteurs et les variables dépendantes appartenant à un ensemble dit ensemble d’apprentissage. Les coefficients de régression ainsi obtenus doivent être capables de mo- déliser au mieux le comportement de la corrélation qui existe entre les prédicteurs et les variables dépendantes, de façon à pouvoir réaliser, dans un deuxième temps, des estimations fiables des données dépendantes non renseignées, appartenant à un ensemble de test.

Dans ce contexte, le concept de bruit ne se limite pas à la notion habituelle du bruit aléatoire de mesure ; tout aspect des prédicteurs qui n’est pas caractéristique d’un compor- tement global des données indépendantes est aperçu comme un bruit de modélisation. Les coefficients de régression obtenus avec du bruit peuvent estimer de façon satisfaisante les variables contenues dans l’ensemble d’apprentissage, mais la qualité de la modélisation sera nécessairement réduite sur l’ensemble de test.

La PLSR (Geladi et Kowalski (104), Höskuldsson (111), Wold (112)) maximise le pouvoir de prédiction tout en minimisant le nombre de variables indépendantes. Contrai- rement à la PCA, la PLS choisit les variables latentes de manière à ce qu’elles soient cor- rélées avec les variables à estimer. Ceci est atteint au moyen de la construction d’une rela- tion entre le bloc des prédicteur et le bloc des variables à estimer. En principe, des relations dites extérieures à chaque bloc sont définies comme pour la PCA :

𝑿 = 𝑻𝑷∗_{+ 𝑬 ;𝒀 = 𝑼𝑸}∗_{+ 𝑭 (2.85)}

Durant le processus itératif de calcul des matrices, les scores des blocs des prédic- teurs et des variables à estimer sont échangés entre eux, criant ainsi une relation intérieure reliant les deux blocs. Plusieurs algorithmes PLS basés sur ce principe existent, parmi les- quels figurent le NIPALS (Nonlinear Iterative Partial Least Squares, Wold (113,114)), le SIMPLS (de Jong (115), de Jong et Ter Braak (116)), l’UNIPALS (Universal Partial Least Squares, Glen et al. (117)) et variantes de ces algorithmes.