Comparaison à d’autres continuums

L’instabilité des coefficients de régression en cas de multicolinéarité des variables

Xse traduit par une augmentation de la norme du vecteur des coefficients de ré-gression [Tomassoneet al., 1983]. La régressionridgeproposée par Hoerl et Kennard [1970] régularise la régression en imposant une norme maximum au vecteur des coefficientsβ, ce qui se traduit par βk =[(X⁰X+kI)⁻¹X⁰y] aveck≥0 [Cazes, 1975]. Pourk=0, les résultats de la régression linéaire multiple sont retrouvés. De Jong et Farebrother [1994] montrent que quand k→ ±∞, les résultats sont ceux de la solution d’ordre un de la régressionPLS. L’introduction du paramètrek stabilise l’inversion de la matrice (X⁰X) ; les effets dus à la quasi-colinéarité des variables

Xsont progressivement éliminés, mais le biais de la régression augmente [Palm et Iemma, 1995]. Frank et Friedman [1993] montrent que la régressionridgeest basée sur la maximisation du critère (4.4).

cov2(y,t_k)

var(t_k)+k ^{avec tk}=Xw_k, ||w_k||=1, k>0 (4.4) L’extension multivariée de la régressionridge [Brown et Zidek, 1980] est une ap-proche complexe basée sur les produits tensoriels.

Principal covariate regression

La méthode principal covariate regression (PCovR) est proposée par De Jong et Kiers [1992]. Elle est basée sur une maximisation pondérée de l’inertie des tableaux

XetYexpliquée par des composantest_α, orthogonales mutuellement et situées dans l’espace des variables deX. De manière plus précise, le critère (4.5) à maximiser est :

α^X

q

cov²(y_q,t_α)+(1−α)^X p

cov²(x_p,t_α) avec t_α=Xw_α, ||t_α||=1, 0≤α≤1(4.5) De Jong et Kiers [1992] montrent que les axesw_α sont les vecteurs propres de la matrice (1/N2)(X⁰X)⁻1X⁰[αYY⁰+(1−α)XX⁰]X. Les cas particuliers de cette méthode sont laPCRpour (α=0) et l’ACPVIpour (α=1). D’après De Jong et Kiers [1992], la solution intermédiaire (α=1/2) peut être comparée à la régressionPLS. Vigneau

et al.[2002] proposent une autre vision de la méthodeprincipal covariate regression.

Elle est basée sur l’ACPde la matriceA=[

√

αY|^p(1−α)X] sous contrainte que les composantest_αde cette ACPsoient situées dans l’espace des variables deXet de norme unité. Les auteurs montrent que la solution est donnée para_α=(X0

4.1 Un continuum pour cadre général aux méthodes liant deux tableaux 63 vecteur propre normé de la matrice (1/N²)(X⁰X)^−1/2X⁰AA⁰X(X⁰X)^−1/2 associée à la plus grande valeur propre. En réalité, cette méthode est équivalente à la méthode

principal covariate regression. En effet :

(1/N²)(X⁰X)^−1/2X⁰AA⁰X(X⁰X)^−1/2a_α=λαa_α

⇔(1/N²)(X⁰X)⁻¹X⁰AA⁰X(X⁰X)^−1/2a_α=λ(X⁰X)^−1/2a_α

⇔(1/N²)(X⁰X)⁻¹X⁰AA⁰Xw_α=λw_α

⇔(1/N²)(X⁰X)⁻¹X⁰[αYY⁰+(1−α)XX⁰]w_α=λw_α

F. 4.2 – Illustration du domaine exploré par la méthodeprincipal covariate regression.

Continuum power PLS

La méthodecontinuum power PLSproposée par De Jonget al.[2001] est une amé-lioration algorithmique de la méthode continuum power regression[Wise et Ricker, 1993], issue des travaux de Lorber et al. [1987]. L’idée de Lorber et al. [1987] est de substituer la matriceX par une “puissance” deX, à travers sa décomposition spectraleX(γ)=UΛγ/2V⁰. Wise et Ricker [1993] appliquent ensuite la régressionPLS

classique à la matriceX^(γ). En faisant varier le paramètreγappliqué à la matrice des valeurs singulières, il est possible de diminuer (γ <1) ou d’augmenter (γ >1) le degré de multicolinéarité des variablesX. Le cas particulier (γ=0) donne la solution de lareduced rank regression, le cas (γ=1) celle de la régressionPLSet le cas (γ→+∞) mène à laPCR.

Joint continuum regression

La méthodecontinuum regressionproposée par Stone et Brooks [1990] pour le cas univarié, et étendue au cas multivarié par Brooks et Stone [1994], est une méthode populaire. Dans le cas d’une seule variableyà expliquer, la méthode est basée sur la maximisation du critèrecov2(y,t_γ)var(t_γ)^γ−1 avect_γ=Xw_γ,||w_γ||=1 etγ≥0. Les

composantes t_γ d’ordre suivant sont obtenues par déflation des variables sur les composantest_γprécédemment obtenues. Les cas particuliers de cette méthode sont la régression linéaire multiple (γ=0), la régressionPLS1 (γ=1) et laPCR(γ→ ∞). Sundberg [1993] montre que lorsqueγvarie entre 0 à 1, l’axew s’oriente vers les directions associées aux plus grandes valeurs propres de la matrice (X⁰X). Dans le cas multivarié oùY=[y₁,...,yQ], le critère de la méthodejoint continuum regression

est basé sur la maximisation du critère (4.6).

X

q

cov²(yq,t_γ)var(t_γ)^γ−1 avec t_γ=Xw_γ, ||w_γ||=1, γ≥0 (4.6) La résolution de cette maximisation admet trois cas particuliers : la méthodereduced

rank regressionissue de l’ACPVIdes tableauxXetY(γ=0) [Burnhamet al., 1999], la

régressionPLS(γ=1) et l’ACPsuivie de la régression sur composantes principales (γ→+∞).

Les deux continuums, continuum power PLS et joint continuum regression, ex-plorent des espaces compris entre les mêmes cas particuliers (ACPVI,PLSetPCR), mais sans emprunter nécessairement les mêmes chemins. Une illustration possible est proposée par la figure 4.3.

F. 4.3 – Illustration des domaines (possibles) explorés par les méthodescontinuum

power PLSetjoint continuum regression.

Analyse canoniqueridge

Vinod [1976] introduit le concept d’analyse canonique ridgepour stabiliser les coefficients issus de l’analyse canonique en cas de multicolinéarité des variables

Xet Y. Cette méthode est une extension directe de la régression ridgepour le cas de plusieurs variables à expliquer [De Bie et al., 2005]. Rosipal et Krämer [2006] introduisent l’analyse canonique ridge en considérant la maximisation du critère

4.1 Un continuum pour cadre général aux méthodes liant deux tableaux 65 (4.7).

cov²(t,u)

[(1−γ1)var(t)+γ1][(1−γ2)var(u)+γ2] ^(4.7) avec t=Xw, u=Yv, ||w||=||v||=1 et 0≤γ1^≤1, 0≤γ2^≤1

La solution est donnée par la décomposition spectrale de la matrice (1/N²)[(1−

γ1)X⁰X+γ1I_P]⁻1X⁰Y[(1−γ2)Y⁰Y+γ2I_Q]⁻1Y⁰X. D’après les résultats précédents (pa-ragraphe 4.1.1 page 59), il est possible d’en déduire que l’analyse canoniqueridge

est basée sur la maximisation du critère cov²(t,u) sous les contraintes de norme

γ1^||w||2+(1−γ1)||t||2=1 etγ2^||v||2+(1−γ2)||u||2=1 avec 0≤γ1^≤1 et 0≤γ2^≤1. Le cas particulier de l’analyse canonique est retrouvé pour (γ1=γ2=0), celui de la régressionPLSpour (γ1=γ2=1) et de la méthodePLSorthonormalisée pour (γ1=1 etγ2=0). On peut noter de plus que le cas (γ1=0 etγ2=1) est celui de l’ACPVI

(non précisé par les auteurs). La figure 4.4 illustre le domaine exploré par le double continuum de l’analyse canoniqueridge.

F. 4.4 – Illustration du domaine exploré par l’analyse canoniqueridge.

4.1.4 Sélection des continuums à explorer dans le cadre du traitement des