Analyse en Composante Principale : ACP

Notons que dans cette proposition, l’inertie se d´ecompose comme la somme des parts d’inerties expliqu´es par les sous espaces associ´es aux diff´erents projecteurs Pjj ∈ {1, 2, . . . , d} que l’on pourra affecter aux diff´erents facteurs du mod`ele.

2.3.2 Analyse en Composante Principale : ACP

L’Analyse en Composante Principale (ACP) introduit par Pearson (1901) [112] est un outil largement utilis´e dans l’analyse de donn´ees multidimensionnelles (voir Jolliffe 2002 [82] ; Anderson 2003 [11] ; Saporta 2006 [131] ) et surtout comme une technique optimale de r´eduction de la dimension en terme de perte minimale de l’information sur le ph´enom`ene ´etudi´e. L’ACP est la premi`ere approche d’exploration de donn´ees en vue d’analyses approfondies qui permet d’identifier les principaux types de courbes que consti-tuent les donn´ees. Elle apporte une meilleure information sur la structure de la matrice de variance covariance qui, toute seule, est difficile `a interpr´eter. La r´eduction de la di-mension permet la visualisation des donn´ees dans un plan par exemple.

Le principe de l’ACP consiste `a d´eterminer un sous-espace de dimension r´eduite qui soit optimal au sens o`u le sous espace retenu d´eforme le moins possible la projection des donn´ees sur ce dernier. Statistiquement, l’ACP revient `a chercher une combinaison lin´eaire (produit scalaire usuelle) des variables ou caract`eres qui maximisent l’inertie. For-mellement, l’ACP revient `a chercher une nouvelle base de telle sorte que les premiers axes expliquent le maximum de l’inertie.

Consid´erons Y la matrice de donn´ees et supposons sans perdre de g´en´eralit´e que ces colonnes sont centr´ees. Consid´erons la matrice V de type (I ×I) dont les vecteurs colonnes vjj ∈ {1, 2, . . . , T } constituent une base B de l’espace R^T. La matrice de projection sur la base B se d´efinit par

⊥

H

⊥

V = VV⁰. La projection de l’individu Yi de R^T sur B vaut VV⁰Yi et la perte d’information associ´ee `a cette projection est Yi− VV0Yi. La fonction perte l(Y, B) occasionn´ee lors de la projection de tous les individus sur la nouvelle base B s’´ecrit :

l(Y, B) = N X i=1 ||Y_i− VV⁰Y_i||² = ||Y⁰− VV⁰Y⁰||²_F (2.3.30)

La recherche de la base B ou la sous base qui minimise cette perte d’information s’´ecrit

2.3 Analyse des donn´ees multivari´ees et r´eduction de la dimension 73

alors comme un probl`eme d’optimisation ou de r´egression suivant : ˆ

V = arg min

V ||Y⁰− VV⁰Y⁰||²_F (2.3.31)

s.c V⁰V = I

La matrice ˆV est l’estimateur de la matrice habituelle de vecteurs propres et la ki`eme composante principale est d´efinie par h<sub>k</sub> = YV<sub>k</sub>. La norme au carr´e de h<sub>k</sub> repr´esente la ki`eme valeur propre.

Notons que les composantes principales correspondent `a la projection des donn´ees initiales dans la nouvelle base d´efinie par ˆV et qu’elles constituent de nouvelles variables non corr´el´ees qui r´esument au maximum l’information. Dans le cas des variables continues ou ”sampled” ACP selon Jolliffe (2002) [82], les propri´et´es de convergence et de consistance des estimateurs des valeurs propres et des vecteurs propres furent ´etudi´ees par Dauxois et al ., 1982 [44] ; Bosq (2000) [24] ; Hall and Nasab (2006) [64]. Hall et al . (2006) [63] proposent un d´eveloppement du genre Taylor des valeurs propres et des vecteurs propres. Choix de la dimension

La principale difficult´e dans la r´eduction de la dimension par l’ACP est justement le choix de la dimension acceptable pour mieux conserver l’information. Plusieurs crit`eres de moins ´elabor´es ou heuristiques au plus rigoureux furent consid`eres dans la litt´erature : – Les proc´edures heuristiques couramment utilis´ees consistent i) `a choisir toutes les

composantes dont les valeurs propres sont sup´erieures `a un (λ<sub>k</sub> > 1, ∀ k ∈ {1, 2, . . . , d}) selon le crit`ere de Kaiser-Guttman ii) `a repr´esenter les valeurs propres et ensuite s´electionner les valeurs propres qui ne semblent pas ˆetre align´ees sur une droite (m´ethode bas´e sur la rupture de pente ou scree plot de Zebra and Collins, 1992 [162]) iii) `a retenir les valeurs propres qui sont sup´erieures `a leurs valeurs critiques fournies par la distribution des bˆatons (mod`ele de la rupture de bˆaton de Fron-tier, 1976 [54]) iv) `a choisir les k premi`eres composantes dont la somme des valeurs propres est sup´erieure `a un seuil fix´e (crit`ere de proportion d’inertie de Jolliffe, 1986 [83]). G´en´eralement les 5 premi`eres composantes expliquent plus de 95% de l’inertie. – Les approches statistiques sont nombreuses (voir Jolliffe, 2002 [82] ; Jackson, 1991 [79] ; Peres-Neto et al ., 2005 [113]) et nous ne consid´erons ici que des m´ethodes qui tentent de formaliser les approches heuristiques mentionn´ees ci-dessus. Ander-son (1963) [9] proposa un test de rapport de vraisemblance pour identifier les va-leurs propres suffisamment petites pour ˆetre n´eglig´ees. L’hypoth`ese nulle suppose

2.3 Analyse des donn´ees multivari´ees et r´eduction de la dimension 74

une ´egalit´e entre les valeurs propres n´eglig´ees. Ce d´eveloppement fut ´elabor´e en consid´erant une distribution multi-normale pour le vecteur de variables.

Besse (1992) [21] proposa un crit`ere plus rigoureux qui garantit la stabilit´e de la projection des individus et qui permet de choisir la dimension sans aucune hypoth`ese sur la distribution des donn´ees. Le crit`ere propos´e est l’´ecart entre la matrice de pro-jection th´eorique V<sup>0</sup>V et celle estim´ee ˆV0V. Cette fonction de risque est inversementˆ proportionnelle `a l’ ´ecart entre les valeurs propres. Ainsi, plus la diff´erence entre les valeurs propres est grande mieux on conserve l’information. Dans ces conditions, le choix de la dimension revient `a minimiser le crit`ere de perte de Besse.

La m´ethode de proportion d’inertie facile `a mettre en œuvre est jug´ee peu fiable par Jackson (1991) [79] pour d´eterminer le nombre de composantes `a retenir sans perdre de l’information ni ajouter du bruit. Cependant, dans le cas de l’AS, ce crit`ere est pertinent dans la mesure o`u nous cherchons `a expliquer la variabilit´e totale des donn´ees. Il est alors essentiel de savoir quel pourcentage de variabilit´e est n´eglig´e. Une ´etude comparative de l’efficacit´e et de la robustesse de plus de 20 approches pour le choix de la dimension fut consid´er´ee dans Peres-Neto et al . (2005) [113], Jackson (1993) [78]. Il ressort de ces ´etudes que l’efficacit´e de ces crit`eres d´epend largement du niveau de corr´elation des variables et de la taille de la matrice. Les techniques heuristiques semblent ˆetre peu performantes.

Variante d’ACP

Les sorties des mod`eles dynamiques peuvent ˆetre consid´er´ees comme des s´eries tempo-relles particuli`eres et faire l’ACP sur ces sorties peut conduire parfois `a des composantes chaotiques difficiles `a interpr´eter. Particuli`erement, les sorties des mod`eles de cultures sont affect´ees par le climat en g´en´erale et la temp´erature en particulier. Il est int´eressant d’in-troduire des contraintes de r´egularit´es pour lisser les composantes. Ramsay et al . (1997 [118], 2002 [119]) proposent diverses m´ethodes de l’ACP liss´ee. L’ACP liss´ee consiste `a ajouter une p´enalit´e de r´egularisation (d´erivabilit´e et continuit´e) sur les vecteurs propres dans la r´egression pr´esent´ee dans l’´equation (2.3.31). De mˆeme en rempla¸cant la p´enalit´e L<sub>2</sub> sur les vecteurs propres par la p´enalit´e L<sub>1</sub> ou une combinaison des deux p´enalit´es, Zou et al . (2006) [164] proposent le ”sparse” PCA qui permet de n´egliger enti`erement la faible contribution de certaines variables dans la construction des composantes principales. Un autre inconv´enient de l’ACP est son incapacit´e `a capter ou `a r´esumer la non lin´earit´e entre les variables initiales. L’astuce pour introduire la non lin´earit´e est de

2.3 Analyse des donn´ees multivari´ees et r´eduction de la dimension 75

placer les composantes lin´eaires usuelles ou de fa¸con ´equivalente les fonctions lin´eaires des variables par des fonctions quelconques. En particulier, le ”kernel” ACP est obtenu en rempla¸cant le produit scalaire par un noyau (Dong et McAvoy, 1996 [45]). La difficult´e pratique de cette m´ethode demeure le choix de le fonction ou du noyau pour d´ecrire la non lin´earit´e.

Dans la recherche de bases V adapt´ees sur lesquelles il faut projeter les donn´ees, une extension de l’ACP consiste `a se donner une base puissante et efficace pour approximer les donn´ees ou une base sur laquelle il faut faire la r´egression (Campbell et al ., 2006 [31]). Ceci permet de capter la non lin´earit´e et de tenir compte de la vraie structure des donn´ees. Si le ph´enom`ene ´etudi´e est cyclique et p´eriodique, la base de Fourier serait bien adapt´ee pour capter le maximum de variabilit´e. L’ACP ”spline” en est un exemple dans le cas o`u les bases splines sont consid´er´ees.

Consid´erons ψ1, . . . ψd une base multivari´ee quelconque, la projection des sorties de mod`eles dynamiques sur cette base revient `a approximer f (z, t) par :

f (z, t) ≈

d

X

k=1

a_k(t)ψ_k(z). (2.3.32)

Cette approximation ouvre la voie vers la r´egression `a coefficients variables ou `a coefficients fonctionnels Cai et al . (2000) [30]. Les diff´erentes bases et leurs propri´et´es sont pr´esent´ees dans la Section 2.3.5. Le grand inconv´enient de cette approche est qu’il faudrait une dimension un peu ´elev´ee pour capter le maximum de variabilit´e.