L’Analyse en Composantes Principales, en bref ACP, usuelle associ´ee au choix M = Ip et D = n−1In, est une m´ethode d’analyse exploratoire de donn´ees multivari´ees dont l’un des objectifs est la vision plane `a deux dimensions des points lignes et des points colonnes (photos obtenues par projection sur des plans dits factoriels).
Le fait d’envisager des m´etriques plus g´en´erales introduit une distorsion dans la repr´esentation des distances, voir les remarques de la section 2.6. et la section 7.1.3. Ce-pendant, dans la plupart des m´ethodes factorielles, outreD, la m´etrique M est diagonale.
Dans ce cas, pour une vision naturelle d’un point il suffit de multiplier chaque coordonn´ee ipar la racine carr´ee dui`eme ´el´ement diagonal de la m´etrique. Cela est cependant inutile dans l’ACP usuelle o`u tous les points lignes ont le mˆeme poids ainsi que les points colonnes.
Dans l’Analyse Factorielle des Correspondances (AFC) simple ou multiple, des transfor-mations sur les donn´ees sont effectu´ees pour que les distances Euclidiennes associ´ees au triplet correspondent `a la distance duχ2 entre vecteurs des fr´equences conditionnelles des donn´ees d’une enquˆete. La vision naturelle des points n’est pas, dans ce cas, l’objectif `a atteindre.
Calcul Matriciel et Analyse Factorielle des Donn´ees
Les plans factoriels de projection ne sont autres que ceux form´es par les couples de vecteurs des bases orthonorm´ees de la DVS du triplet : (Vi, Vj) pour voir les points lignes, ou (Ui, Uj) pour voir les points colonnes. Reste `a d´ecider quels sont les k meilleurs plans factoriels, c’est `a dire ceux pour qui les photos obtenues seront porteuses d’informations interpr´etables : l’ACP d’ordre k est d´efinie `a partir de la DVS en ´eliminant la part de bruit incluse dans les donn´ees et mesur´ee grˆace au th´eor`eme d’Eckart-Young.
7.2.1 D´ efinitions
La matriceXest suppos´eeD-centr´ee en colonnes `a partir d’une matriceT des donn´ees brutes
X = (In−1In1I′nD)T .
Le point origine de l’espace des points lignes deXs’interpr`ete comme le point ligne moyen, 1I′nDT, du tableau T. La matrice des covariances entre les variables est V=X′DX, celle des produits scalaires entre les individus W = XMX′. `A ces matrices sont associ´es les op´erateurs aux valeurs propres-vecteurs propres de la DVS du triplet.
Op´erateurs en dualit´e et inertie du triplet (X, M, D) – Op´erateur des covariances : VM =X′DXM
– Op´erateur des produits scalaires entre individus :WD=XMX′D – Inertie totale du triplet : kXk2M⊗D =trace(XMX′D) =trace(X′DXM)
Expression tir´ee de la terminologie de la m´ecanique du point mat´eriel, l’“inertie totale” des n points lignes Mi pesant chacunpi
Xn i=1
pikXik2M = Xn
i=1
piXiMXi′ =trace(XMX′D) = kX′k2D⊗M =kXk2M⊗D,
est la mesure du moment d’inertie du nuage desn points par rapport `a l’origine des coor-donn´ees, ici le point ligne moyen. Cette expression mesure l’´eloignement de l’origine des points Mi par les carr´es de leurs distances pond´er´es par les poids statistiques.
Dans le cas particulier M = Ip, l’inertie totale trouve une interpr´etation duale par rap-port aux colonnes de X. En effet, trace(X′DX) = Pp
j=1Vj
j = Pp j=1
Pn
i=1pi(Xij)2 = Pp
j=1
Pn
i=1pi(Tij −Tj)2 est aussi la variance totale c’est `a dire la somme des variances des p variables. Si de plus les variables sont D-centr´ees r´eduites l’inertie totale est dans
ce cas, ´egale `a p.
Proposition :
kXk2M⊗D =trace(Λr) = Xr
i=1
λi.
Preuve: utiliser la DVS du triplet et l’orthogonalit´e des matrices U etV. 2
ACP d’ordre k du triplet (X, M, D)
La matriceX´etant suppos´ee de rangretD-centr´ee en colonne, on appelle ACP d’ordre k, k ≤r, du triplet (X, M, D), la DVS incompl`ete de rang k
Xbk =UkΛ1/2k Vk′, telle qu’elle est d´efinie dans le th´eor`eme d’Eckart-Young.
Les deux formules de transition s’´ecrivent `a l’ordrek
Uk =XMVkΛ−1/2k (∗) et Vk =X′DUkΛ−1/2k (∗∗).
Proposition : L’approximation de rangk deX a pour colonnes (pour lignes) les projec-tions des colonnes (des lignes) de X sur l’espace vectoriel Im Uk (sur Im Vk)
Xbk = ΠDUkX et Xbk′ = ΠMVkX′. 2
Preuve : Faisons la preuve pour les colonnes. La deuxi`eme formule de transition (**) donne
ΠDUkX = UkUk′DX
= Uk(X′DUk)′
= UkΛ1/2k Vk′. 2
7.2.2 Principe fondamental de l’Analyse Factorielle
Ce principe est la justification de la projection du nuage des individus sur les axes factoriels{V1, . . . , Vk}, class´es par ordre d´ecroissant des valeurs propres, λ1 ≥. . .≥λk.
Principe de l’Analyse Factorielle :
Si on admet que le meilleur “clich´e” unidimensionnel est fourni par un axe sur lequel, en projection, le nuage des points lignes est d’inertie maximale, alors, l’axe factorielV1 est le meilleur axe ; ensuite, V2 est meilleur second, orthogonal au premier...
Calcul Matriciel et Analyse Factorielle des Donn´ees
Preuve: Montrons que, parmi tous les vecteurs V ∈(IRp, M) de longueur 1, V1 =arg max
kVk2M=1trace((ΠMV X′)′M(ΠMV X′)D).
La fonction objectif `a maximiser qui est l’inertie des points lignes projet´es sur V, s’´ecrit ϕ(V) =trace((ΠMV X′)′M(ΠMV X′)D) = trace(XMV V′MX′D) =V′MVMV . Ecrivons les ´equations aux d´eriv´ees partielles pour la fonction de Lagrange´
L(V, λ) = ϕ(V) +λ(1−V′MV),
∇VL(V, λ) =∇Vϕ(V)−λ∇V(V′MV) = 2MVMV −2λMV = 0.
ce qui donne λ = ϕ(V) et VMV = λV. D’o`u la conclusion que le maximum est donn´e par V1 vecteur propre de VM associ´e `a la plus grande valeur propre λ1.
Montrons seulement queV2maximiseϕ(V) sous les contrainteskVk2M = 1 etV1′MV = 0.
La restriction de la fonction objectif `a l’espace vectoriel V1⊥ ={V ∈ IRp|V1′MV = 0}, peut s’´ecrire ϕV1⊥(V) = V′M(V − λ1V1V1′)MV. Sur V1⊥, la m´ethode de Lagrange associ´ee `a la contraintekVk2M = 1, conduit `aλ=ϕV1⊥(V) et `a (V−λ1V1V1′)MV =λV. Le maximum est donc r´ealis´e par le couple (V2, λ2), λ2 plus grande valeur propre de (V−λ1V1V1′)M, ´etant la deuxi`eme valeur propre de VM... 2
Remarque : Si tous les points lignes ont le mˆeme poids, le principe de l’analyse factorielle est un principe g´eom´etrique d’allongement maximum des points projet´es sur chacun des axes.
ACP du triplet et “d´eflations” successives de X : Notons X(0) = X, on appelle d´eflation de X `a l’ordre j, j = 1, . . . , k, la matrice,n×p, d´efinie par r´ecurrence,
X(j)=X(j−1)−ΠDUjX(j−1) = (In−ΠDUj)X(j−1). La matrice des covariances d´eflat´ee est not´ee V(j)=X(j)′ DX(j). Proposition :
L’orthonormalit´e des axes factoriels{U1, . . . , Uk} a pour cons´equences : pourj = 1, . . . , k,
a)
ΠDUjX(j) = ΠDUjX =p
λjUjVj′ b)
X(j) =X(j−1)−p
λj−1Uj−1Vj−1′ =X−p
λ1U1V1′−. . .−p
λkUjVj′ =X−Xˆj.
c)
V(j) =V(j−1)−λjVjVj′ =V− Xj
i=1
λiViVi′. 2
Preuve:
a) L’orthogonalit´e donne ΠDUjX(j) = ΠDUj(In−ΠDUj−1)X(j−1)= ΠDUjX(j−1) =. . .= ΠDUjX = pλjUjVj′ grˆace `a la formule de transition (**).
b) De fa¸con ´evidente, en ajoutant les matrices d´eflat´ees, X(j)=X−Pj i=1
√λiUiVi′. c) ´Evident. 2
L’ACP d’ordrekdu triplet (X, M, D) peut donc ˆetre consid´er´ee d’un double point de vue.
D’abord de fa¸con directe, par la DVS du triplet et le th´eor`eme d’Eckart-Young, comme de l’approximation de rang k de X. Ensuite de fa¸con it´erative, comme une suite de k
“r´egressions partielles”, ΠDUjX(j−1) ´etant la r´egression num´ero j de la matrice d´eflat´ee X(j−1) sur la variable Uj. La matrice X(j), de rang r−j, est la matrice des r´esidus de la r´egression partielle num´eroj. La derni`ere matrice des r´esidus,X(k), donne l’approximation de rangk deX par la relation
Xˆk=UkΛ1/2k Vk′ =X−X(k).
7.2.3 L’ACP usuelle d’ordre k
L’ACP usuelle, dite r´eduite ou norm´ee, est l’ACP d’ordre k du triplet (X, M =Ip, D = 1
nIn)
o`u X est form´ee par les n mesures de p variables quantitatives D-centr´ees r´eduites.
Dans ce cas la matrice des covariances V = n1X′X est la matrice des corr´elations entre les p variables. Parfois, lorsque les variables sont “homog`enes”, c’est `a dire ont des variances du mˆeme ordre de grandeur, il n’est pas n´ecessaire de r´eduire les variables. On dit alors que l’ACP est centr´ee.
Remarques :
R1 Les deux op´erateurs VM = n1X′X etWD= n1XX′ jouent un rˆole sym´etrique.
On retrouvera cette sym´etrie des op´erateurs dans le cas o`u, commeDpour les lignes, M est une matrice diagonale des poids statistiques des points colonnes. L’Analyse Factorielle des Correspondances est l’exemple type de ce choix.
Calcul Matriciel et Analyse Factorielle des Donn´ees
R2 Dans l’espace des variables, la D-orthogonalit´e est identique `a l’orthogonalit´e usuelle
< x, y >D= 1ny′x= 0⇐⇒y′x=< x, y >= 0, ΠDX = ΠXn1In = n1X(1nX′X)+X′ =X(X′X)+X′ = ΠIXn.
R3 Puisque M =Ip et D= n−1In, le carr´e de l’erreur d’approximation entre Xbk et X s’´ecrit
kX−Xbkk2M⊗D =trace[(X−Xbk)′D(X−Xbk)M] = 1
nkX−Xbkk2F = Xr i=k+1
λi.