Slides ACP

Analyse en composantes principales

Sidi Mohamed oud maou

19 janvier 2015

Sidi Mohamed oud maou Analyse en composantes principales

Introduction

Dans la plupart des applications on observe un nombrep tr`es grand de variables ;

L’´etude univari´ee et bivari´ee est une phase indispensable mais tout `a fait insuffisante ;

Prendre en compte de leur caract`ere multidimensionnel lors de l’analyse ;

l’ACP est une m´ethode puissante pour explorer la structure multidimensionnelle des donn´ees ;

C’est ´egalement la m`ere de la plupart des m´ethodes descriptives multidimensionnelles

Sidi Mohamed oud maou Analyse en composantes principales

Introduction Premiers calculs M´etriques et inertie Projection des individus Interpretation des r´esultats

Exemple

Ci-dessus les notes de neuf ´etudiants dans quatres disciplines

MATH PHYS FRAN ANGL

jean 6.00 6.00 5.00 5.50

alan 8.00 8.00 8.00 8.00

anni 6.00 7.00 11.00 9.50

moni 14.50 14.50 15.50 15.00 didi 14.00 14.00 12.00 12.50

andr 11.00 10.00 5.50 7.00

pier 5.50 7.00 14.00 11.50

brig 13.00 12.50 8.50 9.50

evel 9.00 9.50 12.50 12.00

Introduction Premiers calculs M´etriques et inertie Projection des individus Interpretation des r´esultats

Premiers calculs

X = x_i^j tableau de donn´es

Y =

x_i^j −x¯^j tableau centr´e

Z = x_i^j−x¯^j

sj

tableau centr´e r´eduit o`u x<sub>i</sub><sup>j</sup> est la valeur prise par la variable num´ero j sur lei-`eme individu.

A chaque variable est associ´ee `a un vecteur de,` (x^j)^T =

x₁^j,·,x_n^j

∈Rⁿ et chaque individu est associ´e `a un vecteur de ,e_i =!

x_i¹,· · ·x_i^p

∈R^p Poids des individusp₁, ...pn,

D =







p1 · · · 0 ... . .. ...

0 · · · p







Premiers calculs

Cas usuel : p1=...=p_n= _n¹ et D = ¹_nI_n Le centre de gravit´e du nuage de points g =

x¯¹,· · · ,x¯^p avec ¯x^j =Pn

i=1pix_i^j et s_j² =Pn

i=1pi(x_i^j)²−( ¯x^j)² On pose

D_1/s =







1/s1 · · · 0 ... . .. ... 0 · · · 1/s_p







g =X^TD1; Y = (I−11^TD)X; Z =YD_1/s; V = X^TDX −g^Tg =Y^TDY; R=D_1/sVD_1/s =Z^TDZ

Sidi Mohamed oud maou Analyse en composantes principales

Exemple

les moyennes sont les suivantes MATH PHYS FRAN ANGL 9.67 9.83 10.22 10.06

Les moyenne sont de mˆeme ordre grandeur la matrice de variance-covariance

MATH PHYS FRAN ANGL MATH 11.39 9.92 2.66 4.82 PHYS 9.92 8.94 4.12 5.48 FRAN 2.66 4.12 12.06 9.29 ANGL 4.82 5.48 9.29 7.91 Les variances le sont aussi

Sidi Mohamed oud maou Analyse en composantes principales

Introduction Premiers calculs M´etriques et inertie Projection des individus Interpretation des r´esultats

M´ etriques et inertie

.

M une m´etrique sur l’espace des individus (g´en´eralement on prend M =I ouM =D_1/s²)

On appelle Inertie du nuage de points I_g =

n

X

i=1

p_i(e_i −g)M(e_i−g)^T On montre que

I_g =

n

X

i=1

p_ike_i−gk²M = 1/2

n

X

j=1 n

X

i=1

p_jp_ike_i−e_jk²M =Trace(MV)

Introduction Premiers calculs M´etriques et inertie Projection des individus Interpretation des r´esultats

M´ etriques et inertie

on a

SiM =I, Ig=Pp

j=1Y^{j T}DY^j =Pp

j=1kY^jk²D. L’inertie est

´egale la des somme variances des variables ; SiM =D_1/s²,Ig=Pp

j=1Z^{j T}DZ^j =Pp

j=1kZ^jk²D. L’inertie est

´egale trace deR et est ´egale au nombre de variablesp La notion d’inertie g´en´eralise celle de la variance de le cas multivari´e.

M´ etriques et inertie

Pour ´etudier la proximit´e des variables entre elles il faut munir cet espace d’une m´etrique, c’est-`a-dire trouver une matrice d’ordren d´efinie positive sym´etrique

Ici il n’y a pas d’h´esitation comme pour l’espace des individus et le choix se porte sur la matrice diagonale des poidsD pour les raisons suivantes :

Le produit scalaire de deux variables n’est autre que la covariance

Si les deux variables sont centr´ees. La norme d’une variable en d’autres termes la ”longueur” d’une variable est ´egale `a son

´ecart-type.

L’angle entre deux variables centr´ees est donn´e par leur coefficient de corr´elation

Sidi Mohamed oud maou Analyse en composantes principales

L’analyse

Le principe de l’ACP est d’obtenir une repr´esentation approch´ee dans un sous-espace de dimension faible.

Projeter en d´eformant le moins possible les distances entre projections

Le sous-espace de dimensionk recherch´e est tel l’inertie projet´ee soit la plus grande possible.

Soita∈R^p un axe donn´e de M−norm´e 1. Les coordonn´ees c_i des projections du nuage centr´e sur cet axe sont

ci = (ei −g)^TMa.

En posantc^T = (c1,c2, ...,c_n)∈Rⁿ, on ac =YMa.

l’inertie projet´e Ig(a) =V(c) =

n

X

i=1

p_ic_i² =c^TDc =a^TMY^TDYMa=a^TMVMa

Sidi Mohamed oud maou Analyse en composantes principales

Introduction Premiers calculs M´etriques et inertie Projection des individus Interpretation des r´esultats

L’analyse

Le probl`eme revient `a chercher l’axe qui maximise l’inertie projet´e

maxaIg(a) s.c. a^TMa= 1.

La solution est donn´ee par la m´ethode du multiplicateur de Lagrange

MVMa=λMa a^TMa= 1 ⇔

aest v.p. M−norm´e associ´e `a la v.p.λ=a^TMVMa pourVM Le sous-espace de dimension k recherch´e est celui engendr´e par k premiers vecteurs propres M−orthonorm´es associ´ee aux valeurs propres les plus grandes de VM.

Introduction Premiers calculs M´etriques et inertie Projection des individus Interpretation des r´esultats

L’analyse

L’ACP revient `a diagonaliser la matriceVM. Sia_j sont les v.p.sM−orthonorm´es (a^T_j Ma_j = 1 et

a_j^TMak = 0) associ´es λj pourVM, alors uj =Maj et cj =Yuj

v.p.s associ´es `aλ_j respectivementM⁻¹−orthonorm´es pourMV et D−orthogonaux pour YMY^TD et on a kc_jk²D =λ_j.

a: axes principaux ;u : facteurs principaux et c : composantes principales.

En pratique on cherche les vecteursu.

Cas usuels

Si M =I, on cherche les vecteurs propresu orthonorm´es de la matrice des covariances. Dans ce cas c =Yu

Si M =D_1/s2 on cherche les vecteurs propres orthonorm´es de la matrice des correlations. En effet si u tel que

D_1/s²Vu=λu, alors D_1/sVD_1/sD_1/s⁻¹u=λD_1/s⁻¹u. Donc

v =D_1/s⁻¹u est un vecteur propre associ´e `aλpour la matriceR et on av^Tv = 1. Dans ce casc =Zv.

Sidi Mohamed oud maou Analyse en composantes principales

Nombre d’axes ` a retenir et crit` eres

L’ACP construit de nouvelles variables, fournit des repr´esentations graphiques.

L’interpr´etation des r´esultats est une phase d´elicate.

Pourcentage d’inertie expliqu´ee λ1+· · ·+λk

Ig

= λ1+· · ·+λk

λ1+· · ·+λp

Crit`ere du coude.D´ecrochement (coude) sur l’´eboulis des valeurs propres

Crit`ere de Kaiser.Axes dont l’inertie est sup´erieure `a l’inertie moyenneI/p. En ACP norm´ee : I/p = 1.

Crit`ere du Scree-test. Axes correspondant `a des diff´erences secondes>0

Dans la pratique on retiendra les axes qu’on sait interpr´eter.

Sidi Mohamed oud maou Analyse en composantes principales

Introduction Premiers calculs M´etriques et inertie Projection des individus Interpretation des r´esultats

Exemple

eigenvalue per. of variance cum. per. of variance

comp 1 2.88 71.89 71.89

comp 2 1.12 27.99 99.88

comp 3 0.00 0.09 99.97

comp 4 0.00 0.03 100.00

Introduction Premiers calculs M´etriques et inertie Projection des individus Interpretation des r´esultats

Exemple

comp 1 comp 2 comp 3 comp 4

Eboulis des valeurs popres

eigenvalue 0.00.51.01.52.02.5

Corr´ elations variables-facteurs

Corr´elations variables-facteurs.Donner une signification `a une composante principale en la reliant aux variables initiales Les coefficients de corr´elation lin´eaire r(c;x^j). Chercher les plus fortes

Si M =D_1/s2 on a r(c^k;x^j) =√ λku_j^k, Si M =I,r(c^k;x^j) =√

λ_k/s_ju_j^k

Pour 2 composantes principales, on synth´etise les corr´elations sur le ”cercle des corr´elations”

Sidi Mohamed oud maou Analyse en composantes principales

Exemple

Les corr´elations des variables-facteurs. Dans le cas d’une ACP sur les donn´ees r´eduites ce sont aussi les coordon´ees

Dim.1 Dim.2 Dim.3 Dim.4 MATH 0.81 -0.58 -0.01 0.02 PHYS 0.90 -0.43 0.03 -0.02 FRAN 0.75 0.66 0.03 0.01 ANGL 0.91 0.40 -0.04 -0.01

Sidi Mohamed oud maou Analyse en composantes principales

Introduction Premiers calculs M´etriques et inertie Projection des individus Interpretation des r´esultats

Exemple

−1.0 −0.5 0.0 0.5 1.0

−1.0−0.50.00.51.0

Cercle des corrélations

Comp.1(71.89%)

Comp.2(27.99%)

MATH PHYS FRAN

ANGL

Introduction Premiers calculs M´etriques et inertie Projection des individus Interpretation des r´esultats

Contributions des variables

Lacontributionsd’une variables `a l’inertie d’un axe ; CNTV_k^j = r²(c^k;x^j)

λ_k = (u_j^k)².

Ce sont les variables dont la contribution est sup´erieure `a la moyenne qui permettent de donner un sens `a l’axe.

On retiendra donc les variables telles que|u_j^k|> √¹p. On diff´erencie ces variable par le signe deu_j^k

Qualit´ e de repr´ esentation des variables

Pour chaque variable on mesure la qualit´e de sa repr´esentation par son cos².

On a pour la variable j la qualit´e de sa repr´esentation sur l’axe k est donn´ee par

cos²_k(x^j) =r²(c^k,x^j) Les cosinus sont additive et donc la qualit´e de la

repr´esentation d’une variable sur le premier plan est la somme des cosinus sur les deux premiers axes :

cos²_1,2(x^j) = cos²₁(x^j) + cos²₂(x^j).

La proximit´e deux variables (bien repr´ensent´ees) sur un axe donne une approximation de leur corr´elation.

Sidi Mohamed oud maou Analyse en composantes principales

Exemple

Les contributions des variables dans la formations des axes Dim.1 Dim.2 Dim.3 Dim.4

MATH 22.89 30.46 4.10 42.54 PHYS 28.29 16.55 19.47 35.69 FRAN 19.71 38.59 28.35 13.35 ANGL 29.11 14.39 48.08 8.41

Les qualit´es de r´epresentations de ces varibles Dim.1 Dim.2 Dim.3 Dim.4

MATH 0.66 0.34 0 0

PHYS 0.81 0.19 0 0

FRAN 0.57 0.43 0 0

ANGL 0.84 0.16 0 0

Sidi Mohamed oud maou Analyse en composantes principales

Introduction Premiers calculs M´etriques et inertie Projection des individus Interpretation des r´esultats

La place et l’importance des individus

On peut r´epresenter les individus par leurs coordonn´ees (c_i,1,c_i,2) sur le premier plan factoriel

Une forte corr´elation entre c¹ etx^j signifie que les individus ayant une forte coordonn´ee positive sur l’axe 1 sont

caract´eris´es par une valeur de x^j nettement sup´erieure `a la moyenne

En cas d’individus non anonymes, ceux-ci peuvent aider `a l’interpr´etation des axes principaux

On recherchera les individus oppos´es le long d’un axe.

Introduction Premiers calculs M´etriques et inertie Projection des individus Interpretation des r´esultats

Exemple

−2 −1 0 1 2 3

−1.5−1.0−0.50.00.51.01.52.0

1er Plan principal

Comp.1(71.89%)

Comp.2(27.99%)

jean alan

anni

moni

didi

andr pier

brig evel

La place et l’importance des individus

La contribution apport´ee par un individu est donn´ee par CntI_i^k = p_i(c_i^k)²

λ_k .

Pour n grand, on pourra donc consid´erer qu’un individu a une contribution excessive si elle d´epasse 4 fois son poids.

Sidi Mohamed oud maou Analyse en composantes principales

Exemple

Dim.1 Dim.2 Dim.3 Dim.4 jean 29.07 1.81 1.65 5.42 alan 5.95 0.23 0.06 5.25 anni 4.11 10.93 10.55 0.13 moni 38.05 0.34 0.40 23.79 didi 16.26 3.91 1.87 37.97 andr 3.64 22.25 2.13 19.25 pier 0.43 37.25 9.46 0.91 brig 1.49 16.54 13.63 1.63 evel 1.01 6.74 60.25 5.66

Sidi Mohamed oud maou Analyse en composantes principales

Introduction Premiers calculs M´etriques et inertie Projection des individus Interpretation des r´esultats

Qualit´ e des repr´ esentations

La qualit´e de repr´esentation de l’individu i sur l’axek est mesur´ee par

cos²_k(ei) = (c_i^k)²

((c_i¹)²+· · ·+ (c_i^p)²). La proximit´e dans l’espace entre deux individus bien

repr´esent´es traduit la ressemblance de ces deux individus du point de vue des valeurs prises par les variables.

Introduction Premiers calculs M´etriques et inertie Projection des individus Interpretation des r´esultats

Exemple

Dim.1 Dim.2 Dim.3 Dim.4 jean 0.98 0.02 0.00 0 alan 0.98 0.01 0.00 0 anni 0.49 0.51 0.00 0 moni 1.00 0.00 0.00 0 didi 0.91 0.09 0.00 0 andr 0.30 0.70 0.00 0 pier 0.03 0.97 0.00 0 brig 0.19 0.81 0.00 0 evel 0.27 0.71 0.02 0