Analyse en composantes principales partielle de données séquentielles d'espérance et de matrice de covariance variables dans le temps

(1)

HAL Id: hal-00841181

https://hal.inria.fr/hal-00841181

Submitted on 4 Jul 2013

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de

Analyse en composantes principales partielle de données séquentielles d’espérance et de matrice de covariance

variables dans le temps

Romain Bar, Jean-Marie Monnez

To cite this version:

Romain Bar, Jean-Marie Monnez. Analyse en composantes principales partielle de données séquen- tielles d’espérance et de matrice de covariance variables dans le temps. 45èmes Journées de Statistiques - 2013, May 2013, Toulouse, France. �hal-00841181�

(2)

A

NALYSE EN COMPOSANTES PRINCIPALES PARTIELLE DE DONN_{EES S}

´

EQUENTIELLES D

´ ’

ESPERANCE ET DE MATRICE DE

´

COVARIANCE VARIABLES DANS LE TEMPS

.

Romain Bar¹& Jean-Marie Monnez²

1,2Universit´e de Lorraine, CNRS, Institut Elie Cartan de Lorraine (IECL), UMR 7502, BP 239, Vandoeuvre-l`es-Nancy, F-54506, France

INRIA, projet BIGS, Villers-l`es-Nancy, F-54600, France

1Romain.Bar@univ-lorraine.fr ²Jean-Marie.Monnez@univ-lorraine.fr http ://www.iecl.u-nancy.fr

Résumé.On suppose que des vecteurs de données pouvant être de grande dimension et arri- vant séquentiellement dans le temps sont des observations indépendantes d’un vecteur aléatoire d’espérance mathématique et de matrice de covariance variables dans le temps.

On définit alors une méthode récursive d’estimation en ligne de vecteurs directeurs des r premiers axes principaux d’une analyse en composantes principales (ACP) partielle de ce vecteur aléatoire.

On applique ensuite ce résultat au cas particulier de l’analyse canonique généralisée (ACG) partielle après avoir défini un processus d’approximation stochastique de type Robbins-Monro de l’inverse d’une matrice de covariance.

Mots-clés. Big Data, flux de données, données de grande dimension, analyse de données en ligne, analyse en composantes principales partielle, analyse canonique généralisée partielle, approximation stochastique.

Abstract. High dimensional batch data are supposed to be independent observations of a random vectorZ, expectation and covariance matrix of which vary with timen.

A recursive method of on-line estimation of direction vectors of therfirst principal axes of a partial principal components analysis (PCA) ofZis defined.

This is applied next to the particular case of a partial generalized canonical correlation analysis (gCCA) after defining a stochastic approximation process of the Robbins-Monro type to estimate recursively the inverse of a covariance matrix.

Keywords.Big Data, data flow, high dimensional data, on-line data analysis, partial principal component analysis, partial generalized canonical correlation analysis, stochastic approximation.

(3)

1 Introduction

On observe p caractères quantitatifs sur des individus : on obtient des vecteurs de données z_i dans R^p. On se place ici dans le cas où ces vecteurs arrivent séquentiellement dans le temps (données en ligne) : on observe z_n au temps n; on a une suite de vecteurs de données z1, . . . ,zn, . . ..

On suppose que, pour toutn≥1, z_nest la réalisation d’un vecteur aléatoire (v.a.) Z_ndansR^p, défini sur un espace probabilisé (Ω,A_,_P), d’espérance mathématique et de matrice de covariance variables dans le temps, les v.a.Z_n étant mutuellement indépendants.

Pour toutn, on a la d´ecomposition :

Z_n=θ_n+∆_nR_n o`u :

θ_n= (θ¹_n. . .θ_n^p)^′est un vecteur deR^p,

∆_n=





 δ¹_n

· 0

·

0 ·

δ_n^p







est une matrice diagonale d’ordre pd’´el´ements non nuls.

On pose :δ_n= (δ¹_n, . . . ,δ_n^p)

La loi du v.a.R_nne d´epend pas den,E[Rn] =0,Cov(Rn) =C.

Ceci revient à supposer que lesR_n=∆⁻¹_n (Zn−θ_n) constituent un échantillon i.i.d. d’un vecteur aléatoireRdansR^ptel queE[R] =0,Cov(R) =C. On a alorsE[Zn] =θ_n,Cov(Zn) =∆_nC∆_n. Pouri=1, . . . ,p, si l’on noteZ_nⁱ, respectivementRⁱ_n, la i^èmecomposante deZ_n, respectivement R_n, on a alors le modèle :

Z_nⁱ =θⁱ_n+δⁱ_nRⁱ_n, i=1, . . . ,p avecE[Rⁱ] =E[Rⁱ] =0, lesRⁱ constituant un ´echantillon i.i.d deRⁱ.

(4)

Dans la suite, on suppose sans perte de généralité queVar(Rⁱ_n) =Var(Rⁱ) =1.

On pose le problème suivant : estimer les résultats d’une ACP du v.a.R(cf paragraphe 2), aussi appelée ACP partielle, dansR^pque l’on munit d’une métriqueM. On étudie en particulier l’estimation de vecteurs directeurs desr premiers axes principaux de cette analyse qu’on notev_l, l=1,2, . . . ,r.

Soitvun r´esultat de l’ACP d’un v.a., par exemple une valeur propre, un vecteur directeur d’un axe principal,. . ..

Plutôt que d’effectuer à chaque temps nune estimation directe dev à partir de l’ensemble des données disponibles à ce temps, qui serait obtenue en effectuant une ACP partielle de ces données, on va effectuer une estimation récursive dev: disposant d’une estimationvn devob- tenue à partir des observationsz₁, . . . ,z_n−1, on introduit au tempsnl’observationz_net on définit

`a partir dev_netz_nune nouvelle estimationv_n+1dev:v_n+1= f_n(vn;z_n).

On utilise pour cela un processus d’approximation stochastique. On pourra consulter `a ce sujet les articles de Robbins et Monro (1951), Benz´ecri (1969), Bouamaine et Monnez (1998).

L’intérêt de cette approche récursive est double :

on n’a pas besoin de stocker les donn´ees jusqu’au tempsn;

la relative simplicité des calculs permet de prendre en compte, dans le même temps de calcul, plus de données que par une méthode classique.

2 ACP d’un vecteur al´eatoire

SoitCla matrice de covariance deRetMune m´etrique quelconque dansR^p.

On suppose qu’il n’existe pas de relation affine entre les composantes du vecteur al´eatoireZ.

Le critère de l’ACP du vecteurRest le suivant : pourl=1, . . . ,r, déterminer au paslune com- binaison linéaire des composantes centrées deR,U_l=η^′_l(R−E[R]), de variance maximale sous les contraintes d’être non corrélée aux précédentes et queη_l soitM⁻¹-unitaire.η_l, appelélîème facteur, est vecteur propre associé à lalîème plus grande valeur propreλ_l de la matrice M⁻¹- symétriqueMCet on aη^′_lCη_l=λ_l.

v_l=M⁻¹η_l est un vecteur directeur dul^i`eme axe principal de cette ACP, vecteur propre deCM.

(5)

3 Approximation stochastique des vecteurs v

_l

On est ainsi amené à chercher les r premiers vecteurs propres v1, . . . ,vr de la matrice M- symétriqueB=CMassociés auxrplus grandes valeurs propresλ₁, . . . ,λ_r.

On aC=Cov(R) =Cov(Rn) =Cov

∆⁻¹_n (Zn−θ_n)

=∆⁻¹_n E

h(Zn−θ_n)Z_n^′i

∆⁻¹_n .

On suppose que l’on a d´efini trois estimateursM_n,Θ_netD_nrespectivement deM,θ_net∆_n, tels queMn→M p.s.,Θ_n−θ_n→0 p.s. etDn−∆_n→0 p.s.

Soit

Cn=D⁻¹_n (Zn−Θ_n)Z_n^′D⁻¹_n .

On d´efinit alors B_n =C_nM_n puis r´ecursivement un processus d’approximation stochastique (Xn) =

(X_n¹, . . . ,X_n^r)

de(v1, . . . ,v_r)par : Fn(X_n^l) = ^hBⁿ_||X^Xⁿ^l_l^,Xⁿ^lⁱ^Mn

n||²_Mn ,

Y_n+1^l = X_n^l+_n^aα(Bn−F_n(X_n^l)I)X_n^l, l=1, . . . ,r, X_n+1 = orth_M_n(Yn+1).

Pour obtenir Xn+1, on effectue une orthogonalisation au sens de Gram-Schmidt par rapport `a

M_ndeY_n+1= (Y_n+1¹ , . . . ,Y_n+1^r ). On ´etablit la convergence de ce processus pour ²₃ <α≤1.

Un cas particulier de modèle d’évolution dans le temps de l’espéranceθ_net de∆_nest le suivant.

Si l’on noteθⁱ_n la i^ème composante réelle de θ_n (i=1, . . . ,p) et δⁱ_n la i^ème composante réelle deδ_n, on définit les modèles linéairesθⁱ_n=hβⁱ,U_nⁱiet(δⁱ_n)²=hγⁱ,V_nⁱi,h,idésignant le produit scalaire euclidien usuel dans Rⁿⁱ (resp. R^mⁱ), U_nⁱ (resp. V_nⁱ) étant un vecteur de dimension ni

(resp.m_i) de valeurs de fonctions connues du tempsnou de variables explicatives contrˆol´ees et βⁱ(resp.γⁱ) un vecteur inconnu deRⁿⁱ (resp.R^mⁱ).

En s’inspirant de Monnez (2008b), on d´efinit le processus d’approximation stochastique (Bⁱ_n) deβⁱtel que :

Bⁱ_n+1=Π_Ki n

Bⁱ_n−a_nU_nⁱ

(U_nⁱ)^′Bⁱ_n−Z_nⁱ

, K_nⁱ ´etant l’ensemble convexe{x∈Rⁿⁱ, ||x||<kⁱ_n}o`uk_nⁱ =O(n^β), β>0.

On d´efinit comme estimateur deθⁱ_n, Θⁱ_n=hBⁱ_n,U_nⁱi, puis comme estimateur deθ_n,Θ_n= (Θ¹_n, . . . ,Θ_n^p)^′.

(6)

C_n+1ⁱ =Π_Li n

C_nⁱ−a_nV_nⁱ

(V_nⁱ)^′Cⁱ_n−(Z_nⁱ−Θⁱ_n)² ,

Lⁱ_n ´etant l’ensemble convexe{x∈R^mⁱ, ||x||<lⁱ_n}o`ul_nⁱ =O(n^γ), γ>0.

On d´efinit enfin comme estimateur deδⁱ_n, Dⁱ_n= (hC_nⁱ,V_nⁱi)¹²,et comme estimateur de∆_n,

D_n=





 D¹_n

· 0

·

0 ·

Dn^p





 .

On ´etablit la convergence de ces processus.

4 Cas particulier : l’Analyse Canonique Généralisée (ACG)

Comme dans Monnez (2008a), on se place dans le cas où le vecteur aléatoireRest partitionné en sous-vecteurs R⁽¹⁾, . . . ,R^(q); pour k=1, . . . ,q, R^(k) est un vecteur aléatoire dans R^m^k, de composantesR^k1, . . . ,R^km^k. On note égalementR^(k)={Rⁱ,i∈J_k},card(J_k) =m_k,

q

∑

k=1

m_k=p.

On souhaite effectuer une ACP de R dans laquelle les vecteurs al´eatoires R^(k) aient un rˆole

équilibré : on veut éviter que les premiers facteurs soient principalement déterminés à partir de certains vecteursR^(k). L’analyse canonique généralisée du vecteur aléatoire R fournit une solution à ce problème grâce à un choix particulier de métrique.

Le vecteur aléatoire Z_n observé est partitionné en sous-vecteurs Z_n⁽¹⁾, . . . ,Z_n^(q), de dimensions respectivesm₁, . . . ,m_q, avec :

Z_n^(k)=θ^(k)_n +∆^(k)_n R^(k)_n ,

∆^(k)_n étant la matrice diagonale d’ordre m_k des δⁱ_n, i∈J_k, θ^(k)_n étant le vecteur des θⁱ_n, i∈J_k, définis dans le paragraphe 3 et lesR^(k)n constituant un échantillon i.i.d. deR^(k).

On d´efinitC^k =E h

R^(k)(R^(k))^′i

, matrice de covariance deR^(k). L’ACG deRest une ACP avec la m´etrique diagonale par blocs d’ordre p,M:

(7)

M=





 (C¹)⁻¹

· 0

·

0 ·

(C^q)⁻¹







Pour toutn, pourk=1, . . . ,q,(C^k)⁻¹est solution de l’´equation enX : E

h

R^(k)n (R^(k)n )^′X−I i

=E h

(∆^(k)n )⁻¹(Zn^(k)−θ^(k)n )(Zn^(k))^′(∆^(k)n )⁻¹X−I i

=0 o`uI est la matrice-identit´e d’ordrem_k.

SoitΘ^(k)_n le vecteur desΘⁱ_n, i∈J_k, d´efinis dans le paragraphe 3.

SoitD^(k)n la matrice diagonale desDⁱ_n, i∈J_k, d´efinis dans le paragraphe 3.

On d´efinit r´ecursivement le processus d’approximation stochastique de(C^k)⁻¹,(M_n^k), par : M^k_n+1=M_n^k− a

n^α

(D^(k)n )⁻¹(Zn^(k)−Θ^(k)_n )(Zn^(k))^′(D^(k)n )⁻¹M_n^k−I

.

On ´etablit queM^k_n−(C^k)⁻¹→0 p.s. et

∞

∑

n=1 1

n^α||M_n^k−(C^k)⁻¹||<∞p.s. pour ²₃<α≤1.

On définit alors comme estimateur deMau pas n la matrice diagonale par blocsM_nqui a pour kîèmebloc diagonalM_n^k.

On déduit du résultat précédent sur lesM_n^k, k=1, . . . ,q, que M_n−M→0 p.s. et

∞

∑

n=1 1

n^α||Mn− M||<∞p.s. pour ²₃ <α≤1.

Bibliographie

[1] Benzecri, J.P. (1969), Approximation stochastique dans une alg`ebre norm´ee non commuta- tive, Bulletin de la SMF, 97, 225-241.

[2] Bouamaine, A. et Monnez, J.M. (1998), Approximation stochastique de vecteurs et valeurs propres, Publications de l’ISUP, 42, n°2-3, 15-38.

[3] Monnez, J.M. (2008a), Stochastic approximation of the factors of a generalized canonical correlation analysis, Statistics & Probability Letters, 78, 2210-2216.