Analyse canonique généralisée d'un flux de données d'espérance variable dans le temps

HAL Id: hal-00750883

https://hal.inria.fr/hal-00750883

Submitted on 13 Nov 2012

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Analyse canonique généralisée d’un flux de données d’espérance variable dans le temps

Jean-Marie Monnez, Romain Bar

To cite this version:

Jean-Marie Monnez, Romain Bar. Analyse canonique généralisée d’un flux de données d’espérance variable dans le temps. XIXèmes Rencontres de la Société Francophone de Classification - SFC 2012, Oct 2012, Marseille, France. �hal-00750883�

données d’espérance variable dans le temps

Romain Bar^∗, Jean-Marie Monnez^∗∗

∗Institut Elie Cartan, UMR 7502, Université de Lorraine, CNRS, INRIA BP 239, 54506 Vandoeuvre-lès-Nancy Cedex, France

Romain.Bar@univ-lorraine.fr, http://www.iecn.u-nancy.fr

∗∗Jean-Marie.Monnez@univ-lorraine.fr

Résumé. On suppose que des vecteurs de donnéesznarrivant séquentiellement dans le temps sont les observations respectives d’un vecteurZndont l’espérance θn varie dans le temps. On note ˜Z_n=Z_n−θnet on suppose que les vecteurs Z˜_nforment un échantillon i.i.d. d’un vecteur aléatoire ˜Z. On définit des proces- sus d’approximation stochastique utilisant des blocs de données pour estimer des vecteurs directeurs des axes principaux de l’analyse canonique généralisée (ACG) de ˜Z.

1 Introduction

On observepcaractères quantitatifs sur des individus : on obtient des vecteurs de donnéesz_i dansR^p. On se place dans le cas où ces vecteurs arrivent séquentiellement dans le temps : on observez_nau tempsn; on a donc une suite de vecteurs de donnéesz₁, . . . ,z_n, . . .. On suppose que :

– pour toutn,z_nest la réalisation d’un vecteur aléatoireZ_ndéfini sur un espace probabilisé (Ω,A_,P), d’espérance mathématiqueθnvariable dans le temps ;

– les vecteurs aléatoiresZ_nsont mutuellement indépendants ;

– les vecteurs aléatoires ˜Z_n=Z_n−θnconstituent un échantillon i.i.d d’un vecteur aléatoire Z˜dansR^pd’espérance nulle et de matrice de covariance ne dépendant pas den; – le vecteur aléatoire ˜Zest partitionné en sous-vecteurs ˜Z¹, . . . ,Z˜^q; pourk=1, . . . ,q, ˜Z^k

est un vecteur aléatoire dansR^mk, de composantes ˜Z^k1, . . . ,Z˜^kmk; on am1+· · ·+mq=p.

On pose le problème suivant : réaliser une ACP du vecteur aléatoire ˜Zdans laquelle les vecteurs aléatoires ˜Z^kaient un rôle équilibré : on veut éviter que les premiers facteurs soient principa- lement déterminés à partir de certains vecteurs ˜Z^k. L’analyse canonique généralisée du vecteur aléatoire (ACGVA) ˜Z, ou ACG partielle, présentée au paragraphe 2, fournit une solution à ce problème.

L’ACGVA représente l’ACG effectuée sur la populationΩdont on va chercher à estimer au tempsnles résultats à partir des données dont on dispose à ce temps. Soit vun résultat de l’ACGVA, par exemple un vecteur directeur d’un axe principal, un facteur principal, une va- leur propre.

ACG d’un flux de données

Plutôt que d’effectuer à chaque tempsn une estimation devà partir de l’ensemble des don- nées dont on dispose jusqu’à ce temps, on va effectuer une estimation récursive dev: dis- posant d’une estimationv_ndevobtenue à partir des observationsz₁, . . . ,z_n−1, on introduit au tempsnl’observationz_net on définit à partir dev_netz_nune nouvelle estimationv_n+1dev: v_n+1=f_n(vn,z_n).

On utilise pour cela un processus d’approximation stochastique, en supposant que l’on dispose au tempsnd’un estimateurΘndeθn, que l’on peut aussi éventuellement obtenir par approxi- mation stochastique.

On considère dans le paragraphe 3 le cas où l’on utilise au tempsnun bloc der_nnouvelles observations indépendantesz_Rn−1+1, . . . ,z_RnavecR_n= ∑ⁿ

j=1

r_j.

On considère dans le paragraphe 4 le cas où l’on utilise au tempsntoutes les observations faites jusqu’à ce temps ; dans le paragraphe 5, on présente le cas particulier d’un modèle linéaire de variation de l’espérance.

2 ACG d’un vecteur aléatoire

Dans tout le paragraphe, on adopte la présentation de [4].

On suppose qu’il n’existe pas de relation affine entre les composantes du vecteur aléatoire ˜Z.

Le critère de l’ACG est le suivant : pourl=1, . . . ,r, déterminer au paslune combinaison li- néaire des composantes centrées de ˜Z,U_l=ξ^′_l(Z˜−E[Z]), et pour˜ k=1, . . . ,q, une combinaison linéaire des composantes centrées de ˜Z^k,V_l^k= (η^k_l)^′(Z˜^k−E[Z˜^k]), telles que :

q

∑

k=1

ρ²(Ul,V_l^k) soit maximal, avec : Var(Ul) =1,

Cov(Ul,U_j) =0, j=1, . . . ,l−1, Var(V_l^k) =1,k=1, . . . ,q.

SoitCla matrice de covariance de ˜Z,C^k celle de ˜Z^k etM la métrique diagonale par blocs d’ordrepdéfinie par :

M=











 (C¹)⁻¹

·

·

·

(C^q)⁻¹













ξl, appelél^ième facteur général, est vecteur propre de la matriceMC associé à la l^ième plus grande valeur propre. On peut interpréter ce résultat de la façon suivante :ξlest lel^ièmefacteur de l’ACP de ˜ZdansR^pmuni de la métriqueM.v_l=M⁻¹ξlest un vecteur directeur dul^ième axe principal de cette ACP, vecteur propre deCM. Dans le cas particulier où, pour toutk, ˜Z^k est de dimension 1, on retrouve l’ACP normée.

3 Approximation stochastique des vecteurs v_l en utilisant à chaque temps un paquet de données

On suppose qu’au tempsn, on dispose d’un bloc der_nnouvelles observationsz_Rn−1+1, . . . ,z_Rn et d’estimateurs(Θ_Rn−1+1, . . . ,Θ_Rn)de(θ_Rn−1+1, . . . ,θ_Rn). On noteI_n={Rn−1+1, . . . ,R_n}.

1. On utilise au tempsnun estimateur convergentM_ndeM, obtenu à partir des observa- tionsz₁, . . . ,z_Rn−1.

Pourk=1, . . . ,q,(C^k)⁻¹est solution de l’équation enX:E[(Z_n^k−θ^k_n)(Z_n^k)^′X−I] =0 où Iest la matrice-identité d’ordrem_k. On définit récursivement le processus d’approxima- tion stochastique de(C^k)⁻¹,(M_n^k), par :M_n+1^k =M_n^k−a1n((_r¹

n ∑

i∈In

(Z_i^k−Θ^k_i)(Z_i^k)^′)M_n^k−I) avec(a1n=_n^aα aveca>0, ¹₂<α<1)ou(a1n =^a_neta>_λ ¹

min(C)).

On définit comme estimateur deMau pasnla matrice diagonale par blocsMnqui a pour k^ièmebloc diagonalM^k_n.

2. En suivant [1] et [2], on définit récursivement un processus d’approximation stochastique (Xn) = ((X_n¹, . . . ,X_n^r))de(v1, . . . ,v_r)par :

B_n = (_r¹

n ∑

i∈In

(Zi−Θ_i)Z_i^′)Mn, F_n(X_n^l) = ^<Bn_||X^Xnl_l^,Xnl>Mn

n||²_Mn ,

Y_n+1^l = X_n^l+a2n(Bn−Fn(X_n^l)I)X_n^l, l=1, . . . ,r, X_n+1 = orthMn(Yn+1).

Sous les conditions adéquates (en particuliera_2n>0, ^+∞∑

n=1

a_2n =∞, ^+∞∑

n=1

(a2n)²<∞), on établit la convergence presque sûre de(Xn).

4 Approximation stochastique des vecteurs v_l en utilisant à chaque temps toutes les données observées depuis le début

On peut aussi utiliser au temps n toutes les observations faites jusqu’à ce pas inclus. Pour cela, on définit récursivement le processus(C_n^k)d’approximation stochastique deC^k, de type Robbins-Monro [5], dans l’ensemble des matrices(mk,m_k):C_n+1^k =C_n^k−bn(C_n^k−(Z_n^k−Θ^k_n)(Z_n^k)^′) avec(bn=_n^bαavecb>0, ¹₂<α<1)ou(bn=^b_netb>1).

On définit ensuite récursivement le processus d’approximation stochastique de(C^k)⁻¹,(M_n^k), par :M_n+1^k =M_n^k−bn(C^k_nM^k_n−I).

On utilise toujours comme estimateur deMau pas n la matrice diagonale par blocsM_nqui a pourk^ièmebloc diagonalM_n^k.

On noteB_n=C_nM_n,C_nétant le processus d’approximation stochastique deC=Var(Z), de type˜ Robbins-Monro, dans l’ensemble des matrices(p,p):C_n+1=C_n−b_n(Cn−(Zn−Θn)(Zn)^′).

On définit alors le même processus d’approximation stochastique qu’au paragraphe précédent (Xn) = ((X_n¹, . . . ,X_n^r))de(v1, . . . ,v_r)avec la nouvelle définition deB_n.

ACG d’un flux de données

5 Cas particulier d’un modèle linéaire de variation de l’es- pérance

A l’instar de [3], on choisit un modèle linéaire pour représenter l’espérance. Plus précisément, pour i=1, . . . ,p, on suppose qu’il existe un vecteur βⁱ inconnu deRⁿⁱ et, pour tout n, un vecteurU_nⁱ deRⁿⁱ connu au tempsntels que la i^ème composante réelle deθn,θⁱ_n, soit égale à

<βⁱ,U_nⁱ>.

On définit le processus d’a.s.(Bⁱ_n)deβⁱtel que :Bⁱ_n+1=Bⁱ_n−anU_nⁱ((U_nⁱ)^′Bⁱ_n−Zⁱ_n).

On définit aussiΘⁱ_n=<Bⁱ_n,U_nⁱ>,Θ_n= (Θ¹_n, . . . ,Θn^p)^′que l’on introduit dans la définition des processus d’approximation stochastique des vecteursv_l.

6 Conclusion

On a présenté deux processus d’approximation stochastique de vecteurs directeurs des axes principaux d’une analyse canonique généralisée.

Des tests par simulation ont été réalisés en langage R pour comparer les variantes possibles ; plusieurs choix des suites(a1n),(a2n),(bn)et différentes initialisations des algorithmes ont également été mis en oeuvre.

Un prolongement de cette étude est de considérer le cas où la matrice de covariance des obser- vations varie aussi dans le temps.

Références

[1] J.P. Benzecri. Approximation stochastique dans une algèbre normée non commutative.

Bulletin de la SMF, 97 :225–241, 1969.

[2] A. Bouamaine and J.M Monnez. Approximation stochastique de vecteurs et valeurs propres.Publications de l’ISUP, 42, n^◦2-3 :15–38, 1998.

[3] J.M. Monnez. Analyse en composantes principales d’un flux de données d’espérance variable dans le temps.RNTI, C-2 :43–56, 2008.

[4] J.M. Monnez. Stochastic approximation of the factors of a generalized canonical correla- tion analysis.Statistics & Probability Letters, 78 :2210–2216, 2008.

[5] H. Robbins and S. Monro. A stochastic approximation method.AMS, 22 :400–407, 1951.

Summary

Consider a data stream and suppose that each multidimensional dataz_nis a realization of a random vectorZ_nwhose expectationθnvaries with time. Let ˜Z_n=Z_n−θnand suppose that the vectors ˜Z_nform an i.i.d. sample of a random vector ˜Z. Stochastic approximation processes using data blocks are used to estimate on-line direction vectors of the principal axes of the generalized canonical correlation analysis of ˜Z.