Approche bayésienne des modèles à équations structurelles

HAL Id: inria-00494790

https://hal.inria.fr/inria-00494790

Submitted on 24 Jun 2010

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Approche bayésienne des modèles à équations structurelles

Séverine Demeyer, Nicolas Fischer, Gilbert Saporta

To cite this version:

Séverine Demeyer, Nicolas Fischer, Gilbert Saporta. Approche bayésienne des modèles à équations

structurelles. 42èmes Journées de Statistique, 2010, Marseille, France, France. �inria-00494790�

Approche bay´ esienne des mod` eles ` a ´ equations structurelles

S´ everine Demeyer ^1,2 & Nicolas Fischer ¹ & Gilbert Saporta ²

1 LNE, Laboratoire National de M´ etrologie et d’Essais

29 avenue Roger Hennequin, 78197 Trappes, France, severine.demeyer@lne.fr

2 Chaire de statistique appliqu´ ee & CEDRIC, CNAM 292 rue Saint Martin, Paris, France

R´ esum´ e

Les mod` eles ` a ´ equations structurelles (SEMs) sont des mod` eles multivari´ es ` a variables la- tentes utilis´ es pour mod´ eliser les structures de causalit´ e dans les donn´ ees. Une approche bay´ esienne d’estimation et de validation des mod` eles SEMs est propos´ ee et l’identifiabilit´ e des param` etres est ´ etudi´ ee. Cette ´ etude montre qu’une ´ etape de r´ eduction des vari- ables latentes au sein de l’algorithme de Gibbs permet de garantir l’identifiabilit´ e des param` etres. Cette heuristique permet en fait d’introduire les contraintes d’identifiabilit´ e dans l’analyse. Pour illustrer ce point, les contraintes d’identifiabilit´ e sont calcul´ ees dans une application en marketing, dans laquelle les distributions des contraintes sont obtenues par combinaisons des tirages a posteriori des param` etres.

Abstract

Structural equation models (SEMs) are multivariate latent variable models used to model causality structures in data. A Bayesian estimation and validation of SEMs is proposed and identifiability of parameters is studied. The latter study shows that latent variables should be standardized in the analysis to ensure identifiability. This heuristics is in fact introduced to deal with complex identifiability constraints. To illustrate the point, iden- tifiability constraints are calculated in a marketing application, in which posterior draws of the constraints are derived from the posterior conditional distributions of parameters.

Mots cl´ es : mod` eles ` a ´ equations structurelles, variables latentes, algorithme de Gibbs, identifiabilit´ e, m´ ethodes bay´ esiennes, marketing

1 Mod` eles ` a ´ equations structurelles

1.1 Contexte

Les variables observ´ ees (manifestes) sont group´ ees puis associ´ ees aux variables latentes

dans le mod` ele externe (mod` ele de mesure) et les relations de causalit´ e entre les variables

latentes sont repr´ esent´ ees dans le mod` ele interne (structurel) Cette situation est typique des ´ etudes de satisfaction en marketing, comme illustr´ e dans l’application, o` u les variables observ´ ees sont des questions regroup´ ees selon des th´ ematiques et les variables latentes sont ces th´ ematiques, ` a savoir la satisfaction, la fid´ elit´ e et l’image (voir figure 3).

1.2 Mod` ele

Le vecteur ligne Y _i des valeurs observ´ ees pour l’individu i sur les p variables manifestes est exprim´ e en fonction du vecteur ligne Z _i de ses scores sur les q variables latentes, par le mod` ele de r´ egression suivant (appel´ e le mod` ele de mesure) :

Y _i = Z _i θ + ε _i , 1 ≤ i ≤ n (1)

avec ε i ∼ N (0, Σ ε ) et o` u θ est la matrice p × q des coefficients de r´ egression.

Si Z _i ´ etait connu, le mod` ele de mesure (1) serait un mod` ele de r´ egression lin´ eaire clas- sique. En notant H _i les variables latentes endog` enes et Ξ <sub>i</sub> les variables latentes exog` enes, les ´ equations structurelles sont donn´ ees de mani` ere ´ equivalente par les trois expressions :

H _i = H _i Π + Ξ _i Γ + δ _i

H i = Z i Λ + δ i Λ ^t = Π ^t Γ ^t Π ^t ₀ H _i = Γ ^t Ξ _i + δ _i Π ₀ = Id − Π

(2) o` u Π est la matrice q <sub>1</sub> × q <sub>1</sub> des coefficients de r´ egression entre les variables latentes endog` enes , Γ est la matrice q ₂ ×q ₁ des coefficients de r´ egression entre les variables latentes endog` enes et exog` enes, δ i est ind´ ependant de Ξ i , δ i ∼ N (0, Σ δ ), et Ξ i ∼ N (0, Φ).

1.3 Etude de l’identifiabilit´ e des param` etres

Garantir l’identifiabilit´ e des mod` eles ` a ´ equations structurelles est ´ equivalent ` a v´ erifier l’injectivit´ e de la fonction de vraisemblance int´ egr´ ee sur les variables latentes. En notant Θ = {θ, Σ <sub>ε</sub> , Π <sub>0</sub> , Γ, Σ <sub>δ</sub> , Φ} l’ensemble des param` etres du mod` eles, l’identifiabilit´ e s’´ ecrit :

∀Y _i , [Y _i |Θ] = h Y _i | Θ ˜ i

= ⇒ Θ = ˜ Θ (3)

o` u Y <sub>i</sub> est marginalement distribu´ e N (0, Σ <sub>Y</sub> ) et Σ <sub>Y</sub> = θ <sup>t</sup> Σ <sub>Z</sub> θ + Σ <sub>ε</sub> o` u Σ _Z est la matrice de covariance des variables latentes.

En notant de plus θ k = (θ k1 . . . θ kn

), le vecteur des coefficients de r´ egression du bloc k et Σ _Z = {ρ _ij , 1 ≤ i, j ≤ K}, Σ _Y est la matrice bloc :

Σ _Y =











ρ 11 θ 1 θ ₁ ^t + Σ ε1 ρ 12 θ 1 θ ₂ ^t . . . ρ 1K θ 1 θ _K ^t ρ ₁₂ θ ₁ θ ^t ₂ ρ ₂₂ θ ₂ θ ^t ₂ + Σ _ε2 . . . .. .

.. .

ρ 1K θ 1 θ ^t _K . . . . . . ρ KK θ K θ ^t _K + Σ εK











(4)

La d´ efinition de l’identifiabilit´ e (3) appliqu´ ee ` a une vraisemblance gaussienne donne Σ _Y = ˜ Σ _Y . Les ´ equations d’identifiabilit´ e qui d´ ecoulent de cette ´ egalit´ e sont :

ρ _kk θ ² _ki + σ _ki ² = ˜ ρ _kk θ ˜ ² _ki σ ˜ ² _ki , i = 1 . . . n _k , k = 1 . . . K (5) ρ kk θ ki θ kj = ˜ ρ kk θ ˜ ki θ ˜ kj , 1 ≤ i < j ≤ n k , k = 1 . . . K (6) ρ _kk

θ _ki θ _k

_j = ˜ ρ _kk

θ ˜ _ki θ ˜ _k

_j , 1 ≤ i ≤ n _k , 1 ≤ j ≤ n _k

, k = 1 . . . K (7) Les ´ equations (5) et (6) sont obtenues en ´ egalant les ´ el´ ements bloc diagonaux de Σ _Y et ˜ Σ _Y et l’´ equation (7) vient de l’´ egalisation des ´ el´ ements hors des blocs diagonaux.

Si θ k1 = ˜ θ k1 et ρ kk = ρ kk

pour un k fix´ e, alors l’´ equation (6) donne θ kj = ˜ θ kj pour tous les j. Reporter ce r´ esultat dans l’´ equation 5 donne σ ² _ki = ˜ σ _ki ² pour tout k, i. Re- porter ce dernier r´ esultat dans l’´ equation (7) donne ρ _kk

= ˜ ρ _kk

pour tout k, k ⁰ . En cons´ equence, θ k1 = 1 and ρ kk = 1 pour tout k constitue un ensemble suffisant de condi- tions d’identifiabilit´ e.

La contrainte ρ _kk = 1 s’exprime en fait en fonction des param` etres int´ erieurs, obtenue en ´ egalant ` a 1 les ´ el´ ements diagonaux de Σ Z . Cependant, la simulation a posteriori des param` etres conditionnellement ` a ces contraintes est compliqu´ ee. L’heuristique, qui consiste ` a r´ eduire les variables latentes apr` es qu’elles ont ´ et´ e tir´ ees dans leur distribution conditionnelle a posteriori, permet de contourner cette difficult´ e (voir l’application).

2 Estimation bay´ esienne des mod` eles SEM

Dans ce mod` ele ` a variables latentes, les techniques d’augmentation des donn´ ees et d’imput- ation, voir Tanner and Wong (1987), sont impl´ ement´ ees dans un algorithme de Gibbs sous des hypoth` eses de normalit´ e et de conjugaison. On se reportera ` a Box and Tiao (1973) pour les calculs dans les mod` eles multivari´ es gaussiens et ` a Gelman et al. (2004) pour des d´ etails sur l’´ echantillonneur de Gibbs. On reporte ci-dessous les expressions finales des distributions a posteriori invoqu´ ees par l’algorithme de Gibbs (voir figure 1) :

Z i |Y i , θ, Σ ε , Λ, Σ δ , Φ ∼ N DθΣ ⁻¹ _ε Y i , D

, D ⁻¹ = θΣ ⁻¹ _ε θ ^t + Σ ⁻¹ _Z

θ _kj |Y, Z, Σ _εkj ∼ N (D _kj A _kj , Σ _εkj D _kj ) , D _kj = Z _k ^t Z _k + Σ ⁻¹ _ε0k −1

, A _kj = Σ ⁻¹ _ε0k θ _0k + Z _k ^t Y _kj Σ ⁻¹ _εk1 ∼ G

n

2 + α _0εkj , β _0εkj + 1

2 (Y _kj − Z _k ) ^t (Y _kj − Z _k )

Σ ⁻¹ _εkj ∼ G n

2 + α 0εkj , β 0εkj + 1 2

Y _kj ^t Y kj − (D kj A kj ) ^t D _kj ⁻¹ D kj A kj + θ _0k ² Σ _ε0k

Initialisation : θ

, Σ

, Λ

, Σ

, Φ

. A l’it´ eration t : 1. Z

∼ Z|Y, θ

, Σ

, Λ

, Σ

, Φ

2. r´ eduction des variables latentes: soit Z

la VL r´ eduite 3. Σ

∼ Σ

|Y, Z

, θ

, Λ

, Σ

, Φ

4. θ

∼ θ|Y, Z

, Σ

, Λ

, Σ

, Φ

5. Σ

∼ Σ

Y, Z

, Λ

, θ

, Σ

, Φ

6. Λ

∼ Λ|Y, Z

, Σ

, θ

, Σ

, Φ

7. Φ

∼ Φ|Y, Z

, θ

, Σ

, Λ

, Σ

Figure 1: Etapes de l’algorithme de Gibbs

Λ _k |Y, Z, Σ _δk ∼ N

D ˜ _k A ˜ _k , Σ _εk D ˜ _k

, D ˜ _k = Z _k ^t Z _k + Σ ⁻¹ _δk −1

, A ˜ _k = Σ ⁻¹ _δk Λ _0k + Z ^t H _k Σ ⁻¹ _δk ∼ G

n

2 + α _0δk , β _0δk + 1 2

Y _k ^t Y _k −

D ˜ _k A ˜ _k t

D ˜ _k ⁻¹ D ˜ _k A ˜ _k + Λ ^t _0k Σ ⁻¹ _δk Λ _0k

Φ|Z ∼ InvW ishart Ξ ^t Ξ + R ⁻¹ ₀ , n + d 0

o` u les param` etres indic´ es par 0 sont les param` etres ` a priori des distributions conjugu´ ees correspondantes.

L’algorithme de Gibbs (voir figure 1) alterne le tirage dans les distributions condition- nelles a posteriori des param` etres sachant les donn´ ees (Etape 1) et le tirage dans les distri- butions conditionnelles a posteriori des variables latentes sachant les param` etres (Etapes 3 ` a 7). L’´ etape 2 est l’heuristique qui permet d’assurer l’identifiabilit´ e des param` etres du mod` ele en r´ eduisant les variables latentes (VL).

La validation du mod` ele peut-ˆ etre r´ ealis´ ee en calculant les ”Posterior Predictive p- values” (voir Gelman and al. (1996)). Les PP p-values sont calcul´ ees ` a partir des dis- tribution pr´ edictive a posteriori int´ egr´ ees sur les param` etres et les variables latentes. Le mod` ele n’est pas rejet´ e si la PP p-value est proche de 0.5.

3 Application

Les relations entre la fid´ elit´ e, la satisfaction et l’image sont ´ etudi´ ees dans le cadre des mod` eles ECSI sur un sous-ensemble de n = 202 individus sans donn´ ees manquantes provenant du jeu de donn´ ees de d´ emonstration du logiciel XLStat. Les variables cat´ egorielles sont centr´ ees, r´ eduites et trait´ ees comme continues. L’algorithme est impl´ ement´ e sous R.

On note θ ₀ et λ ₀ les valeurs a priori des param` etres. Les valeurs a priori choisies

refl` etent la confiance dans les liens de causalit´ e : θ ₀ = 0.5, Λ ₀ = 0.5, Σ _ε0 = 1, Σ _δ0 = 1

Figure 2: Distributions a posteriori des contraintes b) de gauche ` a droite θ ₁₂ θ ₂₂ θ ₂₃ θ ₃₂ θ ₃₃ θ ₃₄ θ ₃₅ π ₁₂ λ ₁ λ ₂ moyenne 0.774 0.705 0.784 0.605 0.457 0.732 0.658 0.475 0.307 0.796

´ ecart-type 0.060 0.051 0.053 0.063 0.067 0.059 0.059 0.127 0.130 0.047 Table 1: Coefficients de r´ egression: moyenne et ´ ecart-type a posteriori

and Φ ₀ = 1. On observe une convergence rapide de l’algorithme de Gibbs pour tous les param` etres et une faible autocorr´ elation dans les ´ echantillons a posteriori. En explicitant Π ₀ =

1 1

−π ₁₂ 1

et Γ = (λ ₁ λ ₂ ) on obtient l’expression suivante de Σ _Z :

Σ Z =





λ ² ₁ + Σ _δ1 + π ₁₂ λ ₁ λ ₂ + π ² ₁₂ λ ² ₂ + Σ _δ2

λ ₁ λ ₂ + π ₁₂ ² λ ² ₂ + Σ _δ2

Φ (λ ₁ + λ ₁ λ ₂ ) λ 1 λ 2 + π ₁₂ ² λ ² ₂ + Σ δ2

λ ² ₂ + Σ δ2 Φλ 2

Φ (λ 1 + λ 1 λ 2 ) Φλ 2 Φ





D’apr` es la section 1.3, les contraintes d’identifiabilit´ e sont (o` u les contraintes b) sont obtenues en ´ egalant ` a 1 les ´ el´ ements diagonaux de Σ _Z ) :

a)θ ₁₁ = 1, θ ₂₁ = 1, θ ₃₁ = 1

b)Φ = 1, λ ² ₂ + Σ _δ2 = 1, λ ² ₁ + Σ _δ1 + π ₁₂ λ ₁ λ ₂ + π ² ₁₂ λ ² ₂ + Σ _δ2

= 1

Des ´ echantillons a posteriori de ces contraintes sont calcul´ es ` a partir des ´ echantillons a posteriori des param` etres. Ces distributions sont centr´ ees en 1 avec une faible dispersion comme le montre la figure 2, ce qui est en faveur de l’heuristique.

Les valeurs d’int´ erˆ et pour cette application sont les corr´ elations entre les variables manifestes et les variables latentes et entre les variables latentes. Dans la table 1, θ ₁₂ , θ ₂₂ , θ ₂₃ , θ ₃₂ , θ ₃₃ ,θ ₃₄ , θ ₃₅ et λ ₂ sont des coefficients de corr´ elation alors que π ₁₂ et λ ₁ sont les co- efficients d’une r´ egression multiple. Satisfaction et Image sont fortement corr´ el´ ees (0.796, voir table 1), ce qui signifie que l’Image a une influence importante sur la Satisfaction.

Toutes les corr´ elations sont repr´ esent´ ees dans le graphique de la figure 3.

La PP p-value de 0.37 < 0.5 vient de ce que les donn´ ees, cat´ egorielles, ne suivent pas

des lois gaussiennes. Il demeure que cet exemple illustre des caract´ eristiques int´ eressantes

Figure 3: Graphique des corr´ elations

des approches bay´ esiennes, comme les tests d’hypoth` eses avec les PPp-values et la possi- bilit´ e d’observer la variabilit´ e des param` etres et la variabilit´ e de fonctions des param` etres.

4 Conclusion et perspectives

Les distributions a posteriori des param` etres des mod` eles SEMs sont calcul´ ees sous les hy- poth` eses de normalit´ e et de conjugaison. Ces distributions permettent d’´ etudier diff´ erents aspects du mod` ele comme la variabilit´ e des param` etres et de fonctions de param` etres et aussi de r´ ealiser des tests d’hypoth` eses. L’algorithme de Gibbs propos´ e pour prendre en compte les contraintes d’identifiablit´ e converge rapidement avec de faibles autocorr´ elations des simulations a posteriori, r´ eduisant ainsi le nombre de simulations n´ ecessaires. La suite de ce travail consiste en l’´ etude des mod` eles SEMs sur donn´ ees manifestes cat´ egorielles.

Bibliographie

[1] Box, G. E. P. et Tiao G.C. (1973) Bayesian Inference in Statistical Analysis, Wiley.

[2] Gelman, A., Meng, X. L. et Stern, H. (1996) Posterior Predictive Assessment of Model Fitness via Realized Discrepancies. Statistica Sinica, 6, 733-807.

[3] Gelman, A., Carlin, J.B., Stern, H.S., Rubin, D.B. (2004) Bayesian Data Analysis, Chapman & Hall/CRC.

[4] Lee, S. Y. (2007) Structural Equation Modelling: A Bayesian Approach, Wiley.

[5] Palomo, J., Dunson, D. B. and Bollen, K. (2007) Bayesian Structural Equation Model- ing. In: S. Y. Lee (Ed): Handbook of latent variable and related models, Elsevier, 163–188.

[6] Tanner, M.A., Wong, W.H. (1987) The Calculation of Posterior Distributions by Data

Augmentation, Journal of the American Statistical Association, 82, 528–540.