Limite dans l’utilisation des SEM pour estimer des MMN

Curran (2003) dans son article montre comment il est possible d’estimer certains MMN à l’aide de SEM et il termine par une liste de limitation. La première, déjà mentionnée plus haut, est le cauchemar lié à la gestion des données pour qu’elles aient le format nécessaire à l’estimation du MMN, comme le fait d’ordonner les mesures en fonction des variables explicatives et les risques d’erreurs lors du reformatage de la base de données, c’est pourquoi il conseille de ne pas utiliser les SEM lorsque le but est uniquement de tester un MMN. Le choix du SEM doit se faire si le MMN ne permet pas de tester certains éléments tels que plusieurs variables dépendantes. La deuxième limitation concerne l’interprétation des modèles MMN estimés en SEM. Il faut identifier correctement les paramètres

estimés et leur interprétation. Par exemple, la moyenne estimée pour la variable de N2it dans le SEM correspond à un coefficient de régression dans le MMN et le régresseur entre la VI de N2su et le facteur latent item dans le SEM correspond au coefficient de régression pour une variable d’interaction entre une variable de N2su et une variable de N2it du MMN (cf. section suivante).

9.4 Généralisabilité, mais mesures parallèles ou mesures non paral-lèle mais non généralisables

Nous avons vu que les MMN ne sont pas toujours des SEM. Les modèles à effets mixtes avec effets aléatoires croisés (MEM) ont quant à eux la particularité d’avoir un deuxième effet aléatoire (item) qui est croisé (par opposition à emboîté) au sujet. Nous partons du postulat que cette effet ne peut pas (ou du moins, dans les connaissances actuelles) être modélisé à l’aide de SEM.

Le point fort des SEM en plus de pouvoir tester plusieurs variables dépendantes est de ne pas traiter les différentes mesures d’une échelle comme des mesures parallèles en permettant d’estimer des “poids”

différents pour chaque items. DeShon et Morris (2002) relèvent en effet que les méthodes d’analyses statistiques usuellement utilisées en psychologie “assume that alternate forms, such as items, scales, raters, and time periods, are parallel measures of a construct” et rajoutent que ceci “is a remarkably restrictive assumption and is almost never met in practice” (DeShon, 2002, p.194).

Nous avons vu qu’il était possible d’estimer des poids différents pour les différentes mesures de la variable dépendante dans un modèle multi-niveaux, mais pour cela, il fallait introduire les items dans le modèle, ce qui aurait pour conséquences de ne plus permettre l’estimation de variables de N1 et de N2it.

Le point fort des MEM, en plus de pouvoir prendre en compte la structure de dépendance des dif-férents niveaux, est de permettre de généraliser aussi bien à la population des sujets qu’à la population des items mesurant un même construit.

Nous avons vu dans le chapitre précédent (ainsi que dans la littérature) que si le niveau des items existait et qu’il n’était pas modélisé, nous augmentions le seuil nominal d’erreur de type I. Nous pouvons alors nous demander quelles sont les conséquences sur l’inférence de définir les mesures comme des mesures parallèles alors qu’elles ne le sont pas.

A partir de cette réflexion, nous avons voulu tester l’impact de la non estimation de l’effet aléatoire dans le cas de SEM et l’impact de la non estimation de mesure non parallèles dans le cas de MEM sur l’inférence lorsque nous testons des variables de niveau 2 sujet, de niveau 2 item et de N1. Pour cela, nous avons eu recours à des simulations numériques de type Monte Carlo.

Dans un premier temps nous allons présenter la manière dont nous avons généré les données, dans un deuxième temps, les modèles testés et les raisons du choix de ces modèles plutôt que d’autres et finalement, nous présenterons les résultats sur le taux d’erreur de type I trouvé dans les différentes simulations.

9.4.1 Génération des données

Les données ont été générées sous le modèle suivant⁴ :







y_ij =λ_j(x^N_i ^2su+b_i) +x^N2it_j +x^N1_ij +b_j+_ij avec b_i ∼N(0; 1)

b_j ∼N(0; 1)

4. Le code R pour la génération des données et pour les modèles estimés est disponible sur le site web : http ://www.unige.ch/fapse/mad/iglesias/index.html

Ce qui peut être représenté en SEM comme dans la figure 9.5, avec le poids it1 correspond à la valeur de la variableX_N2itpour le premier item, it2 à celui du deuxième item et it3 à celui du troisième item.

Figure9.5 – Modèle SEM ayant généré les données

yi3

yⁱ¹

VI N1i3

VI N1i2 pure VI N1ⁱ¹ pure

pure VI N2su

Satisfaction au travail

0

VI N2it

0

yⁱ²

it1 it2 it3

a a a

1

Afin de tester l’inférence pour les variables de N2su, de N2it et de N1, nous avons généré des variables corrélées (comme c’est cas lorsque nous travaillons avec de vraies données). Ainsi, les variables qui seront testées n’ont pas généré lesy_ij, mais elles sont corrélées avec les variables ayant généré lesy_ij (chaque variable est simulée avec une variance de 0.60 et une covariance avec l’autre variable de même niveau de 0.18). Nous avons également testé une variable de N1 construite comme étant l’interaction entre la variable de N2su et de N2it ayant généré y_ij dénommée N1 inter (par opposition à N1 pure, variable indépendante du niveau sujet et du niveau item).

Dans ces simulations, nous avons fait varier certains paramètres :

– la distribution des variables explicatives : normalement distribuées versus asymétriques – le nombre d’items : 4 versus 8 items

– les loadings : proches de 1 versus très différents de 1. Pour cela, nous avons simulé dans le premier cas lesλ_j ∼N(1; 0.07²) et dans le deuxième cas la moitié des λ_j = 0.5 et l’autre moitié desλj = 1.5.

– les variances résiduelles : homoscédasticité versus hétéroscédasticité. Dans le cas de l’homoscé-dasticité, les variances résiduelles sont toutes égales à 1 et dans le cas de l’hétéroscél’homoscé-dasticité, la moitié des variances résiduelles sont égales à 0.5 et l’autre moitié à 1.1⁵.

– la nature de y : continue ou ordinale en 5 modalités (même procédé que dans le chapitre précé-dent).

Nous avons ainsi décidé de simuler des données proches des MMN avec des loadings proches de 1 et des uniqueness égales et de s’éloigner de ces modèles afin de voir l’impact de ne pas prendre en compte ces paramètres. Les données ont été générées sous un modèle SEM avec l’addition d’un effet

5. Le choix des valeurs des loadings et des variances résiduelles ce sont faites sur la base des valeurs les plus ex-trêmes trouvées lors de l’analyse factorielle des différentes échelles de satisfaction au travail mesuré dans les deux études présentées dans la partie 3 de la thèse.

item (effet aléatoire distribué normalement) propre au MEM. Pour une raison de place et de temps, nous n’avons pas fait varier le rapport entre la variance item et variance résiduelle comme nous l’avons fait dans le chapitre précédent.

Nous avons simulé 1’000 jeux de données par condition, simulation effectuée à l’aide du logiciel libre R version R 2.11.1 (2011). Les modèles ont été estimés avec le package lme4 (Bates) pour les MEM et avec le package OpenMx pour les SEM (le choix de ce package s’est fait sur la base de l’article de Ghisletta et McArdle (2011)).

9.4.2 Modèles estimés

Une fois les données simulées, nous avons choisi de tester 5 modèles pour chaque jeu de données.

Le premier modèle est une régression linéaire multiple où nous avons agrégé à l’aide d’une moyenne lesy_ij de sorte à avoir un score pour la variable dépendante par sujet. Comme nous l’avons mentionné précédemment, dans le cas de la régression linéaire, il n’est possible que de tester des variables de niveau 2 sujet. Mais nous voulions, dans un premier temps, savoir l’impact d’agréger des données lorsque qu’il ne s’agissait pas de données parallèles (loadings différents).

Puis nous avons défini trois modèles SEM : le modèle “usuellement” testé en SEM, le modèle

“devant être usuellement testé” et finalement le modèle MEM testé en SEM. Ces trois modèles sont présentés en détail ci-après. Le cinquième modèle correspond à l’estimation du modèle avec une MEM.

Modèle 1

Dans le premier modèle bien que les données aient été générées avec des variables de chaque niveau, nous n’avons estimé que le facteur latent et la variable de niveau 2 sujets en SEM en laissant libre tous les paramètres. L’estimation est faite uniquement à partir de la matrice de variance-covariance des données, ce qui signifie que nous ne modélisons pas les moyennes. Puis nous avons testé l’inférence lorsque nous rajoutions la variable de N2su n’ayant pas été utilisée pour la génération desy_ij (cf. Figure 9.6), ainsi que lorsque nous rajoutons la variable de N2it n’ayant pas été utilisée pour la génération desyij (cf Figure 9.7).

Figure 9.6 – Modèle 1 : Modèle usuellement estimé en SEM : VI N2 sujet

y_i3

yi1 yi2

Satisfaction au travail VI_g

N2su

VI_t N2su

Figure 9.7 – Modèle 1 : Modèle usuellement estimé en SEM : VI N2 item

yi3

yi1 yi2

Satisfaction au travail VI N2su

VI N2it

Modèle 2

Dans le modèle 1, nous avons estimé le modèle à partir de la matrice de variance-covariance des données. En procédant de la sorte, nous faisons comme si la moyenne empirique du facteur latent (ou les moyennes empiriques des items (modèles équivalents)) était égale à son (leur) espérance. Pour voir l’impact de ce postulat, nous avons choisi de tester un deuxième modèle, estimé cette fois à partir des données brutes en estimant une moyenne pour chaque variable manifeste (modèle équivalent à estimer une moyenne pour le facteur latent). Pour ce modèle, nous ne testerons l’inférence que pour les variables de niveau 2 sujet (cf Figure 9.8) vu que l’estimation des moyennes des variables manifestes est colinéaire avec la variable de niveau 2 item.

Figure 9.8 – Modèle 2 : Estimation de la moyenne des items

y_i3

y

ⁱ¹

y

ⁱ²

Satisfaction au travail VI_g

N2su

VI_t N2su

1

Modèle 3

Les variables testées dans le modèle 3 correspondent aux variables utilisées dans la génération des y_ij plus la variable pour laquelle nous aimerions connaître la qualité de l’inférence : une variable explicative de N2su, une variable explicative de N2it, une variable explicative de N1 “pure” et une variable explicative de N1 “inter”, variable d’interaction entre les deux niveaux 2. Ce modèle a été testé à l’aide de SEM et à l’aide de MEM.

Pour le test de la qualité de l’inférence d’une variable de N2su, nous testons le SEM représenté dans la figure 9.9 et le MEM suivant :y_ij =β0+β1x^N₁^2su+β2x^N₁ ^2it+β3x^N₁ ¹+β4x^N₂ ^2su+b_i+b_j+_ij.

Figure9.9 – Modèle 3 : Modèle complet estimé : test pour une VI N2 sujet

VI N2it

y_i3 yi1

VI N1_i3 VI N1_i2 pure

VI N1i1 pure pure VI_g

N2su

VI_t N2su

Satisfaction au travail

yi2

1

Pour le test de la qualité de l’inférence d’une variable de N2it, nous testons le SEM représenté dans la figure 9.10 et le MEM suivant :yij =β0+β1x^N1 ^2su+β2x^N1^2it+β3x^N1 ¹+β4x^N2^2it+bi+bj+ij. Pour le test de la qualité de l’inférence d’une variable de N1 “pur”, nous testons le SEM représenté dans la figure 9.11 et le MEM suivant :y_ij =β0+β1x^N₁ ^2su+β2x^N₁^2it+β3x^N₁ ¹+β4x^N₂¹+b_i+b_j+_ij. Pour le test de la qualité de l’inférence d’une variable de N1 inter, nous testons le SEM représenté dans la figure 9.12 et le MEM suivant :y_ij =β0+β1x^N₁ ^2su+β2x^N₁^2it+β3x^N₁ ¹+β4x^N₂¹+b_i+b_j+_ij. 9.4.3 Résultats et Discussion

VI N2 sujet

Régression La variable de niveau 2 sujet a pu être testée aussi bien à l’aide de la RLM, du SEM que du MEM. Dans la figure 9.13 est représenté le pourcentage de fois que l’hypothèse nulleH0 :β_xN2su = 0 a été rejetée par condition de simulation. Pour que l’inférence des modèles utilisés soit correcte, il faudrait rejeter environ 5% du temps cette hypothèse nulle (correspondant à la ligne rouge). En effet, cette variable n’est pas une variable qui a généréyij, donc nous n’aimerions pas que le paramètre lié à cette variable soit significativement différent de zéro. Usuellement nous fixons le seuil nominal à 5%, ce qui signifie que nous acceptons de nous tromper 5% du temps (comme présenté dans le chapitre précédent), c’est-à-dire que sur 100 tests nous acceptons qu’environ 5 tests soient significativement différents de 0.

Figure9.10 – Modèle 3 : Modèle complet estimé : test pour une VI N2 item

VIgN2it

yi3

yⁱ¹

VI N1i3

VI N1i2 pure VI N1ⁱ¹ pure

pure VI N2su

Satisfaction

au travail VI_tN2it

yⁱ² 1

Contrairement à ce que nous attendions (ce qui était également le cas dans le chapitre précédent), la régression a un taux d’erreur de type I autour des 5%. Nous pensions que le fait d’agréger des différentes mesures alors qu’elles n’avaient pas le même poids factoriel aurait modifié la nature de y et par conséquent pour le loading différent de 1 (L.Dif) nous aurions une inférence incorrecte. Notons tout de même que parfois la régression est un peu conservatrice, notamment lorsque les variables explicatives sont asymétriques (VI assym.)⁶.

Ce résultat mériterait d’être creusé pour voir jusqu’à quel point l’inférence de la régression reste correcte : est-ce qu’une asymétrie dans la partie résiduelle pourrait avoir un impact ? est-ce qu’une plus forte asymétrie des variables indépendantes serait un problème ? etc. En effet, dans la pratique de nombreux chercheurs travaillent à partir d’échelles qu’ils agrègent. Bien souvent une simple moyenne est utilisée pour obtenir les scores composites, alors même que ces échelles ont été validées à l’aide d’analyse factorielle où les différents loadings ne sont pas équivalents. Pour utiliser correctement les échelles validées, nous devrions travailler à partir des scores factoriels des échelles et non de simples moyennes ou sommes. Mais ces simulations sembleraient montrer que cette incartade aux bonnes procédures n’a pas trop de conséquences. “Semblerait” car en effet nous avons agrégé uniquement la variable dépendante. Qu’en est-il lorsque nous multiplions les agrégations. Il serait intéressant de simuler des données avec plusieurs variables explicatives au niveau 2 sujet avec des loadings différents par échelle, puis de les agréger et de voir si l’inférence de la régression est toujours aussi correcte. Si cela était le cas et que nous sommes uniquement intéressés à des variables de niveau 2 sujet, alors l’agrégation et l’utilisation de la RLM seraient une solution adaptée.

Dans la figure 9.13 est également représenté le pourcentage de rejet de l’hypothèse nulle pour le SEM du modèle 3 et le MEM. Les deux modèles ont un taux d’erreur de type I supérieur au 5%

accepté. Notons tout de même que le SEM à un taux d’erreur légèrement supérieur au MEM, alors

6. Concernant la précision des simulations, nous pouvons considérer une différence de 3% comme significative, car sous H0 la significativité pour chaque jeu simulé suit une Bernouilli Ber(0.05). L’intervalle de confiance à 95% pour le pourcentage de résultat significatif sera donc 5% +/−1.96∗SD(erreur) avecSD(erreur) =p

1/n∗√ 0.05∗√

0.95, où n est le nombre de simulation. Si n est égal à 1’000, sd=0.0069, nous pouvons considérer une différence de 2.70% comme significative, soit environ 3%, on peut dire qu’on a des différences significatives.

Figure 9.11 – Modèle 3 : Modèle complet estimé : test pour une VI N1 “pure”

VI N2it

y_i3 yⁱ¹

VI N2su

Vi_t N1_i2 pure VI^t

N1ⁱ¹ pure

VI_tN1_i3

pure VI_gN1_i3

VI_gN1_i2 pure VI_gN1_i1 pure

pure

yⁱ² Satisfaction

au travail

1

…

même que le modèle a été généré sous un SEM et que l’ajout de la variance item étant orthogonal à l’effet sujet, l’inférence des variables de niveau sujet ne devrait pas trop être influencée. Probablement, si nous augmentions le nombre de sujet (ici nous avons fait les simulations uniquement avec 20 sujets), les taux d’erreur de type I du SEM et du MEM devraient s’approcher du 5% comme c’était le cas dans les simulations du chapitre précédent pour le MEM.

Peut-être que l’augmentation du nombre de sujet pour tester un SEM permettrait d’améliorer le taux d’erreur de type I pour une variable de niveau sujet ou peut-être que ce taux est plutôt lié au nombre de mesure composant le facteur latent. En effet, dans la figure 9.13, nous pouvons voir que lorsque nous augmentons le nombre d’items de 4 à 8, le taux d’erreur de type I du SEM diminue. Dans le SEM, le paramètre de la variable de N2su testée est multiplié par les loadings (Yij =λj∗(µ+βXi+δi) +ij), ce qui devrait influencer son inférence.

Un point intéressant à noter concernant les SEM est que malgré le fait que ces modèles permettent d’estimer des loadings et des uniqueness différents, l’inférence n’est pas de même qualité en fonction du type de loadings et du type de variances résiduelles. En effet, nous pouvons voir une certaine fluctuation des taux d’erreur de type I en fonction du type de loadings et de uniqueness (homoscédastique et les trois formes d’hétéroscédasticité).

Notons finalement que le taux d’erreur de type I du SEM appliqué auyordinal est inférieur à celui du SEM appliqué auy continu.

Les modèles SEM Dans la figure 9.14, nous avons représenté le taux d’erreur de type I pour une variable de N2su pour les trois modèles SEM estimés, ainsi que le modèle MEM. De manière générale, le MEM à un taux d’erreur de type I inférieur ou égal aux modèles SEM.

En fonction que nous ayons estimé toutes les variables du modèle (modèle 3), la moyenne des variables manifestes en plus des variables de N2su (modèle 2) ou que nous avons estimé les variables de N2su à partir de la matrice de variance-covariance (modèle 1), nous avons des différences de taux

Figure 9.12 – Modèle 3 : Modèle complet estimé : test pour une VI N1, interaction des variables de N2 sujet et item

Satisfaction

au travail VI N2it

yi3

y_i1

VI N1i3

VI N1i2 pure VI N1_i1 pure

pure VI N2su

y_i2 1

d’erreur de type I. Une des question que nous voulions tester était de savoir si le fait d’utiliser la moyenne empirique pour l’espérance (modèle 1) au lieu d’estimer ces moyennes (modèle 2) avait un impact sur l’inférence. Le taux d’erreur de type I du modèle 1 est légèrement inférieur au modèle 2.

Le modèle 3 quant à lui a la plus mauvaise inférence lorsque y est continu. Lorsque y est ordinal le taux d’erreur de type I diminue.

VI N2 item

Dans la figure 9.15 se trouvent le taux d’erreur de type I pour l’estimation de variable de N2it.

Dans le cas de l’estimation à l’aide de MEM, le taux d’erreur de type I est plus ou moins stable en fonction des caractéristiques des simulations et diminue avec le nombre d’items.

Pour les SEM, le taux d’erreur est énorme. Probablement, comme dans le cas des MMN vu dans le chapitre précédent, l’information de la variance item n’étant pas modélisée, le modèle utilise l’infor-mation de la variable N2it pour compenser ce manque, d’où un taux d’erreur de type I si élevé (cela est valable pour le modèle 1 et le modèle 3).

Dans le modèle 3, lorsque les variables explicatives (VI) sont asymétriques, le taux d’erreur de type I diffère fortement par rapport aux données où les VI sont distribuées normalement. L’inférence semble meilleure, mais c’est probablement que le modèle n’arrive pas à comprendre ce qui se passe, une sorte d’accumulation des erreurs. Ce même phénomène semble se produire également lorsque y est ordinal et cela pour les deux modèles SEM.

Modèle 3

Dans la figure 9.16 se trouve le taux d’erreur de type I pour y continu et 4 items dans l’estimation du SEM et du MEM. Dans le modèle 3, nous avons choisi de tester quatre types de variable : une variable de N2su, une variable de N2it et deux variables de N1 : “pure” et “d’interaction”. La figure 9.17 contient les mêmes informations pour y ordinal et 4 items, la figure 9.18 pour y continu et 8 items

et finalement, la figure 9.19 pour y ordinal et 8 items.

VI N2su Comme nous l’avons vu précédemment, l’inférence pour les variables de N2su pour le SEM et le MEM est assez proche, mais le MEM à une inférence plus proche du 5%. La différence diminue avec l’augmentation du nombre d’items.

VI N2it Pour l’inférence pour les variables de N2it, nous avons vu que le MEM s’améliore avec l’augmentation du nombre d’items. Par contre le SEM ne comprend pas du tout ce qui se passe dans les données.

VI N1 inter Pour les variable de niveau 1 “inter”, le taux d’erreur de type I pour le SEM est proche des 5% et s’en approche plus fortement avec l’augmentation du nombre d’items. Pour le MEM, lorsque les loadings sont proches de 1 (L.Eg), le taux d’erreur de type I à 5% et ait meilleure que le

VI N1 inter Pour les variable de niveau 1 “inter”, le taux d’erreur de type I pour le SEM est proche des 5% et s’en approche plus fortement avec l’augmentation du nombre d’items. Pour le MEM, lorsque les loadings sont proches de 1 (L.Eg), le taux d’erreur de type I à 5% et ait meilleure que le

Dans le document L'utilisation des modèles à effets mixtes avec effets aléatoires croisés pour l'analyse de données de type questionnaire dans le champ de la satisfaction au travail (Page 111-0)