PARTIE 4 : PROBLEMATIQUE ET METHODOLOGIE
2. Description des tests statistiques
Nous allons à présent justifier les choix faits quant au type d’analyses menées pour traiter les tests des élèves que nous venons de décrire dans la partie précédente. Compte tenu du design de la recherche, les analyses à envisager pour déterminer s'il existe un effet spécifique de la méthode d'enseignement sur les résultats en orthographe sont des analyses de la variance (ANOVA) qui reposent sur des comparaisons de moyennes entre différents groupes. De façon plus précise, selon Howell (2009, p. 306), « l’analyse de la variance nous permet de traiter simultanément deux ou plusieurs variables indépendantes, et donc d’étudier les effets individuels de chaque variable séparément ainsi que les effets d’interaction de deux ou plusieurs variables. » En d’autres termes, l’ANOVA teste l’égalité des moyennes entre les groupes et vise à déterminer si les différences sont à imputer au seul hasard de l’échantillonnage ou si, au contraire, l’appartenance au groupe intervient dans ces différences.
En matière d'ANOVA, dans notre cas, il s'agit plus particulièrement d’une ANOVA avec un plan d’expérience mixte à deux facteurs (on parle parfois aussi de plan factoriel ou tout simplement de plan) : un facteur inter-sujets (i.e. le groupe qui contient deux modalités : 1. groupe témoin et 2. groupe expérimental) et un facteur intra-sujets (i.e. des mesures répétées pour les élèves, à savoir un prétest et un posttest). Nous noterons que nous nous trouvons dans une situation de plan d’expérience déséquilibré, c’est-à-dire que les groupes témoin et expérimental ne comportent pas le même nombre d’observations, comme nous pouvons le voir dans la Figure 13. En outre, les deux groupes comportent un nombre relativement modeste de sujets.
160
Figure 13 - Représentation des différents plans d’expérience
Selon Dancey et Reidy (2016), il existe également pour des données d’expérience de type prétest-posttest, une solution alternative à l'ANOVA qui est l’analyse de covariance (ANCOVA). Dans le cas présent, elle permet d'étudier le lien entre les résultats en orthographe au posttest et le groupe (i.e. la méthode d’enseignement) en éliminant l’effet du prétest (c’est-à-dire l’effet du niveau initial) afin de comprendre l’effet de la méthode d’enseignement sur les résultats.
D'une manière générale, les deux solutions d'analyse évoquées précédemment correspondent à des tests paramétriques qui nécessitent la vérification de conditions d’application. Selon Howell (2009), pour l’ANOVA, il existe en théorie trois conditions préalables à vérifier pour que les résultats produits puissent être considérés comme robustes :
- la normalité des distributions : les résultats que nous cherchons à expliquer doivent être issus d’une population où ils sont distribués selon la loi normale. Il est possible de se faire rapidement une idée de la satisfaction de cette condition en représentant graphiquement la distribution des résultats des élèves.
- l’homogénéité des variances : les variances doivent être approximativement identiques dans les différents groupes considérés. Cette condition peut par exemple être vérifiée à l’aide du F max de Hartley ou du test de Box.
- la sphéricité : il s’agit d’une condition supplémentaire qui doit être vérifiée dans le cas de mesures répétées. En pratique, cela peut se faire à l’aide du test de Mauchly
161
ou des résultats d’une ANOVA ajustés selon les propositions de Greenhouse et Geisser (Dancey & Reidy, 2016). Nous noterons toutefois que dans cette recherche où chacun des deux facteurs possède seulement deux modalités, la vérification de l’hypothèse de sphéricité découle de la satisfaction des deux autres hypothèses (normalité des distributions et homogénéité des variances).
Pour l’ANCOVA, le résultat au prétest est utilisé comme covariable (variable dont on soupçonne qu’elle entretient une relation linéaire avec la variable dépendante, c’est-à-dire le résultat au posttest). La condition la plus importante à vérifier ici est que la relation entre le résultat au prétest et au posttest est la même au sein du groupe témoin et du groupe expérimental. Nous nous assurons ainsi que l’interaction entre le groupe et le prétest n’a pas d’effet. Rappelons que nous cherchons là encore à étudier le lien entre le résultat au posttest (autrement dit le niveau final en orthographe) et la méthode d’enseignement (le groupe), en éliminant l’effet du prétest. Il s’agit d’isoler l’effet propre de la méthode d’enseignement débarrassé de tout ce qui ne relève pas de cette source de variation des résultats. En pratique, nous vérifierons que l’interaction entre les variables groupe et prétest n’a pas d’effet statistiquement significatif sur le posttest.
Les deux méthodes d’analyse que nous venons de mentionner ont été mises en œuvre à l’aide du logiciel SPSS. Il apparait cependant que leurs conditions d'application ne sont pas vérifiées. Ainsi, pour l’analyse de la variance, il n’existe ni normalité des distributions (nous avons des distributions asymétriques), ni homogénéité des variances. Par ailleurs, à cela s’ajoute le problème de la taille inégale des échantillons. L’ANOVA est une procédure statistique particulièrement robuste et les conditions d’application peuvent faire l’objet de violations ayant peu d’impact sur la robustesse des résultats. Comme l’a indiqué Howell (2009, p. 325), « on a toutes les raisons de croire que le postulat de normalité n’est pas crucial et que celui de l’homogénéité des variances peut être violé sans entrainer de graves conséquences ». Toutefois, dans le cas spécifique de cette recherche où les échantillons sont de tailles inégales, le non-respect des conditions d’application se révèle problématique, puisque la littérature a montré que « des échantillons de tailles très inégales rendent le test nettement moins robuste face à l’hétérogénéité des variances » (Howell, 2009, p. 326). Pour l’ANCOVA, le non-respect des conditions d’application réside dans le fait qu’il existe un effet statistiquement significatif de l’interaction entre les variables groupe et prétest sur les résultats au posttest.
Pour l’ensemble de ces raisons, nous ne pouvons nous fier strictement aux résultats de l’ANOVA et de l’ANCOVA, et des alternatives méritent d’être envisagées pour venir confirmer les premières conclusions. La plus courante de ces alternatives consiste, dans le cas présent, à recourir à des tests non paramétriques « qui ne se basent pas sur l’estimation de paramètres ou sur des conditions d’application liées à des distributions » (Howell, 2009, p. 656). Ces techniques « sont généralement valables sous des hypothèses très larges au niveau de la population » (Droesbeke, 1997, p. 369). En l’absence d’alternative non paramétrique à l'ANOVA avec un plan d’expérience mixte à
162
deux facteurs, nous avons mis en œuvre deux types de tests non paramétriques de comparaison de moyennes :
- le test de Mann-Whitney qui s'utilise pour des groupes indépendants, autrement dit lorsqu’on a des participants différents dans les deux groupes comparés. Dans notre cas, ce test sera par exemple utilisé pour comparer les résultats au prétest entre groupes témoin et expérimental et voir dans quelle mesure ces deux groupes possèdent un même niveau initial moyen en orthographe.
- le test de Wilcoxon qui s'utilise pour des groupes appariés, autrement dit lorsque les participants sont les mêmes dans les deux groupes comparés. Dans notre cas, ce test sera par exemple utilisé pour comparer les résultats entre prétest et posttest au sein d’un même groupe d’élèves et déterminer si l’évolution peut être considérée comme statistiquement significative, c'est-à-dire comme non nulle.
Il est nécessaire de mener conjointement les deux types de tests pour essayer de statuer sur l’effet de la méthode d’enseignement. Toutefois, dans certains cas, les résultats ne vont pas dans le même sens. Il a donc fallu envisager un troisième type d’analyses complémentaires. Des régressions linéaires ont été réalisées. Elles correspondent à la deuxième grande famille d'analyses que nous pouvons envisager avec notre design de recherche. Il s’agit d’une méthode d’analyse qui repose sur des corrélations, alors que l'analyse de la variance, plus fréquemment utilisée en psychologie, repose sur des comparaisons de moyennes.
De manière générale, avec la régression, on cherche à construire un modèle du phénomène, c’est-à-dire à déterminer quelle est la fonction qui représentera au mieux la relation qui existe entre les résultats au posttest, au prétest et la méthode d'enseignement de l'orthographe (i.e. le groupe témoin ou le groupe expérimental). Nous faisons l’hypothèse que pour un élève i donné, le résultat obtenu au posttest en fin d'année scolaire dépend essentiellement de son niveau initial d'orthographe en début d'année (i.e.
son résultat au prétest) et de la méthode d'enseignement dont il a bénéficié (i.e. groupe témoin vs expérimental). En d'autres termes, nous allons essayer de déterminer si deux élèves qui ont le même niveau initial obtiennent des résultats différents au posttest en fonction de la méthode d'enseignement dont ils et elles ont bénéficié au cours de l'année scolaire. Pour ce faire nous recourons à un modèle qui peut s'écrire de la façon suivante :
𝑃𝑜𝑠𝑡𝑡𝑒𝑠𝑡( = 𝛽+ + 𝛽-𝑃𝑟é𝑡𝑒𝑠𝑡( + 𝛽0𝐺𝑟𝑜𝑢𝑝𝑒(+ 𝑒(
Dans ce modèle, la variable Groupe est une variable dichotomique où 0=Groupe témoin et 1=Groupe expérimental.
Ce qui nous intéresse ici c'est de mesurer correctement l'influence des variables figurant dans le modèle sur le phénomène étudié, autrement dit d'estimer les paramètres 𝛽+, 𝛽 -et 𝛽0. Ces derniers sont estimés par la méthode des moindres carrés ordinaires (MCO).
163
- Le paramètre 𝛽+ est la constante : elle correspond à la valeur à l'ordonnée pour
une abscisse nulle c'est-à-dire la valeur obtenue au posttest lorsque le prétest vaut 0 et que le groupe vaut 0 (soit le groupe témoin). La constante n'a pas toujours d'interprétation très claire dans la mesure où la valeur 0 des variables explicatives n'est pas toujours elle-même clairement interprétable. Parfois, en effet, la valeur 0 n'est pas observée pour une variable explicative et elle peut même constituer une aberration (c'est par exemple le cas pour les résultats au prétest lorsqu’on mesure un taux de mots correctement orthographiés). Pour ces raisons la constante 𝛽+ nous intéresse moins que les pentes 𝛽- et 𝛽0. Le coefficient 𝛽+ sert surtout à la réalisation d'estimations ponctuelles.
- La pente 𝛽- traduit l'effet de la variation d'une unité du résultat en orthographe
au prétest sur le résultat au posttest (lorsque le prétest varie d'une unité, le posttest varie de 𝛽- unités).
- La pente 𝛽0 traduit l'effet du groupe expérimental sur le résultat en orthographe
au posttest (par rapport au fait d'appartenir au groupe témoin). Dans notre recherche, il s’agit du paramètre qui présente le plus d’intérêt.
- Enfin, l'erreur ou perturbation 𝑒( correspond à l'écart entre la réalité et son approximation par le modèle. Il s'agit d'une variable aléatoire qui comprend l'ensemble des déterminants du phénomène étudié non pris en compte explicitement dans le modèle. La relation entre le résultat au posttest, le résultat au prétest et la méthode d'enseignement n'est bien entendu pas totalement déterministe. Chaque élève est un cas particulier dont le résultat au posttest s'écarte plus ou moins du résultat prédit par le modèle théorique. Comme l’a indiqué Bressoux (2010), dans le cas de la modélisation de comportements humains une fonction déterministe est insatisfaisante et il est nécessaire d’introduire un terme aléatoire dans le modèle :
Nul ne peut avancer qu'un comportement humain aura la belle régularité d'un objet matériel obéissant à une loi de la physique classique […]. Dans les cas où le comportement fait intervenir un apprentissage social, les formes de cet apprentissage étant infiniment variées et leur incorporation très liée à l'expérience subjective des individus, il faut introduire dans la modélisation du phénomène étudié un terme d'erreur aléatoire. (p.48)