Validité de l’instrument de mesure (questionnaire)

Les pages ci-dessous abordent successivement l’aperçu du concept de validité, le type de validité évaluée et les procédures d’évaluation de ladite validité dans le cadre de la recherche.

7.2.1 Aperçu du concept de validité

Durand (2003), définit la validité comme la relation entre la théorie et les concepts qui lui sont reliés d'une part, et la mesure d'autre part : elle est concernée par l'adéquation de la traduction du concept en mesure.

Selon Fortin (2010), elle correspond au degré de précision avec lequel le concept est représenté par des énoncés particuliers présents dans l’instrument de mesure. Cette auteure évoque la complexité de l’établissement de la validité par rapport à la fidélité, étant donné la difficulté de vérifier les déductions ou les interprétations tirées des données. « La validité ne concerne pas l’instrument de mesure lui-même, mais l’interprétation que l’on fera des résultats » (Laurencelle, 2005, In Durand, 2003). Nous retenons trois principales caractéristiques de validité des instruments de recueil des données : la validité reliée au critère, la validité de contenu et la validité de construit (Fortin, Ibid.).

129 7.2.2 Type de validité évaluée

La validité de construit constitue la principale dimension de validité prise en considération par notre outil de collecte. « La validité de construit d’une mesure se rapporte à la justesse avec laquelle un instrument de mesure permet d’obtenir des résultats conformes au construit défini dans son contexte théorique » (Durand, 2003, p. 413).

Notre choix était justifié doublement au regard de la problématique et du cadre conceptuel de la recherche. D’abord, le recours à des variables ayant trait au construit de RS que sont les causes et la justification du redoublement scolaire. Ensuite, la référence à des variables se rapportant au construit de MIE véhiculés par des enseignants et des directions d’écoles : conceptions sociales vis-à-vis des finalités éducationnelles, conceptions psychologiques relatives aux processus d'apprentissage et, plus particulièrement, des démarches d'apprentissage et de leurs modalités d’application ; représentations de la fonction des savoirs scolaires et de leur stratification sociale.

Au titre des méthodes permettant d’évaluer la validité de construit, nous avons opté pour l’approche classique consistant à vérifier la structure factorielle de notre questionnaire.

L’analyse factorielle fait l’objet selon Bourque, Poulin et Cleaver (2006), d’un usage régulier en sciences sociales depuis l’avènement des logiciels de statistiques conviviaux en vue d’évaluer la validité de construit d’instruments psychométriques. Elle est définie comme une

Analyse statistique ayant pour objet la détermination de facteurs à partir d’un ensemble d’inter-corrélations entre variables. La première démarche de l’analyse factorielle consiste à calculer les coefficients de corrélation existant entre les différentes variables. On obtient ainsi une matrice des inter-corrélations. C’est à partir de cette matrice que l’on déterminera quelles sont les variables suffisamment corrélées pouvant se regrouper et constituer des facteurs. Le reste de la démarche de l’analyse consiste à évaluer le degré de saturation d’un premier facteur (critère) en rapport aux autres modalités considérées au départ dans l’évaluation de ce que l’on veut prédire ». (adaptée de De Landsheere, 1999, In Lenoir et al., 2012, p. 227)

La présente recherche se situant dans une optique de détermination des principaux facteurs du redoublement scolaire, à partir de variables se rapportant d’une part, au

130

construit de RS et, d’autre part, à celui de MIE véhiculés par des intervenants scolaires le recours à l’analyse factorielle était justifié.

A travers ce terme générique d’analyse factorielle, Durand (2003), invite à distinguer deux types d'analyse que sont l'analyse factorielle exploratoire (AFE) et l'analyse en composantes principales (ACP).

Sur la différence fondamentale entre les deux techniques, Baillargeon (2003), la situe au niveau de la portion de variance que l’on cherche à expliquer : Si l’ACP s’intéresse à la variance totale présente dans la matrice de corrélation, l’AFE quant à elle se concentre strictement sur la portion de variance commune partagée par certaines variables.

7.2.3 Procédures d’évaluation de la validité des construits

À partir de quelques orientations retenues de la documentation scientifique (Carricano et al., 2011; Bourque et al., 2006; Durand, 2003), nous avons procédé à une AFE sur les items des sections 2 et 3 du questionnaire (RS du redoublement scolaire et des MIE véhiculés). L’objectif visé était de construire des échelles permettant de mesurer les principaux construits latents (facteurs) qui vont émerger de nos données. Les étapes ci-après ont orienté la démarche.

Première étape : détermination de l’approche selon le type de problème

L’approche à mettre en œuvre était de type exploratoire en droite ligne avec le caractère exploratoire de la recherche déjà souligné en supra. Ce qui a justifié par la suite la sélection de l’ACP. Aussi, s’est-t-il agi, d’identifier la structure sous-jacente des données et réduire le nombre de variables en quelques facteurs.

Seconde étape : préparation de l’analyse

Elle a comporté une série de vérifications préalables portant sur :

a) le nombre de variables ou d’items correspondant aux divers domaines de référence à explorer (composantes des RS ; typologie des MIE) ;

b) le type de variable correspondant également aux divers domaines de référence à explorer. Les variables se rapportant aux RS et aux MIE véhiculés par les deux catégories professionnelles susmentionnées dénotent des croyances, des attitudes et des pratiques que nous avons mesurées à partir d’une échelle de type Likert à

131

laquelle nous avons associé des valeurs. Il s’agissait donc de variables continues, avec lesquelles l’ACP fonctionne ;

c) la taille de l’échantillon qui nécessite un minimum de 5 cas par variable insérée afin d’éviter des problèmes de stabilité, de fidélité, de la solution factorielle (Durand, 2003). Carricano et al., (2011) recommandent également les 5 observations minimales tout en suggérant le ratio de 10 items par variable qui est préférable. Par ailleurs, « le nombre total d’observations doit être d’au moins 50 et il est souhaitable d’interroger au moins 100 individus » (Ibid., p. 66).

Troisième étape : respect des postulats

Comme pour toute démarche statistique, un certain nombre de postulats ont été examinés en vue de mieux tester l’efficacité de l’ACP. Et pour cela, nous avons eu recours aux options ci-dessous disponibles dans le menu SPSS de l’analyse factorielle.

a) Corrélations entre les variables : vérification de la magnitude des coefficients à travers la création d’une matrice de corrélation avec toutes les variables ou items correspondant aux divers domaines de référence à explorer ;

b) mesure de l'adéquation de l'échantillonnage (KMO) : test qui indique selon Carricano et al., (2011) dans quelle proportion les variables retenues forment un ensemble cohérent et mesurent de manière adéquate un concept. « Des valeurs de KMO comprises entre 0,3 et 0,7 représentent des solutions factorielles tout juste acceptables. Il est préférable que le KMO dépasse le seuil de 0,7 » (Ibid., p. 66) ; c) test de sphéricité de Bartlett : qui examine la matrice des corrélations dans son intégralité et fournit la probabilité de l’hypothèse nulle selon laquelle toutes les corrélations sont de zéro (Ibid.).

Quatrième étape : choix de la méthode d’extraction

D’après Carricano et al., (Ibid.), choisir un nombre de composantes principales, c’est arbitrer entre la volonté de résumer les données qui pousse à en retenir peu et celle de ne pas déformer excessivement l’information. Deux critères, dont les options sont aussi disponibles dans le menu SPSS de l’analyse factorielle, ont été utilisés :

a) L’« eigenvalue », ou règle des valeurs propres ou règle de Kaiser Guttman, la valeur propre représentant la quantité d’information capturée par un facteur.

132

Aussi, un facteur qui aurait une valeur propre inférieure à 1 représenterait moins d’information, et ne devrait pas être pris en compte (Ibid.) ;

b) le coude de Cattell qui se fonde selon Bourque et al., (2006), sur l’interprétation du graphique de la progression des valeurs propres « scree plot ». Et la règle consiste à conserver le nombre de facteurs situés avant le point d’inflexion du graphique. Dans cette représentation, il faut rechercher le point (parfois les points) de cassure qui représente le nombre de facteurs au-delà duquel l'information ajoutée est peu pertinente (Durand, 2003).

Cinquième étape : Interprétation des données

Les démarches ci-après ont été mises en œuvre en vue de déterminer la combinaison de variables qui était la plus associée à chacun des facteurs significatifs.

a) Examen de la matrice des composantes sans rotation ;

b) examen de la matrice des composantes après rotation : selon Durand (2003), la rotation est le processus mathématique qui permet de faciliter l'interprétation des facteurs en maximisant les saturations les plus fortes et en minimisant les plus faibles de sorte que chaque facteur apparaisse déterminé par un ensemble restreint et unique de variables. Ce processus est effectué par rotation, repositionnement des axes. Dans le même sens, Baillargeon (2003), indique qu’elle vise à faciliter l’interprétation des facteurs latents extraits par l’analyse factorielle. Durand (Ibid.) distingue deux types de rotation : la rotation oblique permettant la corrélation entre facteurs. La méthode OBLIMIN est celle utilisée pour produire cette rotation. Et la rotation orthogonale, lorsque l'on croit qu'il est possible de déterminer des facteurs qui soient indépendants les uns des autres. Sa solution indique que chaque facteur apporte une information unique, non partagée par un autre facteur. La méthode VARIMAX est la plus fréquemment utilisée en vue de produire ce type de rotation ;

c) identification du poids le plus élevé pour chaque variable et étiquetage des facteurs : il s’est agi de procéder à l’identification des variables (ou items) significatifs (valeur > ou = 0,40) par ligne (Hair Tatham, Anderson et Black 1998), à la suppression des variables complexes, à l’établissement de la structure

133

des facteurs, à la désignation du facteur mesuré à l’aide du questionnaire et du libellé exact des items et des variables associées (Durand, 2003).