a) Validité interne
Concernant cet aspect, l’analyse critique porte essentiellement sur le questionnaire.
Tout d’abord, nous allons nous intéresser à certaines variables parasites ayant pu influer sur les réponses données par les élèves. Pour les raisons évoquées dans la partie explicitant la procédure suivie, les conditions de passation n’ont pas été les mêmes pour les deux classes, malgré mes intentions de départ. D’une part, celle-ci a eu lieu un mardi pour la classe A tandis qu’elle s’est déroulée un vendredi pour la classe B, soit le dernier jour de la semaine. Les enfants, mais aussi l’enseignant, ont alors accumulé beaucoup de fatigue et peuvent, parfois, montrer des signes d’énervement, malgré eux. Or, cela peut jouer sur l’ambiance de travail. D’autre part, pour les deux classes, au moins une partie de leur questionnaire a été réalisée au retour de la pause méridienne. Or, nous savons que cette dernière est souvent le théâtre de conflits entre pairs, lesquels affectent généralement la disponibilité et l’humeur des apprenants concernés. Ensuite, si les élèves de la classe A ont rempli une grande partie du questionnaire en autonomie, ceux de l’autre classe ont été accompagnés tout au long de sa réalisation. Les personnes en charge de la passation n’étaient pas non plus les mêmes : si j’ai pu revêtir ce rôle pour la classe A, l’enseignante de la classe B l’a occupé pour son groupe. Par ailleurs, cette dernière a préféré compléter le questionnaire en une seule fois, malgré sa longueur. Ce faisant, le temps de passation s’est élevé à une heure, de manière continue. Il est plus que probable qu’un tel effort est provoqué fatigue, perte d’attention ou encore lassitude, ce qui a pu impacter la qualité des réponses données par les élèves. C’est la raison pour laquelle, à l’image de la stratégie utilisée pour la classe A, je lui avais recommandé de fragmenter la passation au moins en deux fois.
Nous allons maintenant nous attarder sur la mise en page et le contenu du questionnaire en lui-même. La première aurait mérité d’être revue afin d’être plus efficiente. En effet, si les questions 8, 19, 37 et 41 figuraient au recto, les réponses possibles étaient présentes au verso, ou inversement. Cela peut expliquer l’absence de réponse de certains élèves. De plus, les difficultés exprimées par les enfants en matière de compréhension vis-à-vis des questions 8, 9, 20, 25, 28, 34, 36 et 37 ont pu mettre en évidence l’utilisation d’une syntaxe et d’un vocabulaire
probablement trop complexes. Je pense également que les questions 15 et 22 manquaient de précision concernant les éléments véritablement visés. Pour continuer, quelques élèves ont vu leur réponse non recevable à la question 12 car ils ne sont pas parvenus à la traduire selon l’échelle de fréquence proposée. Par conséquent, j’aurais peut-être dû me diriger vers une autre échelle d’attitude. Par exemple, une solution envisagée aurait pu être de s’orienter sur une évaluation quantitative. Par ailleurs, la majorité des élèves de la classe B ont rapporté qu’ils regrettaient qu’il n’y ait pas un niveau de fréquence intermédiaire entre « rarement » et « souvent ». En outre, l’ensemble de ces éléments me confirme dans l’idée que j’aurais dû effectuer un prétest de mon questionnaire auprès d’une classe de niveau équivalent. Certains défauts auraient ainsi pu être mis en lumière puis corrigés dans le but de proposer une version finale de meilleure qualité aux deux groupes classe.
D’autre part, comme je l’avais annoncé dans la partie consacrée à la présentation du matériel utilisé, les réponses recueillies moyennant le questionnaire reposent sur la subjectivité et la compréhension des élèves. Nous allons nous concentrer sur la dimension subjective ; laquelle a notamment été interrogée par les élèves de la classe B à la question 20, comme nous avons pu le voir à travers l’analyse qui en a été faite. Les enfants n’entretiennent pas le même rapport au monde et à autrui. Leur sensibilité est aussi différente, de même que leur appréciation des notions de fréquence et qualité. Ils ont chacun leur propre personnalité et vécu. Ce sont toutes ces particularités qui font d’eux des êtres singuliers. C’est pourquoi, ils ne vont pas forcément réagir de la même manière face à une même question. L’exemple de Sabrina illustre très bien cette part accordée au subjectif. En effet, le rapport très complexe entretenu par la jeune fille avec l’école et ses camarades de classe a orienté de manière négative la majorité de ses réponses. Pour terminer, certaines incohérences dans les choix effectués par les élèves de la classe B, notamment entre les questions 12 et 13, 15 et 16, 19 et 20 et 32 et 34, nous amènent à l’idée que ces derniers éprouvent quelques difficultés à s’autoévaluer. De manière générale, il est également possible que certains élèves aient répondu en voulant faire plaisir à l’enseignante ou à moi-même.
b) Validité externe
Cette dimension conduit à nous intéresser à la population choisie pour mener l’étude. D’une part, la taille de l’échantillon étant très réduite, nous sommes dans l’impossibilité d’apporter toute conclusion définitive ou d’émettre quelques généralités. Au mieux, pouvons-nous dégager une faible tendance. Enfin, dans les limites théoriques, nous avons soulevé l’idée que le dispositif CHAM était lui-même susceptible d’exercer une influence positive sur le climat de
classe. Par conséquent, nous sommes en droit de nous demander si le fait de nous être orientés vers une classe suivant ce cursus ne représente pas un biais d’échantillonnage.