Les aspects méthodologiques en rappel

Nous avons choisi de valider l’appréciation de chacune des ressources qui composent le dispositif méthodologique, soit une grille d’évaluation et d’autoévaluation de même que les guides explicatifs, selon les fonctions occupées par les juges experts. De plus, nous avons aussi questionné les juges experts sur leur appréciation générale du dispositif. Rappelons qu’à l’étape de validation, nous avons utilisé un questionnaire distribué en ligne suivi d’un entretien individuel pour les spécialistes de contenu et d’un groupe de discussion pour les conseillères en RAC. Les questionnaires sont présentés à l’annexe C pour les spécialistes de contenu et celui pour les conseillères et conseillers en RAC à l’annexe D. Les résultats des questionnaires sont présentés à la section 1.3 de ce chapitre pour les conseillères en RAC et suivent à la section 1.4, les résultats recueillis auprès des spécialistes de contenu. Certains propos ou commentaires écrits des juges experts obtenus lors de la cueillette des données sont pertinents à notre réflexion et ils se retrouvent en annexe E comme étant des extraits de verbatim.

Dans la présentation des données qui suivent, nous employons une terminologie qui permet de faire une distinction en fonction du nombre de répondants : une grande majorité de personnes répondantes concernent plus des trois quarts des personnes ayant répondu, une majorité d’entre elles signifie que plus de la moitié sont de cet avis, mais moins des trois quarts des personnes répondantes sont concernées.

1.1.1 Les données recueillies par validation au moyen des questionnaires et des entrevues semi-dirigées

Les grilles d’évaluation et d’autoévaluation inspirées des travaux de Leroux et Mastracci (2015) comportent des caractéristiques types d’une grille à échelle descriptive retenues comme pertinentes dans le cadre de notre recherche. Plus spécifiquement, nous voulions connaître le niveau de satisfaction en ce qui concerne la pertinence des diverses composantes de la grille. D’abord, certaines questions ont porté sur la satisfaction de la personne répondante par rapport à la grille d’autoévaluation ou d’évaluation (selon la fonction occupée) et les questions ont porté sur les critères d’évaluation et leurs composantes que sont les niveaux d’appréciation et les descripteurs. Ensuite, d’autres questions ont visé le choix des termes des critères et dans chacune de ses composantes. Enfin, d’autres questions concernaient la formulation des descripteurs de la grille. Nous étions intéressées à vérifier si les critères étaient décrits de manière qualitative et observable, s’ils étaient clairs par le choix des termes et l’utilisation d’une formulation adéquate, s’ils étaient appropriés par rapport à chaque niveau attendu pour l’aspect de la cohérence et s’ils couvraient les performances de manière exhaustive. De manière globale, nous souhaitions valider si pour un même critère d’évaluation, les descripteurs étaient déclinables sur un continuum de performance en qualifiant des niveaux différents pour les mêmes aspects retenus.

Les guides explicatifs ont été conçus pour donner des informations aux conseillères et aux conseillers en RAC ainsi qu’aux spécialistes de contenu en RAC à propos de la démarche méthodologique proposée par l’utilisation de la grille d’évaluation ou d’autoévaluation. Nous tenions aussi à vérifier si l’organisation et la structure du guide étaient adéquates selon la fonction occupée. Les juges-experts devaient tout autant donner leur avis sur l’ordre des sections, l’aspect convivial et la formulation utilisée. Ils devaient également préciser leur niveau d’appréciation de la clarté et de la quantité des informations dans le guide explicatif. Pour sa part, la dernière partie de la validation concernait l’appréciation générale, l’utilité et l’intérêt à utiliser le dispositif méthodologique.

Dans le cadre de cette recherche, deux documents ont servi de référents pour la conception du matériel : la politique institutionnelle d’évaluation des professeurs et le

référentiel de compétences de la ou du spécialiste de contenu. Notre intérêt étant de valider la pertinence de leur utilisation, nous avons aussi confirmé la cohérence des composantes du dispositif avec ces documents de référence.

En plus de fournir des informations additionnelles aux résultats des questionnaires, les entrevues ont permis de compléter de façon substantielle notre cueillette de données. Choisie comme méthode pertinente pour obtenir une information détaillée de manière systématique sur l’opinion, les pensées, les expériences et les sentiments des personnes (Karsenti et Savoie-Zajc, 2011), l’entrevue semi-dirigée s’est avérée utile pour valider surtout des points qui exigeaient une interrogation plus poussée. L’entrevue personnelle ou de groupe avait été proposée selon un mode en présentiel ou par téléphone pour laisser les personnes répondantes communiquer plus aisément dans le cadre d’un entretien à la suite du questionnement par écrit. Dans ce type d’entrevues, une série de questions déterminées à l’avance a été posée à laquelle les personnes ont répondu dans leurs propres mots. En utilisant un canevas servant de liste de contrôle, la procédure a veillé à ce que toutes les personnes répondantes fournissent des informations sur les mêmes sujets. Cette démarche a permis d’approfondir certains points ou poser des questions supplémentaires dans le but de clarifier les réponses. Après la demande de consentement des personnes interviewées, l’enregistrement des entrevues s’est avéré fort utile dans le flot des discussions afin de recueillir d’authentiques informations.

1.1.2 Les données recueillies par le journal de bord

La tenue régulière d’un journal étant le prérequis indispensable à une analyse rigoureuse, il s’est avéré un support essentiel de la collecte des données et du travail de réflexion. Il constitue ainsi la trace écrite du travail de la chercheuse et tout au long de la recherche et conformément au devis de Paillé (2007), nous avons recueilli des données à l’aide du journal de bord. Considéré comme un registre personnel et n’étant pas destiné à être diffusé, il a pu être différencié d’un compte-rendu. Comme la perte d’informations est très rapide si les écrits ne sont pas consignés au fur et à mesure ainsi que pour des raisons de mémorisation, le journal de bord a été complété les jours mêmes des séances d’observation. Sur un support numérique, les données ont été saisies de manière chronologique et

regroupées par thèmes afin de comparer plus facilement les différentes séquences d’observation.

En conséquence, se sont entremêlées dans le journal de bord : a) des notes descriptives prises en temps réel et consignées dans un style le plus neutre possible pour éviter les interprétations à cette étape, b) des réflexions méthodologiques, telles que des conditions sur le terrain, les relations entre les personnes répondantes, les difficultés particulières, c) des pistes d’analyse et d’observation, soit des brides d’interprétation, hypothèses et amorce de généralisation, d) des notes prospectives pour des pistes d’amélioration, e) des réflexions personnelles pour les impressions plus subjectives d’auto- analyse.