Précautions prises pour assurer la confiance dans les données issues des

Premièrement, concernant la technique du questionnaire, tel que préconisé par Fortin et al. (2006), l’uniformité de la présentation des directives assure une constance d’un questionnaire à l’autre ce qui rend possible les comparaisons entre les répondants. À cet effet, nous avons veillé lors de l’administration du questionnaire à le présenter clairement aux participants de manière à ce qu’il soit correctement rempli (en respectant le classement par ordre d’importance de 1 à 5, 5 étant le plus important) et que les énoncés soient bien compris.

Deuxièmement, concernant la technique de l’entretien, en nous fiant à Dépelteau (2007), nous savons qu’il est important qu’un entretien soit efficace, c’est- à-dire que les données recueillies puissent être utilisées. Pour cela, cet auteur identifie plusieurs précautions à prendre: les questions élaborées doivent être pertinentes: elles doivent être précises, claires, concises et exclusives; l’enquêteur doit être bien préparé et être compétent dans la prise en main de l’entretien (avoir en tête les questions, ne pas souffler de réponses, être à l’écoute, créer un climat de confiance, faire preuve d’intérêt); l’enquêteur doit respecter l’anonymat de l’enquêté, ses choix, ne pas exprimer d’opinions ou de prises de position.

Suite à ces recommandations, dans un premier temps, nous avons veillé à ce que les questions soient claires et précises et que les enseignants interrogés aient des connaissances sur le sujet de l’entretien. Pour favoriser le bon déroulement des entretiens, nous avons transmis en main propre les guides d’entretien aux enseignants une semaine avant le déroulement de ces derniers. Dans un deuxième temps, nous avons veillé à ce que le chercheur se familiarise avec la liste des questions et qu’il s’exerce dans la conduite d’un entretien. À cette fin, nous avons suivi les recommandations de Vermersch (1994) sur l’entretien d’explicitation et nous avons essayé de garder à l’esprit ces recommandations pendant le déroulement des

entretiens. Par exemple, afin d’amener les enseignants à verbaliser leurs actions, plus spécifiquement dans les entretiens pré- et post-séance, nous avons utilisé la technique de la reformulation en utilisant les propres mots du répondant pour l’amener à développer son propos. Cela pouvait avoir la forme suivante: « Si je comprends bien, tu veux dire … » (Vermersch, 1994, p. 37). Nous avons également privilégié utiliser le questionnement à partir des pronoms et adjectifs interrogatifs (qui, que, quoi, quel) plutôt qu’à partir de l’adverbe pourquoi. Par exemple, les relances prenaient la forme suivante: « Et quand tu appliques cette règle, qu’est-ce que tu fais ? » (Ibid., 1994, p. 36). D’après Vermersch, ces techniques permettent d’amener le répondant à décrire son action plutôt qu’à la conceptualiser.

Troisièmement, concernant la technique de l’observation, nous avons tout d’abord demandé à cinq experts dans le domaine de l’ÉPS (deux enseignantes, deux professeures d’université et une professionnelle de recherche) de se prononcer sur la clarté, la représentativité et l’exhaustivité des indicateurs et des catégories composant la grille d’observation de la pratique d’enseignement en situation interactive. Nous leur avons adressé une lettre de présentation expliquant le projet de recherche et l’expertise attendue de leur part accompagnée du questionnaire leur permettant de se prononcer sur la grille d’observation. Le questionnaire utilisé figure à l’annexe F. Les résultats du questionnaire, présentés dans le tableau ci-dessous, ont été quantifiés sur un ensemble de 98 items sous forme d’indice de validité de contenu (IVC).

Tableau 5

Indices de validité de contenu obtenus sur la clarté, la représentativité et l’exhaustivité des indicateurs de la grille d’observation

Expert 1 Expert 2 Expert 3 Expert 4 Expert 5 Moyenne

Un indice de validité correspond au nombre d’items avec pointage de 3 et 4 divisé par le nombre total d’items et, est acceptable s’il est égal ou supérieur à 0,80 (Fortin et al., 2006). L’obtention d’un IVC moyen de 0,94 avec cinq experts est donc très satisfaisante. De plus, la variabilité entre les experts est faible (écart-type de 0,06).

En outre, une dernière question ouverte dans ce questionnaire permettait aux experts de formuler des remarques en lien avec le travail d’expertise à réaliser. De cette question, il ressort que l’ensemble des experts mentionne la qualité et l’exhaustivité de la grille d’observation qui représente bien l’ensemble des pratiques d’enseignement mises en œuvre en ÉPS au secondaire.

Nous avons ensuite demandé à deux autres experts spécialistes de la recherche dans le domaine de l’ÉPS (différents de ceux sollicités en première étape) de tester la grille d’observation sur un extrait vidéoscopique d’une séance d’enseignement pour vérifier la faisabilité du codage. Nous leur avons envoyé la grille d’observation ainsi qu’une lettre de présentation expliquant nos objectifs de recherche et les procédures d’utilisation de la grille d’observation. Le codage qu’ils ont réalisé et les commentaires qu’ils nous ont adressés nous ont permis de perfectionner l’utilisation de la grille. Nous y avons ajouté la possibilité d’inscrire des énoncés qualitatifs permettant d’indicer le codage effectué. L’ajout d’annotations qualitatives a l’avantage d’illustrer et de justifier le codage d’un indicateur plutôt qu’un autre.

Puis, nous avons réalisé une analyse consensuelle avec un expert du domaine de la recherche en ÉPS (différent de ceux sollicités en première et deuxième étape) afin de vérifier notre procédure de codage tel que le préconise Van der Mars (1989). Pour cela, nous lui avons présenté et expliqué notre codage pour chaque indicateur à deux reprises sur une séance d’enseignement d’ÉPS de deux heures. Nous avons visionné ensemble la vidéo de la séance en faisant des arrêts toutes les cinq minutes

tout en regardant le codage correspondant réalisé. Nous avons alors discuté de ce codage et nous nous sommes mis d’accord sur la manière de coder les différents évènements visionnés. Ce travail d’une trentaine d’heures nous a permis de clarifier notre utilisation de la grille d’observation afin qu’un codeur extérieur puisse réaliser un codage identique au nôtre sur un même extrait vidéoscopique. Selon Fortin et al. (2006), l’accord entre les observateurs permet de diminuer l’erreur externe qui entraîne des biais liés à une utilisation personnelle de l’outil. Tandis que Poupart, Deslauriers, Groulx, Laperrière, Mayer et Pires (1997, p. 234) mentionnent que « lorsque plusieurs observateurs s’accordent pour décrire une situation dans les mêmes termes, la validité de cette description s’accroît ».

Enfin, nous avons, avec cet expert, réalisé une nouvelle analyse en lui demandant d’indiquer pour chaque indicateur codé son accord ou son désaccord avec le codage effectué sur une séance entière d’enseignement (différente de celle utilisée pour l’analyse consensuelle). Cette analyse a permis de calculer le pourcentage d’accord inter-codeur (correspondant au nombre d’accords divisé par le nombre total d’accords et de désaccords) que partageait cet expert avec notre codage. Ce pourcentage permet d’effectuer une mesure de concordance entre deux observateurs (Norimatsu et Pigem, 2008). La concordance entre les deux observateurs est considérée bonne si le pourcentage d’accord est supérieur à 80%. Nous avons obtenu un pourcentage d’accord inter-codeur de 92,2% (avec 1287 accords et 109 désaccords sur 1396 jugements). Un tel pourcentage peut être considéré comme très satisfaisant. D’autant plus que le calcul a été réalisé sur le codage d’une séance d’enseignement complète de deux heures comportant par conséquent un grand nombre de décisions de codage.

De la même manière, nous avons vérifié la constance dans notre codage d’une même séance d’enseignement à deux moments différent en calculant notre pourcentage d’accord intra-codeur (correspondant au nombre d’accords divisé par le nombre total d’accords et de désaccords). Nous avons répété cette opération au final

sur trois séances d’enseignement différentes. Nous avons obtenu un pourcentage d’accord intra-codeur moyen de 97,5%. De la même manière que pour le pourcentage d’accord inter-codeur, la concordance entre les observations réalisées à des intervalles de temps différentes est considérée bonne si le pourcentage d’accord est supérieur à 80%. Le pourcentage d’accord intra-codeur obtenu est également très satisfaisant.

Tableau 6

Pourcentage d’accord intracodeur obtenu sur trois séances d’enseignement

Séance A Séance B Séance C Moyenne

Pourcentage d’accords 96,9% 97,77% 97,81% 97,5%

Nombre d’accords (A) et de désaccords (D) A=813 D=26 A=921 D=21 A=536 D=12

Les précautions prises pour s’assurer de la confiance dans les données de la grille d’observation au plan de sa composition et de son utilisation ont donc été complétées avec succès.