3 La méthode de recherche
3.4 La validité de la méthode de recherche
« Un consultant efficace doit être capable d’identifier correctement les barrières et travailler à les enlever rapidement pour que la mise en œuvre puisse continuer. »
(Vanderheyden & Witt, 2008, p. 120, traduction libre)
La crédibilité des résultats de recherche dépend notamment de la validité du protocole utilisé pour la collecte de données. Différents outils permettent d’évaluer cette validité. Dans ce chapitre, les responsabilités respectives des enseignantes et des consultants lors de chaque phase sont tout d’abord listées, afin de mieux percevoir le protocole de recherche et d’être plus à même de l’évaluer dans un second temps. Enfin, la qualité du protocole sera évaluée à l’aide d’outils de référence issu de la littérature scientifique.
3.4.1 Les tâches des enseignantes et des consultants
Pour permettre d’appréhender le dispositif de recherche malgré sa complexité, un résumé présente les tâches des enseignantes et des consultants pour chaque phase (Tableau 8).
70
Tableau 8
Synthèse des tâches et responsabilités des enseignantes et des consultants
Tâches des enseignantes Tâches des consultants
Phase A (ligne de base)
- enseigner comme d’habitude ; - filmer quotidiennement leur
enseignement ;
- remplir le EAEE chaque mardi et jeudi. - Phase B (4 séances de consultations scolaires)
- enseigner en mettant en œuvre le plan d’intervention ;
- filmer quotidiennement leur enseignement ;
- remplir le EAEE chaque mardi et jeudi ;
- participer activement à quatre séances de consultations scolaires.
- aller dans la classe à l’horaire convenu ;
- fournir le matériel pour visionner les vidéos ;
- enregistrer (audio) les séances de consultations scolaires ; - guider les séances de
consultations scolaires selon le canevas ;
- remplir la check-list de fidélité de mise en œuvre des
consultations scolaires. Phase C
(4 séances d’analyses en
autonomie)
- idem qu’en Phase B, mais en réalisant quatre séances d’analyses en autonomie à la place des consultations scolaires :
-
Phase D (maintien volontaire)
- enseigner en mettant en œuvre le plan d’intervention ;
- filmer quotidiennement leur enseignement ;
- remplir le EAEE chaque mardi et jeudi ;
- continuer, si elles le souhaitent, les séances d’analyses en autonomie de la phase C.
-
3.4.2 La qualité du protocole de recherche selon différents standards J’ai pris la peine de confronter mon protocole de recherche à des standards de qualité, ceci afin d’assoir la validité des résultats pouvant être obtenus. Les travaux de (1) Tate, Perdices, McDonald, Togher, & Rosenkoetter (2014), (2) de Horner et al. (2005), (3) du
71
Council for Exceptional Children (2014) et (4) du What Works Clearinghouse (2013) ont été utilisés.
3.4.2.1 Les validités interne et externe selon Tate et al. (2014)
Pour Tate et al. (2014), la validité interne d’un PCU suppose le respect des sept critères suivants :
1. le PCU permet le contrôle expérimental de la variable indépendante ;
2. le début des phases est assigné aléatoirement ;
3. un nombre suffisant de mesures est récolté lors de chaque phase ;
4. les participants ignorent dans quelle phase de la recherche ils se trouvent ;
5. un double codage confronté, nommé accord inter-observateur, est réalisé adéquatement ;
6. lors de l’accord inter-observateur, les codeurs ignorent de quelle phase proviennent les données ;
7. la variable indépendante est mise en œuvre avec fidélité.
En ce qui concerne le critère n°3, un minimum de trois points de mesure, idéalement cinq, est nécessaire pour chaque phase (What Works Clearinghouse, 2013). En ce qui concerne le critère n°6, un accord inter-observateur d’au moins 80% sur au moins 20% des données de chaque phase est nécessaire (Horner et al., 2005).
Pour Tate et al. (2014), la validité externe d’un PCU suppose le respect des huit critères suivants :
8. les caractéristiques de chaque participant sont décrites ; 9. l’environnement d’intervention est décrit ;
10. les variables dépendantes sont opérationnalisées et la méthode de mesure est décrite ;
11. l’intervention (ici, les consultations scolaires) est décrite avec suffisamment de détails, notamment en nombre, durée et périodicité ;
12. les variables dépendantes sont mesurées systématiquement ; 13. la méthode d’analyse des données est explicitée ;
14. le PCU-LBM prévoit au moins trois réplications de la mesure des effets de la consultation (What Works Clearinghouse, 2013) ;
72
15. les variables dépendantes sont mesurées avant, pendant et après l’intervention (ici, les consultations scolaires).
Dans cette recherche, la quasi-totalité des critères de Tate et al. (2014) ont été respectés. Seuls les points 4 et 6 ne l’ont été que partiellement. Pour le point 4, les enseignantes étaient manifestement au courant de la phase de recherche, puisqu’elles participaient aux séances de consultations scolaires. Les élèves n’en savaient toutefois rien. Quant au point 6, malgré les précautions dans la dénomination des fichiers vidéo analysés, j’étais souvent capable de reconnaître la phase concernée (A ou B). Les autres codeurs n’en étaient toutefois pas capables.
3.4.2.2 Les indicateurs de qualité du protocole selon Horner et al. (2005)
Horner et al. (2005) proposent une liste d’indicateurs permettant d’évaluer la qualité d’un PCU dans le contexte de l’éducation. Ils ont été utilisés pour juger la qualité du protocole, sans détailler ceux dont la présence avait déjà été vérifiée à l’aide de l’échelle de Tate et al. (2014).
1. La description requise des participants et du contexte est présentée en détail dans le chapitre 3.1.
2. Les variables dépendantes ont été opérationnalisées avec précision (voir le chapitre 3.3).
3. La variable indépendante, à savoir les consultations scolaires, a été décrite avec précision dans le chapitre 3.2 et en Annexe E. Elle a de plus été manipulée de manière systématique.
4. La fidélité de mise en œuvre des consultations scolaires a été contrôlée, comme recommandé (voir Annexe F).
5. La ligne de base (Phase A) a été décrite avec précision dans le chapitre 3.1 et 3.2.
6. La validité sociale du protocole de recherche a été centrale. Dans le chapitre 1.3, sont expliqués l’importance d’une prise en charge adaptée des élèves présentant des TdC et l’intérêt d’un soutien offert aux enseignantes en charge de ce type d’élève. De plus, la mise en œuvre du dispositif de consultations
73
scolaires est simple et peu coûteuse en temps et en matériel, comme exposé dans le chapitre 3.2.
3.4.2.3 Les standards du Council for Exceptional Children (2014) Le Council for Exceptional Children (2014) est un organisme qui a aussi développé une série de standards pour juger de la qualité des recherches. Certains standards du Council for Exceptional Children sont similaires aux indicateurs proposés par Horner et al. (2005) et Tate et al. (2014), mais quelques indicateurs sont nouveaux.
1. Un accent est mis sur la fidélité de mise en œuvre de la VI tout au long du protocole. Ce standard est respecté, dans le sens où un soin particulier a été pris pour mesurer les variables dépendantes, mais aussi les VI de façon systématique (voir chapitre 3.5).
2. Chaque variable dépendante contient au moins trois points de mesure dans chaque phase.
3. L’attrition des participants peut être qualifiée de faible. Une enseignante sur six a abandonné l’étude en cours de route. L’abandon de cette participante n’est pas dû à une volonté d’interrompre la recherche, mais fait suite à une récolte insuffisante de données en raison d’absences (problèmes médicaux).
3.4.2.4 Les critères du What Works Clearinghouse (2013)
Le What Works Clearinghouse (2013) ajoute des critères chiffrés. Pour atteindre les standards de qualité, le protocole de recherche doit contenir au moins six phases et cinq points de mesure par phase. Le protocole contient dix phases et au minimum cinq points de mesure par phase pour les deux variables dépendantes.
Ainsi, le protocole de recherche concorde avec les critères de Tate et al. (2014), les indicateurs de Horner et al. (2005), les standards du Council for Exceptional Children (2014) et les critères du What Works Clearinghouse (2013).
74
3.4.1 La validation par la commission d’éthique
La commission cantonale d’éthique du Canton de Fribourg a validé le plan de recherche et le canevas de consultations scolaires. Après soumission du dossier, la commission avait demandé de faire une légère correction au déroulement du projet initialement prévu. Le demande supposait que je présente moi-même le dispositif de recherche aux élèves6. Celle-ci était justifiée par la nécessité d’une
diffusion d’information uniforme auprès de toutes les classes. En Annexe G figure l’autorisation de la commission d’éthique. Une fois les précautions éthiques vérifiées et stabilisées, la collecte de données a pu débuter.