Chapitre 3 — Méthodologie
3.4 Instruments utilisés et procédures
3.4.4 Grille d’observation des pratiques de soutien de la communication, du langage et de l’éveil
La grille d’observation des pratiques de soutien de la communication, du langage et de l’éveil à l’écrit (CLÉÉ) a été traduite en français et adaptée à partir du Conversational Responsiveness and Fidelity
Tool (CRAFT, Friel et al., 2007). Le CRAFT est lui-même une adaptation du Teacher Interaction and Language Rating Scale (TILRS, Girolameto et Weitzman, 2002), qui utilise une échelle Likert.
Le CRAFT propose plutôt une analyse par intervalles de 30 secondes, à partir de segments vidéos de 7 min 30 s, qui permet d’estimer la fréquence d’utilisation de pratiques, au cours d’interactions naturelles entre l’éducatrice et les enfants de son groupe. Cette méthode offre plus de précision qu’une échelle Likert (Friel et al., 2007), tout en étant nettement moins chronophage qu’une analyse linguistique détaillée impliquant la transcription des segments vidéos analysés (p. ex. : Dickinson et al., 2014). Une des auteures (L. Justice) a donné son aval pour utiliser et adapter le manuel du CRAFT développé dans le cadre des travaux de son équipe. Une traduction intégrale de l’outil a d’abord été réalisée et vérifiée par deux autres chercheurs (tel que décrit par Bakeman et Quera, 2011). Cette première version de l’outil a été mise à l’essai. Des besoins sont rapidement ressortis afin d’améliorer la description de chaque item et ainsi la précision de la cotation, pour permettre un meilleur accord interjuges. Des propositions d’items supplémentaires et des sous-divisions d’items ont également été ajoutées à ce stade, afin de décrire plus finement ce qui était observé sur les segments vidéos. Ces premières propositions ont été le point de départ d’une démarche itérative de mise à l’essai de l’outil, puis d’analyse des données collectées afin de faire des recommandations de modifications. Lors de ce processus, un comité de six expertes, possédant une grande expérience du domaine, a été formé afin de valider les items révisés (tel que proposé par Hoyt et Mallinckrodt, 2012).
Les items ont par la suite été soumis à trois experts externes, afin de faire une validation de contenu du nouvel outil (Bakeman et Quera, 2011). Comme mentionné dans le chapitre précédent, durant l’ensemble de cette démarche, les travaux d’autres équipes de recherche ont été consultés afin de préciser certains items de la grille (entre autres, Barnes et al., 2017; de Rivera et al, 2005; Dickinson et al., 2014; Dockrell et al. 2015; Girolametto et Weitzman, 2002; Justice et al., 2008). La grille CLÉÉ utilisée dans cette thèse comporte donc, au terme de cette démarche, plusieurs modifications par rapport à la grille de la version originale du CRAFT, mais y demeure fidèle dans les procédures utilisées.
Contenu et structure de la CLÉÉ. La CLÉÉ comporte cinq sections, dont une s’intéresse aux pratiques liées au soutien de l’éveil à l’écrit chez les enfants. Comme ces dernières pratiques ne font
pas l’objet de la présente étude, cette section (section E) n’est pas abordée ici. À l’instar du CRAFT, la CLÉÉ permet de documenter les pratiques de soutien du développement langagier utilisées par l’éducatrice au cours de segments vidéos de 7 minutes, 30 secondes, selon deux niveaux d’analyse :
(1) Un niveau macrosystémique. Ce niveau décrit de façon globale, sur l’ensemble du segment vidéo, la présence de cinq pratiques qui contribuent à créer un environnement propice à la communication. Ces items sont présentés dans la section A du Tableau 9. Une échelle Likert de 1 à 4 est utilisée pour codifier ces items.
(2) Un niveau microsystémique. Il s’agit d’une analyse par intervalle de 30 secondes, permettant d’estimer la fréquence d’utilisation de 15 pratiques. Ces items sont divisés en trois sections, à partir des travaux de Girolametto et Weitzman (2002), tels que présentés dans le Tableau 9 : 1) les pratiques pour se centrer sur les enfants (section B, items 1 à 5); 2) les pratiques qui permettent de promouvoir les interactions verbales (section C, items 6 à 8); et 3) les pratiques pour enrichir le langage (section D, items 9 à 13). À chaque intervalle, la présence d’au moins une occurrence d’une pratique (1) ou l’absence d’utilisation de cette pratique (0) est notée. Cela permet d’obtenir une proportion d’intervalles où chaque pratique est utilisée. Cette proportion est présentée par un score compris entre 0,00 (jamais utilisée) et 1,00 (utilisée dans l’ensemble des intervalles).8 La grille de cotation de la CLÉÉ est disponible à l’Annexe E. Notons également que les procédures de codification de la grille tiennent compte du fait qu’un même échange entre l’éducatrice et les enfants peut entrainer l’utilisation de plusieurs pratiques. Par exemple, une éducatrice s’intègre à un jeu de maison des enfants en s’assoyant avec eux et répond à ce que les enfants expriment. Lorsqu’un enfant indique : « Le garçon est triste », elle complète par une question : « Pourquoi est-il triste? », ce qui lui permet de poursuivre la conversation, tout en amenant l’enfant à expliciter les sentiments de son personnage. Dans cet échange, l’éducatrice a mobilisé plusieurs pratiques : elle s’est positionnée à la hauteur des enfants (a.), elle a répondu à leurs initiatives (3.), elle leur a posé une question à réponse ouverte (7A.) et elle les a amenés à utiliser un langage décontextualisé (13.).
8 Un score de 0,5 indique que la pratique est présente dans 50% des intervalles analysés, un score de 0,7, dans
Tableau 9
Items de la CLÉÉ (Bergeron-Morin et al., 2019)
SECTION A — Créer un environnement propice à la communication (échelle Likert de 1 à 4) a. Se positionne activement pour être à la hauteur des enfants
b. Participe activement à l’activité en cours.
c. Ajuste la complexité de son langage au niveau de développement langagier des enfants. d. Suscite la participation verbale et non verbale des enfants, spécialement celle des enfants peu
engagés.
e. Entretient des échanges de plus de 4 tours de parole (2 aller-retour) avec les enfants. SECTION B — Se centrer sur les enfants (0 ou 1 pour chaque intervalle de 30 s)a
1. Observe et écoute de façon attentive et réceptive. 2. Évite de dominer la conversation.
3. Répond aux initiatives verbales et non verbales des enfants.
4. N’ignore pas (ou ne répond pas vaguement) aux tentatives de communication des enfants. 5. Utilise un rythme lent et/ou adapté qui permet aux enfants de participer aux échanges. SECTION C — Promouvoir les interactions verbales (0 ou 1 pour chaque intervalle de 30 s)a
6. Facilite les échanges entre les pairs. 7A. Fait un commentaire en réponse à l’enfant. 7B. Initie un commentaire.
8A. Pose une question à réponse ouverte. 8B. Pose une question à réponse fermée.
SECTION D — Enrichir le langage (0 ou 1 pour chaque intervalle de 30 s)a
9. Met l’accent sur certains mots ou les répète pour les rendre saillants. 10. Répète intégralement ce qu’a dit un enfant.
11. Reformule l’énoncé d’un enfant en précisant la prononciation, la syntaxe ou le contenu. 12. Fournit ou amène les enfants à formuler une explication à propos d’un objet, d’une action,
d’un évènement, d’un mot, etc.
13. Utilise ou amène les enfants à recourir à du langage décontextualisé (inférer, prédire, réfléchir, parler des sentiments, d’une situation imaginaire, du passé ou du futur).
Note. a. Pour chaque item, un score entre 0,00 et 1,00 est calculé, qui représente la proportion d’intervalles où
la pratique est utilisée à au moins une occasion.
Procédures. Des séquences vidéos de chaque éducatrice en interaction avec les enfants de son groupe (durée moyenne = 14 min 5 s; étendue = [9 min 34 s - 21 min 31 s]) ont été filmées de façon hebdomadaire, soit une séquence par semaine, par éducatrice. Les séquences vidéos ont été collectées sur une période de quatorze semaines, sur lesquelles douze séquences par éducatrice ont été conservées pour la présente étude (total = 48 séquences). Ainsi, deux semaines pour chaque éducatrice ont été écartées soit parce que la donnée était manquante (à une reprise, il a été impossible de se rendre dans un des CPE pour capter la séquence vidéo hebdomadaire) ou que l’éducatrice était
occupée à une autre tâche plus du tiers du temps filmé (p.ex. : changement de couches, gestion d’un conflit entre deux enfants).
La Figure 5 montre la correspondance des douze temps de mesure par rapport au déroulement du dispositif. Les séquences sont décrites dans le Tableau 10, à la page suivante. Ainsi, sur les quatre semaines précédant le début des rencontres de cointervention, trois temps de mesure pour chaque éducatrice ont été définis (T1 à T3). Quatre temps de mesure correspondent aux quatre premières semaines de la cointervention (T4 à T7). Durant la période de réinvestissement-réajustement avant les deux dernières rencontres, deux temps de mesure ont été retenus sur une période de trois semaines (T8 - T9). Deux temps de mesure correspondent aux deux dernières rencontres de cointervention (T10 - T11). Enfin, une dernière séquence (T12) a été collectée dans la semaine suivant la dernière rencontre de cointervention. La Figure 6 montre aussi que pour les analyses subséquentes, ces temps de mesure ont été séparés selon trois périodes : avant (T1 à T3), pendant (T4 à T9) et fin (T10 à T12). Figure 5
Correspondance entre les temps de mesure, les périodes et le déroulement du dispositif de développement professionnel
Les moments de captation ont été sélectionnés avec la volonté d’observer des moments d’interactions les plus naturels possibles, durant les routines et activités quotidiennes au service de garde, selon l’activité en cours au moment où l’enregistrement était prévu : collation, diner, ateliers semi- structurés ou ateliers libres. Les activités de grand groupe comme la lecture d’histoire n’ont donc pas été retenues parmi les séquences filmées (Cabell et al., 2013; Chen et De Groot, 2014). Le Tableau 10 décrit chacune des séquences retenues pour les quatre éducatrices.
Conformément aux procédures de la CLÉÉ, chaque séquence vidéo a été découpée de façon à conserver le segment central de 7 minutes 30 secondes, ce qui permet d’enlever les premiers instants et d’ainsi laisser le temps aux enfants et à l’éducatrice de se familiariser avec la caméra (Bouchard et al., 2014).
Tableau 10
Description des séquences vidéos utilisées pour les analyses
P1 P2 P3 P4 Durée Activité en cours Durée Activité en cours Durée Activité en cours Durée Activité en cours T1 15 min 47 s Préparation et atelier de peinture 14 min
55 s pâte à modeler Ateliers de et bacs à sable
12 min
12 s Jeux libres dans différents coins de jeu
14 min
17 s Atelier de pâte à modeler
T2 12 min
43 s Atelier de pâte à modeler 12 min 45 s Ateliers libres (jeu de poupées/nourri ture/maison)
12 min
3 s Atelier de pâte à modeler 21 min 12 s Ateliers autour de différentes tables (autos, peinture)
T3 10 min
45 s bricolage autour Coloriage et de la table
18 min
0 s Lego autour de Atelier de la table
13 min
31 s Diner 11 min 34 s Collation
T4 12 min
56 s Atelier de jardinage 11 min 36 s autour de la Jeux libres table
10 min
0 s Diner 11 mi 38 s Ateliers autour de différentes tables (bricolage, bac
d’eau)
T5 13 min
24 s Collation 14 min 2 s Collation 21 min 31 s Atelier de Lego 15 min 20 s Atelier de bricolage
T6 16 min 23 s Diner 9 min 47 s Diner 14 min 35 s Diner 8 min 30 s Jeux de table et jeux libres T7 13 min
1 s Atelier de pâte à modeler 9 min 46 s Collation 14 min 55 s Jeux libres dans différents coins de jeu
13 min
17 s différents coins de Jeux libres dans jeu
T8 11 min
14 s Collation 9 min 34 s Collation 12 min 0 s Collation 16 min 6 s différents coins de Jeux libres dans jeu
T9 12 min
40 s Collation 9 min 40 s Diner 10 min 34 s Collation 15 min 23 s transition vers Collation et jeux libres T10 16 min 24 s Diner 9 min 56 s Diner 17 min 3 s Diner 7 min 59 s Collation T11 11 min
33 s Diner 11 min 50 s Diner 12 min 34 s Collation 20 min 39 s Diner
T12 20 min
41 s habillage (en Collation et maillot de bain)
20 min
27 s Jeux libres 9 min 42 s Collation 21 min 15 s Activité de dessin à la table
Accord interjuges. Toutes les vidéos ont été codées par la première auteure de l’article. La fidélité interjuges a été vérifiée auprès d’une deuxième codeuse, préalablement formée, sur 20 % des
segments. Des coefficients AC2 de Gwet pondéré, qui permettent de valider l’accord interjuges, ont été calculés pour chaque item (Wongpakaran et al., 2013). Ce coefficient a été retenu, car il est considéré comme plus robuste que d’autres coefficients comme le kappa de Cohen, surtout en regard de la nature des données récoltées avec la CLÉÉ, où plusieurs réponses possibles ne sont pas exploitées dans les données (Wongpakaran et al., 2013). Cette statistique permet de vérifier si l’accord entre les juges est plus grand que l’accord par chance. Une pondération quadratique calculée avec le logiciel R a été utilisée.Les coefficients de Gwet obtenus (M = 0,78; É-T. = 0,14; [0,63 - 0,96]) pour l’accord interjuges sont satisfaisants, selon les points de références d’Altman (1991)9. Une mesure de fidélité intrajuge a également été calculée sur 15 % des segments et jugée adéquate (M = 0,86; É-T.= 0,1; [0,63 - 1,00]). Le Tableau 11, à la page suivante, détaille, pour chaque item de la CLÉÉ, les coefficients interjuges et intrajuge obtenus.
Une analyse approfondie de ces données a permis de constater que les items démontrant un coefficient de Gwet plus faible (inférieurs à 0,70) quant aux accords interjuges et intrajuge étaient également ceux qui montraient la plus petite étendue dans les données (p. ex. : la pratique 6. Facilite les
échanges entre les pairs, qui est peu utilisée dans l’ensemble des segments analysés), ce qui explique
la difficulté d’atteindre un haut coefficient de Gwet pour ces items.
Autres propriétés psychométriques de la CLÉÉ. En raison de la nature des données collectées dans le cadre de ce projet et le nombre de participantes, il n’a pas été possible de procéder à l’analyse d’autres propriétés psychométriques de cet outil, notamment sa cohérence interne et sa validité externe. Il convient donc de rester prudent dans l’interprétation des résultats (Heggestard et al., 2019). La démarche de validation sera poursuivie, mais déborde du cadre de la présente thèse. Il serait notamment extrêmement pertinent de conduire des analyses factorielles afin d’en valider la structure, proposée sur des bases théoriques (Worthington et Whittaker, 2006). Toutefois, pour les besoins de la présente étude et en raison de sa nature exploratoire, la CLÉÉ représente le meilleur choix parmi les outils disponibles à ce jour. Le soin apporté à la validation de contenu par des experts a notamment permis d’en consolider la structure.
9 Selon les point de référence de Altman (1991), la force de l’accord est : faible, si le coefficient < 0,2;
passable si le coefficient est entre 0,21 et 0,40; modérée pour les coefficients entre 0,41 et 0,60; bonne pour les coefficients entre 0,61 et 0,80 et très bonne lorsque le coefficient est > 0,81.
Tableau 11
Coefficients de Gwet pour les items de la CLÉÉ
Accord interjuges Accord intrajuge
AC2 95 % IC % Aa % ACb p AC2 95 % IC % A % AC p SECTION A — Créer un environnement propice à la communication
a. 0,96 [0,87,1] 0,98 0,58 <0,001 0,93 [0,80, 1] 0,98 0,64 <0,001 b. 0,96 [0,76, 0,99] 0,96 0,70 <0,001 0,93 [0,80, 1] 0,98 0,67 <0,001 c. 0,70 [0,47, 0,92] 0,85 0,51 <0,001 0,82 [0,57, 1] 0,92 0,54 <0,001 d. 0,79 [0,55, 1] 0,92 0,61 <0,001 0,88 [0,75, 1] 0,95 0,57 <0,001 e. 0,85 [0,73, 0,97] 0,94 0,97 <0,001 0,78 [0,51, 1] 0,92 0,62 <0,001 SECTION B — Se centrer sur les enfants
1. 0,75 [0,41, 1] 0,93 0,73 <0,001 0,96 [0,92, 1] 0,99 0,76 <0,001 2. 0,93 [0,82,1] 0,97 0,56 <0,001 0,77 [0,38, 1] 0,92 0,66 <0,01 3. 0,93 [0,87, 0,99] 0,98 0,74 <0,001 0,86 [0,67, 1] 0,96 0,73 <0,001 4. 0,92 [0,32, 0,98] 0,92 0,76 <0,01 0,63 [0,25, 1] 0,93 0,80 <0,01 5. 0,80 [0,62, 0,97] 0,95 0,77 <0,001 0,84 [0,70, 0,97] 0,96 0,76 <0,001 SECTION C — Promouvoir les interactions verbales
6. 0,63 [0,06,1] 0,84 0,60 <0,05 0,86 [0,62, 1] 0,95 0,66 <0,001 7A. 0,89 [0,78,1] 0,97 0,72 <0,001 0,91 [0,85, 0,97] 0,98 0,75 <0,001 7B. 0,92 [0,41, 0,91] 0,92 0,76 <0,001 0,96 [0,93, 0,99] 0,99 0,75 <0,001 8A. 0,71 [0,43, 1] 0,92 0,73 <0,001 0,94 [0,85, 1] 0,99 0,75 <0,001 8B. 0,81 [0,61, 1] 0,96 0,78 <0,001 0,94 [0,90, 0,99] 0,99 0,77 <0,001 SECTION D — Enrichir le langage
9. 0,87 [0,71, 1] 0,95 0,64 <0,001 0,84 [0,54, 1] 0,94 0,66 <0,001 10. 0,76 [0,56, 0,96] 0,93 0,74 <0,001 0,85 [0,64, 1] 0,95 0,65 <0,001 11. 0,64 [0,37, 0,84] 0,91 0,77 <0,001 0,76 [0,49, 1] 0,95 0,78 <0,001 12. 0,78 [0,52, 1] 0,94 0,74 <0,001 0,91 [0,85, 0,98] 0,98 0,76 <0,001 13. 0,76 [0,34, 1] 0,88 0,49 <0,01 0,66 [0, 1] 0,86 0,59 <0,05
Notes. a % d’accord; b % d’accord par chance.
Procédures d’analyse. Les données analysées permettent d’abord de faire une représentation graphique de l’évolution des scores pour une pratique au fil des douze temps de mesure. L’analyse visuelle des données est souvent centrale dans les devis à cas unique, mais gagne à être complémenté par des analyses statistiques (Huitema, 2011). En raison du nombre de participants, des anovas à mesures répétées ont été privilégiées. Celles-ci qui permettent de vérifier l’effet des trois périodes sur les scores (avant, pendant, fin). Les anovas à mesures répétées sont estimées avec un modèle linéaire mixte et considèrent un effet fixe pour le temps de mesure (T1 à T12). Ces analyses tiennent compte
de la dépendance entre les données d’une même éducatrice, à l’aide d’une structure de covariance autorégressive d’ordre 1. Des contrastes permettent de vérifier l’effet des trois périodes sur l’utilisation de chaque pratique pour les quatre éducatrices. Subséquemment, des comparaisons multiples permettent de comparer les périodes entre elles, lorsque le test global du contraste est significatif. La normalité des résidus et l’homogénéité des variances ont été vérifiées au préalable pour chaque variable étudiée. Toutes ces analyses ont été réalisées avec le logiciel R.
Des analyses plus spécifiques ont été réalisées pour certaines pratiques afin de comparer leur utilisation. Des tests non-paramétriques ont dû être alors utilisés, soit des tests de Kruskall-Wallis ou de tests de Friedman, selon les cas. Enfin, des matrices de corrélations de Spearman ont été réalisées pour chaque éducatrice, afin d’étudier les liens et la cooccurrence entre les pratiques en considérant les douze temps de mesure comme étant des répétitions indépendantes.