Afin de dresser un portrait le plus complet possible, nous avons adopté, pour la collecte et l’analyse des données, une méthodologie dite mixte (Johnson & Onwuegbuzie, 2003) en visant mettre à profit les forces de différents procédés et instruments. Ainsi, pour documenter la perception de l’innovation, les conditions pouvant soutenir l’innovation et l’engagement, nous avons recouru à l’observation participante (courriels échangés et journal de bord des notes prises à la suite des rencontres avec les enseignants et lors des entretiens informels effectués auprès d’intervenants pédagogiques) et à des questionnaires (un questionnaire soumis aux étudiants à quatre reprises afin de sonder leur engagement).
Les sections suivantes les décrivent plus précisément, qu’il s’agisse de la méthode d’observation lors de l’accompagnement des enseignants, des choix effectués concernant le questionnaire individuel aux étudiants ou du contexte des entretiens avec les intervenants pédagogiques. La section suivante présentera le cadre d’analyse des données.
Accompagnement des enseignants et
observation participante
Puisque la chercheuse tenait le double rôle de conseillère pédagogique dédiée à l’intégration des TIC dans l’institution où est mené ce projet de recherche, sa posture d’intervenante, qui allie conseil, développement et soutien, devait lui permettre un rapport privilégié avec les enseignants et intervenants concernés, tandis que sa posture de chercheuse devait lui permettre de présenter des données en lien avec les initiatives des enseignants. Les données fournies concernaient l’engagement des étudiants dans les activités tout comme l’obtention d’un
fidèle portrait du contexte et des particularités de l’environnement dans lequel l’innovation et la recherche s’effectuaient.
En matière d’accompagnement, la recherche-action de LaBillois et St-Germain illustre bien la posture de l’accompagnateur dans un contexte d’innovation, celle qui mise sur un rapport relationnel qualifié par les auteurs de « côte à côte » (LaBillois & St-Germain, 2014).
L’étroite collaboration avec les enseignants a permis d’observer et de participer à leur activité pédagogique et la rétroaction fournie visait soit une meilleure compréhension de ce qui se passait, soit l’amélioration des interventions pédagogiques au fil d’une session en tenant compte du contexte d’innovation dans l’institution et des conditions qui la favorisaient ou pas. Les échanges entre la chercheuse et les enseignants voulaient permettre la construction d’une compréhension partagée des manifestations de leur engagement, de la variation de l’engagement des étudiants et de la présence des conditions favorisant l’innovation.
Plus spécifiquement, en début de projet, nous avons communiqué avec chacun des enseignants pour en savoir plus sur les activités dans leur classe. Chacune des enseignantes du cours Explorer a accepté de répondre par écrit à quelques questions présentant les activités ainsi que leur vision du projet d’intégration d’un blogue dans le cours. Pour les cours dans la classe d’apprentissage actif, l’information partagée par les enseignants, tant en ce qui concerne la présentation du projet par courriel que lors de la première rencontre, a permis d’en savoir plus sur les activités dans leur cours et d’en préciser l’aspect novateur. Les questions posées aux enseignants par courriel visaient à ce qu’ils nous expliquent leur projet et à mettre la table pour la suite des discussions concernant l’innovation et l’engagement16.
En complément, une rencontre individuelle avec chacun des enseignants en début de session a eu lieu afin, pour nous, d’expliquer notre projet de recherche, et pour eux, de présenter leurs intentions pédagogiques, afin d’arrimer nos actions et interactions. La rencontre permettait
16 Les questions étaient les suivantes : Pouvez-vous me parler de votre projet? Selon vous, quels sont les impacts de votre projet ?
Selon vous, quelles sont les conditions favorables qui pourraient avoir un impact sur la mise en œuvre de votre projet? Est-ce qu’il y a des intervenants au cégep qui participent ou aident au projet? Comment croyez-vous que ce projet pourrait avoir un impact sur votre engagement? Croyez-vous que ce projet pourrait avoir un impact sur l’engagement de vos étudiants? Quelles sont les prochaines étapes de votre projet? Pour ce cours, quel sera selon vous le plus gros défi?
aussi de planifier les moments de passation du questionnaire en classe. Dans le cas du cours Explorer, la chercheuse détenait de l’information utile du fait qu’elle avait participé à l’élaboration du plan cadre et à l’accompagnement des enseignantes concernant les activités technologiques apparaissant au plan de cours. La présentation écrite du projet par les enseignantes a permis de préciser l’aspect novateur du cours Explorer.
Les traces de l’observation participante ont permis d’orienter les entretiens avec les enseignants afin de valider certaines observations concernant le processus d’implantation de l’innovation et l’engagement des étudiants. Au cours de la session, des échanges plus informels (par courriel ou en présence) ont eu lieu. Les rencontres individuelles avec les enseignants, à plusieurs reprises au fil de la session, ont permis de relativiser ou d’appuyer les observations de la chercheuse. Les présentations des activités par les enseignants en début de projet, ainsi que les notes prises par la chercheuse et les courriels échangés, ont été compilées afin de faire l’analyse des conditions d’innovation présentes en contexte dans TAMS Analyzer. Pour l’analyse, des phrases ou des segments de phrases ont été ciblés selon des thèmes : « thematic distinctions are rich in information and potentially very productive, and they would therefore be preferable to all other kinds of distinctions » (Krippendorff, 2012, p. 111). Des explications ou des exemples ont été associés à la présence d’un aspect des quatre conditions d’innovation retenues (vision partagée et politiques de l’organisation, disponibilité des ressources, habiletés et compétence du personnel, adéquation entre les principes pédagogiques et l’environnement sociotechnique).
Les résultats17 concernant le niveau d’engagement furent présentés sous forme de graphiques représentant les différentes dimensions de l’engagement des étudiants et leur évolution au fil de la session. Les résultats de l’engagement des étudiants servaient de base de discussion avec les enseignants afin de d’échanger sur les conditions présentes ou à mobiliser dans le contexte d’innovation dans lequel ils évoluaient au fil de la session. Lorsque l’enseignant était disponible, ces résultats étaient présentés et discutés en présence. Cet entretien individuel avec l’enseignant permettait de valider et de nuancer les observations concernant la variation de l’engagement de leurs étudiants, de cerner leurs constats en matière d’engagement, tant le leur
que celui de leurs étudiants, de recueillir leurs perceptions sur le processus et les conditions d’innovation pédagogique présentes au sein de leur institution. S’il s’avérait impossible d’arrimer l’horaire de la chercheuse et de l’enseignant dans les dix jours, les résultats étaient envoyés à l’enseignant par courriel. À la fin de la session, une rencontre en présence a eu lieu avec chacun des enseignants afin de partager les résultats de ses groupes et d’échanger quant à la variation de l’engagement observée chez les étudiants.
Questionnaire individuel aux étudiants
Le questionnaire soumis individuellement aux étudiants est la méthode la plus utilisée pour sonder l’engagement des étudiants tout en permettant de recueillir leurs perceptions (Fredricks et al., 2004). Toutefois, les items d’un tel questionnaire demeurent souvent généraux lorsqu’ il s’agit de cerner l'engagement dans des tâches et des situations particulières (Fredricks & McColskey, 2012). Cette section présente différents questionnaires utilisés pour sonder l’engagement des étudiants et fonde notre décision de développer notre propre questionnaire.
Des questionnaires, axés sur la mesure du degré d’engagement, ont déjà été élaborés, utilisés et éprouvés. Le National Survey of Student Engagement (NSSE) de l’Indiana University (Kuh, 2001, 2009) est un questionnaire qui a maintes fois été utilisé aux États-Unis et au Canada dans plusieurs recherches sur l’engagement au niveau postsecondaire. Le NSSE s’intéresse à différentes facettes de l’expérience scolaire de l’étudiant : l’effort demandé, l’apprentissage actif et participatif, l’interaction des étudiants avec les enseignants, la diversité du vécu académique et, enfin, la qualité du milieu. Le questionnaire cible l’expérience de l’étudiant sur une base annuelle, comme l’indique la présence de l’expression « During the current school year » introduisant la majorité des questions. C’est aussi le cas du Student Engagement in Schools Questionnaire (SESQ), qui propose 109 questions à l’étudiant. Des items en lien avec ce qui se passe dans la classe (« When I’m in class, I participate in class activities. » et « When learning things for school, I try to see how they fit together with other things I already know. ») portent sur l’engagement dans l’apprentissage et d’autre portent sur l’expérience plus générale de l’étudiant dans des items comme « I like my school. » et « In school, I do just enough to get by. » (Hart, Stewart, & Jimerson, 2011).
Un autre questionnaire sur l’engagement utilisé au primaire et au secondaire est le Student Engagement Instrument (SEI) développé par les auteurs du projet Check & Connect (Appleton, Christenson, Kim, & Reschly, 2006), soit un questionnaire de 30 questions basé sur quatre dimensions de l’engagement (academic, behavioral, cognitive, and psychological) et qui permet de mesurer l’engagement des étudiants au niveau secondaire. Le questionnaire vise le vécu global de l’étudiant dans son école (avec des énoncés comme « Overall, adults at my school treat students fairly », « At my school, teachers care about students. »). C’est aussi la fonction de la section de l’engagement académique, mesuré par l’Échelle d’engagement académique (EEA) de Brault-Labbé et Dubé (2008) qui veut rejoindre l’expérience globale de l’étudiant en s’intéressant au sens donné à la vie et à la perception de l’état de santé physique en plus des états de surengagement et de sous-engagement.
Bernet (2010) a quant à lui traduit en français le questionnaire original en anglais de Fredricks et al. (2004), un questionnaire qui s’adresse à des élèves du primaire, tout au plus du premier cycle du secondaire, qui permet lui aussi de mesurer l’engagement de manière globale envers l’école, mais qui est apparu difficilement applicable au post secondaire (avec des énoncés comme « J’aime aller à l’école. » ou « J’essaye de regarder des émissions de télévision sur ce que nous apprenons en classe. »).
De plus, plusieurs autres questionnaires ont été consultés, dont ceux utilisés par Archambault (2006), Carini, Kuh et Klein (2006) et la CREPUQ (2012). Le questionnaire utilisé par Archambault (2006) a permis de définir des Items Measuring the First-Order Latent Concepts Related to Student Engagement. Bien que les trois dimensions de l’engagement soient couvertes (behavioral engagement [presence at school & discipline], affective engagement [school liking & interest in school work], cognitive engagement [willingness to learn in French [first language] & willingness to learn in mathematics]), l’outil utilisé vise à prédire le décrochage au secondaire et les items liés à la dimension cognitive sont intimement liés à la formation générale au secondaire et auraient difficilement pu être transposés au collégial. Carini, Kuh et Klein (2006), après avoir affirmé que le NSSE avait été détourné de son objectif de départ, soit d’aider les collèges et les universités à identifier les domaines de performance des étudiants et les pratiques institutionnelles qui pourraient être améliorées pour renforcer la qualité globale de l'expérience étudiante, ont proposé leur propre test, qui combine des tests cognitifs et de performance. La nature de ces mesures, prises dans un contexte de situation d’évaluation d’une performance, s’inscrivait moins bien dans notre contexte d’étude.
Quant au questionnaire de la CREPUQ (2012) (questionnaire sur les modalités d’apprentissage et les TIC dans l’enseignement dans les universités québécoises), il concerne l’expérience des étudiants universitaires dans un cours particulier. C’est un outil intéressant puisqu’il permet de cibler l’utilisation des TIC pendant un cours. C’est aussi un questionnaire consistant (plus de 120 questions à choix multiples) qui porte sur les modalités d’apprentissage et les TIC dans l’enseignement. Certains items du questionnaire de la CREPUQ sont similaires à des items liés à l’engagement dans des questionnaires mentionnés précédemment. Par exemple, on retrouve dans le questionnaire un item concernant les devoirs « (…) j’ai fait les lectures ou problèmes demandés avant chaque période de cours », un item similaire à celui dans le questionnaire NSSE « (…) combien de fois environ avez-vous pratiqué les activités ou vécu les situations suivantes : Arriver en classe sans avoir fait vos lectures ou vos devoirs? ». Le questionnaire de la CREPUQ s’intéresse à l’étude sur les modalités d’apprentissage et les TIC dans l’enseignement et interroge les étudiants sur leur perception des formules pédagogiques, leur niveau d’implication, l’utilisation et l’efficacité des technologies et même de l’évaluation.
Le questionnaire Motivated Strategies for Learning Questionnaire (MSLQ), développé par une équipe de chercheurs du National Center for Research to Improve Postsecondary Teaching and Learning (NCRIPTAL) et de la Faculté d’éducation de l’Université du Michigan (Pintrich, Smith, García, & McKeachie, 1993) et utilisé dans un projet récent sur les conditions d’utilisation des classes d’apprentissage actif au postsecondaire et leurs effets sur la motivation, l’engagement cognitif et l’apprentissage, a été particulièrement considéré pour utilisation dans cette étude. Toutefois, bien que plusieurs des 56 items de ce questionnaire portent sur les stratégies cognitives et métacognitives utilisées et sur l’effort investi, les items portent surtout sur la motivation de l’étudiant (« Understanding this subject is important to me. » et « I know that I will be able to learn the material for this class. »), et moins sur l’engagement tel que nous l’avons défini dans le cadre conceptuel.
Pour certains auteurs (Appleton, Christenson et Furlong, 2008; Christensen, Reschly et Wylie, 2012; Fredricks et al., 2004), la solution pour rendre compte de l’engagement des étudiants est que chacune des dimensions (comportementale, affective, cognitive) devrait être examinée en détail. Il existerait une tension entre la clarté conceptuelle et la réalité pratique. Lorsque l'objectif est plus pratique, il peut ne pas être possible d'examiner de façon indépendante chacune des dimensions et de mélanger différents concepts dans les mesures d'engagement. L’arrimage à
la pratique aurait l'avantage d'une plus grande puissance prédictive, ce qui pourrait compenser pour ce qu'elle perd en clarté conceptuelle (Fredricks et al., 2004, p. 84).
Plusieurs des instruments, utilisés dans de nombreux établissements en Amérique du Nord, portent sur l’expérience de l’étudiant dans l’ensemble de sa formation. Nous étions d’avis que l’engagement gagnerait à être mesuré à l’aide d’un questionnaire adapté à la réalité particulière du projet qui était le nôtre. De plus, désirant connaitre l’engagement de l’étudiant dans un contexte précis, nous faisions nôtre le propos d’Appleton et al. (2006) : la mesure de l'engagement à travers l'observation et la notation des comportements des étudiants est de nature déductive et l'obtention du point de vue de l'étudiant permet une meilleure compréhension de son expérience et du sens qu’il donne à son environnement d’apprentissage (Appleton et al., 2006, p. 431).
Notre travail de chercheuse prenait tout son sens du fait de partager des données à l’enseignant, des données auxquelles l’enseignant n’aurait pas eu accès sans le processus de recherche menée en collaboration. Présenter de manière itérative les données collectées, rappelons-le, voulait permettre un ajustement des pratiques et des initiatives. Certains questionnaires visant à rendre compte de l’engagement des étudiants existaient : ils avaient pour fin de dresser un portrait pour un moment précis, mais unique, ou de comparer la première année d’une cohorte avec les finissants. Ces questionnaires existant n’étaient pas de nature à refléter de manière adéquate la nature dynamique et interactive de l'engagement.
Selon Fredricks et McColskey (2012), une approche prometteuse pour évaluer la nature dynamique de l'engagement serait de suivre les fluctuations de l'engagement au fil du temps. Même si chacune des dimensions comportait d’importants défis de mesure (Fredricks et al., 2004), nous avons choisi d’élaborer un questionnaire visant à fournir un état de la situation aux enseignants à plusieurs moments d’une session sur le niveau d’engagement de leurs étudiants dans leur cours. Fredricks et al. (2004) notaient d’ailleurs que l’intérêt d’aborder les individus dans leur contexte, c’est de combiner les méthodes afin que les interventions en lien avec l’engagement gagnent en précision. C’est aussi l’intérêt de procéder par voie d’expérimentation de devis qui voulait obtenir un portrait le plus fidèle possible d’une activité ciblée, cela sur une courte période et en plusieurs temps.
Toutefois, loin de vouloir créer un questionnaire de toutes pièces, des items de questionnaires déjà éprouvés qui visaient à mesurer l’engagement dans un contexte plus global (questionnaire soumis une fois, ou deux fois dans le cas du NSSE) ont guidés l’élaboration de notre questionnaire. Ainsi, les documents de référence pour l’élaboration de notre questionnaire sont les suivants : le Student Engagement Instrument (SEI) (Appleton, Christenson, Kim, & Reschly, 2006), les Items Measuring the First-Order Latent Concepts Related to Student (Archambault, Janosz, Fallu, & Pagani, 2009), le document Defining Twenty-First Century Skills (Binkley et al., 2012), une sélection de Carini, Kuh et Klein (2006) de certains items du NSSE, le questionnaire lié à l’Étude sur les modalités d’apprentissage et les TIC dans l’enseignement de la CREPUQ (2012), les conditions de l’ISTE (2009), le MacArthur Network for Successful Pathways through Middle Childhood de Fredricks et al. (2004) traduit par Bernet (2010), le National Survey Student Engagement (Kuh, 2013) et le Motivated Strategies for Learning Questionnaire (MSLQ) (Pintrich, 2000). Précisons que les items du questionnaire combinant les items déjà validés dans d’autres contextes n’ont pas été revalidés.
Des items du NSEE ont été repris (neuf pour la dimension comportementale, deux pour la dimension affective, huit pour la dimension cognitive) et adaptés en énoncés plutôt qu’en questions (par exemple, « Au cours de la présente année universitaire, combien de fois avez- vous posé des questions en classe ? » est devenu « J’ai posé des questions à l’enseignant pendant le cours. »). Un item du questionnaire de Fredricks et al. (2004, traduit par Bernet, 2010) complète les items liés à l’engagement comportemental. Concernant l’engagement affectif, trois items du questionnaire d’Archambault, Janosz, Fallu et Pagani (2009), trois items du questionnaire d’Appleton, Christenson, Kim et Reschly (2006) ainsi qu’un item de Fredricks et al. (2004, traduit par Bernet, 2010) et un item de la CREPUQ (2012) complètent les questions associées à cette dimension. Un item du questionnaire d’Appleton, Christenson, Kim et Reschly (2006) et un item du questionnaire de la CREPUQ (2012) complètent les questions associées à la dimension cognitive.
Au total, 30 questions associées aux dimensions retenues (comportementale, affective et cognitive) ont constitué le questionnaire élaboré afin de sonder le niveau d’engagement des étudiants : dix questions sur leur engagement affectif, dix autres pour sonder leur engagement comportemental et dix questions concernant leur niveau d’engagement cognitif. Le Tableau 8 (dimension comportementale), le Tableau 9 (dimension affective) et le Tableau 10 (dimension
cognitive) présentent les questions posées aux étudiants ainsi que les questions tirées des questionnaires existants qui en ont inspiré la formulation retenue.
Tableau 8
Questions liées à la dimension comportementale de l’engagement des étudiants
Question posée Provenance Item initial
J’ai posé des questions à l’enseignant
pendant le cours. NSSE (2013) Asked questions or contributed to course discussions in other ways J’ai posé des questions à des collègues
pendant le cours. NSSE (2004
18) Au cours de la présente année universitaire dans votre établissement, combien de fois environ avez-vous pratiqué les activités ou vécu les situations suivantes? Poser des questions ou participer à des discussions de classe.
J’ai eu des interactions en ligne (Mio, Facebook ou autres) avec les autres étudiants.
NSSE (2004) Au cours de la présente année universitaire dans votre établissement, combien de fois environ avez-vous pratiqué les activités ou vécu les situations suivantes? Utiliser un outil électronique (groupe de clavardage, Internet, messagerie instantanée, etc.) pour faire un devoir ou pour en discuter.
J’ai fait mes devoirs avant d’aller en
classe. NSSE (2013) Au cours de la présente année universitaire dans votre établissement, combien de fois environ avez-vous pratiqué les activités ou vécu les situations suivantes? Arriver en classe sans avoir fait vos lectures ou vos devoirs.
How often… Come to class without completing readings or assignments. CREPUQ (2012) Pour CE cours… afin d’être bien préparé, j’ai
fait les lectures ou problèmes demandés