Analyse de données

Afin de disposer d’un ensemble plus riche de données nous permettant de mieux décrire et analyser l’apport du portfolio numérique d’apprentissage dans le développement de la compétence orale des élèves du secondaire, nous avons eu recours à la triangulation, définie comme étant « une stratégie de recherche au cours de laquelle le chercheur superpose et combine plusieurs perspectives, qu’elles soient d’ordre théorique ou qu’elles relèvent des méthodes et des personnes » (Savoie-Zajc, 2018, p. 211). Dans cette section, nous exposerons de quelle manière nous aurons eu recours à la superposition des différentes méthodes de collecte et d’analyse de données afin de mieux tirer profit des données issues de notre recherche.

3.5.1 Analyse des données issues des autoévaluations

Rappelons que le cœur du portfolio numérique d’apprentissage est représenté par les activités réflexives que réaliseront les élèves afin de mieux intervenir sur leurs forces et leurs faiblesses en vue de s’améliorer (Harnell-Young et al., 2007 ; Scallon, 2007). Ainsi, l’analyse du matériel recueilli dans les autoévaluations des élèves nous a permis de faire ressortir un grand nombre d’éléments pertinents afin de répondre à nos trois objectifs de recherche. Pour ce faire, nous avons procédé à une analyse à deux niveaux, soit une analyse globale, suivie d’une analyse détaillée.

3.5.1.1 Analyse globale des autoévaluations — partie 1 : prise de conscience des forces et défis

Afin de mieux décrire la capacité des élèves à évaluer de manière juste leurs forces et leurs faiblesses en oral, et ce, avec et sans le recours aux enregistrements audio et/ou vidéo, nous avons réalisé eu recours à l’analyse statistique descriptive en créant des distributions de fréquences à partir de la première partie chaque grille d’autoévaluation (Annexe 3). Pour chaque élève, nous avons entré, dans une feuille de calcul Microsoft Excel pour Mac, version 16.25, le résultat de l’évaluation de chacun des critères de chacune des grilles d’autoévaluation. Ensuite, nous avons comparé l’autoévaluation de chaque critère réalisée après avoir vu les enregistrements vidéo à celle réalisée avant d’avoir vu la vidéo afin de déterminer le nombre de critères dont le niveau de compétence était plus élevé, égal ou moins élevé. Nous avons ensuite déterminé la fréquence relative de chacune de ces trois modalités. De la même manière, nous avons créé des distributions de fréquences pour déterminer le nombre de critères dont l’évaluation faite par l’élève présentait un niveau de compétence plus élevé, égal ou moins élevé que celles faites par l’enseignant de son groupe-classe, puis nous avons déterminé la fréquence relative de chacune des trois modalités. Pour y arriver, nous avons aussi entré, dans la feuille de calcul Excel, le résultat de l’évaluation effectuée par l’enseignant du groupe-classe pour chaque critère.

Nous avons également procédé à une classification de chaque évaluation au regard des justifications contenues dans cette première partie. Pour ce faire, nous avons attribué globalement à chacune d’elles un niveau qualitatif de réflexion : faible, moyen et élevé. Le tableau XVIII présente les indicateurs de chaque niveau. Les résultats de cette classification ont également été consignés dans un classeur Excel, ce qui nous a permis d’en effectuer une analyse statistique descriptive, là encore en créant des distributions de fréquences.

Tableau XVIII — Indicateurs des niveaux qualitatifs de réflexion dans les autoévaluations, justification de l’évaluation dans la partie 1 : Prise de conscience des forces et défis Les justifications dont le niveau est jugé faible sont :

• trop générales ;

• partiellement axées sur les critères évalués ;

• formulées à l’aide d’éléments copiés textuellement des critères fournis ; • peu justifiées à l’aide de faits et d’exemples issus de la production orale ;

Les justifications dont le niveau est jugé moyen sont :

• générales, mais comportent certains éléments plus spécifiques ; • partiellement axées sur les critères évalués ;

• partiellement formulées dans les mots de l’élève, à l’aide d’un vocabulaire qui manque parfois de précision ;

• sont parfois appuyées par des exemples ou des stratégies employées, mais les liens sont faibles ;

Les justifications dont le niveau est jugé élevé sont :

• spécifiques, détaillées et précises ;

• sont totalement axées sur les critères évalués ;

• sont formulées dans les mots de l’élève à l’aide d’un vocabulaire juste et précis ;

• sont liées de façon pertinente à des stratégies utilisées, efficaces ou non, employées par l’élève, ou à des exemples illustrant clairement l’évaluation du critère.

La réalisation de cette portion de l’analyse nous a permis d’obtenir un premier portrait général des élèves en ce qui a trait à leur capacité d’autoévaluation, et ce, avant de procéder à une analyse détaillée du contenu des autoévaluations.

3.5.1.2 Analyse détaillée des autoévaluations

Afin d’analyser plus en détail les données contenues dans les autoévaluations rédigées par les élèves, nous avons d’abord eu recours à la méthode de l’analyse de contenu. Celle-ci se définit comme étant le traitement « des données narratives de manière à en découvrir les thèmes saillants et les tendances qui s’en dégagent » (Fortin et Gagnon, 2016, p. 364).

Bardin (2013) présente l’analyse de contenu comme étant une démarche en trois grandes phases. La première phase, la préanalyse, consiste en une étape de préparation et d’organisation, durant laquelle le chercheur effectue principalement cinq tâches : la lecture globale, le choix des documents à analyser, la formulation des hypothèses et des objectifs à atteindre, le repérage des indices et l’élaboration d’indicateurs, la préparation du matériel. De notre côté, le choix des documents à analyser ainsi que la formulation des objectifs à atteindre se sont effectués lors de la construction de notre devis de recherche, puisqu’il s’agit des instruments de collecte de données construits en fonction des objectifs spécifiques de notre recherche. Les autoévaluations

en faisaient donc partie. Une fois la collecte de données terminées, nous avons effectué une lecture flottante du corpus afin de nous permettre d’en saisir les caractéristiques générales et de faire naître des premières impressions (Bardin, 2013). Nous avons par la suite peaufiné les deux parties de notre grille de codage (Annexe 6) : la première regroupant des catégories portant sur l’engagement affectif des élèves et la seconde portant sur les stratégies d’autorégulation des élèves. Nous avons finalement préparé le matériel à analyser en exportant chacune des grilles d’autoévaluation, originalement en format Google Document, en format PDF.

Le second pôle de l’analyse de contenu, selon Bardin (2013), consiste en l’exploitation du matériel. Pour effectuer notre analyse de contenu, nous avons eu recours au logiciel NVivo, version 12.5.0, qui nous a permis d’adopter une méthode de travail efficace. Nous y avons d’abord importé l’ensemble des grilles d’autoévaluation en format PDF, puis nous avons procédé au codage du matériel à analyser en fonction de la grille de codage que nous avons élaborée durant la phase de préanalyse. Bardin (2013) définit cette opération comme étant une « transformation qui, par découpage, agrégation et dénombrement, permet d’aboutir à une représentation du contenu, ou de son expression, susceptible d’éclairer l’analyste sur des caractéristiques du texte qui peuvent servir d’indices » (p. 134). De manière plus précise, nous avons retenu la phrase comme unité d’enregistrement, c’est-à-dire le segment sur lequel pouvaient porter un ou plusieurs codes, selon sa signification (Bardin, 2013).

Afin de nous assurer de la validité de notre grille de codage et de l’opération d’analyse qu’elle a permise, nous avons procédé à un contre-codage. Pour ce faire, un contre-codeur et nous-même avons réalisé le codage du matériel écrit d’une participante à notre recherche. Cette procédure a été réalisée de façon itérative, et les ajustements nécessaires pour que les deux codeurs en arrivent à un accord complet ont été réalisés.

Cette portion de l’analyse de nos données nous a permis de passer au troisième pôle de l’analyse de contenu, soit le traitement des résultats obtenus et l’interprétation, par lesquels nous avons pu répondre à nos objectifs de recherche un (décrire et analyser l’apport du portfolio numérique d’apprentissage pour l’autoévaluation de la compétence en production orale d’élèves du secondaire en classe de français, langue d’enseignement) et trois (décrire et analyser l’apport du portfolio numérique d’apprentissage dans le recours à des stratégies d’autorégulation d’élèves du secondaire lors d’activités de production orale en classe de français, langue

d’enseignement). Le logiciel NVivo, version 12.5.0, nous a permis de procéder au relevé des occurrences de chaque code utilisé, puis nous avons pu mener par la suite nos analyses plus poussées interpréter les résultats obtenus.

3.5.2 Analyse des réponses aux questionnaires

Les deux questionnaires sur l’engagement affectif et l’autorégulation dans les tâches de

communication orale ont été conçus de façon numérique à l’aide de l’outil Google Formulaires,

ce qui a permis de compiler automatiquement les réponses obtenues dans une feuille de calcul

Google Sheet. Pour les fins de notre recherche, nos résultats tiennent uniquement compte des

données des élèves qui ont répondu aux deux questionnaires.

Comme notre recherche vise à décrire et à analyser l’apport du portfolio numérique d’apprentissage sur l’engagement affectif d’élèves du secondaire dans la réalisation des tâches de production orale (objectif spécifique 2) et dans le recours à des stratégies d’autorégulation d’élèves du secondaire lors des activités de production orale (objectif spécifique 3), nous avons eu recours à l’analyse statistique descriptive, plus spécifiquement aux distributions de fréquences, pour traiter et analyser les résultats. Plus précisément, nous utilisons des diagrammes à bandes rectangulaires, servant à « représenter les modalités d’une variable qualitative » (Fortin et Gagnon, 2016, p. 392). Ces diagrammes nous permettent, d’une part, de comparer certaines réponses obtenues avant et après l’expérimentation, et d’autre part, d’effectuer des rapprochements avec les résultats obtenus grâce aux analyses de contenu issues de nos autres outils de collecte de données. Pour réaliser les tableaux de fréquences ainsi que les diagrammes, nous avons exporté les données recueillies dans Google Sheet vers le logiciel

Microsoft Excel pour Mac, version 16.26, et ce, pour des raisons logistiques et d’efficacité.

3.5.3 Analyse des entrevues semi-dirigées

Le processus d’analyse des entrevues semi-dirigées s’appuie sur la même démarche d’analyse de contenu que celui suivi pour l’analyse des autoévaluations. Ainsi, afin d’éviter toute redondance, nous présenterons dans cette section uniquement les particularités liées à l’analyse de contenu de nos entrevues semi-dirigées. Avant de procéder à la plupart des étapes présentées à la section 3.4.1, regroupées sous les trois pôles de l’analyse de contenu présentée

par Bardin (2013), le verbatim de chacune des entrevues a été transcrit dans un document Word, puis chacun des documents a été exporté au format PDF afin de faciliter notre travail avec le logiciel d’analyse de données qualitatives NVivo, version 12.5.0. Nous avons utilisé ici aussi la grille de codage que nous avons bâtie, dont la première partie porte sur l’engagement affectif des élèves et dont la seconde porte sur les stratégies d’autorégulation des élèves. Enfin, la validation de la grille de codage et du processus d’analyse a été réalisée en une seule étape, telle que présentée à la section 3.4.1.2.

Les entrevues nous ont permis de valider certaines informations obtenues grâce aux autres méthodes de collectes de données. D’ailleurs, elles nous permettent de compléter nos analyses pour répondre de manière plus approfondie à nos trois objectifs spécifiques de recherche.