Contributions des différents outils de mesure pour la recherche sur le travail à distance avec LabNbook

Parmi l’ensemble des outils de mesure déployés dans le cadre du PEL, quatre sont mobilisés pour fournir des informations sur le travail à distance des étudiants médié par LabNbook : les entretiens semi-directifs, les questionnaires baromètres, des traces d’activité informatiques et l’analyse des missions

3.1 Le questionnaire-baromètre

Un questionnaire-baromètre (questionnaire « classique » soumis de façon répétée et à intervalles réguliers à une cohorte d’utilisateurs) est proposé aux enseignants-utilisateurs de LabNbook tout au long du processus d’évaluation afin de mesurer l’évolution de leurs attentes, de leurs usages et de leur satisfaction à mesure qu’ils utilisent et s’approprient l’environnement informatique. Les données recueillies peuvent être considérées comme de nature « narrative » et nous permettent d’opérer des traitements de type quantitatif. Nous exploitons ici les données obtenues aux vagues 1 (avant l’utilisation avec LabNbook) et 2 (après un semestre d’utilisation).

Deux questions du questionnaire-baromètre, qui relèvent à la fois des attentes et des pratiques pédagogiques des enseignants, contribuent à fournir des éléments de réponse à la question du travail distant : 1/ LabNbook facilite(ra) le travail des étudiants entre les séances ; 2/ Pour cette formation, je demande aux étudiants du travail en dehors des séances.

Les résultats obtenus témoignent d’une satisfaction générale des enseignants-utilisateurs ayant répondu au questionnaire sur les apports de la plateforme en matière de travail distant. Les évolutions de ces données permettent également de pointer certaines tendances concernant « la satisfaction à l’usage », à mesure qu’ils se familiarisent avec l’outil. Ainsi, concernant la première question, les enseignants ne semblent pas déçus : après un semestre d’utilisation, 73 % d'entre eux estiment que LabNbook facilite effectivement le travail des étudiants entre les séances (vs 72% en vague 1). De même, l’intégralité des enseignants interrogés en vague 2 dit demander du travail aux étudiants en dehors des séances, contre 96 % en vague 1. Ces données offrent une vision globale des attentes des enseignants et de leur satisfaction en matière de travail distant après une première phase d’appropriation de l’outil. Mais elles demeurent limitées de par leur seule dimension « narrative » : elles nous disent peu de choses des usages réels de la plateforme et des transformations pédagogiques en lien avec son utilisation.

3.2 Apports des traces informatiques d’activité

Avec les traces numériques d’activités des enseignants et des étudiants nous pouvons explorer les évolutions de ces usages réels de la plateforme. Elles permettent principalement d’opérer des traitements de type quantitatifs et d’obtenir des données

142

Contributions de différents outils de mesure à la compréhension des usages de LabNbook

de nature factuelle. Elles apportent donc des informations qui complètent celles obtenues avec le questionnaire-baromètre. Les traces que nous pouvons aujourd’hui mobiliser pour répondre à la question qui nous intéresse portent sur les activités réalisées par des étudiants de huit unités d’enseignements (UE) de sciences expérimentales ayant utilisé la plateforme deux années consécutives. Deux types de mesures sont susceptibles de fournir des informations sur le travail à distance médié par LabNbook :

- Nb_total_actions : nombre total de traces correspondant à des ajouts, duplications ou éditions de documents par tous les étudiants d’une mission

- Nb_actions_SW: cette mesure donne des indications sur une partie des actions faites « à distance » parmi l’ensemble des actions mesurées ci-dessus : celles réalisées par les étudiants les soirs et les weekends (SW). Il n'est pas possible, en effet, d'identifier parmi celles effectuées en journée, celles qui sont réalisées sur le temps libre des étudiants, à l’université ou ailleurs. Les mesures présentées ici sont donc certainement très en-deçà du travail distant réel.

Pour cet article, nous nous centrons sur l’évolution entre l’année 1 et 2 de la part d’actions_SW réalisées parmi l’ensemble de ces actions. Les données recueillies montrent des différences significatives entre UE dans les proportions d’actions_SW réalisées par les étudiants (de 6 % à 29 % selon les UE) et les évolutions de ces proportions entre les deux années : trois UE ont vu cette proportion augmenter et cinq présentent la tendance inverse.

Ce sont les mesures qualitatives (attentes des enseignants, analyse des missions) qui permettront le mieux d’expliquer ces différences entre UE : par exemple, les attentes des enseignants des UE dans lesquelles les actions_SW sont les moins nombreuses, pourraient davantage porter sur le travail collaboratif que sur un travail individuel de préparation du TP. A contrario, les UE dans lesquelles elles ont augmenté sont peut-être celles pour lesquelles le scénario pédagogique proposé a évolué avec l’utilisation de la plateforme, en incluant par exemple une partie de préparation du TP en amont de la séance. Si les données issues des questionnaires baromètres et des traces informatiques fournissent des éléments de cadrage indispensables à la description et à la compréhension des usages de la plateforme, elles n’ont de sens que rapportées au contexte pédagogique dans lequel elles s’inscrivent et aux situations pédagogiques mises en place.

3.3 Les entretiens semi-directifs

Des entretiens de type semi-directifs ont été réalisés avant utilisation de la plateforme avec les responsables d’UE impliqués dans le projet afin d’identifier leurs attentes et motivations à utiliser LabNbook dans le cadre de leur enseignement. En fin de projet, ils seront de nouveau interrogés pour comprendre leur satisfaction à l’issue de leur expérience et la manière dont ils ont utilisé LabNbook. Des liens seront faits avec les situations pédagogiques observées dans les missions.

Les entretiens fournissent des éléments de compréhension beaucoup plus précis, favorisant l’interprétation des données observées dans les traces et les questionnaires.

Ainsi, les attentes en matière de travail à distance avec LabNbook ressorties des entretiens initiaux révèlent des objectifs pédagogiques variables d’un enseignant à l’autre : pour certains, il s’agit de responsabiliser les étudiants en les contraignant à devenir plus actifs dans leur processus d’apprentissage ; pour d’autres, il y a nécessité de « gagner du temps » en les incitant à préparer le TP en amont. Pour d’autres encore, cette question renvoie plutôt au temps de maturation nécessaire à la compréhension des phénomènes observés et plus généralement à « la construction de sens par les étudiants » [8].

143

Contributions de différents outils de mesure à la compréhension des usages de LabNbook

3.4 L’analyse des missions des enseignants

Dans le cadre du PEL, nous portons une attention particulière au contenu des missions que les enseignants proposent à leurs étudiants dans LabNbook : elles fournissent des données qualitatives de nature factuelle qui complètent celles obtenues avec les entretiens (notamment les consignes et autres contenus donnés hors LabNbook). Cette analyse permettra de saisir à la fois les points communs et les différences entre les situations pédagogiques mises en place avec LabNbook chaque année.

Lorsque LabNbook est utilisé comme support de formation à la démarche expérimentale, plusieurs tâches peuvent être réalisées à distance par les étudiants : proposer des hypothèses, définir le problème, concevoir l’expérience, interpréter les résultats, diffuser et/ou traiter les résultats. À partir des consignes données par l’enseignant, il devient ainsi possible d’identifier celles réalisables à distance. Ainsi, pour chaque situation pédagogique proposée, nous regardons la nature du travail demandé aux étudiants et sa place dans le processus pédagogique : préparer le TP, refaire le travail, diffuser ses résultats, etc. À la fin de la seconde année d’expérimentation de LabNbook, ces missions seront de nouveau analysées pour comprendre si la place et la nature du travail à distance avec LabNbook ont évolué.

Conclusion

Le cas du travail à distance a permis d’illustrer la contribution du PEL et des différents outils de mesure élaborés pour évaluer les transformations pédagogiques impulsées et/ou soutenues par LabNbook. C’est l’association de ces différentes mesures et la prise en compte de leur évolution dans le temps qui permet le mieux de comprendre et d’expliquer les usages, les attentes, la satisfaction et les motivations des utilisateurs à continuer à utiliser la plateforme. Ainsi, l’analyse de l’évolution des missions, couplée aux entretiens de satisfaction en fin de projet, fourniront des informations riches et complémentaires pour expliquer les tendances observées dans l’évolution des traces d’activité et des réponses apportées aux questionnaire-baromètre.

Références

1. Freeman, S., et al.: Active learning increases student performance in science, engineering, and mathematics. PNAS 111, vol. 23 (2014) 8410–8415.

2. Etkina E. et al.: Design and Reflection Help Students Develop Scientific Abilities: Learning in Introductory Physics Laboratories. J. of the Learning Sciences 19, vol. 1 (2010) 54–98.

3. Hannafin, M.J.: Student-centered learning. Chapter, Encyclopedia of the Sciences of Learning. Springer US (2012) 3211–3214.

4. http://edglossary.org/student-centered-learning/

5. Land, S.M, Hannafin, M.J. & Oliver, K.M.: Student-Centered Learning Environments:

Foundations, Assumptions, and Design. Theoretical Foundations of Learning Environments, Chapter 1, Taylor & Francis (2012).

6. Zacharia, Z.C. et al. .E.: Identifying potential types of guidance for supporting student inquiry when using virtual and remote labs in science: a literature review. Educational Technology Research and Development 63, vol. 2 (2015) 257–302.

7. Mandran, N.:. London : ISTE Editions (2018).

8. Tiberghien, A., Vince, J., Gaidioz, P.: Design-based Research: Case of a teaching sequence on mechanics. International Journal of Science Education. 31, 2275–2314 (2009).

144