Afin de valider et de compléter les trois sous-ontologies de l’objectif de l’annotation (ontologie pédagogique, domaine et documentaire) nous avons réalisé une étude en collaboration avec des psychologues [Rodet 2004]. Cette expérimentation consistait à analyser les annotations effectuées par des enseignants dans une condition de préparation de TP afin de :
1.Valider les concepts des ontologies de l’objectif de l’annotation proposés. 2.Compléter éventuellement ces trois ontologies par les concepts manquants.
En plus de ces deux objectifs, les psychologues voulaient comprendre les stratégies d’annotation des enseignants en mettant en évidence les grands objectifs qui guident leur lecture. Notons que les ontologies présentées précédemment sont les versions finales des ontologies issues de cette expérimentation.
Contexte de l’expérimentation
L’expérimentation concerne l’analyse des annotations des enseignants qui portent sur le TP de chimie de licence première année à l’UFR chimie de l’université Joseph-Fourier de Grenoble.
Pour préparer les séances du TP de chimie, les enseignants reçoivent d’abord les documents de TP de la part de l’enseignant responsable et assistent ensuite à une première réunion de préparation où ils sont tous présents et où ils font part de leurs remarques à leurs collègues, sur le TP, avant la séance. Les enseignants effectuent ensuite leurs séances de TP et à la fin du trimestre ils effectuent une réunion de bilan afin de rendre compte de la manière dont s’est déroulée la séance et des remarques afin d’améliorer le document.
Lors de toutes ces étapes, les enseignants annotent leurs documents avec leurs remarques et leurs points de vue.
3.6.1 Description
Sujet
Pour effectuer cette étude, nous nous sommes basés sur les annotations réalisées par les
enseignants sur leurs documents pédagogiques dans le cadre des travaux pratique du module
de chimie. Le contexte de l’enseignement est celui de licence première année à l’UFR de chimie de l’université Joseph-Fourrier.
Matériel
Nous présentons dans cette partie le matériel que nous avons utilisé pour effectuer cette étude. Les documents et les ontologies sont présentés dans l’annexe de ce rapport.
− Les documents pédagogiques : il s’agit de deux documents du TP de chimie de première année (voir ces documents dans l’annexe I):
o le document élève composé d’une partie théorique (exercices) et pratique (expérimentations chimiques) à effectuer qui a été distribué aux élèves,
o le document enseignant.
− Ontologies : nous avons utilisé cinq ontologies lors de cette expérimentation où chacune est en première version. A part l’ontologie document, nous avons subdivisé les deux ontologies (pédagogie et domaine) en deux niveaux, chaque niveau correspond à l’activité d’enseignement pour laquelle l’enseignant a prévu de réutiliser son annotation. Parmi les quatre activités d’enseignement identifiées précédemment (voir section 3.3.7), nous nous sommes intéressés aux annotations faites pour la phase d’exécution et celle du bilan. Nous présentons chacune de ces ontologies utilisées lors de cette expérimentation ci-dessous.
o Ontologie document : La première ontologie correspond à celle de l’annotation au niveau document.
o Ontologie pédagogique pour la phase du bilan : elle concerne les annotations effectuées qui portent sur les apprentissages pour la réunion de bilan
o Ontologie pédagogique pour la phase de l’exécution: elle concerne les annotations effectuées qui portent sur les apprentissages pour la préparation du TP, c’est-à-dire la réunion de préparation du TP et la séance de TP.
o Ontologie domaine pour la phase de bilan: Elle correspond aux objectifs des annotations qui portent sur les tâches à effectuer pendant le TP pour la préparation et la séance de TP.
o Ontologie domaine pour la phase de l’exécution: Cette ontologie porte sur les tâches du TP pour le bilan.
− Une grille de recueil des données reproduisant le codage des différentes ontologies (annexe III).
− Un exemplaire photocopié du TP de chimie contenant les annotations du sujet.
− Un magnétophone avec cassettes pour l’enregistrement de chaque entretien.
Procédure
A la fin du premier trimestre, nous avons demandé aux enseignants concernés de nous fournir leurs documents annotés de TP (document apprenant et enseignant- voir Annexe I). Nous avons photocopié ces documents et nous leur avons rendu les originaux.
Nous avons ensuite effectué six entretiens individuels avec ces enseignants où ils devaient apporter leurs documents de TP annotés. L’entretien était de durée variable en fonction du sujet et il se déroulait toujours de la même manière.
Lors de l’entretien l’enseignant devait se rappeler et se remettre dans le contexte dans lequel il annotait, afin de pouvoir se rappeler la sémantique de chacune de ses annotations.
Nous avons interrogé chaque enseignant de la façon suivante : 1.Combien de lectures avez-vous faites?
2.Comment avez-vous annoté pour chaque lecture ? De manière globale ou analytique ? 3.Est-ce que vous avez annoté linéairement ou en faisant des retours en arrière ?
A partir de la réponse à cette troisième question, il était demandé au sujet de numéroter le texte dans le sens où les annotations ont été faites. Ensuite, chaque annotation a été reprise, et pour chacune, l’enseignant devait indiquer:
1.Lorsque vous avez annoté est ce pour l’utiliser pendant le TP ou après ? (a)
2.Est-ce dans un but général (ex : notions importantes) ou local (recommandations aux élèves) ? (b)
3.A qui est destinée l’annotation : à vous, aux élèves ou aux autres professeurs ?
4.Pourquoi l’avez-vous faite, dans quel but, à quoi elle sert (aide, utilité), ce qu’elle contient.
Enfin, une dernière partie plus guidée, a été réalisée :
Pour chaque annotation nous avons présenté au sujet des ontologies (voir annexe IV).
• d’abord l’ontologie de lecture active,
• puis celle correspondante aux réponses apportées aux questions a et b. Toutes les annotations ont été reprises et pour chacune le sujet devait dire quel est l’objectif qui correspond à son annotation.
Ces données ont été recueillies sur une grille où étaient cochées les cases correspondant aux fiches choisies (voir l’annexe II), ainsi que celles correspondant à l’apparence visuelle de l’annotation.
3.6.2 Analyse des résultats
Ontologie pédagogique
Dans le tableau suivant, nous notons pour chaque enseignant le nombre d’annotations qu’il a effectuées sur ses documents de TP selon les concepts les plus courants de l’ontologie apprentissage.
Objectif pédagogique Nombre Ensemble des tâches incorrect 5
Objectif non pertinent 2 Objectif non opérable 2
Tableau 27. Le nombre d'annotation par objectif pédagogique.
Nous notons que les enseignants ont peu annoté pédagogiquement. Un des enseignants nous a dit qu’ « au niveau des exercices et des tâches, les gens remettent peu en cause les objectifs pédagogiques avant le TP ». Ainsi, nous pensons que c’est le contenu des documents pédagogiques du TP qui font que les enseignants annotent peu avec de la sémantique pédagogique, et que ce type d’annotation devrait apparaître plus dans les annotations du cours.
Dans leurs annotations ils ont surtout indiqué que certaines tâches ne sont pas correctes pédagogiquement et que certains objectifs pédagogiques ne sont pas pertinents.
Ontologie domaine
Dans le tableau suivant, nous notons pour chaque enseignant le nombre d’annotations qu’il a effectuées sur ses documents de TP selon les concepts les plus courants de l’ontologie tâches.
Objectif tâche Nombre Un résultat de TP 4
Le détail 4
Des erreurs possibles 2 Des précautions 2
Tableau 28. Nombre d'annotations par objectif domaine.
Nous notons que les enseignants ont peu annoté par rapport au domaine enseigné (la chimie). Les enseignants ont annoté en particulier des résultats du TP ou ont détaillé certains passages du document. Cela peut être expliqué par le fait qu’il s’agit d’enseignants expérimentés d’un côté, et que le contenu du TP est assez simple (licence première année). D’un autre côté, comme pour le niveau pédagogique, les enseignants remettent peu en cause les activités et les tâches du TP après sa conception.
Grâce à cette étude, nous avons identifié aussi un objectif mentionné par les enseignants et que nous avions omis dans la première version, il s’agit des concepts : « mauvais contenu du texte (tâche lecture apprenant) » et de « planifier des changements » avec ses trois sous concepts : « planifier des changements pour problème de matériel », « planifier des
changements pour problème de temps » et enfin « planifier des changements pour passages non pertinents ».
Ontologie document
Dans le tableau suivant, nous notons pour chaque enseignant le nombre d’annotations qu’il a effectuées sur ses documents de TP selon les concepts les plus courants de l’ontologie document.
Objectif document nombre
Réviser 28
Ajouter une remarque personnelle 22 Planifier une action 5
N 59
Tableau 29. Le nombre d’annotation par objectif document.
Nous identifions que les annotations de révision et d’ajout de remarques personnelles sont les plus courantes. C’est en particulier le cas de l’enseignant concepteur du document qui exploite ses annotations pour améliorer le document. Les enseignants participants présentent une certaine similarité dans la répartition des objectifs de l’annotation avec une grande proportion des annotations.
Les autres types d’annotations ont été exprimés par les enseignants mais dans une moindre mesure, il s’agit en particulier de cas de la planification d’actions futures et de la restructuration du document.
Grâce à cette étude, nous avons identifié aussi un objectif mentionné par les enseignants et que nous avons omis dans la première version, il s’agit de « se repérer ».
Usages des ontologies
Nous constatons en premier lieu que dans le cadre de ces documents de TP, les enseignants ont utilisé plus fréquemment certaines ontologies par rapport à d’autres. Ainsi le plus grand nombre des annotations avaient pour objectif le niveau document. En second lieu, les enseignants utilisent l’ontologie « domaine » et enfin celle du niveau « connaissance ». Nous pensons que cela est dû au type du document annoté (document TP) qui décrit des activités pédagogiques et non pas des concepts pédagogiques.
Les stratégies annotatives [Rodet 2004]
Pour commencer, les enseignants annotent principalement sur des points de détails, ils ont une approche analytique. Les annotations ont été créées en plusieurs lectures « au moins quatre lectures » pour un des enseignants qui précise que ces lectures correspondent à des niveaux ou temps différents de lecture. Ce même enseignant distingue un premier niveau où il se concentre sur « les erreurs de frappes », un second pour lequel il dit : « j’ajoute des précisions ou j’enlève des parties qui ne me semblent pas importantes », le troisième niveau correspond à « tous ce qui a était par rapport au TP lui-même notamment ce genre d’annotation : pas cohérent avec la correction ». Enfin il déclare «Il y a un quatrième niveau ou temps, où je reprends les objectifs d’apprentissage et ça correspond au bilan ». Il précise
que pendant une lecture il lui arrive de faire des annotations à des niveaux différents. Les niveaux que le sujet décrit s’attachent en définitif à différents objectifs qui guident sa lecture. En termes de stratégie annotative, cet enseignant déploie différentes stratégies selon le ou les objectifs de lecture qu’il se fixe.