Pré-test

Le pré-test et le post-test ont été conçus selon des modalités identiques et contiennent les mêmes éléments : chacun des deux est composé d’une synthèse en allemand, d’une synthèse en français ainsi que d’un test de compréhension-mémoire après la lecture en allemand. Tous les supports écrits, ainsi que la retranscription des vidéos, sont reproduits en annexe (annexe 1 : chap. 1).

Synthèse en allemand

La synthèse en allemand se rapproche de ce que pourrait être à terme une épreuve du CLES, sauf qu’elle ne comporte pas d’évaluation de l’oral. À partir d’un ensemble de documents proposés (vidéo et textes), les étudiants doivent extraire les idées principales, les organiser - en fonction de la problématique qu’ils auront dégagée - en deux ou trois grandes parties (complétées par l’introduction et la conclusion) tout en les reformulant. Ils doivent respecter une longueur de rédaction déterminée.

Les textes officiels pour le CLES (Lang 2000) prévoient une durée de 5 heures pour le niveau 3 de la certification. La certification comprend quatre éléments, qui sont la compréhension de l’oral, la compréhension de l’écrit, la production écrite en situation et la production orale. Or, le comité expérimental a ensuite réduit ces éléments au nombre de deux, c’est-à-dire à la production écrite ainsi qu’orale. Aucun nombre particulier de documents aussi bien à l’oral qu’à l’écrit n’est prévu ; seule leur longueur est définie. Le ou les document(s) authentique(s) audio ou vidéo sont d’environ 1500 mots au total. Le ou les document(s) écrit(s) authentique(s) sont « de longueur variable mais non inférieure à environ 3000 mots au total, pouvant nécessiter des capacités de lecture cursive et sélective de textes longs ». La rédaction « d’un ou plusieurs textes situationnellement intégrés » doit avoir une longueur totale d’environ 1000 mots.

Parce qu’elle ne comporte pas d’exercices particuliers pour évaluer la compréhension ainsi que pour des raisons de faisabilité, nous avons réduit la durée de l’épreuve à deux heures, ramené la longueur totale des textes à 1254 mots, celle de la vidéo à 334 mots (ce qui correspond à 2 minutes et 54 secondes) et demandé aux étudiants une rédaction de deux pages écrites manuellement.

Les documents portent sur un sujet à tendance sociale et scientifique mais suffisamment général pour être abordable par des étudiants de tous les niveaux universitaires et de toutes les filières. Ils sont destinés à la vulgarisation et proviennent d’un journal télévisé allemand (Mittagsmagazin) pour la vidéo et de sites internet à tendance scientifique (WDR, Nano) pour les textes illustrés. Le sujet retenu pour cette épreuve est celui de la réforme du système scolaire allemand, très discuté en Allemagne depuis l’étude de « PISA » qui a été réalisée par l’Institut Max Planck en 2000 (pour plus d’informations, voir http://www.mpib-berlin.mpg.de/pisa).

Lors de la passation du pré-test, les étudiants disposent d’une aide méthodologique pour la rédaction d’une synthèse et sont autorisés à utiliser le dictionnaire. La vidéo est montrée à tous les étudiants présents dans la salle en même temps, après qu’ils aient eu le temps de prendre connaissance du sujet global et de la fiche méthodologique. Elle est montrée jusqu’à ce qu’aucun étudiant n’exprime plus le désir de la revoir, ce qui correspond toujours à deux ou trois passages. Les étudiants prennent des notes durant la diffusion. Ce temps est compris dans la durée de deux heures. Pour les étudiants qui ne peuvent pas se déplacer, une version du pré-test en

ligne a été conçue. Elle comporte les documents textuels et la vidéo numérisés, ainsi que toutes les consignes nécessaires. Ces dernières insistent entre autres sur l’importance de respecter les durées attribuées à chacune des composantes du pré- test.

La synthèse en allemand sert à évaluer les compétences en lien avec cette tâche avant la phase de formation. Elle permet ainsi de voir quel est le niveau dans la langue, mais aussi quelle est la capacité de reconnaissance des éléments importants et de leur structuration. Elle donne lieu à une double correction, par deux enseignants différents.

Synthèse en français

Un étudiant qui ne structure pas bien le contenu de la rédaction n’a peut-être tout simplement pas été en mesure de reconnaître quels étaient les éléments importants. Ou encore, il ne maîtrise peut-être pas assez bien la langue étrangère pour s’exprimer clairement. Pour mieux évaluer les compétences de l’étudiant à identifier les idées importantes et à les organiser, il doit également rédiger une synthèse en langue maternelle (français), à partir d’un corpus de documents en français. Ce corpus est conçu selon le même modèle que celui pour l’allemand et comporte plusieurs textes d’un nombre total de 2120 mots ainsi qu’une vidéo d’une durée d’une minute et 51 secondes (elle comporte 371 mots). Il contient la même fiche méthodologique que la synthèse en allemand et exige une rédaction de longueur identique (deux pages). En revanche, il ne dure qu’une heure et demie, parce que l’écoute, la lecture et l’écriture sont supposées être plus faciles et donc être beaucoup plus rapides en langue maternelle. Le sujet retenu est celui d’une rencontre aux échecs entre un champion du monde et un logiciel, et plus exactement celle entre Vladimir Kramnik et Deep Fritz à Bahreïn à l’automne 2002. La vidéo a été diffusée dans le Journal Télévisé de TF1 ; les textes ont été publiés dans Le Monde. Une version en ligne a également été conçue pour la synthèse en français.

Test de lecture

Nous nous attendons à ce que les étudiants, à travers l’entraînement à la lecture pour les différentes synthèses pendant la phase de formation, lisent de plus en plus vite. Ainsi, pour vérifier cette hypothèse, le pré-test et le post-test contiennent tous deux un test de vitesse de lecture. En dehors de la vitesse, ce test évalue également la compréhension-mémoire de la lecture. En effet, les étudiants se chronomètrent pendant la lecture d’un texte qu’ils lisent sans connaître les questions de compréhension. Ensuite seulement, ils tournent la page et prennent connaissance des questions, sans cette fois avoir recours au texte. Ils répondent en se basant seulement sur la mémoire qu’ils ont du contenu du texte.

Ce test est une adaptation de celui proposé par Richaudeau, Gauquelin et Gauquelin (Richaudeau & al. 1977), qui compare la vitesse et la compréhension-mémoire de la lecture de deux types de textes, l’un littéraire et l’autre scientifique en langue maternelle. Il calcule la vitesse de lecture en nombre de signes dactylographiés lus par heure et mesure la compréhension-mémoire à l’aide d’un pourcentage de réponses correctes à des questions.

Nous nous intéressons tout particulièrement à la lecture de textes à caractère de vulgarisation scientifique, et non à une comparaison entre différents types de textes. Ainsi, notre test ne contient qu’un seul texte scientifique. Nous nous intéressons à la lecture en langue étrangère, et le texte est donc en allemand et non en français. De plus, les textes initialement proposés comptaient plusieurs pages. Il nous importait, vu la durée déjà importante du pré-test, de ne pas ajouter une épreuve trop longue. La longueur du texte a donc été ramenée à une page, ou plus exactement à 2214 signes. L'unité de mesure de ce test ne sont d’après Richaudeau, Gauquelin et Gauquelin (Richaudeau & al. 1977) pas les mots, mais les caractères. Le test comporte 8 questions de compréhension détaillée.

Il a été spécifié aux étudiants avant la passation qu’il s’agissait de questions plutôt détaillées. La durée annoncée pour le test de lecture a été de 15 minutes, mais c’est la rapidité avec laquelle les étudiants ont lu le texte et répondu aux questions qui a en réalité déterminé la durée. L’évaluation de la vitesse de lecture et de la compréhension-mémoire a également été proposée en ligne. Le recours au dictionnaire durant la lecture du texte, mais aussi pour répondre aux questions a été autorisé.

Déroulement du pré-test

Il a été convenu d’une date et d’un horaire avec les étudiants volontaires pour passer le pré-test. Autant que possible, plusieurs étudiants l’ont réalisé simultanément, pour réduire le nombre d’heures de surveillance, les réservations de salles ainsi que très généralement le nombre de passations nécessaires. Or, les inscriptions se sont étalées sur six mois (d’octobre 2002 à mars 2003), ce qui a multiplié le nombre de séances. L’ordre des éléments était imposé. D’abord, les étudiants ont rédigé la synthèse en français, pour se familiariser avec la fiche méthodologique et les différentes exigences. Ensuite, ils ont fait le test de lecture en allemand, ce qui permettait de faire une pause après la moitié du temps et avant la plus longue partie : la synthèse en allemand. Le même déroulement a été préconisé pour ceux qui ont passé le pré-test à distance, c’est-à-dire pour ceux qui n’habitaient pas à Strasbourg et qui ne pouvaient pas se déplacer.

Composante Durée 1. Synthèse en français 90 min. 2. Test de lecture 15 à 20 min.

3. Pause 20 min.

4. Synthèse en allemand 120 min.

Total : 4h 05 min. à 4h 10 min.

Tableau 18. Ordre et durée des composantes du pré-test avec les étudiants volontaires.

Les étudiants de l’enseignement d’ouverture, quant à eux, se sont tous inscrits en même temps, ce qui a permis de regrouper les séances du pré-test. Ils étaient par contre soit en première, soit en deuxième année, et inscrits dans des filières différentes, avec des emplois de temps chargés. Comme ils n’ont pas pu libérer de plage horaire de quatre heures, leur passation a été scindée en deux moitiés (d’abord la synthèse en français et le test de lecture, ensuite la synthèse en allemand), dont l’une a été passée une semaine et l’autre la semaine suivante dans le même créneau horaire. Dans chacune des deux semaines, quatre créneaux horaires ont dû être proposés pour que tous puissent assister au pré-test. Ces créneaux étaient placés à l’heure du déjeuner ou pendant l’après-midi. La fatigue qui a pu jouer en défaveur des étudiants volontaires lors d’une épreuve de plus de quatre heures se retrouve donc ici, mais due cette fois à une journée chargée de cours préalable.