Nous expliquons à présent les principes généraux d’attribution des points aux restitutions et le fonctionnement des tableaux d’analyse et de comparaison. Puis nous terminons le chapitre 3 en traitant l’élément AUX, les déterminants, et les traces de cohérence textuelle. La combinaison du modèle linguistique pressenti et des principes d’analyse décrits constitue le point d’ancrage à partir duquel la méthodologie linguistique d’analyse des restitutions pourra être élaborée (au chapitre 4) pour les autres éléments de la base de texte.
2.1 Principes de fonctionnement du dispositif d’évaluation
Le dispositif d’évaluation doit répondre à la contrainte d’une évaluation de plus de 2000 restitutions étudiantes. L’attribution des points doit donc être effectuée de manière aussi systématisée que possible. Nous avons pour cela déterminé trois catégories de points en fonction du poids linguistique de chaque élément de la relation prédicative. Nous avons également élaboré deux sortes de tableaux, l’un d’analyse, l’autre de comparaison, afin de pouvoir noter les textes sans qu’ils soient délinéarisés. L’objectif final est de mesurer l’écart entre les textes originaux et ceux restitués.
2.1.1 Points obligatoires, supplémentaires et supplémentaires interdépendants
Le modèle linguistique doit servir à distinguer les éléments textuels indispensables par rapport aux éléments « moins indispensables » (voir supra). Compte tenu de cette
distinction, nous avons opté pour un système d’attribution des points reposant sur un mode binaire 0-1, selon la restitution, ou non, de l’élément considéré116
. Chaque élément jugé indispensable reçoit 1 point dit « obligatoire ». Un élément qui n’est pas jugé obligatoire pour la compréhension du message reçoit 1 point dit « supplémentaire ». Les points obligatoires et supplémentaires sont respectivement appelés « Pts O » et « Pts S ». Les points obligatoires sont définis selon la règle suivante : « si un seul des points obligatoires de la relation prédicative Σx considérée n’est pas attribué, parce que
l’élément obligatoire est absent ou erroné, alors quelque que soit ce point obligatoire,
Σx = 0 ». On écrit ceci :
Règle des points obligatoires : Si 1Pt O de Σx = 0 →∀ Pt O, Σx = 0
qui se lit
« Si 1pt O de Σx = 0 alors, quel que soit ce pt O, Σx = 0. »
Tableau 9 - Règle des points obligatoires.
Les points obligatoires sont décomptés en premier car ils conditionnent l’attribution des points supplémentaires. Dans les cas où tous les éléments obligatoires d’une relation prédicative sont restitués (donc Σx ≠ 0), on procède au décompte des points
supplémentaires attribués aux éléments qui, selon l’analyse linguistique, ne sont pas absolument indispensables à la restitution du sens. La non-restitution ou la restitution erronée de ces éléments d’information supplémentaires n’entraîne pas Σx = 0 mais
seulement 1Pt S = 0. On note ceci :
Règle des points supplémentaires : Si 1Pt S de Σx = 0 →∀ Pt S, Σx ≠ 0
Tableau 10 - Règle des points supplémentaires.
Lorsqu’une relation prédicative Σ’x est imbriquée à une place obligatoire de la
relation prédicative principale Σx, selon le schéma [Σx⊃⊃⊃⊃ Σ’x], les éléments obligatoires
116
Le choix d’un mode binaire d’attribution des points a également été pensé dans la perspective d’une éventuelle automatisation de l’évaluation des restitutions.
de la relation imbriquée reçoivent des Pts O. Selon la règle des points obligatoires décrite ci-dessus, l’absence d’un seul point obligatoire d’une relation prédicative Σ’x
imbriquée à une place obligatoire de Σx entraîne Σx = 0. En revanche, lorsqu’une
relation prédicative Σ’x est imbriquée à une place non-obligatoire de la relation
prédicative principale Σx, les points obligatoires qui sont accordés aux à cette relation
imbriquée deviennent des points « supplémentaires interdépendants », notés « Pts SID », et appelés ainsi car l’absence d’un seul de ses éléments obligatoires entraîne sa non-compréhension. Toute la relation prédicative imbriquée à la place non-obligatoire est alors condamnée mais pas Σx qui reste différent de 0. On écrira la règle suivante pour
l’attribution des points supplémentaires interdépendants :
Règle des points supplémentaires interdépendants : Si 1Pt SID de Σ’x = 0 →∀ Pt SID, Σ’x = 0 mais Σx ≠ 0
Tableau 11 - Règle des points supplémentaires interdépendants.
Le dispositif d’évaluation distingue les points « obligatoires » des points « supplémentaires » en les présentant sur deux colonnes différentes. Puis il distingue, au sein de la colonne « Pts S », les points « supplémentaires » des points « supplémentaires interdépendants », en notant ces derniers en gras et en italique. Chaque élément de la structure sous-jacente canonique dans le texte de départ reçoit finalement un point, qui appartient à une de ces trois catégories : Pts O, Pts S ou Pts SID.
2.1.2 Tableau d’analyse linguistique des textes de départ
Le tableau d’analyse esquissé supra (tableau 8, Ch.3, 1.3.3) permet de déconstruire le texte tout en préservant sa structure de surface. Il répond en cela à la contrainte d’une analyse linguistique de la structure profonde sans délinéarisation du texte. Nous reprenons donc la forme de ce tableau mais nous l’enrichissons afin qu’il rassemble en son sein tous les éléments nécessaires au dispositif d’évaluation : le texte de départ, la formalisation de sa structure sous-jacente, et la distribution des points.
Le tableau d’analyse développé se lit dans le sens de la lecture de gauche à droite et de haut en bas. Le nombre de colonnes possible est contraint par la largeur d’une page
de format A4117
: il en contient neuf. Les lignes étant disposées dans la longueur de la page, leur nombre n’est pas limité. Le texte est donc découpé en segments qui sont intégrés au tableau, une ligne après l’autre, selon une présentation verticale qui préserve sa linéarité. Grâce à cette présentation verticale, le dispositif d’évaluation peut gérer des textes de toute longueur. Comme décrit ci-dessus, un texte est composé de paragraphes
Px, de phrases Sx et de relations prédicatives Σx. Le paragraphe est une unité trop large
pour effectuer une analyse fine des éléments discrets qui le composent. C’est pourquoi la première colonne du tableau concerne les phrases Sx et le premier travail d’analyse
consiste donc à découper le texte en phrases. Chaque phrase est indexée par un numéro qui permet de se situer à tout moment dans l’ordre linéaire du texte.
Kintsch et Banks insistent sur le fait qu’un texte n’est pas une liste de propositions sans liens. Selon Banks (2005, op.cit. : 88-94), la cohérence du texte repose en particulier sur la progression thématique et sur les systèmes de référence qui assurent sa cohésion inter-propositionnelle. La progression thématique ne peut pas être formalisée au sein de notre tableau car, par ses références extra-linguistiques, elle dépasse la seule base de texte, notre objet d’étude. Le dispositif rend par contre compte du système de références endophoriques118
et des ellipses par le signe formel [réf= …], inscrit à la suite de l’élément du texte qui porte l’anaphore ou la cataphore. L’élément auquel il est fait référence est indiqué à la suite du signe égal. La relation prédicative principale Σx
auquel il appartient est rappelée, et le signe linguistique formel auquel il se rattache est noté. L’élément considéré ne recevra aucun point si l’élément auquel il se rapporte n’a pas été restitué : le dispositif sanctionne ainsi une référence non-comprise.
La représentation de l’exemple [3] dans le tableau d’analyse constitué permet d’illustrer cette formalisation119. Cet exemple contient le référent anaphorique « they », qui se rapporte à l’élément de référence « the skiers », sujet de la relation prédicative
117
Les tableaux exploitent toute la largeur de la page A4 afin d’assurer la lisibilité de la formalisation. Dans ce texte, tous les tableaux d’analyse sont copiés sous la forme d’une image en raison des marges nécessaires à l’impression.
118
Les références exophoriques ne sont pas représentées car elles dépassent le cadre de la base de texte. Les opérateurs linguistiques d’anaphore et de cataphores de type TH-, WH- ou -ING (Lapaire et Rotgé, 1991) sont traités avec l’élément textuel dont ils dépendent.
119
Toutes les parties de tableaux d’analyse présentées sont extraites du travail d’analyse des textes du corpus. Tous les tableaux d’analyse de tous les textes du corpus se trouvent en annexe 9. Les différentes représentations qu’ils contiennent sont expliquées au fur et à mesure de cette partie II. Celles qui sont discutées immédiatement avant ou après les extraits proposés sont entourées en bleu.
précédente au sein de la même phrase. Cette anaphore est indiquée dans la colonne « Texte », à la suite de l’élément « they » par la formalisation [réf= (Σ2) N1]. Cette
formalisation signifie que pour obtenir le point attribué à « they », l’étudiant devra avoir restitué « the skiers ». À défaut, « they » recevra 0pt O et, selon la règle des points obligatoires, c’est toute la relation prédicative principale concernée qui recevra le score de 0 :
Tableau 12 - Illustration du fonctionnement des colonnes S, Σ, Pts O et Pts S, et du système de référence dans le tableau d’analyse.
L’exemple [3] comporte uniquement deux phrases, S1 et S2, indiquées dans la
première colonne du tableau. Chaque phrase est séparée par un trait horizontal épais (2¼pt), tracé sur toute la longueur du tableau. Ce trait signale que les phrases forment un tout relativement autonome à l’intérieur du cadre global du texte, représenté par le cadre du tableau, tracé dans un trait plus épais (4pt). Les deuxième et troisième colonnes du tableau servent à détailler les relations prédicatives principales contenues dans chacune des phrases qui composent le texte.
La colonne « Σ » comprend la liste de toutes les relations prédicatives principales. Le numéro indexé à Σ ne correspond pas toujours au numéro indexé à S car une phrase peut contenir plus d’une relation prédicative principale Σx. Si plusieurs Σx sont comprises
dans une même phrase, elles sont nécessairement coordonnées120
. Cette coordination est représentée par les signes « / » et/ou « CC » (voir infra, Ch.3, 2.2.3). Dans [3], les relations prédicatives « The skiers were lost » et « they dug a snowcave which provided
120
Comme expliqué au point 2.2.3 de ce chapitre, la coordination s’entend dans un sens large comme une opération effectuée au moyen de la ponctuation et/ou d’une conjonction de coordination.
them shelter » forment respectivement les relations Σ2 et Σ3 du texte. Elles sont
coordonnées par une virgule et la conjonction de coordination « so ». Ces deux opérations sont représentées dans la deuxième colonne du tableau, selon la suite [Σ2 / CC
Σ3]. Le contenu linguistique de toutes les relations prédicatives principales du texte est
formalisé dans la troisième colonne du tableau. Cette formalisation et les règles d’attribution des points qui l’accompagnent sont expliquées dans le chapitre 4.
Selon le modèle de relation prédicative choisi, lorsqu’une relation prédicative n’est pas coordonnée à la relation prédicative principale Σx, elle lui est subordonnée (apposée
ou imbriquée). Sa représentation est alors contenue dans l’une des trois colonnes nommées « Imbrications ». C’est là qu’est formalisé le contenu de la relation prédicative imbriquée à la place N2 de Σ3 « which provided them shelter » de l’exemple
[3]. Ces trois colonnes d’imbrications n’ont pas été numérotées car leur fonction est d’offrir un espace dans lequel décrire le contenu des différentes imbrications sans délinéariser le texte et non d’indiquer le niveau hiérarchique de l’imbrication au sein de la structure profonde. Il est toutefois indispensable de représenter la hiérarchisation des relations imbriquées au sein de la structure profonde. Ceci est fait de deux manières : d’une part, en jouant sur la longueur des traits horizontaux qui séparent les éléments découpés qui forment l’ensemble Σx, d’autre part en indiquant la place qu’occupe la
relation imbriquée dans la relation imbriquante. L’exemple [7] ci-dessous est extrait du même texte que l’exemple [1] et permet d’illustrer la représentation des imbrications.
[7] Here they are being shown a headset which picks up what the wearer is saying by reading their jawbone vibrations.
Cette phrase S19 comprend trois niveaux d’imbrication : la relation prédicative Σ’19
« that picks up what the wearer is saying by reading their jawbone vibrations » est imbriquée à la place N2 de la relation prédicative principale Σ19 pour moduler le nom
noyau « headset ». Σ’19 est à son tour une relation imbriquante : Σ’’19 « what the wearer is saying by reading their jawbone vibrations » est imbriquée à la place N2 de Σ’19.
Enfin, Σ’’’19 « by reading their jawbone vibrations » est imbriquée à la place Adv de Σ’’19.
Ce schéma [Σ19 ⊃⊃⊃⊃ [Σ’19⊃⊃⊃⊃ [Σ’’19⊃⊃⊃⊃ Σ’’’19]]] est représenté ainsi dans le tableau
Tableau 13 - Illustration du fonctionnement des colonnes d’imbrication dans le tableau d’analyse.
Comme cela est souligné en bleu, la place qu’occupe la relation imbriquée dans la relation imbriquante est toujours indiquée entre parenthèses avant le début de sa description formelle. L’élément entre parenthèses fait référence à l’élément correspondant le plus proche à sa gauche. Si une seule place d’imbrication est possible, elle n’est pas rappelée entre parenthèses. Ceci répond au souci d’économie qui définit l’ensemble du système de formalisation choisi pour ce tableau d’analyse.
La hiérarchie des imbrications est représentée par les traits horizontaux tracés en partant de la droite du tableau. Lorsqu’ils séparent des relations prédicatives juxtaposées ou coordonnées, ces traits s’arrêtent à la colonne « Σ » (voir la séparation entre Σ2 et Σ3
dans le tableau 13 précédent). Lorsqu’il n’y a pas d’imbrication à un niveau plus profond que le premier (acté dès que la première colonne d’imbrications est remplie), les traits s’arrêtent à la colonne des « Relations Prédications Principales ». Ceci permet d’indiquer plusieurs imbrications de premier niveau sur la même ligne, et économise ainsi des opérations de découpage vertical du texte. Les niveaux d’imbrication plus profonds sont représentés par des traits raccourcis qui s’arrêtent à la deuxième colonne d’imbrication pour indiquer le deuxième niveau d’imbrication et à la troisième colonne pour un niveau trois d’imbrication.
Les trois dernières colonnes du tableau contiennent le texte présenté de manière verticale mais linéaire, la colonne « Pts O » des points obligatoires, qui sont décomptés en premier, et la colonne « Pts S » des points supplémentaires. Les exemples analysés ci-dessus illustrent la distinction entre les points supplémentaires « ordinaires » (Pts S)
et les points supplémentaires interdépendants (Pts SID) : ces derniers sont représentés en italique et en gras. Les relations prédicatives imbriquées à des places supplémentaires peuvent contenir à la fois des Pts SID et des points supplémentaires qui en dépendent. Ces derniers sont représentés de la même manière que tous les autres points supplémentaires, mais ils sont décomptés uniquement si les Pts SID sont tous restitués121.
Une fois le tableau d’analyse constitué et les Pts O, Pts S et Pts SID attribués aux différents éléments de la structure sous-jacente de texte sur des bases linguistiques, il est possible d’évaluer les restitutions. Puisqu’il s’agit de mesurer l’écart entre le texte de départ et le texte restitué, nous avons choisi de procéder à l’aide d’un « tableau de comparaison ».
2.1.3 Tableau de comparaison pour l’évaluation des restitutions
Le tableau dit de « comparaison » a été imaginé pour mener à bien, aussi efficacement que possible, l’évaluation manuelle de toutes les restitutions étudiantes. Il est composé de deux cellules dans lesquelles sont copiées les trois dernières colonnes du tableau d’analyse. La copie intégrée dans la cellule de gauche est laissée en l’état : elle constitue la « Restitution Originale » qui sert de repère pour la mesure des écarts. La copie intégrée dans la cellule de droite, appelée « Restitution Étudiante » est vidée de son contenu textuel mais les points sont laissés en l’état. Cette copie de droite fournit le canevas dans lequel vont être découpées toutes les restitutions étudiantes. Voici une partie du tableau de comparaison du texte 14, pour les phrases 18 et 19. Il inclut le total des points de tout le texte :
121
Il ne nous a pas paru nécessaire de créer une quatrième catégorie pour ces points-là car ils sont compris dans la même case que les Pts SID auxquels ils sont rattachés.
Tableau 14 - Fonctionnement du tableau de comparaison.
Le tableau de comparaison de chaque texte de départ est copié à la suite de chacune des restitutions étudiantes. Le texte original des restitutions étudiantes est alors découpé en fonction du découpage du texte de départ dans le tableau d’analyse, puis converti en tableau par le logiciel Microsoft Word afin d’être aisément intégré dans le canevas « Restitution Étudiante ». Il alors possible de procéder à la comparaison de la restitution avec le texte de départ et au décompte des points. Puisqu’au départ le canevas « Restitution Étudiante » comprend tous les points du texte, la tâche de l’évaluateur consiste dans un premier temps à vérifier que tous les éléments qui reçoivent des Pts O sont bien restitués. Si ce n’est pas le cas, il met 0 dans la ligne approprié et supprime tous les autres points de la relation prédicative considérée. Dans les cas où tous les éléments obligatoires ont été restitués, il peut procéder à la vérification de la bonne restitution des points supplémentaires.
L’exemple [1] « The robot can climb stairs […]. » sera finalement traité en quatre temps au sein du dispositif d’évaluation. Tout d’abord, la structure profonde de l’énoncé est analysée à l’aide du modèle linguistique de Toma : on a ici une relation processus de transformation non spécifiée qui contient trois éléments obligatoires N1, Vb et N2 et
reçoit trois points obligatoires (voir infra Ch.4, 1.3 pour plus de détails). L’analyse linguistique qui en est faite est formalisée dans le tableau d’analyse122 :
122
Le chapitre 4 est consacré à toutes les formalisations et aux règles d’attribution des points qui les accompagnent.
Ou, pour une représentation plus économique :
Une fois le tableau d’analyse finalisé pour tout le texte, le tableau de comparaison est crée selon la procédure expliquée ci-dessus. On peut alors engager la troisième étape et intégrer le texte de restitution de l’étudiant au canevas « Restitution Étudiante ». La quatrième et dernière étape consiste à décompter les points. Voici la représentation de cette dernière étape pour les sujets 63 et 65 qui n’ont pas su restituer N2. Cet élément
reçoit 0pt O dans les deux cas ce qui, selon la règle des points obligatoires, entraîne la suppression de tous les autres points possibles dans la relation :
Tableau 15 - Fonctionnement de l’attribution des points : exemple du sujet 63.
Au contraire, tous les points obligatoires sont maintenus lors de l’analyse de la restitution du sujet 46 car les trois éléments N1, Vb et N2 sont correctement restitués.
L’évaluateur n’a alors pas besoin de manipuler les points qui se trouvent dans le canevas au départ :
Tableau 17 - Fonctionnement de l’attribution des points : exemple du sujet 46.
Les tableaux d’analyse et de comparaison sont des outils qui ont été imaginés pour répondre au besoin logistique d’une analyse manuelle d’un grand nombre de restitutions étudiantes. Les modèles de relation prédicative instanciée et de structure sous-jacente canonique sont le point d’appui à partir duquel les énoncés de départ peuvent être formalisés en un nombre limité de signes. La combinaison du modèle linguistique choisi et du tableau d’analyse décrit dans le point précédent constitue l’ancrage à partir duquel les règles d’attribution des points sont élaborées.
2.2 Attribution des points aux marqueurs de la forme verbale, du groupe nominal et de liens entre les phrases
Le dispositif repose sur un système d’évaluation binaire 0-1 pour tous les éléments de la relation prédicative mis à part ceux que nous traitons dans le dernier point de ce chapitre 3 : l’élément AUX de la structure sous-jacente, les déterminants, et les traces de cohérence textuelle.
2.2.1 Marqueurs de la forme verbale
Toma (ibid.) définit la forme verbale comme la combinaison des marqueurs µ et AUX
associés à Vb ou BE. Ils sont les marqueurs de l’assertion.
L’auteur dénombre quatre opérateurs possibles pour le marqueur de l’assertion µ :
∅/NOT, STRESS, INV. SUJET, respectivement associés aux opérations d’affirmation, de
« validation »123
de la relation. Les opérations d’affirmation et de négation permettent respectivement de valider ou d’invalider la relation. Comme son nom l’indique, l’opération d’emphase a un statut un peu différent puisqu’elle s’opère une fois que la relation a été, ou non, validée. Elle ne remet toutefois pas en cause cette relation, contrairement à l’opération d’interrogation dont l’objet est de questionner sa validité en