Profilage évaluatif de la qualité lexicale (Laufer et Nation 1995)

Bien que destinée à une mesure linguistique de l’écrit, cette recherche basée sur la mesure de la fréquence lexicale revêt un intérêt par sa méthodologie plus que pour ses résultats, qui sont assez éloignés de la présente étude. Elle est étroitement reliée à un profilage destiné à une évaluation de la richesse lexicale en Langue 2 par profilage de groupes et en cela se rapproche de mon objectif d’évaluer la qualité prosodique des apprenants anglicistes francophones.

4.8.1 Présentation de la méthode de profilage par fréquence lexicale

Dans leur article Vocabulary Size and Use: Lexical Richness in L2 Written

Profile (LFP), qui est en fait une nouvelle manière de mesurer la richesse lexicale en

production écrite des apprenants :

The LFP shows the percentage of words a learner uses at different vocabulary frequency levels in her writing—or, put differently, the relative proportion of words from different frequency levels. (1995 : 311)

Ce profilage (1995 : 311-312) se fonde sur une répartition des types de mots selon leur fréquence d’utilisation dans la langue, lesquels sont catégorisés en tranches de 1 000 mots appartenant à un registre basique ou plus recherché. Le pourcentage d’occurrence du lexique correspondant à chaque tranche indique le niveau de maîtrise lexicale de l’apprenant lorsque les mots de son écrit sont mis en relation avec les trois listes de mots du programme informatique, le coffret comprenant le logiciel et les listes de mots s’appelle le VocabProfile

package. Le lexique de nature universitaire (UWL, sigle d’University Word List) est lui aussi

pris en compte, ainsi que les mots non répertoriés dans le système. Le résultat du test informatique se présente sous la forme de quatre pourcentages correspondant à la répartition des mots trouvés dans la composition de l’apprenant par rapport aux catégories pré-établies (premiers 1 000 mots les plus fréquents, seconds 1 000 mots les plus fréquents, liste de lexique universitaire (UWL) et mots non répertoriés. Bien que le logiciel distingue et prenne en considération dans la création des profils les occurrences, les types ainsi que les familles de mots, ce sont ces dernières que Laufer et Nation préfèrent pour calculer la richesse du lexique, choix justifié par un critère pragmatique : la distinction qui fait sens chez l’apprenant :

It is the latter calculation [word families] that we consider more revealing as an indication of lexical richness, because it uses a definition of what should be counted as a word which most closely matches how learners view words. (1995: 312)

D’après Laufer et Nation (19995: 312-313), cette nouvelle méthode pour mesurer la richesse lexicale par calcul de la fréquence d’occurrence est supérieure aux précédentes par son objectivité (it is independent of the learner's environment), son autonomie (largely independent of syntax and text cohesiveness), sa précision (a more detailed picture of the different types of words (as defined by frequency levels), [...] it can be used when comparing groups from different educational systems, or groups acquiring language outside the classroom), sa

mesure fine du degré de maîtrise (The LFP will discriminate between subjects who use

frequent and less frequent vocabulary) et sa fiabilité (A word used incorrectly is not considered to be part of the learner's lexicon). Ils précisent en outre que la validité du

profilage par fréquence lexicale (LFP) doit être vérifiée par similarité des résultats obtenus avec divers extraits de production écrite d’un même apprenant, mais aussi avec ceux fournis par d’autres méthodes de mesure. C’est ce qu’ils mettent en application dans une expérimentation.

4.8.2 Expérimentation portant sur la validité et la fiabilité du LFP

L’objectif poursuivi par Laufer et Nation dans cette expérimentation est de démontrer la fiabilité et la validité du Profilage par Fréquence Lexicale (LFP) pour mesurer la qualité lexicale en production écrite. Trois groupes d’apprenants de différents niveaux totalisant 65 individus ont leurs productions écrites comparées (300 premiers mots de productions écrites ne devant pas dépasser les 350 mots).

Les deux questions de recherche posées pour vérifier la validité du profil sont :

a Will there be a significant difference between the LFPs of learners of different language proficiency levels?

b Will the LFP of the compositions correlate highly with the scores of the same learners on the active version of the Vocabulary Levels Test? (1995: 314)

Pour répondre à la question a, la validité du profilage par fréquence lexicale est établie en comparant la moyenne des pourcentages de résultats et l’écart-type de deux rédactions par apprenant et de chaque groupe au moyen d’une ANOVA (pour comparer les moyennes des trois groupes à chaque niveau de maîtrise) et du test de Fisher (pour en évaluer le degré de signicativité). Les résultats montrent que les étudiants les plus faibles ont davantage tendance à utiliser les 1 000 mots les plus fréquents dans la langue. La deuxième tranche des mots les plus fréquents sera plus utilisée par les étudiants faibles. Le lexique sophistiqué, universitaire et non répertorié, renforce les différences entre chaque groupe. Laufer et Nation rapportent leur analyse à une définition générale du concept de maîtrise langagière et en déduisent la validité de leur profilage selon ce critère :

These differences are in accordance with the concept of language proficiency which assumes that richer vocabulary is characteristic of better language knowledge. If the LFP has tapped these differences, this is evidence for its validity. (1995: 316)

Une seconde analyse est effectuée pour répondre à la question b en vérifiant l’adéquation des résultats du test de référence Vocabulary Levels Test avec le Lexical

Frequency Profile. Les résultats des tests de corrélation sont jugés éclairants pour la tranche

des 1 000 premiers mots les plus fréquents (corrélation négative) mais non concluants pour la seconde tranche des 1 000 mots.

En ce qui concerne la fiabilité du profilage, les questions de recherche sont :

c Will the LFPs in two sets of compositions written by the same learners correlate highly with each other?

d Will the percentages of words at each frequency level correlate highly with each other in the two sets of compositions?

Pour répondre à la question c, Laufer et Nation privilégient une analyse intra-locuteur (within-subject analysis) pour comparer les résultats de deux productions d’un même apprenant avec le t-test de Student pour données appariées (comparaison de deux résultats émanant des mêmes individus) afin de vérifier la fréquence lexicale, et MANOVA pour rendre compte des proportions entre les niveaux de maîtrise. Les résultats révèlent une stabilité du profil dans les deux groupes les moins avancés alors que le vocabulaire du groupe avancé semble dépendre davantage du sujet traité.

Un autre procédé de vérification de la fiabilité du profilage consiste à écarter des calculs les 1 000 mots de la première tranche étant donné qu’ils ne représentent pratiquement que les mots outils grammaticaux ainsi que les mots les plus basiques de la langue. En conséquence, ils ne peuvent être aucunement indicatifs d’une quelconque qualité lexicale car ils constituent un bagage nécessaire à tout étudiant de niveau avancé. Dans cette nouvelle distribution, les analyses montrent qu’aucune des différences entre les deux compositions n’est significative, ce qui démontre une stabilité du profil indépendamment du sujet traité dans la production écrite, plaçant ce profilage en position de choix de fiabilité pour analyser la qualité lexicale à tous les niveaux de maîtrise et en tout cas le plus fiable pour analyser les écrits des niveaux avancés.

Par la suite, Laufer répond aux critiques de Meara (Laufer 2005 : 584-585) en ajoutant les résultats de corrélations au t-test de Student pour données appariées étant donné qu’il réfutait la fiabilité du profil sur cette base. Laufer met néanmoins en garde contre une confusion entre l’étendue du vocabulaire d’un apprenant et l’utilisation qu’il en fait en production car leur évolution n’est pas similaire. De même, elle insiste sur la nécessité d’une approche de terrain qui, seule, permet de valider ou d’invalider des hypothèses :

[...] all pseudo-experiments are inconclusive unless supported by real data, collected from real learners performing real language tasks. (2005: 586).

4.8.3 Bilan et discussion

Ce profilage de groupe repose sur la définition de l’unité servant de mesure : le mot. Ici ce sont des considérations didactiques et pragmatiques qui déterminent les choix de classification linguistique puisque les catégorisations lexicales faisant sens pour les apprenants prennent le pas sur d’autres possibilités utilisées en linguistique. Par ailleurs, Laufer (2005) insiste aussi sur l’importance de l’usage et de l’approche de terrain, laquelle est inconcevable sans corpus, dans toute expérimentation probante en L2.

Cette évaluation de la qualité de la production se fait de manière précise et objective grâce à des mesures quantitatives automatiques. La mesure du degré de maîtrise lexicale est double : elle est établie non seulement par le critère d’occurrence ou de non occurrence d’un mot, mais aussi par la fréquence d’occurrence de ce mot. Ainsi que Laufer l’affirme clairement (2005 : 583), An LFP is basically a measure of lexical use in writing. Il ne s’agit pas de mesurer les connaissances des apprenants, mais leurs choix d’utiliser un lexique fréquent ou recherché, le rendu se faisant sous forme de proportion (par pourcentage). Cette méthode d’analyse a fait de nombreux adeptes en acquisition des Langues 2, que ce soit dans ses principes (attestés comme le fait Chitez 2014, ou subissant une influence probable comme chez Hawkins et Buttery 2010) ou encore plus carrément dans la création de logiciels en ligne (Tom Cobb’s website44

ou projet ADELEX45).

Cette étude montre en outre l’importance que peut revêtir le choix des tests statistiques afin d’asseoir sa démonstration. Si ANOVA, MANOVA, t-test et test de Fisher sont acceptables, les corrélations semblent être les tests statistiques les plus convaincants. Écarter de l’analyse la tranche des 1 000 mots les plus fréquents est bienvenue pour simplifier l’analyse, cependant il n’en va pas de même du choix des tests statistiques : écarter un test de corrélation favorise une remise en cause d’une démonstration.

44 _{COBB, Tom, Compleat Lexical Tutor v.8 : [http://www.lextutor.ca/], consulté en 2016.} [http://www.lextutor.ca/vp/eng/] consulté en juillet 2016.

45

Projet de recherche ADELEX (Assessing and Developing Lexical Competence through the Internet) de l’Université de Grenade ; ADA ADELEX ANALYSER :

[http://www.ugr.es/~inped/ada/ada.php?ada=nttpbaat6jroctoobk8lsd9qv2&lng=english]; ADELEX ANALYSER Lexical Profile :

Ces critères d’analyse de profils de groupes me semblent particulièrement pertinents pour une éventuelle transposition dans l’étude de domaines de grande variabilité et qualitatifs, en particulier celui de la mélodie.

5 Bilan des phénomènes de profils et de profilage

L’opération de profilage est vue comme le processus méthodologique permettant de créer l’objet qu’est un profil spécifique, et le profil d’un individu sa caractérisation. On a vu précédemment que les notions de profil et profilage prennent leur sens dans une situation spécifique qui est à préciser en fonction de l’objectif à atteindre. Aussi, les diverses procédures repérées en amont vont servir à orienter et déterminer la méthodologie destinée d’abord au profilage des locuteurs natifs, puis dans un second temps celui des apprenants. Les exemples de profils et profilages présentés dans ce chapitre ont permis de sonder le rôle d’un profil. À la croisée des domaines pratiques et théoriques, les profils doivent répondre précisément aux besoins concrets d’une situation spécifique à un moment donné avec la méthodologie adaptée mise en œuvre pour les créer, c’est-à-dire le profilage. La description de chacun d’entre eux a consisté à présenter des résultats essentiels pour la présente recherche, mais a aussi fourni un éventail de questionnements et de pratiques méthodologiques pour y répondre.

Ainsi, dans le cadre de cette étude, un profilage de natif ne peut être que différent d’un profilage de non natif étant donné que les objectifs à atteindre pour ces deux catégories de locuteurs sont différents. L’objectif final de cette thèse est d’élaborer des critères fiables d’évaluation de l’interlangue prosodique. Les profils prosodiques non natifs sont destinés à atteindre cet objectif en contribuant à comprendre leur fonctionnement prosodique afin de les catégoriser selon leur degré d’acquisition. Ce dernier se caractérise par la meilleure adéquation possible à une norme, le modèle natif. Or, si dresser le profilage des non natifs signifie mesurer la distance entre leurs réalisations et celles de natifs, quel profil prosodique natif faut-il prendre comme modèle ? On peut difficilement opérer une évaluation précise et fiable en gardant une variabilité rendant un modèle évaluatif impossible à concevoir parce que trop flou dans ses implications acoustiques. Le profilage des non natifs nécessite comme norme un profil natif minimisant la variabilité.

La plupart des études décrites en amont se basent sur une norme (norme des locuteurs sains et adultes, norme des locuteurs natifs, norme énoncée dans la littérature, etc.). Cette

norme établit une base de comparaison servant d’étalon, que ce soit en profil personnalisé ou en profil de groupe, pour faire ressortir la particularité des traits étudiés. Les expérimentations décrites ont pu témoigner de la grande disparité du nombre de locuteurs natifs sélectionnés comme norme. Les réalisations acoustiques de ces locuteurs sont souvent réduites à une moyenne, le profil de groupe obtenu effaçant l’individualité de leur nature. Dans un cadre évaluatif, la notion de norme est cruciale. La question qui se pose alors est simple : comment établir une norme prosodique pour qu’elle soit fiable quantitativement et qualitativement ? En bref, pour les natifs, comment passer d’un profilage descriptif individuel à un profilage normatif hiérarchisable suivant la qualité de lecture ? Pour répondre à cette question (incongrue dans la littérature car elle en est officiellement absente, mais pourtant insidieusement présente lorsqu’on observe les données métalinguistiques de locuteurs natifs instruits recueillies), il me paraît nécessaire de trouver la qualité maximale en lecture à haute voix pour modéliser la norme par rapport à laquelle les réalisations acoustiques de non natifs seront étalonnées.

On a déjà vu dans le premier chapitre comment la durée de lecture avait été préalablement choisie afin de hiérarchiser les réalisations des apprenants. Ce choix repose sur des données quantitatives et il est justifié par une approche probabiliste pour déterminer une norme qualitative. La finalité évaluative se doit d’être qualitative et le processus de mise en œuvre pour parvenir à atteindre l’objectif est quantitatif par souci de précision et d’objectivisation. Quantitatif et qualitatif sont donc intimement liés et doivent mutuellement s’étayer et se corroborer. La création d’une norme native devant modéliser un système évaluatif de la prosodie non native nécessite un profilage complexe que je mets en place au moyen de l’expérimentation qui suit.

Un profilage étant un processus ad hoc, il me paraît plus adapté de présenter l’adaptation des notions que j’utiliserai lors de leur mise en place circonstanciée.

6 Profilage de la norme native en lecture

Lorsque l’on cherche à profiler une norme native en lecture, les objectifs fixés à cette expérimentation sont :

 D’obtenir des repères prosodiques acoustiques de la qualité native en lecture,

 D’établir une hiérarchie entre les variables pour sélectionner celles qui sont les plus pertinentes,

 Réduire la variabilité prosodique de la norme,

 Et ainsi valider une norme aux paramètres clairs, fiables et restreints.

Pour y parvenir, j’aurai recours à la création de profils prosodiques d’anglophones natifs en lecture. Ces profils seront à la fois quantitatifs (pour modéliser les mesures acoustiques) et qualitatifs (pour être hiérarchisables). Ils ne peuvent être que des profils d’ensemble, regroupant une multiplicité de variables puisqu’en prosodie, elles fonctionnent en synergie. Outre le travail de constitution d’un corpus de locuteurs natifs de l’anglais dans les normes (pour chacun des 42 locuteurs : sollicitation, acceptation de participation écrite46, recueil de métadonnées, enregistrement(s), codage des fichiers), ce profilage complexe suit plusieurs phases :

 Profilage perceptif de lecteurs (expérimentation PER-LEC-N),

 Analyse des commentaires de lecteurs sur leur prestation et leur expérience dans le domaine (expérimentation EXP-LEC-N),

 Profilage acoustique des lecteurs (COR-AC-N1),

 Profilage statistique des lecteurs avec hiérarchisation (expérimentation STAT- N1).

Ces étapes s’étayent mutuellement pour pouvoir confirmer ou infirmer leurs résultats. Ainsi, un bon ou mauvais lecteur sera repéré par test perceptif (donc subjectif), l’analyse acoustique de sa lecture (objective) sera comparée aux autres résultats et l’ensemble des données pourra être évalué statistiquement pour vérifier les données de départ.

6.1 Profilage prosodique qualitatif par test perceptif (expérimentation