analyse de la variété des réponses au test de
5.1 Analyser la diversité des réponses linguistiques
L’analyse des données en sciences sociales est toujours une question délicate, et qui nécessite d’être reposée pour tout corpus. Dans notre cas, elle est d’autant plus difficile que nous l’envisageons sous deux aspects : à la fois du point de vue de la compétence sociolangagière, et de celui des attitudes. Dans les deux cas, nous nous appuierons sur les réflexions menées dans la partie théorique.
En termes de compétences sociolangagières, nous dirons ainsi que plusieurs raisons peuvent expliquer qu’une réponse n’est pas conforme à la réponse attendue :
− à cause de mauvaises connaissances du système, des règles et de ses exceptions ;
− à cause de mauvaises compétences de communication (déchiffrement des consignes et des implicites, maîtrise de la situation de communication propre à l’écrit…).
Plus précisément, chacun des exercices étant « thématique », ils évaluent les compétences suivantes :
− l’emploi du mode et du temps verbal (exercices 1 et 2) ;
− les morphologies grammaticales régulières et surtout irrégulières (exercice 1 et 2) ;
− la connaissance des termes grammaticaux et des termes de l’énoncé (exercice 3 :
propositions, argument, étaye, exemple, infirme, exercice 9 : pertinents) ; − les notions de cause, de conséquence, de concession (exercice 3) ;
− les règles d’accord du participe passé (exercice 4) ;
− la capacité à repérer des maladresses de style et à les corriger (exercice 5) ;
− la capacité à repérer des fautes de langue et à les corriger (exercice 7) ;
− la connaissance du vocabulaire (exercice 8 et 9) ;
− l’analyse en constituants (préfixes et radicaux, exercice 9B) ;
− la capacité à utiliser ou à interpréter les anaphores (exercice 10).
Toutefois, il conviendra de dresser la liste des compétences réellement testées par chacun des exercices après l’analyse de la diversité des réponses fournies : entre ce que l’énoncé semble vouloir évaluer et ce qui est réellement en jeu, ou ce qui pose réellement problème dans chacun des exercices, il peut exister des différences qu’il nous faudra évaluer. Nous nous demanderons donc de ce point de vue si chaque exercice évalue bien les compétences qu’il annonce.
Au fur et à mesure de cette présentation des réponses, nous tenterons en outre de montrer qu’elles peuvent s’interpréter autrement, en regardant les attitudes qu’elles supposent de la part des étudiants. Ainsi, en dépit du fait que les distinctions fonctionnelles et formelles entre les réponses nous seront utiles, nous présenterons autant que possible l’hétérogénéité des réponses à partir d’une classification
symptomatique. La difficulté, c’est que toutes les réponses sont à peu près interprétables en termes de compétences, mais plus difficilement en termes d’attitudes. En nous appuyant sur les réflexions développées dans les chapitres 2 et 3, et en particulier sur la définition que nous avons donnée des attitudes, nous distinguerons toutefois nos réponses selon qu’elles traduisent de la part de leur auteur une tendance à :
− en faire + / en faire - : cela permettra de repérer des cas d’insécurité, et des cas d’hypocorrection. Nous verrons qu’il y aura différents cas de figure, en particulier pour l’hypercorrection (surcharge morphologique, graphique, …).
− prendre ou non des risques : entre normalité et originalité, distinction et conformisme.
− normaliser / complexifier : là encore nous pourrons évaluer la sécurité linguistique des locuteurs. Mais nous pourrons aussi repérer les étudiants qui n’ont pas de stratégie hiérarchique : quand ils ne savent pas ils appliquent la règle générale. Il nous faudra également tenir compte des non-réponses, et les interpréter, ainsi que d’une autre stratégie : le contournement de la difficulté. Ces deux derniers modes de réponse sont toutefois à la frontière entre attitudes et compétences : savoir éviter une difficulté par exemple relève aussi d’une compétence sociolangagière. Si nous les plaçons malgré cela parmi les attitudes, c’est qu’en contournant la difficulté ou en ne répondant pas, les étudiants manifestent aussi la crainte d’écrire une erreur, la volonté de ne pas chercher à deviner la forme juste mais d’écrire quelque chose dont ils sont sûrs ou de ne rien écrire.
Dans ces analyses, la principale difficulté sera celle de l’interprétation : il peut arriver que plusieurs hypothèses expliquent la réponse observée, ou au contraire que nous en manquions pour expliquer certaines réponses. Dans les deux cas, comment déterminer la raison de l’échec ? Comment ne pas réduire notre analyse à une succession d’intuitions ? C’est ce que souligne également Bautier344 lorsqu’elle dit au sujet des études sur la littéracie qu’il existe une « pluralité d’interprétation des difficultés des élèves », en particulier parce que l’on peut y mettre en relation « différents domaines, cognitifs, langagiers, de savoirs ».
A y regarder de plus près, ce problème dépasse d’ailleurs largement les analyses des compétences et des attitudes : même les jugements les plus normatifs sont fondés sur des intuitions – celle par exemple que certaines fautes d’orthographe sont moins « graves » que d’autres, que telle formulation est plus adroite que telle autre. Si l’on en croit Godelier345, c’est même là la particularité des sciences sociales. Il ajoute qu’elles
344 Bautier, op. cit., p.144.
345 Godelier Maurice, 2000, « Le métier de chercheur » dans La lettre des Sciences de l’homme et de la société
n’en sont pas moins de véritables sciences. Ce qui garantit leur scientificité, c’est d’une part la prudence et l’objectivité du chercheur – qui commence sans doute par la prise de conscience de l’importance de ses intuitions – mais aussi la mise à l’épreuve de ses analyses : c’est finalement en exposant ses analyses à la communauté scientifique que l’on limite les risques d’une intuition personnelle346. Il existe certainement des intuitions partagées, et les opinions les mieux partagées peuvent être tout aussi suspectes et dangereuses que les jugements isolés, mais il n’en reste pas moins que c’est dans la validation et la remise en question permanente par les autres d’une analyse que l’on atteint la scientificité.
Par ailleurs, nous nous appuierons autant que possible sur l’étude coordonnée par Lucci et alii347. Tout en décrivant scrupuleusement les usages actuels de l’orthographe, à partir de corpus d’écrits scolaires et professionnels, elle propose des analyses qui dépassent l’interprétation fonctionnelle.
En ce qui concerne notre corpus, nous avons relevé dans les 110 copies étudiées dans le chapitre 4348 les réponses données à chacune des phrases. En tout, nous avons saisi et analysé 74 réponses par copie. Comme dans le chapitre précédent, nous n’avons pas relevé les réponses ponctuelles à l’exercice 6, qui se prêtent peu à une analyse comparative. Par ailleurs, selon les exercices, nous n’avons pas relevé toutes les réponses avec la même précision.
− Dans les exercices 1, 2, 4, 8, 9A et 10, nous avons relevé l’ensemble des réponses telles qu’elles ont été données. Remarquons que dans l’ensemble, nous travaillerons sur les réponses comptées fausses, dont la symptomatique est plus intéressante. Mais il nous arrivera aussi (exercices 3, 9A, 10) de regarder la variété des réponses évaluées comme justes.
− Dans l’exercice 3A nous nous sommes intéressée seulement au choix des connecteurs, à la nature de la proposition (coordonnée, subordonnée ou juxtaposée) et au type de proposition (de cause, de conséquence, de concession, ou temporelle). − Dans l’exercice 9B nous avons seulement relevé le terme considéré comme intrus.
− Dans les exercices 3B, 5 et 7 nous n’avons pas exploité la variété des réponses produites. En n’étudiant que les notes obtenues à chacune des phrases, nous nous attacherons pour ces phrases à analyser ce qui les distingue en termes de compétences.
Une fois ces réponses relevées, nous les avons classées sur la base des symptômes qu’elles suggéraient de la part de leurs auteurs.
346 L’auteur invite en particulier les chercheurs « à relire les textes des autres et leurs propres textes pour
expliciter les principes qui ont servi à leur construction, pour y débusquer les préjugés qui, à l’insu parfois de leurs auteurs, pouvaient s’y être logés et avoir influencé les faits, leur interprétation et leur rédaction » (p.17).
347 Lucci Vincent (coord.), Millet Agnès (coord.), 1994, L’orthographe de tous les jours, Champion, Paris. 348 Rappelons que ces 110 copies ont été choisies au hasard dans notre corpus initial de 870 copies, mais de telle