LA CAPACITÉ D’ÉCRITURE

Dans les enquêtes à très grande échelle, l’évaluation pratiquée est effectuée à des fins statistiques où la comparabilité des réponses est fondamentale, tout comme l’automatisation de la correction. Toute possibilité d’interprétation dans les corrections peut constituer un biais (nous y reviendrons dans la partie consacrée à la saisie de la dictée dans IVQ). Lorsque l’on cherche à évaluer les compétences en production écrite, ces deux contraintes limitent profondément le type de compétences que l’on souhaite juger (est-ce la capacité à argumenter, à résumer, à développer, à orthographier ?) et donc le type d’épreuve (quels exercices proposer pour recueillir des données comparables et significatives ?). Mais aussi, comme nous l’avons déjà évoqué plus haut, qu’est-ce que savoir écrire ?

Jeantheau (2015) rappelle que dans l’enquête IVQ, la présence de la dictée provient de la volonté de déterminer le taux d’illettrisme d’après la définition nationale de l’illettrisme. Cette définition comprend en effet la capacité à produire des messages écrits. Le module bas propose d’évaluer les capacités d’écriture par l’intermédiaire d’une épreuve de dictée.

L’exercice est présenté comme une liste de courses (composée de mots et de pseudo-mots) dictée par l’enquêteur et que les enquêtés doivent transcrire à l’attention d’un livreur. Le fait que la liste soit dictée, nous le verrons dans la partie consacrée à l’analyse des dictées, pose problème notamment pour les pseudo-mots (certaines propositions peuvent laisser penser que l’item n’a pas été dictée conformément à sa forme phonographique par l’enquêteur). L’enquêté doit écrire sur une feuille de papier libre, ce qui, nous le verrons dans la partie consacrée à l’informatisation du corpus, a posé des difficultés de déchiffrage.

Cette épreuve est inédite : comme on l’a déjà mentionné, à de rares exceptions, seules les compétences en compréhension écrite et en lecture sont habituellement mesurées pour évaluer les compétences en littéracie des adultes. Elle est en tout cas la première à proposer de mesurer la capacité des adultes à produire des mots écrits dans un contexte de communication (transmettre une liste à un livreur) et elle ne comporte pas uniquement des mots sans lien entre eux, comme cela est habituellement le cas. Cette dictée comporte en effet deux syntagmes qui permettent la réalisation de deux accords en nombre. C’est donc principalement la capacité à orthographier qui est ici testée, la capacité à produire de l’écrit dans un but de communication ne pouvant pas être, avec cet exercice, réellement jugée. Seuls les pseudo-mots ont pour objectif de cerner les compétences en phonographie, la graphie de ces items n’ayant comme contrainte que de restituer la forme orale de ce qui est dicté. Si les élèves sont habitués au fait de passer des exercices décontextualisés dont l’objectif est de mobiliser leurs connaissances, les adultes en revanche, sortis pour la plupart depuis longtemps du système éducatif (avec parfois de mauvais souvenirs de l’évaluation telle qu’elle est pratiquée classiquement) ne sont plus habitués à être évalués. L’évaluation de l’orthographe semble donc relever d’un défi particulièrement important, tant les souvenirs des dictées semble présents dans l’esprit des adultes, pourtant bien des années après les avoir pratiquées. En effet, selon Degorre et Murat (2009 : 4), « la dictée par exemple est entourée

d’une symbolique où se superposent la crainte de l’erreur et le rapport à l’autorité. Proposer une telle épreuve avec les pratiques scolaires usuelles conduirait à ce que l’enquêteur revête l’image du ‘maître’, comme figure du juge ». Le niveau d’acceptation de ce type d’exercice

risque ainsi d’être très faible dans le cadre d’une enquête à domicile.

En résumé, le choix de cet exercice peut être discutable car la dictée présente une connotation scolaire et sociale forte (notamment auprès des publics en difficulté avec l’écrit), malgré les précautions prises par l’INSEE (l’exercice n’a pas été présenté comme une dictée mais comme une liste de courses à établir à l’attention d’un livreur). Par ailleurs, les phénomènes linguistiques à observer dans une liste sont limités (par rapport à un texte). Néanmoins, la

dictée présente l’avantage de pouvoir rendre comparables les productions (avec une relative facilité de codage des réponses) et d’approcher la compétence orthographique d’adultes. À l’issue des différents tests du module « bas », les enquêtés sont répartis en deux catégories :

- pas de difficulté dans les domaines fondamentaux de l’écrit ;

- en difficulté dans les domaines fondamentaux de l’écrit : parce qu’ils ont obtenu, au sein du module « bas », moins de 80% de réussite dans l’une des trois compétences testée. Cette catégorie des « en difficulté » est ensuite déclinée en trois type de difficultés (partielles, fortes, graves). L’INSEE considère alors que les personnes qui ont montré des difficultés fortes ou graves à l’issue du test (c’est-à-dire qui ont obtenu moins de 60% dans l’une des épreuves), sont dans une situation « préoccupante » à l’écrit, et relèvent d’une situation d’illettrisme (si les critères de l’ANLCI comme le fait d’avoir été scolarisé en France sont également présents).

C’est ainsi qu’au terme d’IVQ 2011, l’INSEE a considéré que 7% des français scolarisés en France, quelle que soit leur nationalité, se trouvaient en situation d’illettrisme.

2.2.3. CONCLUSIONS DE L’ENQUÊTE ET PRINCIPAUX RÉSULTATS

L’évaluation des personnes faiblement littéraciées est une particularité de l’enquête IVQ. Pour estimer la fiabilité des données recueillies (et attester la validité du protocole), Besse et al. (2009) ont mesuré l’implication des enquêtés les plus en difficulté dans l’enquête. Pour cela, ils ont analysé le taux de réponses des enquêtés dirigés vers le module « bas » dans l’enquête de 2004. Ils récapitulent, dans le tableau 1 reproduit ci-dessous, le taux de participation des enquêtés avec une distinction faite entre les enquêtés qui ont été orientés vers le module « bas » directement après le module « d’orientation » (« orientation directe ») et ceux qui, situés à la limite du seuil minimal de compétences, ont passé le module « intermédiaire » avant d’être finalement dirigés vers le module « bas » (« orientation indirecte »). Besse et al. (2009) considèrent que les enquêtés dirigés directement vers le module « bas » suite au module « d’orientation » représentent ceux qui sont le plus en difficulté dans l’enquête.

production écrite identification de mots et de PM compréhension de l’écrit ensemble du module « bas » orientation directe 77,3% 89,5% 71,5% 81,2% orientation indirecte 86,9% 98,4% 81,9% 90,3%

Tableau 1. Taux de participation des enquêtés dans les épreuves du module « bas ».

Dans IVQ 2004, 832 personnes ont été directement dirigées vers le module « bas » suite au module « d’orientation » et 1031 personnes l’ont été de manière indirecte. Les chiffres

montrent que les enquêtés « bas » ont répondu à 81,2% des questions quand ils ont été orientés directement et à 90,3% quand ils ont été orientés indirectement. Pour Besse (2009), ces chiffres témoignent d’une implication très importante. Dans chaque épreuve, l’écart d’implication est plutôt constant. Il s’élève à environ 10 points, en faveur des enquêtés qui n’ont pas été dirigés directement et qui s’impliquent davantage (parce qu’ils sont probablement moins en difficulté que les autres). C’est l’épreuve de compréhension de l’écrit qui montre les taux d’implication les moins élevés pour les deux groupes, même s’il est néanmoins supérieur à 70 % pour ceux qui ont été dirigés directement.

Ces chiffres laissent penser que les choix méthodologiques sont convenables puisqu’ils ont permis d’assurer une implication des personnes en difficulté avec l’écrit sur les tâches proposées sur un temps qui soit suffisamment long pour que l’on puisse cerner leurs compétences. Ce degré d’implication montre aussi un niveau suffisant de motivation qui permet d’attester la pertinence des résultats de cette enquête. L’importance du taux de non réponse dans IALS avait en effet été reprochée et imputée à une faiblesse du protocole qui mettait en doute la pertinence des résultats.

Nous présentons à présent brièvement les principaux résultats de l’enquête de 2011 qui ont été publiés par l’INSEE. Ces résultats concernent principalement les variables sociologiques en lien avec les compétences en lecture, en compréhension et en calcul. Nous ne nous étendons pas sur ces publications car celles-ci ne concernent pas le cœur de notre étude qui est axé sur les compétences à l’écrit des enquêtés.