Au plan international, une première étape des analyses effectuées par SurveyLang a consisté à construire des indices synthétiques sur la base de réponses à plusieurs items, voire plusieurs questions. Les informations sur la composition de ces indices et leur cohérence sont disponibles dans le rapport technique de l’étude (SurveyLang, 2012b). Ces indices servent de base aux descriptions des systèmes éducatifs et à l’étude de l’impact de caractéristiques des systèmes éducatifs ou de l’enseignement des langues sur les compétences développées par les élèves.
Des analyses
Au-delà de la simple description des caractéristiques des systèmes éducatifs, la plupart des effets des variables de contexte ont été analysés pour chaque système éducatif, chaque langue et chaque domaine de compétence et c’est de la convergence des résultats observés dans les différents systèmes éducatifs que SurveyLang conclut ou non à la présence de liens. Pour surmonter la difficulté engendrée par la variété des contextes (âge de début de l’apprentissage, âge de la population cible, etc.), en effet, le consortium s’est donné une règle générale : si deux tiers des effets vont dans le même sens (positif ou négatif) et si un tiers des effets sont significatifs, SurveyLang considère qu’il y a un effet global.
Dans le cas des questionnaires complétés par les chefs d’établissement et les professeurs, les analyses effectuées par SurveyLang sont des régressions marginales : elles portent sur la relation entre le score moyen des élèves à une épreuve cognitive et une variable ou un indice donné, par établissement19. Dans le cas des questionnaires complétés par les élèves, SurveyLang a mis en œuvre des régressions conditionnelles : chaque analyse est effectuée sous contrôle de l’ensemble des indices, de telle sorte que la relation entre un indice et les scores à une épreuve est dégagée de l’influence des autres variables (on parle parfois de relation « toutes choses étant égales par ailleurs »). Par souci de clarté et de cohérence entre les analyses basées sur les différents questionnaires, le CNR de la Communauté française a choisi de soumettre les réponses des élèves à des analyses de régression marginale et ce sont les résultats de celles-ci qui seront décrits dans les pages
18 La contradiction avec les taux présentés dans le tableau 1.7 n’est qu’apparente : ce tableau présente les
taux de participation des élèves dans les établissements participants, tandis que les totaux mentionnés ci- dessus incluent les élèves des écoles échantillonnées qui n’ont finalement pas participé à l’étude.
19
suivantes. Le lecteur intéressé trouvera cependant une synthèse des résultats des analyses effectuées par SurveyLang au travers des pays et des langues cibles à l’annexe 3.
Dans la partie C, les réponses des chefs d’établissement et des professeurs seront principalement exploitées en vue d’éclairer les contextes d’enseignement des langues propres aux différents systèmes éducatifs, de suggérer des pistes de réflexion sur la base de l’expérience acquise par les autres. Pour diverses raisons, parmi lesquelles l’impossibilité de mettre en relation les résultats de chaque élève avec les caractéristiques des professeurs qui l’ont formé joue certainement un rôle non négligeable, les régressions entre les indices basés sur les questionnaires complétés par les adultes et les résultats des élèves sont faibles, voire inexistantes.
Si la plupart des indices décrivant les établissements scolaires, leur politique, leur personnel sont positivement liés aux résultats des élèves qui les fréquentent, le pourcentage de relations positives ne dépasse le seuil de 67 % fixé par SurveyLang que dans quatre cas : le financement de visites ou d’échanges pour les élèves (QC39, 69 %), le nombre de langues étrangères et de langues anciennes offertes (QC22, 79 %), l’organisation de cours supplémentaires portant sur la langue cible (QC40a, 73 %) et une certaine spécialisation de l’établissement dans l’enseignement des langues (QC36, 80 %). Aucun de ces indices n’atteint le seuil de 33 % de réponse significatives. Un tableau consultable à l’annexe 4 présente l’ensemble des indices constitués sur la base du questionnaire complété par les chefs d’établissement.
En ce qui concerne les professeurs, un problème similaire se pose : si la majorité des relations entre les indices et les résultats des élèves est positive (sur 37 indices, 34 ont une relation positive avec les résultats dans plus de la moitié des cas), 16 seulement dépassent le seuil de 2/3 de régressions positives et surtout ces relations ne sont que rarement significatives : c’est l’utilisation de la langue cible durant les cours par les élèves, d’une part, et par les professeurs, d’autre part, qui sont positivement liées aux performances des élèves et de façon significative respectivement dans 29 et 18 % des cas. Aucun indice n’atteint les 33 % de régressions significatives. Un tableau récapitulatif des régressions calculées sur la base du questionnaire destiné aux professeurs figure à l’annexe 4.
En revanche, les indices constitués sur la base des réponses des élèves sont fréquemment liés de façon significative avec leurs performances : les analyses menées sur cette base apporteront des informations intéressantes sur la plupart des éléments de contexte étudiés.
Les premiers résultats rapportés par SurveyLang
Selon SurveyLang, plusieurs caractéristiques des contextes sont généralement liées à de bons résultats aux tests cognitifs. Les extraits du résumé de l’étude diffusé par la Commission européenne sont reproduits ci-dessous en anglais, la traduction française comportant malheureusement plusieurs erreurs.
“The results of the ESLC show that an earlier onset is related to higher proficiency the
foreign language tested, as is learning a larger number of foreign languages and of ancient languages. (…)
Pupils who find learning the language useful tend to achieve higher levels of foreign language proficiency and pupils who find learning the language difficult lower levels of foreign language proficiency. Also a greater use of the foreign language in lessons by both teachers and pupils shows a positive relation with language proficiency. Overall, differences in language specialization20, hosting staff from other language communities, and provisions for immigrant pupils show no clear relationship with foreign language proficiency. (…)
The different indices related to initial and continued teacher education show little relation to language proficiency. For many indices this lack of a relation can be attributed to a lack of differences within educational systems. For others however, such as the use of and received training in the CEFR, considerable policy differences have been found, and yet these differences do not account for differences in language proficiency.” (Commission
européenne, 2012, pp. 10-11).
PARTIE B
QUELLES COMPÉTENCES EN LANGUES LES ÉLÈVES
ONT-ILS DÉVELOPPÉES ?
L’Étude européenne des compétences en langues (ESLC) porte sur trois types d’activités langagières : compréhension à la lecture, compréhension à l’audition et expression écrite. Les définitions des niveaux selon le Cadre européen commun de référence pour les langues (CECRL) sont présentées page 20 et l’annexe 2 décrit plus précisément les compétences sur lesquelles ont porté les tests administrés aux élèves.
La partie B s’intéressera tout d’abord aux niveaux attendus et aux niveaux atteints en Communauté française dans les deux langues évaluées (section 1) et tentera ensuite de situer les élèves de la Communauté française parmi leurs condisciples testés dans les autres systèmes éducatifs (section 2). Les relations entre les performances des élèves et leurs principales caractéristiques individuelles (sexe de l’élève, niveau socio-économique de sa famille, etc.) feront l’objet de la section 3. Enfin la section 4 analysera les apports de l’ESLC du point de vue de l’autoévaluation de leurs compétences par les élèves.