Une « évaluation » de l’expérimentation PEC au niveau L

3.1. Contexte européen et niveau L

La démarche associée au Portefeuille d’expériences et de compétences poursuit donc plusieurs finalités : préparation du projet professionnel, orientation et insertion (stages, emplois pendant les études, in fine). En conséquence, l’expérimentation devait porter sur une population susceptible d’être concernée par tous les aspects couverts par le PEC. C’est pourquoi l’équipe d’évaluation a souhaité que l’expérimentation FEJ porte sur le niveau L et, dans la mesure du possible, sur l’ensemble des domaines disciplinaires.

Une évaluation dans les différents registres évoqués nécessite d’identifier les populations étudiantes qui seront susceptibles d’être concernées par plusieurs ou l’un d’entre eux. Or, les nouveaux publics de L et les problématiques qui leurs sont associées (décrochage, multiplication des parcours, notamment) sont le corollaire d’évolutions majeures dans l’enseignement supérieur depuis les années quatre-vingt-dix. En conséquence, pour mieux comprendre les enjeux de l’évaluation au niveau L, il est important de resituer les évolutions du public et des parcours à ce niveau. Ce contexte détermine les questionnements évaluatifs auprès des différents acteurs, c’est pourquoi il nous semble nécessaire d’en donner un aperçu ici (Pour un état des lieux complet sur le L, le lecteur peut se reporter à Borras et alii, 2012).

En France, les plans universités 2000 (initié en 1990) et U3M (université du troisième millénaire mis en place en 2000) ont augmenté respectivement les effectifs de l’enseignement supérieur de 26 % puis 7 % (source ministère : MEN 2004, SIES 2010). Le premier a conduit notamment à la création de 8 universités et de près de 200 départements d’IUT. Les engagements européens vont largement légitimer la mise en œuvre de ces plans. Dans ce contexte, la mise en place du LMD initiée en 2002 et toujours en cours (filières de la santé) correspond à la traduction française du processus de Bologne. Elle va de pair avec la transcription française des intentions de Lisbonne qui se traduit par l’objectif d’atteindre 50% de diplômés de l’enseignement supérieur par classe d’âge en 2015 (Epiphane, Sauvageot et Stoeffler-Kern, 2006), contre 44 % actuellement en France (source DGESIP).

Or, pendant les années quatre-vingt-dix et deux mille, les effectifs au baccalauréat et leur répartition sont restés relativement stables. Ainsi, des jeunes qui, jusque-là, n’entraient pas dans l’enseignement supérieur, y ont accès.

Une population de néo-bacheliers de plus en plus nombreuse, mais aussi de plus en plus diversifiée, s’inscrit alors en L1. L’afflux des nouveaux étudiants en L va mettre à l’ordre du jour la question du « décrochage » et celle de son traitement dans les années 2000. La réussite en licence est d’autant plus nécessaire que le LMD fait de la licence, en théorie, le premier niveau de certification de l’enseignement supérieur, trois années après le baccalauréat. Le diplôme d’études universitaires générales (DEUG) a d’ailleurs été supprimé.

La question de l’avenir des BTS et des DUT est également posée à moyen terme. Actuellement, ces filières sont néanmoins en croissance et, selon le ministère, appelées à accroître encore leurs effectifs d’ici à 2019 ! (source MEN). Une nouvelle articulation de ces filières supérieures courtes avec l’université se profile avec le net renforcement des parcours de poursuite d’études après le BTS et surtout le DUT. Ces parcours sont facilités par le développement des licences professionnelles à l’université depuis 1999. Cette poursuite d’études concerne 80% des détenteurs de DUT de 2007 (source DGES enquête DUT 2010). En conséquence, les filières sélectives (IUT-STS et aussi CPGE) absorbent de plus en plus les meilleurs bacheliers au détriment de l’université, au moins pendant les deux premières années dans l’enseignement supérieur, puisque nombre d’entre eux reviennent vers l’université.

La logique et la nature des parcours des étudiants du niveau L (1,2 et 3) universitaire est totalement bouleversée par les évolutions évoquées. Ces nouveaux parcours et la création des licences professionnelles sont aussi à même de transformer les modes d’insertion des diplômés. Dans ce domaine, jusqu’à la création des licences professionnelles, l’insertion des sortants diplômés de licence ne semblait pas un sujet pertinent, la finalité des licences générales étant la poursuite d’études. Or, un jeune diplômé sur dix quitte le système éducatif après une licence générale. Comme les effectifs des licences générales sont nettement plus conséquents que ceux de la filière professionnelle, le nombre de jeunes qui entrent sur le marché du travail immédiatement après l’obtention d’une licence se répartit équitablement entre licence générale et professionnelle. Par ailleurs, l’ensemble des sortants de licence diplômés représente un effectif proche de celui des sortants de master 2 (source Céreq, 2012). L’insertion de ces jeunes en fin de cursus est donc un sujet à part entière.

L’insertion est aussi un sujet central pour les « décrocheurs », notamment parmi les nouveaux publics. Il s’agit des jeunes qui abandonnent le cursus en cours de L, soit pour rejoindre la population active (qui comprend les chômeurs) soit pour une réorientation.

3.2. Une évaluation « externe » du PEC

Ainsi, parmi le nouveau public des universités, on compte davantage d’étudiants décrocheurs et d’autres qui grossissent les rangs des parcours sans échec irréversible. Dans ce contexte, les missions d’orientation et d’aide à l’insertion se sont renforcées. L’aide à l’insertion est un élément parmi d’autres de la (pré)professionnalisation, où les stages et les emplois étudiants ont une place croissante.

Les changements institutionnels (loi LRU, dont création des BAIP, UE PPPE et PRL) ont été effectués dans ce contexte, pas nécessairement pour lui répondre, mais pour transformer l’université vers un « modèle » qui ne fait pas l’unanimité. Ainsi, les évolutions d’effectifs en L ont impacté très différemment les universités quant aux missions invoquées, selon le territoire, les disciplines, certes, mais aussi et surtout les décisions prises concernant la structuration interne de chaque université (instances, services, missions, priorités, etc).

La mise en œuvre du PEC est au croisement de toutes ces logiques disparates que l’expérimentateur tente de contenir à travers une organisation structurée en réseau. En effet, comme cela a été évoqué dans le précédent chapitre, au-delà de divers groupes fonctionnels, le réseau PEC est doté d’un comité d’orientation et d’un conseil scientifique. Il s’emploie également dans le cadre de l’essaimage à décliner les compétences au niveau local (université, plusieurs universités proches, PRES), en termes de formation et d’animation.

44

Ces différents contextes institutionnels et leurs évolutions au cours de l’expérimentation ne peuvent pas être ignorés pour comprendre les résultats obtenus ou guider les investigations à mener. Les constats effectués lors des premiers entretiens ont conduit à faire évoluer le protocole d’évaluation particulièrement pour cet aspect.

Le volet institutionnel est devenu un élément fondamental de l’évaluation et les investigations qui lui sont consacrées ont été renforcées : entretiens auprès des porteurs de projets, soutiens locaux, membres de réseau PEC (conseil d’orientation et conseil scientifique), et ministère.

Le PEC est une démarche qui nécessite formation et accompagnement des étudiants. À nouveau, le soutien institutionnel du réseau PEC et surtout local va déterminer le degré d’investissement des individus et aussi leur nombre. Pour ce dernier aspect, la mobilisation des intervenants en nombre est soumise à une nécessaire coercition envisageable uniquement via un soutien institutionnel. Quant à la qualité des intervenants, au sens principalement du statut, elle dépend également de la place dévolue au PEC dans la structure globale de l’université. Comprendre l’efficacité et les usages fait du PEC nécessite donc de se préoccuper des formateurs accompagnateurs dans le cadre d’une démarche par entretiens. Le sens donné par l’institution et les formateurs à l’accompagnements déterminent de plus le type de « modèle », au sens évoqué plus haut (social libéral ou social-démocrate) dans lequel s’inscrira l’université.

En effet, les statuts et contextes étant divers, seules des questions ouvertes enrichies par l’entretien peuvent permettre de dresser un état des lieux des attentes, difficultés et démarches des formateurs accompagnateurs vis-à-vis des étudiants, d’une part. D’autre part, l’efficacité du dispositif ne peut se mesurer aux seuls résultats obtenus auprès des étudiants, car seule une acception pleine et entière de l’outil et de la démarche par la majorité des formateurs accompagnateurs est à même de permettre sa pérennité et son développement.

Le contexte et la qualité des formateurs accompagnateurs sont donc les déterminants essentiels des modalités de mise en œuvre de la démarche PEC. Ils sont indissociables de son efficacité en statique comme en dynamique en regard des étudiants. Tout est et doit être lié dans l’étude, par exemple en croisant les discours des formateurs accompagnateurs et des étudiants.

Concernant les étudiants, il est toujours essentiel d’interroger les indicateurs « pressentis » car choisir a priori des indicateurs pour un questionnaire destiné à la partie statistique ne garantit par leur légitimité.

Seule l’interrogation des étudiants en « face à face » peut permettre de faire émerger leurs priorités qui ne sont pas nécessairement celles que l’on souhaite mettre en avant, compte tenu d’inévitables et néanmoins souhaitables entrées théoriques et/ou disciplinaires. La remarque ne vaut pas seulement pour l’évaluateur car la démarche PEC est très clairement située en regard de « l’approche compétences » clairement revendiquée.

Or, l’adhésion des étudiants ne va pas de soi. Dans le cadre de l’approche compétence, tous les registres très larges (psychologique notamment) explorés peuvent ne pas emporter l’adhésion des étudiants, comme nous avons pu le constater lors des entretiens de la première vague. Quant aux indicateurs choisis a priori, ils peuvent ne pas être pertinents par rapport aux attentes des étudiants.

Les entretiens avec de nombreux étudiants sont donc essentiels en soi, indépendamment de tout autre démarche. Ils sont par ailleurs un préalable nécessaire pour construire les indicateurs ou/et variables explicatives qui ressortiront du questionnaire de l’enquête statistique. En regard de ce qui précède, il apparaît que les investigations qualitatives par entretien pourraient constituer le socle d’une évaluation à part entière (Divay, 2011).

Toutefois, les études statistiques par questionnaires complètent la démarche et permettent d’apporter un degré de généralité à certains résultats et aussi d’ajouter des éléments obtenus sur des données objectives, les entretiens demeurant empreints de subjectivité. Il est important de noter que nombre d’investigations statistiques sont aussi associées à une certaine subjectivité liée à l’interprétation des questions par les répondants, fussent-elles des questions « objectives ».

A contrario, le simple comptage par indicateurs « objectifs » entre groupe test et groupe témoin (taux de décrocheurs, de réorientés, d’insertion, etc.) lève toute subjectivité, mais reste soumis à la validité des résultats selon le contexte et son évolution. Pour comprendre ces résultats, les entretiens auprès des différents acteurs sont essentiels. Nous y ajoutons des investigations statistiques explicatives alimentées par un questionnaire qui d’une part, renseigne sur les parcours des étudiants des groupes tests et témoins avant et après l’année de suivi des formations PEC (interrogation en mars de l’année suivante) et d’autre part, contient un module de questionnement pour les seuls bénéficiaires du PEC.

Par rapport au souhait d’une approche longitudinale invoquée en introduction, le calendrier de l’expérimentation FEJ limite cette possibilité. Toutefois, les interrogations en deux vagues permettent de constater des évolutions, mais pas sur les mêmes terrains. La prolongation de l’expérimentation à 2012 et de l’évaluation à 2013 est une opportunité pour effectuer des ré-interrogations. Il va de soi que, selon nous, des dispositifs tels que le PEC devraient bénéficier d’une évaluation continue.