Validité externe des résultats et perspectives de généralisation/essaimage

2. Validité externe des résultats et perspectives de généralisation/essaimage

Caractère expérimental du dispositif évalué

APIPAQ s’inscrit dans le prolongement de l’action de lutte contre le décrochage scolaire IPAQ. 

IPAQ consistait en la mise en œuvre d’un EAP animé par l’organisme de formation qui est ensuite  intervenu dans APIPAQ. Seul le bassin de Marseille Nord était concerné par IPAQ. L’Education  Nationale et la Mission Locale intervenaient déjà de manière partenariale dans le cadre d’IPAQ. Le  Conseil Régional soutenait financièrement IPAQ. Une cinquantaine de jeunes étaient passés dans  le dispositif IPAQ entre mai 2008 et mai 2009. 

L’innovation  consistait  donc  à  étendre  un  dispositif  qualifié  d’expérimental  par  les  acteurs  concernés et à en assurer l’évaluation. 

Caractère transférable du dispositif et changement d’échelle

Etant donné que le dispositif APIPAQ n’a pas prouvé son efficacité et que les conditions de sa mise  en œuvre sont conformes au protocole initialement retenu, l’essaimage du dispositif n’est pas  préconisé. 

Compte‐tenu de l’importance du phénomène de rupture scolaire sur Marseille, il semble en outre  peu probable qu’un dispositif n’ayant pas montré sa pertinence dans une zone fortement touchée  par le décrochage soit efficace dans des zones moins exposées à ce risque. 

D’autre part, la motivation des acteurs impliqués dans APIPAQ était très forte et les conditions  dans lesquelles le dispositif a fonctionné étaient favorables. La généralisation, mise en œuvre par  des personnes  moins  partie‐prenante  et convaincues  aurait  peu  de  chances de  donner  de  meilleurs résultats.   

Rôle de l’évaluateur dans l’expérimentation

En amont du projet, l’évaluateur a eu à cœur de réfléchir, avec les expérimentateurs, à la  formalisation des notions et des objectifs du projet. Il a notamment incité les expérimentateurs à  s’interroger sur la définition du « décrocheur », mettant à jour la très forte marge d’interprétation  existant autour d’un terme partagé. Il a ensuite demandé aux expérimentateurs de formaliser très  précisément les cas de succès de l’action (acquisition d’un diplôme, reprise d’études dans un  établissement scolaire, réalisation d’une formation du Programme régional de formation,…).  

Les objectifs assignés au projet l’ont été par les expérimentateurs, le Céreq n’intervenant que dans  leur clarification, afin de pouvoir organiser l’évaluation autour de critères objectifs et connus a  priori. 

Durant l’intervention, l’évaluateur a été en contact régulier et soutenu avec les expérimentateurs,  afin de s’assurer notamment que le protocole était bien respecté. Il a participé à l’ensemble des  Comités  de  Pilotage  organisés  par  les  expérimentateurs  et  a  valorisé  le  projet  auprès  de  partenaires extérieurs (financeurs potentiels, FEJ,…). Concernant les modalités de mise en œuvre  des EAP ou le choix des jeunes à orienter, le Céreq n’a à aucun moment donné de conseils ou  influencé les expérimentateurs.  

Limites des résultats de l’évaluation quantitative

Par  construction,  l’évaluation  quantitative  ne  peut  pas  mesurer  les  effets  de  la  meilleure  coordination entre les organismes chargés de la prise en charge des jeunes, puisque cette dernière  intervient dans les deux groupes. D’autres limites sont encore à souligner. 

Au sujet de l’utilisation de la méthode randomisée 

D’un point de vue pratique et humain, l’imposition de l’évaluation randomisée a sans doute  compliqué l’accès aux EAP.  

D’une part, certains acteurs de la prise en charge des jeunes n’étaient pas favorables à la méthode  randomisée car ils considéraient qu’elle était injuste. Convaincus a priori de l’utilité des EAP, ils  avaient du mal à accepter que pour deux jeunes dans la même situation, un pourrait être orienté  vers un EAP et l’autre pas. On imagine facilement que cette situation n’était pas simple à gérer sur  le plan humain.  

D’autre part, même si le Céreq s’efforçait de réaliser l’affectation aléatoire dans les plus brefs  délais, il restait un temps de latence entre le moment du repérage et celui où l’EAP pouvait être  proposé à un jeune du groupe intervention. 

Ces raisons combinées ont pu expliquer la faible adhésion au dispositif de certains établissements  scolaires ou conseillers de la Mission Locale.  

Au‐delà de la méthode randomisée, la présence d’un évaluateur a pu modifier la prise en charge  au niveau des EAP. La recherche de résultats (nombre d’orientations vers une formation) a pu être  perçue comme une pression susceptible de jouer au détriment de la qualité du suivi personnalisé. 

Plus généralement, les freins introduits par la présence de l’évaluateur dans la mise en œuvre du  dispositif seront détaillés par la suite. 

Au sujet des répondants à l’enquête évaluative 

L’évaluation quantitative portait sur une population plus large que les bénéficiaires potentiels des  EAP. La randomisation devait en effet porter sur l’ensemble des jeunes en situation de rupture  scolaire. Ainsi, l’évaluation quantitative devait permettre d’une part de caractériser, au sein de  l’ensemble des jeunes, ceux qui étaient orientés vers les EAP et d’autre part de mesurer l’apport  du dispositif innovant par rapport à l’ensemble des dispositifs existants. 

La contrepartie de ce critère de sélection large des jeunes inclus dans l’expérimentation est que  finalement, seuls 149 jeunes sur les 513 du groupe intervention ont fréquenté un EAP. Effectuée  sur une population plus large, la mesure de l’effet des EAP risque d’être moins précise et l’effet  potentiel des EAP risque d’être dilué.  

Sur les 432 répondants à l’enquête évaluative, seuls 75 ont fréquenté un EAP. Ils ne représentent  ainsi qu’un tiers des répondants au sein du groupe intervention.  

Le faible taux de réponse global doit également être questionné. 

D’une part, il engendre une moindre précision des estimations. D’autre part, il peut être à l’origine  de biais de réponse de nature à fausser la mesure des effets du dispositif. Phénomène rassurant  sur ce dernier point, il ne semble pas exister de biais de réponse différentiel entre les groupes test  et témoin puisqu’ils ont répondu dans les mêmes proportions. 

Dans tous les cas, les résultats obtenus permettent d’affirmer que si le dispositif expérimental a un  effet sur les retours en formations et l’acquisition de diplôme, ce dernier est dans tous les cas  limité et certainement inférieur aux attentes. 

Au sujet des critères retenus pour l’évaluation 

L’évaluation  quantitative est centrée sur les  retours  en formation et  la  situation  à  la  date  d’enquête, soit environ deux ans après la date de décrochage. Elle ne permet donc pas de mesurer  d’éventuels effets du dispositif à plus long terme. 

Elle ne s’est pas intéressée à l’aspect social ou psychologique et n’est donc pas en mesure de  parler des éventuels effets du dispositif sur ces thématiques qui constituaient une part importante  du travail des EAP. Il faut dire que ces aspects sont difficiles à appréhender dans le cadre d’une 

3. Conclusion

Les EAP avaient pour objectif de favoriser le retour des jeunes en situation de rupture scolaire  dans  un  processus  de  formation  afin  de  leur  permettre  d’obtenir  une  qualification.  Ils  s’adressaient aux jeunes les plus en difficulté. Ils s’appuyaient sur la pédagogie de la réussite,  partant du principe que l’estime de soi constituait un prérequis à tout projet de formation. Grâce à  une prise en charge individualisée, ils avaient pour objectif de (re)mettre les jeunes dans un état  d’esprit propice à l’acquisition de savoirs, de les aider à définir un projet professionnel et de leur  permettre d’accéder à la formation correspondante. Les liens tissés par l’organisme en charge des  EAP avec les différents intervenants locaux devaient permettre de faciliter l’accès des jeunes aux  différentes formations. L’accompagnement individualisé mis en œuvre par les EAP devait favoriser  l’implication des jeunes dans les différentes formations engagées car les jeunes étaient encore  suivis par l’EAP lorsqu’ils avaient entamé un processus de formation 

A moyen terme (environ deux ans après la rupture), l’évaluation quantitative ne permet pas de  mettre en  évidence  d’effet  probant  de  l’expérimentation sur  le  retour  des  jeunes  vers  un  processus de formation ou sur l’obtention d’un diplôme. Les jeunes du groupe intervention  semblent avoir initié une démarche de formation un peu plus souvent que les autres mais ils ont  connu un nombre d’abandons en cours de formation plus élevé ce qui explique qu’en définitive, ils  n’ont pas plus souvent achevé au moins une formation que ceux du groupe témoin. Au moment  de l’évaluation, les jeunes du groupe intervention n’ont pas obtenu plus de diplômes que ceux du  groupe témoin. Les formations qu’ils ont suivies n’ont donc pas débouché plus particulièrement  sur l’obtention d’un diplôme que celles suivies par les jeunes du groupe témoin.  

L’accès à l’emploi ne constituait pas un critère de jugement pour l’expérimentation. Il a néanmoins  été étudié. Les EAP ne semblent pas avoir eu d’incidence en la matière puisqu’à la date de  l’enquête, les mêmes proportions d’individus du groupe intervention et témoins étaient en emploi  (environ 15%). 

En définitive, l’expérimentation a pu contribuer à satisfaire des souhaits de formation puisqu’à la  date de l’enquête les individus du groupe témoin se déclarent plus souvent à la recherche d’une  formation que ceux du groupe intervention. Elle a également pu contribuer dans un premier  temps à favoriser le contact entre les jeunes et les organismes habituellement impliqués dans leur  prise en charge.  

Au regard des critères de jugement retenus et à l’issue de l’évaluation quantitative, le Céreq ne  dispose pas d’éléments suffisants pour préconiser la généralisation des EAP.