6. LE CONTROLE, LE SUIVI ET L’EVALUATION DE LA FORMATION PROFESSIONNELLE
6.2. L E SUIVI DES ACTIONS DE FORMATION
6.2.2. Les outils de suivi
Les outils de suivi apparaissent redondants et obsolètes. Les données de la base interne (application de formation continue-AFC) qui donnent des indications, notamment, sur la procédure de notification des marchés ne sont systématiquement pas mises à jour. Il n’existe pas d’outil de consolidation automatisée des données.
La transmission des informations par les organismes de formation s’effectuant sur papier, des saisies sont donc nécessaires. Ainsi, le même dossier fait l’objet d’une double saisie, au sein de la région et au CNASEA dont la base informe de l’historique comptable et financier, voire d’une triple saisie, au sein du service FSE, lorsque les actions sont éligibles aux fonds européens. La multiplication des saisies augmente le risque d’erreur.
Aucune interface n’existe entre ces deux logiciels informatiques. La région rémunère, par conséquent, le CNSEA pour des opérations qu’elle effectue, pour partie, en interne.
L’exploitation des bases internes AFC, outre le fait qu’elle s’avère peu fiable, puisque s’appuyant sur des données qui ne sont pas mises à jour, est rendue difficile par le fait qu’aucun système automatique de requête n’est intégré au logiciel. En conséquence, les gestionnaires doivent passer par un système externe de requête (business object) qui est utilisé de manière très variable selon les utilisateurs, et de manière peu homogène. Par exemple, des requêtes type n’ont pas été mises en place.
Ces outils de suivi ont une vocation essentiellement budgétaire et non pas vocation à répondre aux questions liées aux conditions de réalisation des actions.
De plus, en matière de gestion des fonds européens, la base CNASEA ne permet qu’une consultation incomplète qui ne permet pas l’accès direct au contrôle du service fait, effectué par cet établissement. A la demande de la région, des requêtes peuvent être effectuées sur la base CNASEA par un agent de cet établissement.
Un audit des systèmes d’information doit être prochainement lancé.
Le directeur général du CNASEA indique en réponse que l’interface ne peut être mise en œuvre, à l’heure actuelle, entre la base CNASEA et la base AFC de la région. Il précise que la base CNASEA ne se limite pas à fournir des informations historiques, comptables et financières, issues de son système d’information mais permet également de suivre le déroulement des dispositifs en y associant des statistiques physiques relatives aux bénéficiaires des aides régionales.
Il précise par ailleurs, que l’unité du CNASEA en charge du contrôle de service sur des actions bénéficiant du concours des fonds européens ne relève pas du service gestionnaire en charge de l’exploitation et du versement des aides régionales, en vertu du principe de séparation des fonctions. Il est exact que les données de gestion de l’application informatique que cette unité utilise, élaborée par le CNASEA, ne sont pas intégrées à l’outil de restitution mis à disposition de la région.
6.3. L’évaluation des actions de formation professionnelle
Un service « prospective et évaluation » dépendant de la mission stratégie est en charge des questions d’évaluation au sein de l’unité développement. Il a donc vocation à intervenir sur la formation professionnelle et le développement économique. Il comporte trois pôles : études, statistiques, évaluation. L’évaluation est ici définie de la manière suivante : « L’évaluation d’une politique publique a pour objet d’apprécier l’efficacité de cette politique en comparant ses résultats aux objectifs assignés et aux moyens mis en œuvre » (décret du 18 novembre 1998 créant le conseil national de l’évaluation). L’évaluation doit donc conduire à émettre un jugement ou une appréciation ; elle n’est pas un simple état des lieux et non un état des lieux ou un bilan de réalisations.
Sur la demande des gestionnaires ou des élus, le service prépare les cahiers des charges en vue de choisir les prestataires extérieurs qui vont mener l’ensemble des évaluations.
L’externalisation de l’évaluation est présentée comme un gage d’objectivité et de déontologie.
Si l’on peut louer cette volonté d’inscrire l’évaluation dans ses axes stratégiques, cette démarche est, à l’heure actuelle, limitée. Plusieurs raisons expliquent la situation.
6.3.1. La difficulté de s’approprier la démarche évaluative
Pour les gestionnaires, l’évaluation est encore perçue comme une forme de contrôle ou au mieux comme un « passage obligé ». L’évaluation, si elle est intégrée comme une exigence, n’est pas encore maîtrisée. La demande d’évaluation est faiblement motivée et ne dépasse guère les questions générales de type « faire le point sur un dispositif » ou « s’assurer qu’il touche le public ciblé ». Les besoins n’étant suffisamment identifiés, les termes des cahiers de charges sont délicats à rédiger par le service évaluation. Des allers et retours importants sont alors nécessaires pour identifier clairement la commande.
La rédaction du cahier des charges peut durer entre un mois et un mois et demi, nécessitant de nombreux échanges entre les deux services. Cette phase est toutefois considérée en général comme très précieuse en ce qu’elle oblige l’ensemble des parties prenantes à définir des objectifs communs (donc, à parler d’une seule voix au futur prestataire) et permet aux services opérationnels de prendre du recul face à l’urgence de la gestion quotidienne pour repréciser et actualiser les objectifs et les priorités de l’action considérée. En tant que telle, elle a donc son utilité propre et peut produire rapidement des effets, avant même la finalisation du travail d’évaluation proprement dit.
A titre d’exemple, en 2006-2007, plusieurs évaluations ont été lancées sur le système de financement des missions locales, la démarche qualité dans les missions locales, le système de financement des CFA ou encore l’état des lieux des publics des dispositifs insertion.
Les préconisations formulées par les rapports d’évaluation ne font pas l’objet d’un suivi particulier. Il revient au service « évaluation » de relancer. Des bilans sont dès lors nécessaires pour que soient analysées les conditions dans lesquelles les services opérationnels ont pris en compte les conclusions de l’évaluation.
La réponse du président du conseil régional n’a pas de rapport direct avec la critique formulée qui porte sur l’insuffisante appropriation de la démarche évaluative par les services gestionnaires et non par le service chargé de l’évaluation.
6.3.2. La disponibilité des données
En matière d’évaluation, la disponibilité et la fiabilité des données sont essentielles. Or, les informations sont dispersées dans différents services : FSE, contrôle de gestion (secrétariat général) et service évaluation de la mission stratégie. Il n’existe aucune connexion entre ces différents services. Il n’existe pas de circulation formalisée.
Le service évaluation est confronté à plusieurs difficultés dans la collecte des données : dans la plupart des dispositifs, il n’existe pas d’outils de suivi. De plus, la gestion de ces dispositifs étant confiée à des prestataires extérieurs, les informations sont déjà filtrées. Les bases de données existantes (AFC par exemple) sont conçues comme des bases de gestion, et non comme des systèmes d’information.
Le président du conseil régional a répondu que l’absence d’outils de suivi, pointée à juste titre à plusieurs reprises, recouvrait une préoccupation partagée entre la direction de la formation professionnelle et le service prospective et évaluation. Il ajoute que l’audit du système d’information devrait permettre de progresser sur ce point en s’appuyant sur la conviction partagée de la nécessaire circulation de l’information entre formation continue, fonds structurels, contrôle de gestion et stratégie.
6.3.3. Le champ de l’évaluation
Les demandes d’évaluation portent essentiellement sur des dispositifs particuliers sans que la réflexion aborde l’adéquation de ces dispositifs aux objectifs auxquels ils doivent répondre.
Elles témoignent encore d’une culture fortement ancrée dans l’idée que ce sont les actions qui justifient les objectifs.
Compte tenu de la multiplicité des dispositifs, une étude d’ensemble semble nécessaire afin non seulement d’identifier les chevauchements, mais aussi de s’assurer de leur pertinence dans le temps et de leur cohérence par rapport aux objectifs annoncés.
Cette étude serait aussi l’occasion de vérifier l’adéquation entre les dispositifs et les objectifs annoncés et l’adoption des différents schémas (formations, développement économique) ainsi que leur rattachement aux grands axes stratégiques. Cette évaluation apparaît d’autant plus nécessaire que l’éclatement des dispositifs peut constituer un obstacle à la construction d’un véritable parcours d’insertion et de formation.
Le président du conseil régional indique partager ce constat et l’idée qu’une étude d’ensemble est nécessaire.
6.3.4. Les indicateurs
La question de la construction d’indicateurs pour l’ensemble des dispositifs est une priorité, non seulement pour l’évaluation mais aussi pour l’analyse statistique et le contrôle de gestion. Les indicateurs pour le suivi du PRDFP sont en cours d’élaboration ; il s’agit, en l’état des réflexions, d’indicateurs d’activité et non de performance ou d’impact. Certains sont encore mal définis et ne servent pas à mesurer l’atteinte des objectifs : réalisation d’une cartographie de l’offre en Ile-de-France, production d’un compte rendu d’action, modification du dossier de consultation des entreprises, existence et qualité des outils. Surtout, leur nombre (près de 150 indicateurs) pose inévitablement la question de leur diffusion et de leur suivi par les services.
Le président du conseil régional indique que ces indicateurs du PRDFP correspondent à une première version qui devra certainement être affinée en 2008 pour limiter leur nombre et intégrer des indicateurs d’impact. Il précise que l’accent initialement mis sur les critères d’activité s’expliquait par le besoin unanimement partagé de structurer ou de construire une information pertinente sur l’existant avant de chercher à en mesurer les effets.
Lien vers la réponse de l'ordonnateur :
ANNEXES
LE BUDGET REGIONAL DE LA FORMATION PROFESSIONNELLE
TABLEAU 1
(en millions d’euros)
chapitre 2002 2003 2004 2005 2006
Recettes form. Prof. (hors ACOM) 208,19 229,57 285,3 318,92 336,64
Recette ACOM 20,00 45,00
S/total corrigé 338,92 381,64
Effort propre de la région 133,92 147,88 160,17 194,10 168,77 Total des recettes 342,11 377,45 445,47 533,02 550,41 Part de l'effort propre de la région 39,1 % 39,2 % 36,0 % 36,4 % 30,66 %
TABLEAU 2
(en millions d’euros)
2002 2003 2004 2005 2006 moyen.
Recette FSE 8,29 24,51 16,84 0,00 6,70 11,27
Recettes totales de la formation professionnelle 342,11 377,45 445,47 533,02 550,41 448,95
Part du FSE 2,4 % 6,5 % 3,8 % - 1,2 % 2,5 %
TABLEAU 3
(en millions d’euros) 2003 2004 2005 2006 2007 AE votées 381,044 448,346 499,065 706,057 787,638 dont:
ICF 7,48 66,546 105,888 111,521 114,309
Formations sanitaires 102,512 125,2
Formations sociales 32,84 30,5
AFPA 54,458
sous-total des transferts 7,48 66,546 105,888 246,873 324,467
Autres dotations (1) 5,72
AE hors transfert 367,824 381,800 393,177 459,184 463,171 part des transferts 1,96 % 14,84 % 21,22 % 34,97 % 41,19 %
(1) chapitre 921 : OREF =0,152 M€ - chapitre 931 : Com. Promo des métiers = 1,677 € ; CAPARIF= 3,911 M€.
TABLEAU 4
(*) fonds national pour le développement et la modernisation de l’apprentissage (autre dénomination de l’ACOM).
TABLEAU 5
(en millions d'euros)
2004 2005 2006
CP consommés (hors services communs*) 359,977 376,978 429,651
Dépenses réalisées par le CNASEA 336,398 348,396 400,448
Différence 23,579 28,582 29,203
(1) Par rapport au montant total de la dépense
(2) les montants relatifs de la formation continue et les services communs peuvent présenter, en 2003, certaines différences entre les divers tableaux communiqués par la région. Ces différences sont liées aux difficultés pour la région de retraiter dans les services communs en M71 des actions initialement enregistrées sous l’ancienne nomenclature M51
(3) Il s’agit essentiellement des dépenses de publicité des marchés, de prestations hors article 30 ou encore d’expertises, des subventions versées au CAPARIF imputées depuis 2005 dans les services communs.
TABLEAU 8 CNASEA
En millions d'euros 2004 2005 2006
Crédits de paiement 60,9 61,9 65
Mandats région pour CNASEA 62,9 71,4 67,9
Paiements CNASEA 63,7 68,5 68,7
Ecarts CP-mandats -2 -9,5 -2,9
Ecarts mandats-paiements -0,8 2,9 -0,8
Ecarts CP-paiements -2,8 -6,6 -3,7
TABLEAU 9
(en millions d’euros)
2002 2003 2004 2005 2006
année
A.P C.P A.P C.P A.P C.P A.P C.P A.P C.P
travaux dans les CFA 18,704 9,568 17,554 21,636 37,788 32,595 16,947 22,214 41,320 11,896
équipement des CFA 6,190 4,025 9,175 7,233 6,253 4,680 6,899 6,979 4,106 6,624
total apprentissage 24,894 13,593 26,729 28,869 44,041 37,275 23,846 29,193 45,426 18,520
études 0,000 0,038 0,000 0,046 0,053 0,017 0,000 0,098 0,000 0,000
travaux FC 0,292 0,019 1,847 0,393 0,320 0,332 0,000 0,975 1,281 0,307
équipements F.C - HP 1,875 1,099 1,011 1,455 2,960 1,332 0,130 0,836 0,000 1,229 équipements F.C - CP 0,105 0,007 0,364 0,097 0,000 0,139 0,000 0,005 0,000 0,041
missions locales 0,000 0,142 0,225 0,328 0,132 0,127 0,432 0,059 0,100 0,336
total formation Prof. 2,272 1,305 3,447 2,319 3,465 1,947 0,562 1,973 1,381 1,913 total AP affectées 27,166 30,176 47,506 24,408 46,807
total AP votées 25,914 34,043 45,040 29,762 46,906
total C.P mandatés 14,898 31,188 39,222 31,166 20,433
dont CP services votés 29,137 17,260
CP mesures nouvelles 2,028 3,173
budget C.P votés 14,940 32,139 43,000 43,380 27,362
TABLEAU 10
(en millions d’euros)
année 2003 2006
FONCTIONNEMENT A.E
votées
CP votés
CP consommés
A.E votées
CP votés
CP consommés
SERVICES COMMUNS 5,7 6,6 4,6 9,7 9,6 9,5
dont CNASEA 1,5 1,5 1,8 2,8 2,8 2,7
CARIF 1,7 1,7 1,4 2,7 2,7 2,9
FORMATION CONTINUE 218,3 190 197,4 249,0 242,3 237,9
dont fonctionnement 137,7 117,8 118,7 160,7 155,0 148,1
Rémunération Stagiaires 62,6 60,9 62,4 65,0 65,0 68,0
A.I.O 16,1 17,5 14,3 19,4 22,2 21,9
APPRENTISSAGE 142,9 142,9 137,7 200,8 190,5 191,7
dont ACOM 45 30 30
TOTAL DU CHAPITRE 366,9 339,5 339,8 459,5 442,3 439,2
transferts de l'Etat 7,5 7,5 5,8 111,5 111,5 93,3
ICF 7,5 7,5 5,8 111,5 111,5 93,3
Autres budgets 5,7 5,7 0,0 0,2 0,2 0,0
TOTAL GENERAL FONCTIONNEMENT 380,1 352,7 345,6 571,2 554,0 532,5 INVESTISSEMENT
travaux dans les CFA 17,6 21,6 41,3 11,9
équipement des CFA 9,2 7,2 4,1 6,6
total apprentissage 26,7 28,9 45,4 18,5
total form. Profession. 3,4 2,3 1,4 1,9
TOTAL INVESTISSEMENT 34,0 32,1 31,2 46,9 27,4 20,4
TOTAL GENERAL 414,2 384,8 376,8 618,1 581,3 552,9