Tous les projets mis en œuvre par les opérateurs font l’objet d’une évaluation dont les critères sont repris au tableau 8. Au sein du Forem, un comité de suivi est consacré à l’évaluation de la prestation. Il s’agit du troisième ou du quatrième comité. Lorsque l’action est terminée, l’agent rencontre l’opérateur pour remplir le rapport d’évaluation. Les dimensions quantitatives et qualitatives du projet sont évaluées. Du côté d’Actiris, les opérateurs réalisent seuls leur rapport d’activités. Contrairement au Forem, les agents d’Actiris interviennent auprès des prestataires pour leur fournir les données statistiques liées à leur prestation à inclure dans le document. Les opérateurs wallons et bruxellois doivent rentrer un rapport fi nancier au SPE.
Tableau 8 : Les critères d’évaluation des projets
SPE Dimensions Critères
Forem Bilan quantitatif Mise en œuvre du projet
Recrutement des candidats Démarrage de l’action (nombre et profi l des candidats)
Adressage et retours
d’informations par l’opérateur sur le candidat
Examen des résultats
Résultats en termes de réalisation Résultats en termes
de recrutement et de non-décrochage
Résultats au terme de l’action*
Financement Additionnalité (respect de la règle de réserve)
Décompte fi nancier et pièces justifi catives
Bilan
qualitatif Mise en œuvre du projet
Collaboration avec consultant externe
Complément d’informations (facultatif)** sur le(s) : 1. Modalités opérationnelles 2. Contenu du projet
3. Ressources affectées à l’action 4. Ancrage local, mise en visibilité
et réseau Perspectives
du projet Reconduction ou non du projetQualifi cation de la collaboration actuelle
Actiris
Bilan
quantitatif Rapports statistiques Commenter les chiffres Bilan
qualitatif Public suivi Caractéristiques du public Réalisation
de l’action Facteurs bloquants et favorables à l’action
Faits marquants de la réalisation de l’action
Modifi cations par rapport au projet initial
Réorientation du public Perspectives
du projet
Tirer les conclusions du projet Défi nir des perspectives
* Les résultats pour les actions de type « orientation et mobilisation
socioprofessionnelle » et « module court d’orientation » sont évalués directement en fi n de prestation, c’est-à-dire au moment du troisième comité de suivi. Les trois autres mesures à savoir « transition vers l’emploi salarié », « sensibilisation à la création d’activités » et « formation générale de
base » sont évaluées en termes de résultats six mois après le début de l’action de formation. Un quatrième comité de suivi permet la récolte des délivrables.
** L’aspect qualitatif du rapport d’évaluation du Forem est principalement utilisé en cas de diffi cultés rencontrées lors de la collaboration.
Les rapports d’activités/d’évaluation sont fournis à l’Office de l’Emploi. Les agents examinent plusieurs éléments en fonction de leur mission. Le service partenariats d’insertion (Forem) et le service support partenariat (Actiris) examinent la partie quantitative afin de procéder à la liquidation du subside. Les directions régionales (Forem) et le service projets et qualité (Actiris) s’attellent à regarder la partie qualitative. Chaque rapport est utilisé par les évaluateurs en comité de sélection pour, par exemple, élaborer des recommandations à l’opérateur. L’ensemble des évaluations permet aux agents des SPE d’effectuer un compte rendu aux instances supérieures sur les résultats fournis par le dispositif d’appel à projets. La dimension quantitative prime sur la dimension qualitative de la prestation. L’évaluation s’inscrit principalement dans une logique de type « gestionnaire » 80, au sens
d’Ogien (1995). Les comptes rendus fournis aux instances supérieures sont essentiellement chiffrés. Tous les rapports d’évaluation sont aussi utilisés pour améliorer le dispositif d’appel à projets.
En ce qui concerne le rapport financier, il est traité différemment selon le SPE. Du côté du Forem, quelques opérateurs sont tirés au sort81 par
les agents pour subir un contrôle financier. Le contrôle ne s’organise pas systématiquement chaque année auprès de tous les opérateurs. Ceux-ci doivent être en mesure, en cas de contrôle, de fournir toutes les factures liées au projet. Ils sont prévenus par courrier de l’arrivée imminente de contrôleurs. Ils ont deux ou trois jours pour s’y préparer et rassembler tous les documents nécessaires. Du côté d’Actiris, le rapport financier est traité par le service support partenariat qui est chargé du paiement du subside. Une copie du rapport est fournie au service d’inspection de projet de l’Office. Les opérateurs subissent chaque année un contrôle financier réalisé par les inspecteurs d’Actiris.
80 Concept élaboré par Ogien (1995) qu’il définit comme « une méthode consistant à superposer des formes de raisonnement – économiques et comptables – déconnectées du registre de signification qui lui donne son intelligibilité ordinaire à celle – politique – qui est traditionnellement accouplée à un autre genre d’activité pratique – gouverner » (p.189).
81 Le tirage au sort est organisé par le siège central. Toutes les directions régionales sont présentes. À chaque opérateur est attribué un numéro. À tour de rôle, chaque direction donne un chiffre au hasard pour désigner l’opérateur à inspecter. Un opérateur de chaque type (marchand, non-marchand, public) et pour chaque mesure de formation est tiré au sort. Comme le financement est en partie lié au résultat, il est étonnant qu’un contrôle systématique ne soit pas effectué auprès des opérateurs, comme c’est le cas chez Actiris.
Les principales difficultés, rencontrées par les prestataires, concernent essentiellement la mesure des résultats et, en conséquence, le financement du projet. Il s’agit de la première épreuve. La phase d’évaluation constitue un premier pas vers le renouvellement ou non de la convention de partenariat, qui constitue la deuxième épreuve.
1. Des résultats difficiles à mesurer
L’évaluation quantitative et qualitative du projet pose question aux opérateurs bruxellois et wallons. Ceux-ci ont l’impression que la dimension qualitative a une importance moindre par rapport à la dimension quantitative. Ils s’interrogent sur l’utilisation de la partie qualitative du rapport d’activités par les agents. Ils disent que le SPE ne prend pas réellement en compte cet aspect. Lors d’un comité de suivi82 consacré à l’évaluation des résultats,
l’opérateur manifeste au CRP (Forem) son mécontentement par rapport au système d’évaluation. Il estime que le comité est trop centré sur les données quantitatives du projet. Évaluer l’aspect qualitatif du projet doit passer, pour cet opérateur, par la visite d’un agent à quelques séances de la formation. Cela permettrait de prendre réellement en compte la pédagogie et la méthodologie mise en place par l’opérateur. Cette technique peut, selon le prestataire, mettre en exergue tout l’investissement de l’opérateur pour accompagner ses candidats. Ces visites ne s’effectuent pas par les agents du SPE car cet aspect relève de la responsabilité du prestataire. Un opérateur bruxellois est sensiblement du même avis que son homologue wallon à propos de ces deux dimensions de l’évaluation des projets.
« Parler de résultats et de performance pose problème. Il y a beaucoup de choses qu’on peut faire avec notre public qui n’apparaissent pas au niveau de l’encodage. Il y a le rapport d’activités dans lequel on peut le noter. Ce n’est pas parce qu’on ne met pas la personne à l’emploi qu’il n’y a pas eu tout un travail qui a été fait avec elle. La personne a évolué. Il y a tout un travail qui n’est pas quantifiable comme le soutien psychologique et moral »
(Opérateur K. d’Actiris)
Les prestataires ne s’y retrouvent pas toujours au niveau de l’atteinte des objectifs chiffrés. Différents quotas sont précisés dans la convention de partenariat. L’opérateur doit recruter un certain nombre de candidats et obtenir un taux de sorties positives83. L’enjeu des résultats n’est pas toujours
très clair pour eux, selon un prestataire d’Actiris.
« Pour les résultats, il faut soit la remise à l’emploi soit la formation qualifiante. Ce n’est pas très clair au niveau des résultats à atteindre. Je ne sais plus le pourcentage de sorties positives que je dois faire. Ça change tout le temps ».
(Opérateur E. d’Actiris)
Du côté du Forem, un des opérateurs n’a pas saisi l’importance des délivrables. Lors du premier conventionnement avec le SPE, le prestataire a assuré un suivi de ses stagiaires. Cependant, il ne leur a pas demandé les preuves de leurs démarches (contrat de travail, inscription dans une formation qualifiante, etc.) de réinsertion socioprofessionnelle. Sans ces attestations, l’Office ne peut s’assurer de l’atteinte des objectifs par le prestataire. Cela a pour impact de bloquer le paiement de la dernière partie des subventionnements octroyés à l’action de formation.
« Ce qui compte au niveau des financements, ce sont les délivrables. Cependant, je n’avais pas compris les choses comme cela lors du précédent appel à projets. On ne m’avait pas bien expliqué. J’avais suivi les stagiaires au sortir de la formation, à un mois et à trois mois. J’ai fait trois suivis pour voir où les personnes en étaient mais je n’avais pas systématiquement demandé les preuves car je me disais qu’elles suivaient un parcours. Quand j’ai rencontré l’agent du Forem, je me suis rendu compte que je devais insister auprès des stagiaires pour avoir toutes les attestations ».
(Opérateur E. du Forem)
83 Les sorties positives correspondent aux candidats ayant trouvés un emploi ou s’étant inscrits en formation qualifiante, suite à l’action de formation. Pour certaines mesures de formation (mobilisation, orientation), le candidat doit avoir réalisé un bilan de compétences ou un projet professionnel.
Certains opérateurs voient les conséquences négatives d’une évaluation essentiellement quantitative du projet. Comme ils n’ont pas atteint leurs objectifs chiffrés, ils se voient retirer une partie de leurs subsides. Un agent du Forem rencontre un opérateur dans le cadre d’un comité de suivi84 consacré
à l’évaluation du projet. Ensemble, ils passent en revue les délivrables pour chaque candidat. Pour une des actions de formation, plusieurs stagiaires ont abandonné la formation en cours de route. Ces abandons ont un impact sur le financement du projet. L’opérateur et l’agent ne sont pas d’accord sur le mode de calcul du subside. Selon l’opérateur, l’Office devrait lui retirer 167 euros par personne ayant quitté l’action de formation. Il explique la manière dont il a fait son calcul pour arriver à ce montant mais l’agent n’est pas d’accord avec ce mode de calcul. Pour éclaircir la situation, il prend contact avec le siège central pour s’assurer de la bonne méthode de calcul. Au final, l’opérateur perdra la somme de 1550 euros par candidat. La différence est conséquente pour lui.
Certains opérateurs d’Actiris sont sensiblement dans la même situation que leurs homologues wallons. Ils peuvent perdre une partie de leur financement si les objectifs notifiés dans la convention de partenariat ne sont pas remplis. Plusieurs prestataires expliquent ci-dessous que l’Office peut retirer une partie de leurs subsides si le nombre de candidats est trop faible dans l’action de formation.
« On n’a pas tout à fait rempli notre convention l’année passée. On nous a supprimé une partie de la subvention sans négociation. On n’avait pas le nombre de personnes suffisant dans les phases 2 et 3. Ça correspondait à telle somme qui a été retirée »
(Opérateur K. d’Actiris)
« Le subside n’est pas lié au taux de résultats atteint mais au nombre de groupes que l’on fait, au nombre de participants minimum dans les groupes et au nombre d’entretiens individuels que l’on doit faire. Si on ne fait pas nos groupes, il nous retire des subsides. […] Si les règles sont trop strictes, on ne fait plus de qualitatif ».
(Opérateur E. d’Actiris)