Evaluation de la performance des projets de mécénat en entreprise : application de la démarche EPISSURE

Laboratoire d'Analyse et Modélisation de Systèmes pour l'Aide à la Décision CNRS UMR 7024

CAHIER DU LAMSADE

289

Evaluation de la performance des projets de mécénat

en entreprise : application de la démarche

EPISSURE

EVALUATION DE LA PERFORMANCE DES PROJETS DE MÉCÉNAT EN ENTREPRISE : APPLICATION DE LA DÉMARCHE EPISSURE

Stéphane ANDRE* et Bernard ROY** Résumé

L’objet de cet article est de présenter une application d’une démarche conçue pour évaluer les performances non financières en entreprise. Cette démarche, dénommée EPISSURE , a pour objet de produire, relativement à un périmètre défini, une « évaluation de la performance non financière avec des indicateurs de synthèse hiérarchiques élaborés selon un processus de concertation cadrée ». Cet article présente la façon dont la démarche EPISSURE a été expérimentée et mise en place dans un certain nombre d’entreprises pour évaluer des projets de mécénat notamment en vue de décider des suites à leur donner. Les résultats de ces expérimentations laissent à penser que, dans les contextes expérimentés, la démarche EPISSURE s’est montrée bien adaptée à l’évaluation de la performance non financière. Mots-clés : ELECTRE TRI – Evaluation – Performance non financière – Mécénat d’entreprise

Abstract

This paper presents the application of an approach designed to evaluate non-financial performance in companies. Within a defined perimeter, the approach called EPISSURE produces an “evaluation of non-financial performance with a hierarchical set of synthesis indicators co-constructed during a process of framed consultation.” The paper discusses how the EPISSURE approach was tested and set up within several companies for the purpose of evaluating sponsorship projects and deciding on their follow-up. Test results seem to indicate that the EPISSURE approach is decidedly appropriate for evaluating non-financial performance.

Keywords : ELECTRE TRI – Evaluation – Non financial performance – Companies’ Sponsorship project

1. INTRODUCTION

L’objet de cet article est de présenter une application d’une démarche conçue pour évaluer des performances non financières en entreprise. L’application présentée concerne les projets de mécénat. La démarche utilisée a été conçue dans une perspective beaucoup plus générale (André, 2009). Elle avait pour objet de répondre, dans une optique d’aide à la décision, à un besoin de plus en plus pressant, au sein des entreprises, relatif à la prise en compte des performances non financières (Faucheux et Nicolaï , 2004), (ONU, 1992), (CEE , 2001), (CERES, 1989), (World Bank, 1999) et (Schmidheiny, 1992). Synthétiser ce type de performance dans une optique opérationnelle nécessitait de concevoir une démarche qui soit capable de :

– s’adapter aux spécificités culturelles, sociopolitiques et environnementales qui conditionnent, dans l’entreprise, considérée, une définition du périmètre des composantes de la performance non financière qu’il s’agit d’appréhender ;

– prendre en compte des facteurs multiples qui font intervenir des dimensions hétérogènes sur lesquelles ils ne peuvent être appréhendés le plus souvent qu’en termes qualitatifs avec une part de mauvaise détermination qui ne doit pas être négligée ;

– des évaluations de synthèse, peu nombreuses, que les diverses parties prenantes pourront regarder comme étant légitimes et adaptées au but visé.

Cette démarche, présentée en section 2, a pour objet de produire, relativement à un périmètre défini, une « évaluation de la performance non financière avec des indicateurs de synthèse hiérarchiques élaborés selon un processus de concertation cadrée ». Elle est dénommée Epissure : terme marin signifiant un raccordement de deux cordages entre entrelaçant les torons (dictionnaire Robert, 2004). Cette dénomination traduit l’une des préoccupations qui aident à guider l’élaboration de cette démarche : raccorder des éléments distincts de la performance. Dans la section 3, on présente la façon dont la démarche EPISSURE a été expérimentée et mise en place dans un certain nombre d’entreprises pour évaluer des projets de mécénat (notamment en vue de décider des suites à leur donner). La section 4 décrira les principaux résultats constatés à l’issu de ces expérimentations. Enfin, la conclusion portera sur les principaux obstacles à franchir pour la mise en œuvre de la démarche EPISSURE.

2. LA DEMARCHE EPISSURE

Après une description des grandes lignes de la démarche, nous présentons les outils qui sont utilisés pour définir des indicateurs de synthèse, la procédure de concertation qui fait partie intégrante de la démarche et, enfin les étapes de mise en place de la démarche EPISSURE. Cette procédure doit permettre une bonne appropriation des outils mis en place par leurs utilisateurs et une légitimité des évaluations produites aux yeux des principales parties prenantes.

2.1 Les grandes lignes de la démarche

Premier principe : L’évaluation proposée est hiérarchique, c’est-à-dire organisée selon une progression par niveaux de synthèse. Ces niveaux doivent correspondre à une hiérarchie de responsabilité au sein de l’organisation. L’importance de ce principe d’imbrication hiérarchique est défendue dans de nombreuses recherches sur l’évaluation de la performance (Löning et al., 2008), (Chenhalla et Langfield, 2007), (Kaplan et Norton, 1996), (Adam et Pomerol, 2002 et 2007).

Deuxième principe : Les évaluations doivent, à chaque niveau hiérarchique (sauf peut-être pour certaines d’entre elles au niveau le plus bas), prendre appui sur des échelles verbales ordinales. Le nombre d’échelons que comportent ces échelles doit être adapté au niveau auquel ils sont associés ; ce nombre doit être suffisamment important pour rendre compte des évolutions et être compréhensible par les acteurs intervenant à ce niveau.

Quatre niveaux ont été retenus. La première étape pour la mise en place d’EPISSURE a notamment pour objet de préciser la façon dont ils doivent être compris et adaptés dans l’entreprise où il s’agit de mettre en œuvre la démarche. Ces quatre niveaux peuvent être désignés et caractérisés comme suit :

Niveau 1 ou niveau des indicateurs élémentaires : Il concerne les indicateurs élémentaires jugés pertinents pour évaluer la performance des actions (Roy, 1985, chapitre 8).

Niveau 2 ou niveau des critères : Il concerne les grands points de vue qui permettent de définir des regroupements d’indicateurs élémentaires ayant trait chacun à un même axe de signification, axe de signification auquel est associé un critère (Roy et Bouyssou, 1993, page 46).

Niveau 3 ou niveau des actions à évaluer : Sous ce terme, on désigne l’entité type dont il s’agit d’évaluer la performance. Dans chaque cas concret d’application, ce terme doit être remplacé par celui qui désigne, dans l’entreprise, ce qui doit être évalué : un projet, un investissement, une procédure, un mode de fonctionnement,…

Niveau 4 ou niveau de l’organisation : Il concerne la structure en charge de différentes actions.

Les indicateurs élémentaires du niveau 1 fournissent ce que l’on peut regarder comme les données primaires à partir desquelles toutes les autres évaluations doivent être élaborées. Cette élaboration consiste à opérer une synthèse des évaluations du niveau immédiatement inférieure. Trois synthèses sont nécessaires (cf. figure 1) :

– la synthèse opérationnelle qui permet de passer des évaluations sur les indicateurs élémentaires à celle sur les critères ;

– la synthèse intermédiaire qui permet de passe des évaluations des critères à celle des actions ;

– la synthèse managériale qui permet de passer des évaluations des actions à celle de l’organisation.

Figure 1 - Structure hiérarchique et synthèses associées

Chacune de ces synthèses utilise des outils qui vont être décrits dans la prochaine sous-section. Ceux-ci, conformément au deuxième principe (cf. début de la présente sous-section), ne font intervenir, sauf exception, que des échelles purement ordinales. Ce type d’échelles (Roy, 2000) est en effet bien adapté au contexte des évaluations de performances non financières, cela notamment pour les raisons suivantes :

– La signification de chaque échelon, définie par une description verbale, est aisément intelligible par les différents acteurs, qu’ils soient internes ou externes à l’entreprise. – Toutes erreurs d’interprétation due à une définition des échelons fondés exclusivement

sur une donnée numérique sont évitées. Ces erreurs proviennent d’une tendance des individus à attribuer automatiquement et sans justification une signification aux relations arithmétiques qui existent entre les nombres : un rapport égal à deux traduit un doublement de satisfaction ou d’intensité de préférence ; des différences égales reflètent des variations de satisfaction ou de préférence égales. Il ne peut en être ainsi que si les nombres expriment une quantité ou une variation de quantité, quantité appréhendée à partir d’une unité bien définie. Les performances non financières ne sont généralement pas appréhendables dans ces termes.

– Admettre que ce qu’il convient d’évaluer (à un niveau quel qu’il soit) doit l’être avec tel échelon plutôt qu’avec un échelon voisin peut paraître, dans bien des cas, discutable. Cette mauvaise détermination peut être convenablement prise en compte par des seuils d’indifférence et de préférence associés à l’échelle.

2.2 Les outils utilisés par la démarche

Ils sont spécifiques de la synthèse considérée. C’est pourquoi ils sont décrits ci-après successivement pour chacune d’elles. Nous renvoyons le lecteur à André (2009) pour une justification des choix effectués.

Ces trois types de synthèses ont cependant un trait commun. Les évaluations qu’elles agrègent renvoient, sauf exception, à des informations de nature très hétérogène difficilement commensurables. Il a de ce fait semblé nécessaire de recourir (sauf dans certains cas pour la synthèse opérationnelle) à des procédures d’agrégation qui limitent fortement les possibilités de compensation systématiques de mauvaises évaluations par des bonnes. Dans ce contexte de la performance non financière, de telles compensations paraissaient d’autant moins justifiées que, avec des échelles purement ordinales, il est très difficile d’asseoir les équivalences

qu’impliquent ces compensations à partir de considérations concrètement intelligibles. En effet, on ne peut y parvenir qu’au prix d’un recodage des échelles qui fait le plus souvent perdre toute signification concrète aux échelons.

2.2.1 La synthèse opérationnelle

Au niveau le plus bas (niveau 1), EPISSURE fait intervenir des indicateurs qualifiés d’élémentaires qui ont pour objet de décrire, pour chacune des actions considérées (ici les projets de mécénat), un aspect, une caractéristique, un facteur, une conséquence attendue,… qui méritent d’être prises en considérations dans le processus d’évaluation. Les données de base, et souvent même les indicateurs eux-mêmes, existent dans l’organisation (entreprise ou l’association en charge du projet de mécénat). Il s’agit, dans cette synthèse opérationnelle, de les regrouper par points de vue de façon à définir une famille cohérente de critères (Roy, 1985). Dans le cas du mécénat (cf. 3.2), chaque critère c a pu être défini comme synthèse d’indicateurs élémentaires ayant une échelle commune (non nécessairement la même d’un critère à l’autre). Pour aucun de ces indicateurs élémentaires, l’évaluation d’un projet n’avait une signification quantitative. Lorsque l’évaluation n’était pas naturellement verbale et qu’elle était autrement dit numérique, les nombres ne servaient qu’à traduire un ordre de préférence. Définir dans ces conditions ce que l’on appellera évaluation partielle d’un projet sur un critère consiste à agréger des évaluations élémentaires de nature verbale toutes situées sur une même échelle purement ordinale (cf. 3.2).

Pour opérer cette agrégation, un unique outil de synthèse a pu convenir et être mis en place dans chacune des entreprises dont il va être question dans cet article. Il s’agit de la médiane pondérée sur base de règles. Nous le présentons ci-après. Il est tout particulièrement adapté à l’agrégation de données purement ordinales dans un souci de limiter les possibilités de compensation (objectif qui s’est avéré adapté aux contextes étudiés).

Notons l’évaluation partielle du projet (a) sur l’un quelconque des critères c que la synthèse opérationnelle a pour objet de construire. Soit l’ensemble des indicateurs élémentaires que cette synthèse doit prendre en compote. Les évaluations se situent sur une même échelle purement ordinale définie par la suite ordonnée E1,…, Ej, … Emc de l’ensemble des échelons qu’elle comporte : E1 désignant le meilleur, Emc le plus mauvais. Dans l’application présentée ici, l’échelle retenue ne dépend pas du critère c : elle a été définie (cf. 3.2.2) par 16 échelons décrivant verbalement un positionnement par rapport à un objectif fixé. Pour définir la médiane sur les évaluations de a sur les indicateurs élémentaires à prendre en compte, il faut ranger ces évaluations de la meilleure à la moins bonne. L’échelon qui est situé au milieu de la suite ordonnée s(a) ainsi construite est, par définition, la médiane des évaluations.

Si l’on souhaite différencier le rôle que doivent jouer les indicateurs élémentaires dans la détermination de cette médiane, on peut prendre en compte, en procédant comme indiqué ci-après, un jeu de poids caractérisant la plus ou moins grande importance que l’on veut attribuer à chaque indicateur. Soit le poids attribué à l’indicateur . Ce poids doit être obligatoirement ici être défini par un nombre entier (d’autant plus grand que l’on veut faire jouer à l’indicateur un rôle plus important dans la synthèse). Soit S(a) la suite d’échelons déduite de s(a) en faisant intervenir l’échelon non une seule fois mais fois. La

L’évaluation partielle du projet (a) sur le critère c peut être définie par la médiane M(a) de la suite ordonnée S(a). Comme on le verra au 3.4.2, cette évaluation de l’action a selon le point de vue que doit refléter le critère c peut, dans certains cas, présenter certains « défauts ». On peut remédier à ces défauts en introduisant des règles qui, prenant en compte l’ensemble des évaluations sur les indicateurs élémentaires, conduisent à substituer à M(a) un échelon quelque peu différent. La base de règles qu’il convient d’introduire dépend bien évidemment du défaut qu’il s’agit de corriger. Le type de défauts qui a été constaté était le suivant : M(a) pouvait conduire à une évaluation partielle sur le critère c jugée trop favorable compte tenu de la présence, dans S(a), de mauvaises évaluations. Les règles introduites font intervenir des bornes B et sont définies comme suit :

– si Em est présent dans S(a), alors ne doit pas dépasser ; – si Em-1 est présent dans S(a), alors ne doit pas dépasser ; – … ;

– si Et est présent dans S(a), alors ne doit pas dépasser Bt.

Pour des raisons de cohérence évidentes, ces bornes doivent être telles que ( ≤ signifiant ici « non meilleure que ») (attention il faut changer B1 en Bt) La médiane pondérée sur la base de telles règles consiste à poser :

(attention il faut changer B1 en Bt)

avec .

Dans ces conditions, l’évaluation partielle du projet (a) sur le critère c est nécessairement l’un des échelons de la suite ordonnée E1,…, Em qui définit l’échelle commune aux indicateurs (k=1,…, ) qui doivent être pris en considération pour construire le critère c. Cette échelle n’étant pas nécessairement la même d’un critère à l’autre, il aurait fallu en toute rigueur noter ces échelons . Afin d’alléger les notations, l’exposant c a jusqu’ici été omis. Dans ce qui suit, nous noterons cette échelle Ec.

Figure 2 - Exemple de base de règles

2.2.2 Les outils de la synthèse intermédiaire

L’objectif de cette synthèse est de fournir le moyen d’apprécier la performance de chaque projet (a) en lui associant ce que nous appellerons une évaluation globale g(a). Conformément au second principe (cf. 2.1), g(a) doit être un échelon décrit de façon verbale situé sur une échelle E nécessairement purement ordinale. Cette évaluation globale g(a) doit apparaître comme une synthèse des évaluations partielles . Pour opérer cette synthèse, EPISSURE fait intervenir une procédure d’agrégation multicritère. Il nous est apparu indispensable que cette procédure d’agrégation soit apte à prendre en compte les points suivants.

i) Le caractère purement ordinal des échelles Ec sur lesquelles se situent les évaluations partielles .

ii) Le fait que deux évaluations partielles sur des critères différents peuvent, même si leur description verbale est identique, concerner des aspects de la réalité du projet totalement hétérogènes (autrement dit non commensurables).

iii) La quasi impossibilité d’asseoir, sur des bases concrètement intelligibles, des règles opérant des compensations systématiques de mauvaises évaluations partielles par des bonnes.

iv) Le fait que deux projets ayant, sur un critère c, des évaluations partielles très voisines puisse ne pas être significatifs d’une préférence en faveur du projet qui a la meilleure des deux évaluations.

v) La nécessité de pouvoir différencier l’importance du rôle que jouent les différents critères dans la détermination de l’évaluation globale d’un projet.

Ce sont là des exigences qui sont fort bien prises en compte par les méthodes ELECTRE ((figueira et al. 2005 chapitre 4 uniquement pour la version française). Comme on le montre ci-après, la méthode ELECTRE TRI convient fort bien (bien que n’ayant pas été conçue dans ce but) pour définir l’agrégation globale g(a) à partir des agrégations partielles en prenant en

compte les cinq exigences ci-dessus. C’est pourquoi ELECTRE TRI est la méthode qui a été retenue dans EPISSURE pour opérer la synthèse intermédiaire.

ELECTRE TRI (Figueira et al., 2005, chapitre 4) et (Roy et Bouyssou, 1993) a été conçue pour affecter des actions (on continuera ici à parler de projets) à des catégories ordonnées préalablement définies. Chaque projet (a) est caractérisé par des évaluations partielles

sur une famille F de critères, ces évaluations étant situées sur des échelles purement ordinales Ec. A chacune de ces échelles, il est possible d’associer des seuils d’indifférence et de préférence pour prendre en compte le caractère plus ou moins significatif de l’écart de préférence qui sépare deux évaluations distinctes (cf. iv ci-dessus). Les critères ainsi munis de ces seuils constituent ce qu’il est classique d’appeler des pseudos critères (pour une définition précise de ces seuils ainsi que pour celle de l’outil qu’est un pseudo critère, (Roy, Bouyssou 1993 et Roy, Vincke, 1987 uniquement pour la version française)). Il est enfin possible de différencier l’importance du rôle que jouent ces critères (cf. v ci-dessus) pour définir la catégorie à laquelle un projet doit être affecté : cela se fait en associant, à chaque critère, un poids et un éventuel pouvoir de veto. Plus le poids d’un critère est élevé, plus le critère joue un rôle important pour définir la catégorie d’affectation. Le veto permet d’interdire l’affectation à certaines catégories en regard de l’évaluation partielle du projet sur le critère considéré.

EPISSURE utilise la méthode ELECTRE TRI pour affecter, à une catégorie, les projets qui doivent être évalués à l’aide d’une même échelle E. L’échelle E retenue dans l’application présentée ici a été définie (cf. 3.2.2) par les échelons suivants :

E1 : projets dépassant largement les objectifs fixés.

E2 : projets atteignant les objectifs fixés ou les dépassant légèrement.

E3 : projets en deçà de ces objectifs.

E4 : projets n’atteignant clairement pas ces objectifs.

Dans ELECTRE TRI, les catégories sont définies à partir de ce qui est appelé leurs profils limites. Ces profils limites sont, par définition, les projets qui se situent à la frontière de deux catégories consécutives. Un tel projet est défini par l’ensemble des évaluations partielles qu’il paraît justifié de lui attribuer pour qu’il caractérise effectivement cette frontière. Il s’en suit que le projet que définit la frontière entre deux catégories consécutives caractérise en même temps le profil limite inférieur de la plus haute des deux catégories et le profil limite supérieur de la plus basse des deux catégories.

Pour affecter un projet à une catégorie, ELECTRE TRI compare, critère par critère, ses évaluations partielles à celles du profil limite. C’est sur la base du résultat de ces comparaisons qu’un projet est affecté à une catégorie plutôt qu’à une autre, c’est-à-dire ici se trouve évalué par un échelon plutôt que par un autre. Précisons que ELECTRE TRI comporte deux procédures d’affectation possibles. C’est la procédure dite pseudo conjonctive qui a été retenue dans EPISSURE. Avec cette procédure, un projet (a) ne peut être affecté à une catégorie Eh que si une majorité suffisante de critères (coalition de poids suffisamment

élevée) évalue le projet (a) au moins aussi bien que le profil limite inférieur de Eh et qu’aucun

des critères pour lesquels il n’en est pas ainsi ne mette son veto à l’affectation à cette catégorie (pour une description complète et une justification de cette procédure d’affectation, voir les références citées plus haut).

Figure 3 – Liens entre profils limite, catégories et échelons de l’échelle E les catégories des projets et les échelons des critères

2.2.3 Les outils de la synthèse managériale

L’objectif de cette synthèse est de fournir, à la direction générale de l’organisation (niveau 4 de la figure 1), une vue synthétique sur les performances de l’ensemble des projets. Cette vue d’ensemble a principalement pour but de permettre aux dirigeants (Dover, 2004, p.44) et (Adam et Pomerol, 2002, p.314) :

– d’identifier les écarts les plus importants par rapport aux objectifs fixés et de trouver l’origine de ces écarts ;

– de communiquer, au sein de l’organisation, sur la performance des divers projets en mettant en évidence ses traits essentiels ;

– d’identifier les projets dont le suivi peut poser problème et d’aider, s’il y a lieu, au choix des nouveaux projets à lancer.

Aucun outil mathématique n’est proposé dans EPISSURE pour procéder à cette vue d’ensemble. Les outils envisagés sont uniquement de nature graphique. Le type de composantes graphiques à retenir peut notamment être guidé par les outils tels que les DashBoard (Adam et Pomerol, 2002, p. 314) ou Balanced Scorecard (Kaplan et Norton, 1992 et 1996). Ces composantes dépendent bien évidemment du contexte et notamment des pratiques de reporting au sein de l’organisation concernée. Grâce à la structure hiérarchique de la démarche (principe n° 1), il est très facile de mettre en évidence les caractéristiques et facteurs qui ont le plus fortement influencé la performance globale d’un projet. Un outil informatique permet, en cliquant au niveau des graphiques, de descendre aisément des performances globales aux performances partielles sur tel ou tel critère et de celui-ci aux évaluations élémentaires sur les divers indicateurs qu’il prend en compte.

2.3 Le processus de concertation cadrée

Les raisons qui ont conduit à introduire un processus de concertation comme faisant partie intégrante de la démarche EPISSURE ne seront pas exposées dans cet article, nous renvoyons à (Andre, 2009) et (Andre et Roy, 2007). Comme toute démarche de concertation, l'objectif est d'aboutir à une vision commune aux différents acteurs parties prenantes de l'évaluation. Le parti pris de la concertation cadrée est de considérer que le contour de cette vision commune doit être défini par l'entreprise. En effet, pour l'entreprise, l'évaluation de la performance n'est pas un but en soit mais doit servir sa vocation de création de valeur pour toutes les parties prenantes (actionnaires, salariés, environnement et société civile) et donc aboutir à un système d'évaluation opérationnel permettant le pilotage de la performance. La concertation cadrée se définit comme un processus de concertation qui se déroule de façon structurée dans un espace délimité dénommé cadre construit à partir :

− des deux principes normatifs de conception (cf. 2.1)

− des outils de synthèse retenus pour chacun des trois niveaux (cf. 2.3.2) − des acteurs identifiés comme partie prenante de l’évaluation (cf. 2.4.1)

Dans ces conditions, la concertation doit porter sur les éléments qui restent à définir pour que les outils de synthèse soient opérationnels au sein de ce cadre. Ces éléments se rapportent à ce qui a été dénommé Caractéristiques Objet de la Concertation (COC). Il faut noter que ces éléments auraient pu (en l'absence de concertation) être complètement déterminés par un groupe d'experts. Afin de donner dès maintenant, un premier aperçu de ce que recouvrent ces COC, nous les présentons par grand type en indiquant dans chacun d’eux ce sur quoi elle porte (leur contenu ou la valeur à attribuer à certains paramètres) pour chacune des synthèses concernées :

− les COC ayant trait à la définition de la performance :

o Synthèse opérationnelle : les indicateurs élémentaires associés aux critères o Synthèse intermédiaire : les critères

o Synthèse managériale : la représentation graphique de la synthèse managériale − les COC contextualisant les éléments de performance et permettant la réalisation des

différentes synthèses :

o Synthèse opérationnelle : importance relative des indicateurs élémentaires et les règles intervenant dans l'agrégation

o Synthèse intermédiaire : importance relative des critères, informations ayant trait à la modélisation de la mauvaise connaissance et seuils de véto

o Synthèse managériale : pas de généralisation possible mais des caractéristiques à déterminer en fonction du mode de représentation graphique choisi

− les COC déterminant les objectifs de performance

Faisons remarquer que concertation et cadrage peuvent être ressentis comme antinomiques. Le cadre conçu a été suffisamment formalisé pour permettre à l'entreprise de servir ses objectifs de création de valeur tout en laissant suffisamment de latitude pour permettre de

réelles discussions entre les acteurs. En conséquence, la mise en place de la concertation cadrée demande quelques précautions que nous allons préciser dans les différentes étapes de mise en place de la démarche EPISSURE.

2.4 Les étapes de mise en place de la démarche EPISSURE

La démarche EPISSURE, afin d’être mise en place, doit être adaptée à chaque contexte d’évaluation pour réellement devenir opérationnelle. Cette mise en place repose sur trois étapes consistant successivement à :

− Etape n°1 : Définition des éléments du cadre d’évaluation et adaptation des outils de synthèse

− Etape n°2 : Phase de concertation proprement dite permettant de déterminer selon le cas le contenu des COC ou la valeur de leurs paramètres

− Etape n°3 : Validation et mise en service de la démarche EPISSURE

Afin d'assurer la cohérence de la démarche, il est souhaitable que ce soit le même individu, appelé facilitateur (concernant l’emploi de ce terme Maystre et Bollinger, 1999), qui conduise l’ensemble de ces étapes. Son rôle consiste aussi bien à mettre en œuvre les outils de synthèse qu’à animer la concertation :

− présenter la démarche pour qu'elle puisse être comprise par tous

− animer les échanges au sein des acteurs en veillant notamment à ce que chacun puisse avoir la parole pour exprimer son point de vue ainsi que ses objectifs et qu’il puisse être entendu (Roy et Bouyssou, 1993).

Sa neutralité est importante pour éviter toute contestation de la part de certains acteurs (Labbouz, et al. 2008) et (Damart et Roy , 2009).

Le contenu détaillé de ces étapes dépend du contexte d’évaluation et sera présenté en section 3. Néanmoins, il est utile de préciser dès maintenant les principaux éléments des étapes 1 et 2.

2.4.1 Etape n°1

Elle permet dans un premier temps (étape 1.1) de préciser le cadre à l’intérieur duquel va se dérouler la concertation. Ce travail est mené par des acteurs désignés par l'entreprise (ex: les responsables de l'organisation ou les responsables du contrôle de la performance) accompagnés du facilitateur. Ces acteurs forment le groupe de pilotage et vont, après une phase de présentation et d’explication de la démarche (notamment ce que recouvrent les COC et leurs raison d’être (cf. 2.3.1), préciser les points suivants :

− Les objectifs de l'évaluation et les décisions qu'elle doit éclairer − Les quatre niveaux hiérarchiques de l’évaluation

− Les échelles verbales ordinales d’évaluations associées à chacun des niveaux d’évaluation

− les acteurs à intégrer dans la concertation, ces différents acteurs sont regroupés au sein de ce qui est défini comme le groupe de travail.

− les éléments qui restent à déterminer pour que les outils de synthèse soient opérationnels, c'est-à-dire les éléments se rapportant au Caractéristiques Objet de la Concertation (COC),

Cette étape, dans un deuxième temps (étape 1.2), a pour objet de permettre au facilitateur d’adapter les outils de synthèse au cadre préalablement élaboré (cf. 3.3 - étape 1.2). Il s’agit notamment de :

− choisir l’outil de synthèse qui semble le plus adapté à la synthèse opérationnelle − adapter ELECTRE TRI au contexte d’évaluation de l’entreprise

− proposer une vue graphique pour la synthèse managériale

2.4.2 Etape n°2

Elle constitue la phase de concertation proprement dite et doit être organisé au sein d'un groupe de travail dont le contenu est déterminé lors de l’Etape n°1. Cette étape à pour objet d'une part de mettre en place du cadre et d'autre part de favoriser une discussion constructive au sein du groupe de travail. Cette étape se déroule de façon incrémentale et itérative pour chacune des COC :

− Incrémentale : chaque réunion du groupe (2 à 3 heures) a pour objectif d’obtenir un accord sur le contenu d’une COC ou sur la valeur de ses paramètres. La définition des critères c de F (cf. 2.2.1) constitue, en général, l'objectif de la première réunion.

− Itérative : chaque réunion débute avec la revue et l'amendement éventuel de ce qui a été proposé concernant la COC objet de la réunion précédente. EPISSURE prévoit, en effet, la possibilité de revenir sur le travail des réunions précédentes. Ce mode itératif peut sembler risqué car pouvant remettre en cause les avancées des réunions de travail précédentes. Mais nous verrons que ce choix a permis la construction d'une vision commune où chaque acteur se sent intégré (cf. 4). Ce point corrobore ce qui a été constaté par (Joerin et Rondier, 2007, p.19) au sujet des processus d’apprentissage cognitif au cours desquels il en effet, courant que l’on revienne sur une étape précédente pour en modifier, affiner ou compléter les résultats.

Pour achever cette section, nous souhaitons attirer l'attention du lecteur sur deux spécificités d’EPISSURE :

− la concertation ne porte que sur des propositions concrètes et non sur les principes généraux de l’évaluation

− Il n'est pas envisagé d'intégrer des alternatives mais de construire une vision commune à toutes les parties intéressées par l’évaluation de la performance. Par exemple, les acteurs du groupe de travail doivent s'accorder sur un jeu de valeurs à attribuer aux poids (cf. 2.2.1 et cf. 2.2.2) et non sur plusieurs jeux en fonction des différents systèmes de valeurs des acteurs (Belton et Pictet, 1997). Nous verrons que ce parti pris n'a pas été à l'origine de difficultés particulières.

Nous terminons ainsi la présentation générale de la démarche EPISSURE qui propose une approche novatrice pour tenter d'apporter une réponse à la problématique de l’évaluation de la performance non financière. Au sein de la prochaine section, nous allons décrire une série de mises en œuvre opérationnelles dans un objectif d’évaluation de projet de mécénat.

3 Expérimentation et mise en place en entreprise

d’EPISSURE pour les projets de mécénat

Grâce à l’association "IMS- Entreprendre pour la Cité" (Institut de Mécénat et de Solidarité), nous avons pu être mis en relation avec une dizaine d'entreprises susceptibles d’être intéressées par une expérimentation et une mise en place possible d’EPISSURE pour évaluer la performance de projets de mécénat. Après une série de premiers contacts, quatre des entreprises ont été retenues. Ces quatre entreprises ont proposé une expérimentation sur sept différents projets de mécénat. Dans cette section, nous allons tout d’abord présenter ces entreprises. Puis, nous décrirons les étapes de mise en place de la démarche EPISSURE 1.

3.1 Présentation des entreprises concernées

Dans tous les cas étudiés, les projets de mécénat à évaluer étaient conduits par la fondation de l’entreprise considérée. Dans la suite de l’article, par soucis de simplicité nous utiliserons le qualificatif d’entreprise plutôt que fondation d’entreprise. Les entreprises retenues ont été :

− Fondation Petzl (Grenoble – cf. bibliographie) avec le projet d'une école de la montagne au Népal

− Fondation Kronenbourg (Strasbourg – cf. bibliographie) avec deux projets : o un projet de restaurant d’insertion sociale

o un projet avec l'association "Jardin de la montagne verte" pour la culture de fruits et légumes par des adultes en difficulté

− Fondation Olympique Lyonnais / Cegid (Lyon – cf. bibliographie) avec deux projets : o le projet "Immersion" ayant pour objectif de permettre à des jeunes en

difficulté de découvrir l'entreprise

o le projet "Docteur Clown" d'animation ludique en hôpital pour les enfants malades

− Fondation RATP (Paris - – cf. bibliographie) avec deux projets :

o le projet "T'as trouvé un job" pour l'insertion professionnelle des jeunes,

o le projet "Rencontre sur Tatamis" d'éducation civique pour les jeunes par le sport

Chacun de ces sept projets était mené par une association (différente pour chacun des projets) et les entreprises étaient des partenaires de ces projets. Dans ce contexte, les entreprises étaient à la recherche d’une démarche d’évaluation adaptée à leurs contextes d’évaluation :

- l’évaluation nécessite de prendre en compte des données de nature très hétérogène (cf. 2.2.2 ii)

− Les données de base étaient le plus souvent de nature purement qualitative. Bon nombre d’entre elles même si elles sont évaluées quantitativement ne permettent de donner sens qu’à des comparaisons ordinales (cf. 2.2.2 i).

− En outre, ces données recèlent souvent une part d’arbitraire qui rend les petits écarts non chargés de sens (cf. 2.2.2 iv)

− Les données favorables à une bonne évaluation ne doivent pas venir compenser de façon systématique celles qui au contraire étaient défavorables à cette bonne évaluation (cf. 2.2.2 iii).

La construction d’indicateurs de synthèse sur une base de concertation était une première pour ces différents acteurs et suscitait des attentes importantes.

Faisons remarquer que les objectifs des différents projets évalués couvrent des domaines assez différents : national vs. international, jeunes vs. adultes, entreprise vs. société civile. En outre, les entreprises à l’origine de ces projets sont de tailles variées (de la PME au groupe de grande taille) et interviennent dans des secteurs d'activité différents. Enfin il faut noter que certaines associations avaient des connaissances faibles des pratiques de l’évaluation et découvraient le sujet avec quelques inquiétudes quant à leur autonomie. D’autres, au contraire, avaient déjà une solide expérience des pratiques d’évaluation.

3.2 Cadrage de la démarche de concertation (Etape n°1.1)

Cette étape est menée par un groupe d’acteurs dénommé « groupe de pilotage » (cf. 2.4.1). Dans les cas étudiés dans cet article, ces groupes étaient constitués du dirigeant de la fondation, d'un représentant de l'IMS et d’un facilitateur (cf. 2.4). Ils ont dû définir (cf. 2.4.1) :

− Les objectifs de l'évaluation et les décisions qu'elle doit éclairer − Les quatre niveaux hiérarchiques de l’évaluation

− Les échelles verbales ordinales d’évaluations associées à chacun des niveaux d’évaluation

− les acteurs à intégrer dans la concertation, c'est-à-dire la composition du groupe de travail.

− les éléments se rapportant au Caractéristiques Objet de la Concertation (COC),

Cette étape de cadrage a été spécifique à chaque cas d’entreprise. Elle peut néanmoins faire l’objet d’une présentation commune à chacun de ces cas.

3.2.1 Objectif de l’évaluation

L’évaluation doit éclairer la décision de la fondation (en règle générale de façon annuelle pour le conseil d'administration) sur la suite à donner à un projet : poursuivre l’investissement dans un projet avec ou sans condition ou arrêter cet investissement. L'évaluation n’a donc pas consisté à juger seulement si un projet a été bon ou mauvais mais à évaluer si le projet a atteint les objectifs qui lui avaient été fixés. Dans ces différents cas, les entreprises avaient investit dans ces projets dans un objectif de résultat : intérêt général pour la société et intérêts propres de l’entreprise (« Le mécénat n’est plus un acte de pure philanthropie, mais une forme d’investissement dont les entreprises attendent, en toute légitimité, un retour positif» cf. Seghers, 2007). En conséquence, les objectifs fixés étaient des objectifs d'impact et non de moyens. Si ces propos peuvent sembler classiques dans le contexte de l'entreprise, ils sont apparus assez nouveaux dans le contexte des cas que nous avons étudiés. En effet, si la notion d'objectif était bien présente, ces objectifs n’étaient pas toujours formalisés auprès des entreprises et associations que nous avons rencontrées.

3.2.2 Les niveaux hiérarchiques d'évaluation

Les niveaux suivants ont été adoptés pour tous les cas d’entreprise présentés dans cet article (cf. figure n°4) :

− Le niveau 4 correspond à la fondation. À ce niveau, il doit être possible d'avoir une vue sur les différents projets financés par l’entreprise.

− Dans la logique du lien « évaluation - décision », le niveau 3 a été choisi comme celui de chacun des projets. C'est à ce niveau que la démarche doit permettre de situer un projet par rapport à ses objectifs

− Le niveau 2 a été choisi comme le niveau intermédiaire d'évaluation d'un projet c'est– à-dire de ce que nous avons appelé les critères de réussite. Ces critères sont définis comme les conditions a posteriori selon lesquelles les acteurs concernés par le projet pourraient le considérer comme un succès. La méthodologie d'identification de ces critères de réussite sera détaillée durant l'étape n°2 (cf. 3.4)

Figure 4- Les 4 niveaux hiérarchiques d'évaluation

3.2.3 Les échelles associées aux quatre niveaux d’évaluation

Ce sont les mêmes échelles qui ont été retenues pour tous les cas d’entreprises. Pour chacune de ces échelles, le principe consiste à se positionner par rapport à des objectifs.

Pour le niveau 1, une échelle, identique pour tous les indicateurs élémentaires, a été retenue. Il s’agit d’une échelle à 16 échelons s'organisant en 8 échelons principaux subdivisés chacun en deux mentions « haute » et « basse » (cf. figure n°5).

Cette échelle se retrouve automatiquement au niveau 2 compte tenu de la façon dont a été défini l’opérateur de synthèse opérationnelle (médiane pondérée avec base de règles). Il ne sera donc pas question du niveau 2 ci-après.

Les évaluations sur les indicateurs élémentaires (tels qu’ils sont initialement définis) sont de nature numérique ou verbale. Pour chacun de ces indicateurs élémentaires, il est donc nécessaire d’établir une correspondance qui permette de passer pour chaque projet de son évaluation initiale avec cet indicateur élémentaire à son positionnement sur l’échelle à 16 échelons utilisée pour la synthèse opérationnelle. Cette correspondance, définie lors de la phase de concertation (cf. Etape 2.3), doit être établie de façon à ce que les différents échelons de l’échelle à 16 échelons aient bien la signification qui leur est attribuée sur la figure 5.

Figure 5 – Echelle associée aux niveaux 1 et 2

Sur la base des évaluations initiales sur les indicateurs élémentaires, trois situations de références devront être définie (cf. Etape 2.3) :

− Satisfaisante (correspond à l'échelon E8) : selon cet indicateur, ce projet atteint ses objectifs (La détermination des objectifs fait partie de la phase de concertation - cf. 3.4)..

− Idéale (correspond à l'échelon E1) : selon cet indicateur, ce projet ne peut pas aller au -delà..

− Valeur plancher (correspond à l'échelon E16) : selon cet indicateur, ce projet n’a même pas cherché à atteindre son objectif.

Le détail de cette correspondance est exposée au 3.4.3.

Pour le niveau 3, toujours selon le même principe, une échelle à quatre échelons a été jugée suffisamment fine pour évaluer les projets. Ces échelons ont a priori été définis comme indiqué dans la figure n°6.

Figure 6 - Echelle ordinale d’évaluation pour les projets de mécénat

L’opérateur de synthèse intermédaire (ELECTRE TRI - cf. 2.4 et cf. figure n°3) doit permettre d’affecter chaque projet sur un et un seul des quatre échelons conformément à la signification qui lui a été attribuée (cf. figure n°6).

Enfin pour le niveau 4, la représentation graphique (cf. 3.3.3) choisie a pris en compte conjointement deux échelles ordinales : celle associée au niveau 3 et une autre témoignant de l'importance de l'investissement dans les projets pour l'entreprise. L'importance de l'investissement n'est pas uniquement financière mais fait intervenir tous les types d'investissement (ex : nombre de salariés impliqué dans le projet). Cette échelle comporte seulement deux niveaux :

− Investissement faible − Investissement fort

3.2.4 Composition du groupes de travail

La composition de chacun de ces groupes de travail devait intégrer des acteurs à la fois légitimes et représentatifs des différents enjeux des actions de mécénat. Ces deux conditions ont nécessité d’identifier d’une part des acteurs disposant d’une marge de manœuvre suffisante vis- à-vis de leur hiérarchie et d’autre part un nombre variable d’acteurs selon les entreprises. La composition de ces groupes de travail a donc été différente selon les entreprises et allait de 4 personnes (cas Petzl) à 12 personnes (cas Kronenbourg). Néanmoins, chacun de ces groupes a regroupé, en plus du facilitateur, des acteurs externes à l’entreprise (principalement issus de l'association en charge du projet) et des acteurs internes à l'entreprise.

3.2.5 Eléments se rapportant au Caractéristiques Objet de la Concertation (COC) Pour intégrer les différents éléments du contexte d'évaluation d'une action de mécénat (problématique naissante et peu structurée, acteurs associatifs et entreprise se connaissant mal

... – cf. 3.1), nous avons proposé un processus essentiellement ascendant2 se structurant en trois sous-étapes (cf. 3.4.1, cf. 3.4.2 et cf. 3.4.3):

− Etape 2.1 - Identification, formalisation et hiérarchisation des critères de réussite (niveau 2) qui correspondent à la détermination des paramètres nécessaires à la synthèse intermédiaire. Les COC associées à cette étape sont:

o Les critères de réussite o Le poids de ces critères

o Les seuils de dicrimitation (indifférence, préférence) et les possibilités de de veto

− Etape 2.2 – Identification des indicateurs élémentaires (niveau 3) associés aux critères de réussite retenus à l'étape 2.1. Les COC associées à cette étape sont:

o Les indicateurs élémentaires

o Le poids de ces indicateurs élémentaires o La base de règles

− Etape 2.3 - Détermination des objectifs associés aux indicateurs élémentaires. Les COC associées à cette étape sont les objectifs de performance qui concerne la définition des situations de référence (cf. 3.2.3)

o Satisfaisante, o Idéale

o Plancher

Au cours de chacune de ces étapes la concertation porte sur les caractéristiques objet de la concertation (COC).

Avant de poursuivre la présentation du déroulement de la démarche de mise en place d’EPISSURE, il nous faut revenir sur le caractère incrémentale et itérative de cette démarche (cf. 2.4.2). Le caractère incrémental s’est traduit par le fait que les COC étaient discutées opération de synthèse par opération de synthèse. Les COC de l'étape 2.1 correspondaient à la synthèse intermédiaire (notée SI) quant aux COC des étapes 2.2 et 2.3, elles correspondaient à la synthèse opérationnelle (notée SO). Le caractère itératif s’est traduit par le fait que chaque réunion du groupe pouvait être l'occasion de retravailler des points précédemment vus (cf. 3.4 pour les conditions de retour sont précisées ci-après ). Le processus de concertation ainsi défini nécessite environ 4 réunions avec le groupe de travail. La figure n°7 ci- dessous indique le déroulement de principe de la concertation.

Figure 7 - Principe de la démarche de concertation

Le choix du caractère itératif résultait de la volonté de laisser la porte ouverte aux discussions, de permettre une maturation des sujets et enfin de permettre aux acteurs de s'approprier la démarche (le sujet de l'évaluation est nouveau pour un bon nombre d'acteurs cf. 3.1). Nous décrirons ci- après plus en détail ce processus (cf. 3.4).

3.3 Adaptation des outils de synthèse (Etape 1.2)

Cette étape doit permettre au facilitateur d’adapter les trois outils de synthèse aux particularités de chaque entreprise.

3.3.1 Synthèse Opérationnelle

a) Les adapations nécessaires concernent d’une part la façon dont l’échelle ordinale à 16 échelons est utilsée et d’autre part l’adapation de la base de règles. Positionnement de l'évaluation des indicateurs élémentaires sur l'échelle ordinale Rappelons que les indicateurs élémentaires pré-existent et que l’adaptation consiste ici à passer de la façon dont un projet est évalué initialement à son positionnement sur l’échelle à 16 échelons. Pour les indicateurs élémentaires s'exprimant sous forme numérique, chaque échelon est déterminé par une limite haute et une limite basse. Pour un indicateur à satisfaction croissante, la valeur de la limite basse correspond à la valeur qui doit être déterminée lors du processus de concertation (cf. 3.4.3 - Etape n° 2.3) et la limite haute correspond, par définition, à la limite basse de l’échelon supérieur. En conclusion, un projet (a) est positionné sur un échelon si son évaluation est comprise entre les deux limites définissant cet échelon.

Pour les indicateurs élémentaires s'exprimant sur une échelle verbale, le positionnement est effectué manuellement lors de la phase d'évaluation.

b) Adaptation de la base de règles

A partir des principes définis pour la base de règles (cf. 2.2), l’adaptation consiste à proposer une base de règles par défaut (cf. figure n 8). Elle permet de ne pas limiter l’évaluation au niveau 2 pour les très bonnes évaluations au niveau 1. Dans les autres cas, la base de règle

propose de limiter l’évaluation selon un même principe pour chaque évaluation au niveau .1. Cette base par défaut comprend deux règles qui la déterminent totalement :

− Si, sur l'ensemble des indicateurs élémentaires associés au critère, l'évaluation la plus faible du projet (a) est comprise entre E1 et E4, alors la valeur de l'évaluation du projet (a) sur le critère de réussite n'est pas bornée

− Dans les autres cas, si sur l'ensemble des indicateurs élémentaires associés au critère de réussite, l'évaluation la plus faible est égale à l'échelon Ej, alors la valeur de l'évaluation du critère est au mieux égale à l'échelon Ej-3.

Figure 8 - Base de règles par défaut

Avec les notations du 2.2.1, cela revient à poser Bj = Ej-3 pour j >4 3.3.2 Synthèse Intermédiaire : mise en œuvre d’ELECTRE TRI

Dans ce paragraphe, nous présentons les grandes lignes de l'adaptation d'ELECTRE TRI. Les données que prend en compte l'outil de synthèse sont les échelons d'évaluation associés à chaque critère de réussite durant une période donnée (notée j, en général l'année) pour un projet (aj qui par soucis de simplication sera noté a). Partant de ces données, l'outil est utilisé pour déterminer l'échelon le mieux justifié auquel il convient d’affecter chaque projet.

Pour effectuer la synthèse des critères de réussite, 4 profils limite ont été définis. Ces profils fixent les limites de chaque catégorie :

− "Projet dépassant largement ses objectifs"(E1),

− "Projet atteignant ses objectifs ou les dépassant légèrement" (E2), − "Projet en deçà de ses objectifs" (E3)

− "Projet n'atteignant clairement pas ses objectifs" (E4).

La détermination de ces profils repose sur une logique simple. Chaque catégorie regroupe 4 échelons de l'échelle utilisée pour les critères de réussite.

− La valeur du seuil de préférence faible fixé à 3 échelons.

Dans certains cas et pour certains critères, la valeur de ces deux seuils pourrait être fixée à 0. Le pouvoir de veto (lorsqu’il est retenu pour un critère) est déterminé par défaut de façon à empêcher l'évaluation sur les échelons :

− "Projet dépassant largement ses objectifs"(E1) si l'un des critères est évalué entre les échelons E13 et E16 ;

− "Projet atteignant ses objectifs ou les dépassant légèrement" (E2), si l'un des critères est évalué aux les échelons E15 ou E16 ;

− Aucun seuil de veto n'empêche l'évaluation sur les deux derniers échelons : "Projet en deçà de ses objectifs" (E3) et "Projet n'atteignant clairement pas ses objectifs" (E4).

3.3.3 Synthèse managériale

L’adaption a consisté à concevoir un graphique permettant de donner une vue d'ensemble de la performance des projets financés par une entreprise (ou une fondation d'entreprise). Pour cette vue, il a été nécessaire d’apporter un soin tout particulier aux composantes graphiques de cette vision de synthèse : forme et type du graphique, taille, couleur. Ces choix graphiques dépendaient du contexte et notamment des pratiques de reporting de l’organisation concernée. Ce soin vis-à-vis du graphisme est très proche des préoccupations des conceptions de Dashboard (Adam et Pomerol, 2002, p. 314).

Ce graphique consite à croiser le résultat de la synthèse intermédiaire avec l'importance en terme d'investissement de chacun des projets (cf. 3.2.2). Elle permet d'identifier le nombre de projets au croisement de ces deux axes. L'évaluation de l'importance de cet investissement est donnée par l'entreprise. La figure n°9 ci- dessous donne un exemple de cette vue.

Cette vue a pour objectif d'éclairer la décision des responsables de l'entreprise ou de la fondation en leur permettant d'identifier les projets sur lesquels, il est nécessaire de se pencher (ex: projets sur lesquels l'entreprise a beaucoup investi et qui n'atteignent clairement pas leurs objectifs). Une fois ces projets identifiés, il leur sera possible grâce à l'imbrication hiérarchique de préciser les critères à l'origine de cette évaluation puis les indicateurs élémentaires associés. Les acteurs ont alors tous les éléments pour piloter la performance des projets de mécénat financés par l'entreprise.

3.4 Déroulement de la concertation (Etape n°2)

3.4.1 Identification, formalisation et hiérarchisation des critères de réussite (Etape 2.1)

Les caractéristiques objet de la concertation (COC) associées à cette étape sont celles qui vont permettre la mise en œuvre de la synthèse intermédiaire. Ces COC correspondent aux paramètres nécessaires à la mise en œuvre d'ELECTRE TRI (cf. 2.3 et cf. 3.2.3) :

− COC SI n°1 : les critères de réussite − COC SI n°2 : le poids de ces critères

− COC SI n°3 : les seuils de discrimination et les pouvoirs de veto

Ces discussions se déroulent le plus souvent durant les deux premières réunions du groupe de travail.

a) Critères de réussite (COC SI n°1)

La détermination des critères de réussite (niveau 2) a fait l'objet de la première réunion du groupe de travail. Après une présentation générale de la démarche EPISSURE, le facilitateur a organisé la concertation. Il a posé, tout d’abord, la question suivante à l'ensemble des membres du groupe de travail : « De votre position et uniquement de votre position, indiquez ce qui constitue les critères de réussite de ce projet ? » ou autrement dit « Qu'est-ce qui de votre position, vous ferait dire à la fin de ce projet qu'il a été une réussite ? ». Cette nécessité de se positionner uniquement par rapport à son rôle a pour objectif de permettre à chaque acteur d'une part d'exprimer son point de vue et d'autre part de mieux comprendre celui des autres acteurs.

Un temps de réflexion a été laissé à chaque participant durant lequel il devait indiquer ses idées à l'aide d'un post-it (une idée écrite en caractère lisible par post-it) avec des couleurs différentes selon l'origine (fondation, entreprise, association en charge du projet et autre). À l'issue de ce temps de réflexion, chaque participant a exposé ses critères de réussite un par un. Le facilitateur les a regroupés par grandes catégories. Les seules questions autorisées durant cette phase de présentation, ont été les questions de compréhension.

Une fois que toutes les idées ont été exprimées, elles ont dû être regroupées voire reformulées. À ce stade de la discussion, chacun a pu exprimer un point de vue plus large que celui issu de sa propre position. La reformulation préconisée a été d'exprimer chacun des critères de réussite à l'aide d'un verbe d'action. Par exemple, ce projet est une réussite s'il est parvenu à « Renforcer la proximité des jeunes avec le monde du travail » ou « Améliorer les

restrictif mais il permet à chaque acteur de se positionner dans une logique d'évaluation d'impacts et non de moyens ce qui est en lien avec l'objectif de l'évaluation (cf. 3.2.1).

Durant cette phase, la parole est libre. Le facilitateur a veillé à ce que tout le monde s'exprime. En fin de cette phase, chaque groupe de travail des différents cas d’entreprise est parvenu à formaliser la première version des critères de réussite. Cette version a évolué au fil des discussions.

b) Poids des critères (COC SI n°2)

Avant le début de la discussion, le facilitateur a procédé à un rappel sur la signification des poids en termes de pouvoir de vote. La première question posée a été de savoir si les acteurs accordaient la même importance à tous les critères de réussite.

Si la réponse était non, une discussion était engagée pour déterminer les poids à l'aide de la méthode des cartes révisée de J.Simos (Figueira et Roy, 2002). Pour initier la discussion, le facilitateur a fourni une carte par critère, des cartes blanches. Il a demandé aux acteurs de classer les cartes des critères par ordre d'importance en précisant qu'il était possible de mettre des critères ex -aequo et d'intercaler une ou plusieurs cartes blanches dans le rangement. Il a expliqué que les cartes blanches devaient permettre de refléter l’écart plus ou moins grand qui sépare l’importante relative attribuée à deux critères consécutif dans l’ordre de rangement. Par défaut, tous les critères de réussite étaient mis sur un même niveau. Une fois un accord obtenu sur un classement, le facilitateur a demandé aux différents acteurs de déterminer une fourchette pour indiquer le ratio entre le critère le plus important et le moins important à l'aide de la question suivante « Indiquez un intervalle dans lequel doit être situé le rapport entre le poids du critère (nom du critère le plus important) et celui du critère (nom du critère le moins important) ».

Durant cette phase, la seule condition posée par le facilitateur a été d'aboutir à un accord sur le jeu de poids. En effet, il n'était pas envisagé de conserver plusieurs jeux de poids. Ce choix s'explique par l'objectif de l'évaluation (cf. 3.2.1) qui consiste à éclairer la décision de l'entreprise sur la suite à donner au projet. L’utilisation du logiciel SRF (Roy, Figueira, 1998) a permis de fixer un tel jeu de poids.

Signalons encore que durant ces discussions, il était fréquent que les acteurs reviennent sur les critères de réussite (définition et/ou formulation)

c) Seuils de discrimination et pouvoir de veto associé à chaque critère (COC SI n°3) Lors des deux premières cas, le facilitateur a proposé au groupe de travail de déterminer d'une part les seuils de discrimination (permettant de prendre en compte la mauvaise connaissance) et d'autre part les seuils de veto (permettant d'empêcher une bonne évaluation du projet si l'un des critères était mal évalué). Ces deux discussions (seuils de discrimination et veto) furent assez longues car les acteurs avaient du mal à comprendre les différents concepts associés à ces différentes notions. Il se peut que le fait d’avoir regroupé dans une même COC seuils de discrimination et seuil de veto, concepts qui jouent des rôles différents n’est pas facilité leur compréhension. Une fois ceci compris, l’essentiel de la discussion a porté sur la nécessité ou non de donner un pouvoir de véto aux différents critères de réussite. Dès le troisième cas, des valeurs par défaut ont été fixées pour les seuils de discrimination (cf. 3.3.2) et la discussion n'a eu lieu que sur la nécessité ou non de donner un pourvoir de veto aux différents critères. Signalons encore que durant ces discussions, il était fréquent que les acteurs reviennent sur les critères de réussite (défintion et/ou formulation) ainsi que sur les poids.

3.4.2 Lien entre indicateurs élémentaires aux critères de réussite (Etape 2.2) Les COC associées à cette étape sont celles qui vont permettre la mise en œuvre de la synthèse opérationnelle via la médiane pondérée sur base de règle. Ces caractéristiques COC correspondent en premier lieu aux choix des indicateurs élémentaires qui pour chaque critère doivent être prise en compte pour évaluer un projet sur ce critère et en second lieu aux valeurs qui doivent être attribuées aux paramètres nécessaires à la mise en œuvre de cette méthode :

− COC SO n°1 (Synthèse Opérationnelle) les indicateurs élémentaires − COC SO n°2 : le poids de ces indicateurs élémentaires

− COC SO n°3 : les règles de la base

Les discussions correspondantes se sont déroulées le plus souvent durant la troisième réunion du groupe de travail.

a) Indicateurs élémentaires (COC SO n°1)

Au fil des premières discussions, les associations ont fait part de leur crainte de voir alourdir leurs tâches de reporting. Même si elles avaient perçu l'intérêt de la démarche d'évaluation proposée, elles ne souhaitaient pas passer trop de temps sur leur reporting. Dès le deuxième cas en entreprise, le facilitateur a constaté que si les discussions sur les indicateurs élémentaires débutaient en se basant uniquement sur l'existant, les besoins, à quelques rares exceptions, étaient couverts. En outre, cette approche a offert plusieurs avantages. Premièrement, elle permettait de pouvoir débuter plus rapidement l'évaluation car il n'était pas nécessaire de définir et de mettre en place de nouveaux indicateurs. Deuxièmement, cela a permis d'avoir déjà une base pour la discussion sur les objectifs (cf. 3.4.3 - étape 2.3).

Le facilitateur a organisé la concertation de la façon suivante : « Sur le critère (nom du critère), quels sont les indicateurs existants qui pourraient être utilisés pour évaluer l'atteinte des objectifs sur ce critère de réussite ? ». Cette discussion sur les indicateurs élémentaires a bien souvent généré de nouvelles questions et discussions sur les critères de réussite. Ces dernières ont abouti soit à une reformulation ou bien souvent à la fusion de deux critères estimés finalement très proches lorsqu'on analysait les indicateurs élémentaires associés.

b) Poids des indicateurs élémentaires (COC SO n°2)

La première question posée a été de savoir si les acteurs accordaient tous la même importance à tous ces indicateurs. Contrairement aux poids des critères de réussite (cf. 3.4.1), les acteurs lors des différents cas se sont accordés sur une équi-pondération. Si tel n’avait pas été le cas, le facilitateur aurait utilisé la même méthode (cartes de J.Simos) et le même processus de concertation que pour le poids des critères de réussite (cf. 3.4.1).

Si les acteurs ont préféré une équi-pondération, c'est bien dans un objectif de simplicité. En effet, il leur semblait complexe d'avoir différents types de poids et la plupart d'entre eux s'y perdaient un peu.

c) Règles de la base (COC SO n°3)

Avant de débuter les discussions, le facilitateur a exposé, sur la base d’une exemple numérique, le principe de la médiane avec base de règles en expliquant notamment que ces règles permettaient de limiter l'évaluation sur un critère dans le cas où un indicateur a une évaluation suffisamment mauvaise alors que toutes les autres évaluations sont bonnes. À ce

sur la nécessité de mise en place d'une telle base de règles. La réponse a été positive dans tous les cas d’entreprise. Le facilitateur a proposé la base de règles par défaut (cf. 3.3.1). Dans tous les cas d’entreprise, ce fut cette base qui a été acceptée.

3.4.3 Détermination des objectifs associés aux indicateurs élémentaires (Etape 2.3)

Les COC associées à cette étape sont celles qui vont permettre de contractualiser les objectifs de performance sur chacun des indicateurs élémentaires. Ces COC concernent la correspondances qui doit être établie pour chaque indicateur élémentaire entre d’une part la façon initiale dont il sont utilisés pour évaluer les projets et d’autre part l’échelle E1 à E16 sur laquelle ils sont finalement positionnés. Rappelons (cf. 3.2.3) que cette correspondance fait intervenir trois situations de référence :

− (Satisfaisante, Idéale, et Plancher) qui fixent la signfication attribuée respectivement aux échelons E8, E1 et E16 en relation avec les objectifs.

Les discussions correspondantes se sont déroulées le plus souvent durant la quatrième et dernière réunion du groupe de travail. Pour l'un des cas en entreprise, elle a nécessité la tenue d'une cinquième réunion. Le processus de concertation dépend du type d'indicateur élémentaire, il est décrit ci-après. Ces discussions sur la détermination des objectifs ont bien souvent généré de nouvelles questions et discussions sur les indicateurs élémentaires voire les critères associés. Ces discussions ont pu aboutir à la modification des indicateurs élémentaires (ajout d’un indicateur, fusion de deux indicateur, suppression d’un indicateur) voire à la modification du critère de réussite associé (reformulation de l’intitulé, fusion de deux critères estimés finalement proches).

a) Processus de concertation dans le cas d'un indicateur élémentaire s'exprimant initialement sous une forme numérique

Le facilitateur a demandé aux acteurs du groupe de travail au moins trois valeurs numériques de référence en posant les trois questions suivantes dans cet ordre :

− quelle est selon vous, la valeur cible à atteindre d'ici un an pour que vous considériez que, du seul point de vue de cet indicateur, le projet soit considéré comme une réussite ? (détermination de la valeur qui fixe la signification de l'échelon E8)

− À partir de quelle valeur, selon vous, vous pourriez considérer que le projet, du seul point de vue de cet indicateur, est un succès au delà de toutes espérances ? (détermination de la valeur qui fixe la signification de l'échelon E1)

− En deçà de quelle valeur, selon vous, vous pourriez considérer que le projet, du seul point de vue de cet indicateur, est un échec complet ? (détermination de la valeur qui fixe la signification de l'échelon E16)

Pour chacune de ces questions, la réponse a d'abord été donnée par les acteurs qui ont été à l'origine de la proposition de l'indicateur élémentaire. Puis, la discussion a été ouverte à tous jusqu'à ce qu'un accord soit trouvé. Sur tous les indicateurs élémentaires issus des sept cas en entreprise, un consensus a été trouvé rapidement sur ces objectifs de performace. La

principale raison évoquée par les acteurs est que cette discussion sur les objectifs de performance a lieu en fin du processus. Les acteurs se connaissent bien et peuvent ainsi discuter de façon constructive. Par exemple, pour un indicateur destiné à suivre le nombre de jeunes à former, la figure n°10 ci- dessous donne une illustration du résultat obtenu.

Figure 10 – Détermination des objectifs de performance pour les indicateurs élémentaires

Une fois l'accord trouvé sur les trois valeurs de référence, les valeurs correspondantes aux autres échelons sont calculées par interpolation linéaire. Le facilitateur a présenté le résultat et a demandé aux acteurs du groupe de travail si les valeurs ainsi calculées pour les échelons (E2, ..., E7, E9, E10, ... E15) leur conviennent. En reprenant notre exemple, la figure n°11 illustre ce que présente le facilitateur.

Figure 11 – Valeur des objectifs de performance sur la base de trois valeurs déterminées par les acteurs du processus d’évaluation

Dans les cas où cette proposition n'a pas été validée par le groupe de travail, les acteurs ont pu choisir de fixer d'autres valeurs de référence pour d'autres échelons (en plus des échelons E1, E8 et E16). Un nouveau calcul par interpolation linéaire est alors mené pour déterminer la valeur des échelons entre les valeurs de référence. Toujours dans le même exemple, la figure n°12 illustre le cas où la valeur correspondant à l'échelon E4 a été choisie comme référence.

Figure 12 - Valeur des objectifs de performance sur la base de quatre valeurs déterminées par les acteurs du processus d’évaluation

b) Processus de concertation dans le cas d'un indicateur élémentaire s'exprimant initialement sous une forme verbale

La procédure suivie est le même si ce n'est que les différents échelons de l’échelle sont décrits grâce à des définitions précises. Le facilitateur a dans un premier temps demandé aux acteurs du groupe de travail qu'ils décrivent précisément les échelons correspondant aux situations de référence (satisfaisante, idéale et plancher). Dans un deuxième temps, le facilitateur a demandé la description d'au moins deux échelons supplémentaires (cf. illustrations en figures n°13 et n°14).