Cette section aborde à présent la question de l’évaluation de l’impact social sur le plan théorique. D’après les définitions de l’évaluation de l’impact social abordées dans la section précédente et les enjeux qui y sont associés par les acteurs, l’évaluation de l’impact social peut être considérée comme la mesure de la performance par les résultats des organisations à but non lucratif.
Dans un premier temps, nous aborderons la question de la mesure de la performance par les résultats dans les organisations de façon générale, et montrerons en quoi elle est difficile à mettre en place dans les organisations à but non lucratif (1.). Puis, dans un deuxième temps, nous mettrons en évidence les enjeux et les solutions relatifs à la mesure de la performance par les résultats des organisations à but non lucratif proposés par la littérature (2.).
1. Mesure de la performance par les résultats et organisations à but non lucratif (OBNL): une équation impossible ?
La mesure de la performance par les résultats est une pratique courante au sein des organisations, et constitue même le cœur des pratiques de contrôle. Après avoir décrit de façon schématique son fonctionnement classique et ses enjeux (1.1.), nous verrons qu’elle suppose des conditions que les organisations à but non lucratif ne remplissent pas (1.2.).
57 Nous ne classons pas ce domaine dans le secteur public : bien que l’aide au développement soit historiquement
une politique publique, avec des actions mises en place de façon directe par les agences publiques ou en finançant des organisations à but non lucratif, les programmes de développement sont financés de manière croissante par des fonds privés.
théorique
70
Néanmoins, nous observons que la mesure des résultats des activités à but non lucratif est considérée comme l’axe le plus pertinent de la mesure de la performance des organisations à but non lucratif (1.3.).
1.1. La mesure de la performance au sein des organisations : rôle et fonctionnement
La mesure de la performance est un élément central du contrôle dans les organisations. Elle se matérialise en général sous la forme de multiples outils reliés entre eux qui forment un système. On parle alors de « systèmes de mesure de la performance » (« performance
measurement systems » en anglais) (Chenhall, Hall, & Smith, 2017; Otley, 1999; Simons,
2013).
En effet, la mesure de la performance est conçue de façon pyramidale et hiérarchique, correspondant en général à la structure hiérarchique des organisations : un objectif (ou éventuellement plusieurs) général de l’organisation est déclinée en sous-objectifs qui incombent à différentes entités à l’intérieur des organisations, qui sont tenus de les atteindre. Ces sous-objectifs peuvent être eux-mêmes divisés en objectifs de troisième niveau et ainsi de suite. La mesure de la performance a alors pour but de vérifier à chacun des niveaux si les objectifs alloués à chaque entité sont atteints. L’avantage de cette logique est de réduire la complexité au sommet, puisque seuls les indicateurs de mesure de performance sont contrôlés (délai, marge, etc.) (Burlaud & Simon, 2006). L’organisation est vue comme une structure plutôt décentralisée, composée de différents centres dits de responsabilité, ayant des transactions formalisés entre eux. Il s’agit alors d’un management « par objectifs » : des objectifs sont fixés aux différentes entités, et c’est l’atteinte de ces objectifs, c’est-à-dire les résultats, qui font l’objet du contrôle par les dirigeants (Burlaud & Simon, 2006).
Si la mesure de la performance révèle que les résultats sont en-deçà des objectifs, il convient alors d’apporter des corrections de façon à ce que les résultats s’améliorent. Cette logique correspond au modèle cybernétique58. Burlaud et Simon (2006) s’appuient sur le processus d’un pilote d’avion pour décrire ce fonctionnement. Le pilote dispose en permanence des informations pertinentes pour les prises de décision qui lui incombent (modification de la
58 Le modèle cybernétique est celui du fonctionnement d’un thermostat : une température cible est décidée, la
température réelle est mesurée, puis un flux d’air chaud ou froid est lancé si un écart existe entre l’objectif de température et la température réelle, afin de rapprocher la réalité de l’objectif (Hofstede, 1981).
théorique
71
trajectoire, etc.). Les « tableaux de bord » (Bessire & Baker, 2005), dont le célèbre balanced
scorecard (Kaplan & Norton, 1992), correspondent parfaitement à cette logique (Méric, 2003;
Ponssard & Saulpic, 2000).
1.2. Le contrôle par les résultats suppose des conditions non remplies par les activités à but non lucratif
Plusieurs travaux ont montré que la mise en place d’un système de contrôle axé sur les résultats suivant le modèle cybernétique que nous venons de décrire suppose des conditions particulières. Hofstede (1981) distingue quatre conditions : absence d’ambiguïté des objectifs de l’organisation, possibilité de mesurer les outputs de l’activité, connaissance des effets des interventions managériales, dimension répétitive de l’activité. De la même façon, Ouchi (1977) et Merchant (1981) proposent une typologie de contrôle à partir de deux critères : la possibilité de mesurer les résultats et la connaissance du processus de transformation des inputs en outputs.
Or les activités des OBNL ne remplissent pas ces conditions en général, comme le souligne notamment Hofstede (1981). Premièrement, les organisations à but non lucratif présentent la particularité d’avoir des objectifs multiples et souvent ambigus. Hofstede (1981) explique que les acteurs concernés par l’activité à but non lucratif ont souvent des visions différentes de l’objectif d’une activité, qu’il est difficile d’établir un lien entre les moyens et fins et donc de décliner un objectif global en objectif plus spécifique, et que des changements rapides dans l’environnement rendent certains objectifs caducs mais maintenus malgré tout par les organisations. Deuxièmement, les outputs des activités à but non lucratif sont difficilement mesurables, car ils sont souvent qualitatifs et vagues. Troisièmement, les interventions sont particulièrement incertaines dans les activités à but non lucratif. Hofstede (1981) donne ainsi l’exemple du secteur de l’éducation, où le lien entre les interventions de dirigeants éducatifs et l’apprentissage des élèves est difficile à identifier. Il souligne aussi qu’il n’est pas possible d’identifier un pourcentage de risque que l’effet ne se produise pas. Quatrièmement, l’activité n’est pas toujours répétitive dans les organisations à but non lucratif (Hofstede, 1981).
Comme le mentionne Hofstede (1981), il convient de souligner que le non-respect de ces différentes conditions ne concerne pas uniquement les activités du tiers secteur : l’action publique se retrouve également dans ce cas de figure, pointant ainsi les limites de la gestion
théorique
72
axée sur les résultats dans ce secteur (Biondi et al., 2008), ou encore les services fonctionnels au sein des entreprises (Malleret, 1998).
Pour contrôler leur activité, les organisations à but non lucratif s’appuient sur d’autres types de « mécanismes » de contrôle : un contrôle par les comportements, un contrôle par le clan (Ouchi, 1977), ou encore un contrôle politique (Hofstede, 1981).
1.3. La mesure de la performance des organisations à but non lucratif : la volonté d’évaluer les résultats
Malgré l’impossibilité soulignée par les auteurs que nous venons de mentionner, il est frappant de constater que les acteurs du secteur à but non lucratif cherchent à mesurer la performance par les résultats.
Plusieurs auteurs soulignent que la mesure de la performance des activités et organisations à but non lucratif est devenue un sujet important au cours des dernières années (Herman & Renz, 2008; Paton, 2003). Historiquement, ce sont d’abord des outils financiers qui ont émergé pour y répondre. Ces outils correspondent à des indicateurs financiers qui s’inscrivent souvent dans le cadre de normes légales visant à réguler et contrôler le secteur (Connolly, Hyndman, & McConville, 2013; Cordery & Baskerville, 2007; Froelich, Knoepfle, & Pollak, 2000; Nezhina & Brudney, 2010). Parmi les ratios existants, on peut citer notamment la part des frais administratifs dans le total des dépenses ou encore les coûts de collecte de dons rapportés à l’ensemble des dons collectés ; ils ont fait l’objet de travaux spécifiques qui soulignent leur intérêt, mais parfois aussi leurs effets pervers dans certaines situations où ils guident les décisions des OBNL ou de leurs financeurs (Frumkin & Kim, 2001; Steinberg & Morris, 2010; Trussel, 2003). De façon plus globale, Tuckman et Chang (1991) ont construit un outil permettant de mesurer le degré de vulnérabilité financière des OBNL, qui a été appliqué à des organisations particulières (Hager, 2001).
Cependant, de nombreux auteurs soulignent que ces outils sont largement insuffisants pour mesurer de façon satisfaisante la performance des OBNL. D’une part, la critique porte sur le fait que les outils et cadres de mesure de la performance conçues pour les organisations lucratives ne peuvent s’appliquer tels quels pour les organisations à but non lucratif du fait des objectifs spécifiques qu’elles poursuivent (Paton, 2003; Speckbacher, 2003). Plusieurs chercheurs préconisent de développer des critères non financiers pour mesurer la performance
théorique
73
de ces organisations (K. R. Jones & Mucha, 2014; Rahman & Hussain, 2012). D’autre part, il parait plus pertinent de mesurer la performance de ces organisations en évaluant les effets sociaux sur les parties prenantes (Baruch & Ramalho, 2006). Selon Mitchell (2013), cette conception est exprimée par les dirigeants des OBNL qui considèrent que l'efficacité de leur organisation correspond aux résultats de leur activité (« outcomes ») plutôt qu’à la minimisation des frais administratifs. Ainsi, la mesure de la performance des OBNL doit être centrée sur les effets et changements produits par les organisations sur la société dans la mesure où il s’agit de la finalité principale de ces organisations (Herman & Renz, 1997).
2. La mesure de la performance par les résultats des organisations à but non lucratif (OBNL) : enjeux et solutions avancées par la littérature
Bien qu’elle soulève de nombreuses difficultés, la mesure de la performance par les résultats des organisations à but non lucratif est pourtant recherchée par les acteurs. Nous allons exposer à présent les enjeux et les solutions proposés par les travaux de recherche s’étant intéressé à cette question.
Si différentes notions sont utilisées pour désigner les « résultats » mesurés, comme « blended
value » (Emerson, 2003; A. Nicholls, 2009), ou « utilité sociale » en français (Duclos, 2007;
Gadrey, 2006), les termes d’« impact » et d’« impact social » semblent s’être imposés dans les publications académiques au cours des dernières années pour désigner cette performance axée sur les résultats (Arvidson & Lyon, 2014; Barraket & Yousefpour, 2013; Ebrahim & Rangan, 2010; Maas & Liket, 2011; Stievenart & Pache, 2014), à la suite du terme utilisé par les praticiens et les acteurs institutionnels (Clark et al., 2004; CSESS, 2012; Wainwright, 2002). Dans un premier temps, nous allons aborder les enjeux autour des raisons et usages de la mesure de la performance (2.1.), puis nous traiterons de la question des outils de mesure de la performance (2.2.) avant de mettre en avant les travaux qui ont cherché à articuler ces deux aspects (2.3.).
2.1. Raisons et usages de la mesure de la performance des organisations à but non lucratif
Après avoir exposé les différentes raisons soulignées par la littérature pour lesquelles les organisations à but non lucratif mesurent leur performance (2.1.1.), nous présenterons les
théorique
74
travaux qui mettent en avant la prédominance de l’ « accountability » vis-à-vis des financeurs parmi les différentes raisons (2.1.2.). Nous verrons enfin les facteurs proposés par la littérature pour élargir les usages de la mesure de la performance (2.1.3.)
2.1.1. Pourquoi mesurer la performance des organisations à but non lucratif ?
Les raisons pour lesquelles les organisations cherchent à mesurer leur performance sont multiples et dépendent du contexte particulier de l’organisation (Cook, Vansant, Stewart, & Adrian, 1995), mais on peut schématiquement distinguer des raisons externes d’une part et des raisons internes d’autre part.
Les raisons externes couvrent le fait que la mesure de la performance est considérée comme une information significative pour les relations entre l’organisation et ses parties prenantes. Parmi les parties prenantes, il s’agit notamment des acteurs permettant à l’organisation d’exister, notamment les financeurs (Ebrahim, 2003), à la fois pour répondre à leurs demandes dans une logique d’ « accountability » (Edwards & Hulme, 1995) mais aussi pour
promouvoir l’organisation de façon plus large au sein de l’espace public (Carman & Fredericks, 2008). MacIndoe et Barman (2013) montrent qu’une influence importante des financeurs conduit les dirigeants des OBNL à consacrer plus de moyens à la mesure des résultats que dans les OBNL où cette influence est moins importante. Au-delà des financeurs, la mesure de la performance est également un élément important dans le cadre de relations avec d’autres parties prenantes, comme les clients ou les bénéficiaires des OBNL (Carman & Fredericks, 2008).
Quant aux raisons internes, il s’agit de la réponse à des enjeux propres à l’organisation : un outil de management stratégique (Carman & Fredericks, 2008) ou une source d’information au service de l’amélioration de l’action et de l’apprentissage (Ebrahim, 2003). Le processus d’évaluation de la performance peut également être un instrument de réflexion en interne autour des valeurs et de l’identité de l’organisation (Bouchard, 2004) voire une distraction (Carman & Fredericks, 2008).
2.1.2. L’accountability vis-à-vis des financeurs est la raison dominante dans les faits
Dans les faits, beaucoup de travaux soulignent que la mesure de la performance est surtout utilisée à des fins externes, et notamment pour rendre compte aux financeurs actuels (Campos, Andion, Serva, Rossetto, & Assumpção, 2011; Costa, Ramus, & Andreaus, 2011; Ebrahim,
théorique
75
2003, 2005; Moxham, 2013), pour lesquels l’exigence d’accountability est devenue de plus en plus forte au cours des dernières années (Carman, 2010). La mesure de la performance est également utilisée pour attirer de nouveaux financeurs, mais assez peu comme un instrument d’autoréflexion et d’apprentissage (Campos et al., 2011). Or le fait de ne mesurer la performance que pour les financeurs comporte des risques, à commencer par celui d’oublier d’autres parties prenantes qui jouent un rôle tout aussi important, comme les salariés, bénévoles et les bénéficiaires (Costa et al., 2011). Par ailleurs, une mesure de la performance pour certaines parties prenantes ne correspond qu’à la performance de leur point de vue, laissant de côté ainsi des aspects plus larges que les OBNL risquent d’oublier si elles ne les mesurent pas, ce qui pourrait mettre en péril l’accomplissement de leur mission (O’Dwyer & Unerman, 2008). Chemin et Gilbert (2010) remarquent également que le fait de n’utiliser que des outils d’évaluation imposés par les financeurs occulte d’autres dimensions de la performance de l’organisation.
2.1.3. Facteurs permettant l’élargissement des usages
Face à cette observation, quelques travaux identifient les facteurs permettant de réduire la pression des financeurs et d’élargir l’usage de la mesure de la performance. Ainsi, la participation des financeurs à l’activité des OBNL est un élément susceptible de diminuer la pression en terme de mesure de la performance (Costa et al., 2011). Ebrahim et Rangan (2014) proposent quant à eux que les OBNL ne s’occupent que d’une partie de la mesure de leur performance, les effets de plus long terme devant être mesurés par les financeurs eux- mêmes, étant donné les difficultés techniques de ces mesures. Plus globalement, le rôle du management des OBNL est souligné comme un élément déterminant permettant d’optimiser l’utilisation de la mesure de la performance. Alaimo (2008) insiste sur l’importance du pilotage tout au long du processus de l’évaluation de la performance par un manager. En prenant en compte les différentes demandes externes et le contexte organisationnel, en décidant des aspects prioritaires à mesurer et en ayant la préoccupation des différents usages, la mesure de la performance a plus de chances d’être pleinement utilisée au sein de l’organisation. Pour que l’évaluation de la performance soit un instrument au service de l’apprentissage organisationnel, Hoole et Patterson (2008) montrent que le leadership de l’organisation est un élément déterminant. Dans une perspective de plus long terme, l’enjeu est de créer des conditions favorables à l’évaluation systématique de la performance (Alaimo,
théorique
76
2008), passant ainsi d’un outil de reporting mécanique à un processus d’apprentissage organisationnel reconnu (Hoole & Patterson, 2008).
2.2. Les outils de mesure de la performance par les résultats des organisations à but non lucratif
Nous allons aborder à présenter la question des outils de mesure de la performance des organisations à but non lucratif. Dans un premier temps, nous présentons les constats et analyses de travaux académiques relatifs à la multiplication d’outils (2.2.1.), puis les limites des outils existants que la littérature met en avant (2.2.2.). Enfin, nous mettons en lumière les solutions pour dépasser ces limites que proposent certains articles de recherche (2.2.3.).
2.2.1. Une multiplication d’outils
Comme nous l’avons souligné précédemment, de nombreux chercheurs ont depuis longtemps souligné les difficultés de la mesure des résultats des organisations à but non lucratif : en effet, contrairement à la plupart des activités lucratives, les résultats sont très souvent intangibles (Hofstede, 1981) et les objectifs ambigus (Hofstede, 1981; Kanter & Summers, 1987). Dans cette perspective, la mesure des résultats n’a rien d’évident. Si l’aspect multidimensionnel de cette performance fait l’objet d’un large consensus parmi l’ensemble des travaux académiques (Bagnoli & Megali, 2011; Bouchard, 2004; Forbes, 1998; Kendall & Knapp, 2000; Lecy, Schmitz, & Swedlund, 2012), un grand nombre d’outils et méthodes de mesure d’impact social spécifiques aux activités et organisations à but non lucratif ont fait leur apparition au cours des dernières années pour permettre aux acteurs de mesurer cette performance (Cordery & Sinclair, 2013).
Malgré leur hétérogénéité apparente et le manque de consensus sur les meilleurs outils d’évaluation de la performance (Maas & Liket, 2011), on peut considérer que la plupart des outils s’appuient plus ou moins explicitement sur une modélisation de l’activité sociale appelée « théorie du changement » (Weiss, 1972). Il s’agit du raisonnement suivant : une organisation (mais aussi un programme ou un projet spécifique) mobilise des ressources (« inputs ») pour accomplir une série d’activités qui génèrent des réalisations directes mesurables en terme de volume d’activité (« outputs ») et ont des effets bénéfiques et des résultats (« outcomes ») qui sont des changements sur des individus ou des groupes d’individus (Carman, 2010; McLaughlin & Jordan, 2010). Ainsi, si l’on prend l’exemple
théorique
77
d’une action de formation, les inputs sont l’ensemble du budget mais aussi des différentes contributions en nature éventuelles, les outputs correspondent au nombre de personnes formées et le nombre d’heures de formation et les outcomes englobent l’acquisition effective par les personnes formées de connaissances et de compétences correspondant aux objectifs de la formation. Certains rapports distinguent également la notion d’ « impact », définie soit comme la part des effets réellement dus à l’action (Clark et al., 2004), soit comme les effets sur la société à plus long terme (Wainwright, 2002). Ce modèle logique est considéré par certains outils et procédés comme l’une des étapes préalables qu’il convient de suivre pour mesurer la performance des OBNL. Il sert également de cadre structurant pour des travaux de recensement ou de classification des outils et procédés existants (Stievenart & Pache, 2014). Ainsi, en partant de l’hypothèse que ce modèle logique est déterminé en amont, les outcomes et l’impact identifiés pour une OBNL correspondent aux objectifs et donc à la finalité de son action. Les outils de mesure de la performance ont alors pour but de vérifier dans quelle mesure les résultats escomptés se produisent dans les faits (Clark et al., 2004).
2.2.2. Critiques et limites soulevées par les outils
Malgré les outils existants de mesure de la performance et les prescriptions en termes de « bonnes » mesures de la performance, plusieurs chercheurs constatent que les faits diffèrent de ces prescriptions. Ainsi, Ormiston et Seymour (2011) soulignent un « paradoxe » dans l’évaluation de la mission des OBNL : ils constatent que les entreprises sociales étudiées mesurent la performance de leur activité en mesurant la croissance du nombre de bénéficiaires plutôt qu’en vérifiant l’accomplissement de leur mission. Kanter et Summers (1987) estiment que les OBNL sont confrontées à un « dilemme » lorsqu’elles cherchent à mesurer leur performance. Plusieurs raisons sont avancées pour expliquer ce dilemme, pointant notamment les limites des outils évoqués précédemment et les défis spécifiques de la mesure de la performance des OBNL.
La première difficulté tient au fait que les objectifs que cherchent à atteindre une OBNL ne sont pas toujours évidents à identifier ou à déterminer de façon précise (Kanter & Summers, 1987). Dart (2010) montre que l’objectif principal visé par les OBNL ne dépend pas de leur champ d’action (l’environnement dans son exemple) mais de la façon dont elles conçoivent leur action. Kanter et Summers (1987) expliquent que les OBNL définissent volontairement une mission et des objectifs très larges pour attirer et fidéliser les donateurs, mais que la