Seconde partie Partie « empirique »
Section 1. Les pôles de compétitivité comme terrain d’étude pertinent
4.2.1. Collecte des données de l’étude exploratoire : les indicateurs spécifiques de performance des pôles de compétitivité
L’étude exploratoire que nous avons choisi de mener sur les indicateurs de performance des pôles de compétitivité s’articule autour du questionnement suivant : Comment les pôles évaluent-ils leur performance ? En d’autres termes, quels indicateurs sont utilisés par les pôles pour évaluer leur performance ? Peut-on alors dégager quelques grands axes d’évaluation (dimensions) de la performance des pôles ?
Le choix d’axer notre travail exploratoire sur les indicateurs de performance repose à la fois sur le postulat théorique qu’analyser la façon dont une organisation s’évalue (par le biais de ses indicateurs de performance par exemple) permet de mieux comprendre les modèles sous-jacents qui la guident (Cameron et Whetten, 1983 ; Venkatraman et Ramanujam, 1986) et sur le constat empirique que beaucoup de pôles de compétitivité rencontrent de grandes difficultés en la matière. Ce point est en effet ressorti assez nettement à la fois de l’entretien exploratoire mené avec le pôle Astech et des entretiens informels menés au préalable, mais il s’est également trouvé confirmé par une enquête complémentaire à l’étude, présentée en Annexe 8110. La réalisation de cette étude nous permet donc d’enrichir notre connaissance empirique de la notion de performance des pôles. Mais elle a également vocation à constituer un véritable outil mis à la disposition des pôles de compétitivité et ainsi nous faciliter l’accès au terrain. Ce point est essentiel, car il a conditionné l’ensemble du travail. Au total, les objectifs ainsi poursuivi peuvent être résumés comme suit :
- faire un état des lieux sur les indicateurs de performance spécifiques utilisés par les pôles de compétitivité111,
- analyser l’ensemble de ces indicateurs individuellement (notamment en termes d’avantages et de limites)
- les confronter avec la littérature (points communs et différences avec les indicateurs utilisés par d’autres formes de réseaux, indicateurs conseillés par certains chercheurs ou praticiens, etc.)
- et ainsi, initier un thésaurus commenté d’indicateurs spécifiques, à destination et au service des gouvernances des pôles de compétitivité, dans une optique d’échange de bonnes pratiques et d’enrichissement des connaissances.
110 Cette enquête, complémentaire à l’étude exploratoire a été réalisée dans le but d’étudier les raisons qui ont poussé certains
pôles à ne pas indiquer à la DGCIS d’indicateurs spécifiques (volonté effective ?, absence d’indicateurs spécifiques ?, difficulté à les choisir ? ou à les formaliser ?...).
111 Dans un souci didactique, l’ensemble des indicateurs, classés selon les dimensions (et sous-dimensions) auxquelles ils
appartiennent, ont également été représentés sous la forme d’un mindmapping (cf. Annexe 7). Celui-ci propose ainsi une représentation claire et synthétique de l’ensemble des indicateurs de l’étude.
Dans le cadre de ce travail doctoral, nous ne rentrerons pas dans l’analyse individuelle en profondeur des nombreux indicateurs étudiés (la Figure 26 en présente toutefois un court extrait112). Pour ceci, nous renvoyons en effet le lecteur vers la version complète de notre étude, publiée par la DGCIS (174 p.)113. En revanche, après avoir présenté le recueil des données et les processus d’analyse mis en œuvre, nous présenterons les résultats agrégés de cette étude (dimensions de la performance dégagées lors de l’analyse des indicateurs et principales caractéristiques de ces dimensions). En effet, ces considérations permettent d’éclairer l’approche mise en place par les gouvernances en matière d’évaluation de la performance et plus particulièrement les types d’indicateurs effectivement retenus en pratique.
112 Les résultats y sont différenciés de la discussion par la présence d’une bande bleue verticale et de l’utilisation d’une
police différente (italiques).
113 LALLEMAND A.-S. (2012), Etude des indicateurs spécifiques de performance des pôles de compétitivité, Paris, 174 p.,
Figure 26 : Extrait de l'étude réalisée dans le cadre du travail exploratoire (Source : Lallemand, 2012)
Le recueil des données a été effectué par la DGCIS dans le cadre de son enquête annuelle auprès des pôles de compétitivité. Cette enquête a pour objectif la construction de tableaux de bord statistiques, qui permettent au GTI (Groupe de Travail Interministériel) d’assurer le suivi et l’évaluation de la politique publique des pôles de compétitivité. À cette fin, l’enquête interroge les pôles de compétitivité sur
les indicateurs communs exigés par les pouvoirs publics114. Mais une partie de l’enquête est également dévolue aux indicateurs spécifiques. Les pôles ont ainsi été invités à transmettre à la DGCIS la liste des indicateurs spécifiques qu’ils ont choisis ainsi que les objectifs qui y sont attachés115. Le processus de collecte systématique de données de la DGCIS a permis d’inclure de nombreux pôles dans l’étude. L’enquête menée par la DGCIS concerne en effet 61 des 71 pôles de compétitivité français116. Cependant, les pôles étant seulement « invités » à mentionner leurs indicateurs spécifiques, tous ne les ont pas fournis. Les raisons expliquant ce choix ont fait l’objet d’une courte étude supplémentaire présentée en annexe (cf. Annexe 8). L’étude porte sur les 33 pôles qui ont renseigné des indicateurs spécifiques dans l’enquête annuelle 2010 de la DGCIS117. Ce chiffre aurait été extrêmement difficile à atteindre par un autre biais, la légitimité (et l’autorité ?) de la DGCIS ont ici joué un rôle essentiel.
Les pôles de compétitivité ont transmis entre 2 et 86 indicateurs chacun, pour un total de 728 indicateurs « spécifiques ». Cependant, il est également apparu au cours de l’analyse que des indicateurs présentés comme spécifiques correspondent en réalité à certains des indicateurs exigés par les pouvoirs publics (indicateurs « communs »118). En tant qu’indicateurs « communs » repris ou reformulés119, ces indicateurs engendrent un biais dans l’analyse des indicateurs réellement spécifiques. C’est la raison pour laquelle un retraitement des données a été effectué. Les 728 indicateurs réunis ont ainsi été comparés à la liste des indicateurs communs fournie par la DGCIS (Annexe 9). Seuls les indicateurs communs et les indicateurs ayant exactement la
114 L’Annexe 9 présente les indicateurs communs, utilisés par la DGCIS dans son étude 2010.
115 En effet, contrairement aux indicateurs communs qui ne comportent pas d’objectifs chiffrés, les indicateurs spécifiques
sont censés prévoir des objectifs à atteindre, et ce pour chaque indicateur.
116 Les six pôles délabellisés par le CIADT du 11 mai 2010 (Enfant, Génie civil, MTA, Innoviandes, Prod’Innov et Sporaltec)
n’ont pas été inclus dans l’enquête, tout comme les 6 pôles nouvellement labellisés à cette occasion (Eau, Dream, Avenia,
Team2 et Energivie), du fait de leur extrême jeunesse et donc du manque de structuration et de recul nécessaires. Enfin, les
données de quatre pôles sont manquantes.
117 A la demande expresse de la DGCIS, et en accord avec le contrat de confidentialité que nous avons signé, les données ont
été anonymisées.
118 Une présentation des indicateurs communs est effectuée en Annexe 9.
119 Seuls les libellés ayant exactement le même sens que les indicateurs communs ont été écartés de l’analyse. Par exemple,
l’indicateur « Nombre de nouvelles formations mises en place suite à une action explicite du Pôle durant l'année » qui correspond à l’indicateur commun « Nombre de formations mises en place suite à une demande explicite du pôle » a été écarté, les « actions » correspondant, dans le cas présent, à une demande explicite.
même signification que les indicateurs communs ont été écartés de l’analyse. Le retraitement des données (i.e. la suppression des indicateurs spécifiques correspondant à des indicateurs communs) a conduit à écarter plus de la moitié des indicateurs (403 indicateurs). Ce chiffre, particulièrement élevé, constitue, selon nous, un premier indice de la présence de pressions institutionnelles. En effet, la presque totalité des pôles (29 sur 32) ayant renseigné des indicateurs dits « spécifiques » a repris un ou plusieurs indicateurs communs au sein de leurs indicateurs « spécifiques ». En moyenne, chaque pôle a repris presque 10 indicateurs communs (9,91), ce qui représente, toujours en moyenne, une variation du nombre d’indicateurs de presque 40% (38,6%). Ces moyennes cachent toutefois de grandes disparités. En effet, les deux tiers des pôles concernés n’ont repris que 8 indicateurs ou moins et le nombre d’indicateurs repris varie entre 7 et 90, voire 100% des indicateurs spécifiques. Par ailleurs, la dimension impact perd ainsi 14 indicateurs (elle en comprend 15 après retraitement) et l’entrepreneuriat 15 (elle disparaît complètement après retraitement). Les raisons et/ou les pressions à l’origine de ce constat seront analysées dans la phase principale de l’étude.
L’analyse porte donc sur les 325 indicateurs que l’on peut qualifier de « véritablement spécifiques ». Le retraitement des données a également conduit à écarter quatre pôles de l’analyse ; ces derniers n’ayant, après retraitement, plus aucun indicateur véritablement spécifique. Notre étude porte donc sur 29 pôles, soit 40,8% des pôles de compétitivité français. Malgré le caractère facultatif des indicateurs spécifiques, on observe un taux de réponse de 47%. La position et la légitimité de la DGCIS d’une part, mais également le fait qu’indicateurs communs (obligatoires) et spécifiques (facultatifs mais conseillés) soient interrogés au sein de la même étude, explique certainement ce chiffre élevé. Ainsi, si les non-réponses nous contraignent à baser notre analyse sur un échantillon qui n’a pas été déterminé selon des règles statistiques, son étude reste très intéressante dans la mesure où elle concerne une proportion importante de la population totale, et ce, pour une question jugée confidentielle et donc très difficile d’accès. Cette démarche, originale, repose donc sur la richesse du matériau mis à disposition par la DGCIS. Notons, que le fait que le questionnaire ait été demandé et administré par la DGCIS, qui participe à l’évaluation
des pôles, doit être pris en considération. Ainsi des pôles120 nous ont confié avoir retenu les indicateurs spécifiques qu’ils étaient sûrs de pouvoir documenter, et avoir conservé en interne les indicateurs les plus cruciaux pour eux, c’est-à-dire ceux qu’ils n’étaient pas sûrs de remplir, mais qui étaient en résonance avec leurs véritables objectifs. La DGCIS exerçant un pouvoir de tutelle, ils ont jugé « risqué » de présenter des indicateurs qu’ils ne sont pas certains de pouvoir compléter, dans la mesure où ceux-ci pourraient leur être plus tard opposés (par exemple dans les choix d’attribution de financements de projets). Il s’avère toutefois très difficile d’évaluer précisément l’importance de l’impact du commanditaire de l’étude.
Par ailleurs, l’évaluation qui a été menée en 2008 par le cabinet BCG-CMI a poussé de nombreux pôles à créer des indicateurs de performance spécifiques. Ainsi, certaines gouvernances nous ont révélé n’avoir créé des indicateurs que dans le seul but d’être bien évalués et non pour répondre à leurs propres besoins de suivi de la performance du pôle121. Tous les indicateurs récoltés ne correspondent donc pas à la réelle perception qu’ont les gouvernances de la performance des pôles, mais ils peuvent également refléter la perception qu’ont les gouvernances de ce qui est attendu d’elles par les pouvoirs publics. Le choix de leurs indicateurs spécifiques a également pu être influencé par les questions posées lors de l’évaluation ou par les indicateurs communs demandés par la DGCIS.
Enfin, rappelons que la présente étude ne traite que des indicateurs dont les pôles ont dit avoir souhaité se doter et non de leurs actions réelles. Le fait qu’un pôle n’ait pas fourni d’indicateur spécifique relatif à une thématique en particulier ne signifie donc pas que celle-ci n’ait pas été prise en compte dans les réflexions stratégiques du pôle ou que des actions n’aient pas été menées dans ce sens. Ainsi, par exemple, la réalisation d’une cartographie des compétences n’apparaît que dans les indicateurs spécifiques d’un seul pôle de compétitivité. Pourtant, en 2008, 39 pôles avaient réalisé une cartographie des compétences et des formations en leur sein (CMI et BCG, 2008, p. 64). La plus grande prudence doit donc être observée afin de ne pas surestimer le pouvoir explicatif des données présentées et de ne pas les surinterpréter.
120 qui ont désiré garder l’anonymat. 121 Entretiens réalisés en juillet 2011.
Ces éléments nous confortent dans l’intérêt d’étudier plus précisément les pressions institutionnelles à l’œuvre.
4.2.2. Analyse qualitative des données de l’étude exploratoire : le codage