L'insuffisance des évaluations et l'échec du budget de résultats

Le budget de programmes brésilien est, en théorie, également un budget de résultats, dans la mesure où le plan pluriannuel pose des objectifs et leur attribue des indicateurs de performance. Toutefois, le modèle théorique rencontre des contraintes significatives dans la pratique, notamment en ce qui concerne les évaluations et leur influence sur les allocations budgétaires. Or, la présence des indicateurs perd tout son intérêt si à la fin de l'exercice financier il n'est pas possible de mesurer l'accomplissement des objectifs et des cibles désignés, si les programmes ne sont pas tous pourvus d'indicateurs ou encore si le résultat des évaluation n'exerce pas d'influence sur les choix budgétaires. Ces circonstances contribuent au manque d'intérêt et d'implication du pouvoir législatif lors du contrôle des résultats, ce pouvoir étant très souvent concentré exclusivement sur les allocations budgétaires, notamment la destination des ressources publiques vers leur région d'origine à travers les amendements parlementaires.

L'inexistence d'un vrai budget de résultats a été constatée par plusieurs études206, ainsi que lors des entretiens que nous avons réalisés avec plusieurs fonctionnaires et membres du gouvernement et du pouvoir législatif. Nous avons pu constater que l'évaluation des résultats et la performance ne sont pas au cœur des préoccupations des acteurs impliqués dans la procédure budgétaire, le contrôle de l'emploi de l'argent public étant essentiellement porté sur la régularité de la dépense. Ainsi, les évaluations du PPA ne sont pas menées de façon complète et effective, étant très souvent inutiles à l'amélioration de la qualité de la dépense publique. Cela est dû, en grande partie, au fait que « les indicateurs du PPA ne sont pas réalistes et mesurables. Les managers ne fournissent pas d'indicateurs quantitatifs/qualitatifs importants, notamment parce qu'ils ont des systèmes de gestion

206 Comme cela a été résumé par CAVALCANTE : « Dans l'expérience brésilienne, des recherches récentes

(BIRD, 2006 ; CAVALCANTE, 2007) démontrent que même si le nouveau dessin du Plan Pluriannuel présente formellement des éléments du budget de performance, les améliorations de la qualité et de l'efficience d'allocation des programmes gouvernementaux ont été résiduels. La mesure de la performance est explicite dans la structure du PPA, néanmoins, elle est non seulement négligée pendant l'évaluation du Plan, mais aussi elle a très peu d'importance lors de la prise de décisions ». In: CAVALCANTE, Pedro Luiz.

Orçamento por desempenho: uma análise comparativa do modelo de avaliação dos programas governamentais no Brasil e nos Estados Unidos. II Congresso Consad de Gestão Pública- Painel 31: Qualidade do gasto público. Brasília, 7 mai 2009, p. 16.

72 pauvres et qu'il y a très peu d'effort pour chercher des informations directement auprès des municipalités207 (...) »208.

Les évaluations sont réalisées, chaque année, à partir des questionnaires d'auto- évaluation remplis par les gestionnaires de programme. Les questions sont en général fermées ou à choix multiple, le questionnaire étant standardisé et applicable à tous les ministères209. Les réponses des gestionnaires expriment dans la plupart des cas leur jugement subjectif, qui doit, toutefois, être complété par des données d'exécution financière et physique, qui ne sont, néanmoins, pas toujours présentées ou de façon incomplète210. En revanche, une bonne pratique a été identifiée au sein de certains ministères, méritant d'être répandue et encouragée. Il s'agit d'engager un organisme externe pour mener des évaluations des programmes, en rajoutant leurs résultats aux auto-évaluations réalisées au sein du ministère211. Au-delà de cette évaluation des programmes, chaque ministère réalise également une évaluation sectorielle, à travers une procédure semblable, en répondant à un questionnaire, ensuite le Ministère du Plan, du Budget et de la Gestion élabore l'évaluation globale du PPA.

L'insuffisance des évaluations et la défaillance de la gestion orientée vers la performance sont aussi dues au fait que le PPA ait été introduit dans un environnement qui

207 Une partie considérable des programmes prévus au budget de l'Union est exécutée au niveau local.

208 MATSUDA, Yasuhiko; SHEPHERD, Geoffrey; WENCESLAU, Juliana. Management and Evaluation within

the Plano Plurianual: Institutionalization without Impact?. Washington: World Bank, 2006, p. 48, traduction libre.

209Selon CALMON et GUSSO, « L'équipe du Ministère du Plan, responsable de la méthodologie proposée,

reconnaît que l'option pour un instrument standardisé peut amener à une certaine perte de la qualité des réponses par l'inadéquation des questions à quelques programmes spécifiques. » (CALMON, Kátya Maria Nasiaseni; GUSSO, Divonzir Arthur. A experiência de avaliação do Plano Plurianual (PPA) do Governo

Federal do Brasil. Brasília: Planejamento e Políticas Públicas, n. 25; Instituto de Pesquisa Econômica Aplicada (IPEA), jun/déc. 2002, p. 19, traduction libre).

210 MATSUDA, Yasuhiko; SHEPHERD, Geoffrey; WENCESLAU, Juliana. Management and Evaluation within

the Plano Plurianual: Institutionalization without Impact?. Washington: World Bank, 2006. Dans le même sens CALMON et GUSSO : « En analysant les rapport d'évaluation préparés par les gestionnaires de programmes, sont perceptibles les difficultés pour répondre à plusieurs questions, plus particulièrement celles liées aux résultats des programmes. Dans beaucoup de cas, ces informations ne sont pas disponibles, soit face à

l'inadéquation des indicateurs proposés, soit en raison de l'exigence d'une mesure annuelle qui ne peut pas être atteinte. Dans ces situations, les gestionnaires présentent des informations sur l'étendue des cibles de quelques produits comme réponse à la question sur les résultat, sans préciser le rapport entre les produits et le résultat attendu, ce qui appauvrit fortement l'aspect évaluatif. » (CALMON, Kátya Maria Nasiaseni; GUSSO, Divonzir Arthur. A experiência de avaliação do Plano Plurianual (PPA) do Governo Federal do Brasil. Brasília:

Planejamento e Políticas Públicas, n. 25; Instituto de Pesquisa Econômica Aplicada (IPEA), jun/déc. 2002, p. 19, traduction libre)

211 MATSUDA, Yasuhiko; SHEPHERD, Geoffrey; WENCESLAU, Juliana. Management and Evaluation within

the Plano Plurianual: Institutionalization without Impact?. Washington: World Bank, 2006, p. 39, traduction libre.

73 n'était pas tout à fait favorable à la culture de la performance. Les reformes administratives nécessaires n'ont pas été mises en place, et le développement des capacités et la préparation des fonctionnaires ont été négligés212. L'application du même modèle de programmes à tous les ministères et l'utilisation du même questionnaire d'évaluation sans tenir compte des particularités de chaque ministère sont aussi un facteur limitatif de l'efficacité du budget de programmes. En outre, « le ministère du plan n'a pas été capable d'utiliser l'information collectée pour aider les ministères à résoudre leurs problèmes ou à améliorer l'administration publique, ce qui dépasse largement son mandat ou sa capacité politique »213. Par ailleurs, il faut souligner l'absence d'une responsabilisation par les résultats, « le mauvais résultat observé lors de l'implémentation des programmes n'étant pas accompagné de mesures correctives ou d'une pression pour une meilleure performance, ce qui reflète une défaillance de la méthodologie adoptée »214.

En ce qui concerne l'utilisation des résultats des évaluations par le pouvoir législatif, le rapport annuel d'évaluation reçu chaque année du pouvoir exécutif est vu plutôt comme une formalité bureaucratique, son contenu n'étant pas pris en compte lors des décisions du parlement215. Une autre question qui peut mettre en question l'efficacité du budget de programmes brésilien est le fait que les ressources sont allouées aux programmes et aux actions ayant par fondement le budget de l'année précédente, la plupart des dépenses étant tout simplement répliquées d'une année à l'autre, au lieu de répartir à zéro et déterminer, de façon indépendante, toutes les dépenses nécessaires à la réalisation des programmes. Enfin, depuis la mise en place du budget par programmes en 2000, il a été vérifié un déclin du soutien politique au plan pluriannuel, ce qui peut être la conséquence de l'échec manifeste du PPA à contribuer à la performance gouvernementale216.

212 GARCIA a rapporté l'insuffisance des sessions de formation dispensées aux fonctionnaires : « La décision

adoptée, néanmoins, a été de faire une sensibilisation et une formation de très courte durée (8 heures),

comprenant l'annonce de la proposition méthodologique et de la réalisation de quelques exercices de fixation ». GARCIA, Ronaldo Coutinho, A Reorganização do Processo de Planejamento do Governo Federal: O PPA

2000-2003 (IPEA), Texto Para Discussão No 726, Brasília, mai 2000, p. 36, traduction libre.

213 MATSUDA, Yasuhiko; SHEPHERD, Geoffrey; WENCESLAU, Juliana. Management and Evaluation within

the Plano Plurianual: Institutionalization without Impact?. Washington: World Bank, 2006, p. 53, traduction libre.

214 CALMON, Kátya Maria Nasiaseni; GUSSO, Divonzir Arthur. A experiência de avaliação do Plano

Plurianual (PPA) do Governo Federal do Brasil. Brasília: Planejamento e Políticas Públicas, n. 25; Instituto de Pesquisa Econômica Aplicada (IPEA), jun/déc. 2002, p. 32, traduction libre.

215 Ibidem.

74 L'amélioration du budget de programme et sa transformation en un véritable budget de résultats sont les objectifs affichés par un projet de loi en cours d'appréciation au Congrès National. Il s'agit du projet de loi n. 248, de 2009, dit « loi de qualité financière- LQF », dont l'objectif principal est d'accroître l'efficacité de la dépense publique de façon à assurer l'équilibre fiscal, en répondant au souci de chercher l'équilibre budgétaire et la réduction de la dette publique. En outre, le projet de loi n. 248 introduit le concept de gestion par les résultats, qui s'est inspiré du budget de programme et de la gestion par la performance, en disciplinant les mécanismes du plan pluriannuel. Malgré sa bonne intention, ce projet de loi de qualité fiscale n'est pas considéré comme une bonne solution aux défauts du modèle actuel de budget de programmes, car incapable de promouvoir une véritable culture de la performance et un budget de résultats. L'opinion exprimée par les différents acteurs intervenant sur le budget de l’État brésilien217 _{est très critique vis-à-vis de cette loi,}

notamment en argumentant qu'elle crée encore plus de contrôles de régularité de la dépense publique, au lieu de concéder davantage de flexibilité et de responsabilisation par les résultats. En outre, il est assez clair que l'adoption de ce projet de loi ne constitue pas une priorité au sein des pouvoirs législatif et exécutif, cette question ne faisant pas partie de sujets considérés comme urgents pour le pays et étant placée plutôt à côté des reformes qui ne font jamais l'objet d'un consensus, telle que la réforme de la fiscalité.