Chapitre 5 La performance des ombudsmans
5.1. L’opérationnalisation du résultat
Le cadre d’analyse présente les critères de performance. Ces critères sont repris et mesurés grâce aux indicateurs identifiés dans la littérature. « D’un point de vue empirique, le recours à des indicateurs de performance s’affirme comme un passage obligé dans les régimes démocratiques » (Knoepfel et Varone, 1999). L’annexe C présente une synthèse des indicateurs de performance.
Pertinence de l’ombudsman
La pertinence se traduit par la capacité de l’ombudsman à atteindre sa principale clientèle que constituent les plaignants. Elle répond à la question dans quelle mesure les services de l’ombudsman correspondent aux besoins de la clientèle. En d’autres termes, un ombudsman est pertinent lorsque ses objectifs sont en lien avec les besoins de sa clientèle. La pertinence est évaluée à partir de trois indicateurs : la connaissance de la disponibilité de l’aide de l’ombudsman, la connaissance de la juridiction de l’ombudsman et la nature des plaintes (Friedmann, 1977; Danet, 1978; Hill, 1982).
• Connaissance de la disponibilité
La connaissance de la disponibilité de l’ombudsman est mesurée par la proportion de personnes s’étant adressées au bureau de l’ombudsman pour 100 000 habitants (Danet, 1978). Une meilleure disponibilité de l’ombudsman se traduit par sa capacité à être proche des citoyens.
• Connaissance de la juridiction
La connaissance de la juridiction est mesurée par la proportion de plaintes rejetées pour défaut de juridiction (Friedmann, 1977; Danet, 1978). L’ombudsman utilise son rôle d’information pour informer les citoyens sur sa juridiction. Autrement, une bonne connaissance de la juridiction de l’ombudsman se traduirait par l’absence de plaintes hors juridiction.
• Nature des plaintes
La nature des plaintes est un indicateur qui informe de la pertinence de l’ombudsman en ce sens que, moins il y a de plaintes rejetées pour défaut de juridiction, plus l’ombudsman est pertinent. Elle est mesurée par la proportion de plaintes fondées qui suggère que plus il y a de plaintes fondées, plus l’ombudsman est pertinent pour la société (Hill, 1982).
Tableau 6 : Synthèse des indicateurs et des sous-indicateurs de pertinence
Variables Indicateurs Nature de
l’indicateur Sous-indicateurs Signe (+/-) Code Score
Protection des droits individuels Connaissance de la disponibilité de l’aide de l’ombudsman Quantitative Proportion de personnes s’étant adressée à l’office pour 100 000 habitants + Calibration directe Entre 0 et 1 Connaissance de la juridiction de l’ombudsman
Quantitative Proportion de plaintes rejetées pour défaut de juridiction
- Calibration
directe Entre 0 et 1
Insuffisances
administratives Nature plaintes des Quantitative Proportion de plaintes fondées + Calibration directe Entre 0 et 1
Le tableau 6 présente la synthèse des indicateurs et des sous-indicateurs de pertinence de l’ombudsman. La colonne « nature de l’indicateur » précise qu’il s’agit d’un indicateur qualitatif ou quantitatif. Ce qui permet de choisir la technique de calibration telle qu’indiquée dans la colonne
« code » du tableau (voir chapitre 4 pour les méthodes de calibration). La colonne « signe » présente le sens d’évaluation du sous-indicateur pour discriminer les cas à l’étude. La colonne « score » précise les valeurs extrêmes possibles que peut prendre chaque cas calibré (voir la section méthodologique pour plus de détails sur la codification des données). Dans la suite, le même modèle de tableau synthèse des indicateurs et des sous-indicateurs est présenté pour tous les autres critères de performance.
Prestation de services de l’ombudsman
La prestation évalue dans quelle mesure l’ombudsman accomplit ses activités de réception de plaintes, d’investigation, de conseil et d’orientation des plaintes qui sont hors juridiction. La prestation de services est mesurée à partir de trois indicateurs : le taux de plainte, le degré d’investigation et le taux de conseil (Danet, 1978; Fowlie, 2008).
• Taux de plainte
Nous avons présenté dans le chapitre 3, le principal rôle de l’ombudsman qui est le traitement des plaintes. Plus l’ombudsman traite des plaintes, plus il accomplit ses prestations de services. Dans une perspective comparée, le taux de plainte est le nombre de plaintes reçues pour 100 000 habitants (Danet, 1978).
• Degré d’investigation
La figure 5 présente l’arbre décisionnel de traitement des plaintes. Pour traiter une plainte, l’ombudsman doit procéder à des investigations qui peuvent être formelles ou informelles. L’investigation permet d’une part, d’évaluer la justesse d’une plainte. D’autre part, elle permet de déterminer la nature fondée de la plainte. Il est mesuré par le ratio du nombre de plaintes rejetées par rapport au nombre de plaintes reçues justifiées (Danet, 1978). Plus l’ombudsman a un degré d’investigation élevé, plus il réalise ses prestations de services.
• Taux de conseil
Le taux de conseil est le ratio du nombre de plaintes hors cible par rapport au nombre de plaintes fermées ou résolues. Le choix de ce dernier indicateur est issu de l’arbre décisionnel de traitement des plaintes (figure 5). En effet, le conseil ou l’orientation est également une fonction de l’ombudsman. Le conseil intervient lorsque, par exemple, la plainte est hors juridiction et qu’il faut orienter le plaignant vers des ressources appropriées. Il intervient également lorsque l’ombudsman ne peut se prononcer sur la plainte ou lorsqu’elle est non fondée. Il est mesuré par la proportion de plaintes complètement traitées par rapport au nombre de plaintes reçues. Plus, un ombudsman traite complètement les plaintes reçues, plus il accomplit les prestations de services. Le tableau 7 présente la synthèse des indicateurs et des sous-indicateurs de prestation de services des ombudsmans.
Tableau 7 : Synthèse des indicateurs et des sous-indicateurs de prestation de services
Variables Indicateurs Nature de
l’indicateur Sous-indicateurs Signe (+/-) Code Score
Réception
des plaintes Taux plaintes de Quantitative Proportion de plaintes reçues pour 100 000 habitants + Calibration directe 0 et 1 Entre Investigation /enquête Degré
d’investigation Quantitative Proportion de plaintes immédiatement rejetées par rapport au nombre de plaintes reçues justifiées
+ Calibration
directe 0 et 1 Entre
Taux de
conseils Quantitative Proportion de plaintes complètement traitées
par rapport au nombre de plaintes reçues
+ Calibration
directe 0 et 1 Entre
Efficience de l’ombudsman
L’efficience est la mesure dans laquelle l’ombudsman utilise le moins de ressources possibles aussi bien humaines que financières pour atteindre ses objectifs. Elle est mesurée à partir de trois indicateurs : la charge de travail du personnel, le délai de traitement et le coût de fonctionnement de l’institution (Ayeni, 1993).
• Charge de travail du personnel
Dans une perspective comparée, la charge de travail est mesurée par le nombre de plaintes traitées par membre du personnel. Bien évidemment, les efforts consentis pour traiter une plainte dépendent des caractéristiques des plaintes et de plusieurs autres facteurs. Cependant, nous retenons que plus le nombre de plaintes traitées par membre du personnel est élevé, plus l’ombudsman est efficient (Ayeni, 1993).
• Délai de traitement
Généralement la période d’exercice d’un organisme public est de 12 mois. L’ombudsman devrait par conséquent traiter la plainte à l’intérieur de l’exercice financier. Plus la proportion de plaintes traitées à l’intérieur d’un délai de 12 mois est élevée, plus efficient est l’ombudsman (Ayeni, 1993).
• Coût de fonctionnement
Le troisième indicateur, soit le coût de fonctionnement est mesuré par trois sous-indicateurs à savoir : la proportion des frais du personnel par rapport aux dépenses totales de l’ombudsman, le coût du personnel par unité de plainte traitée et le coût total par unité de plainte traitée (Ayeni, 1993). Puisque, j’utilise une perspective comparée, j’ai ramené les deux derniers sous-indicateurs en parité de pouvoir d’achat. Lorsque la proportion des frais du personnel par rapport aux dépenses totales est élevée, plus efficient est l’ombudsman (cf. sous-section 4.2 sur la maximisation du budget). Dans les deux derniers cas, plus le coût du personnel par unité de plainte traitée en parité de pouvoir d’achat et le coût total par unité de plainte traitée en parité de pouvoir d’achat sont faibles, plus efficient est l’ombudsman. Le tableau 8 présente une synthèse des indicateurs et des sous-indicateurs d’efficience.
Tableau 8 : Synthèse des indicateurs et des sous-indicateurs d’efficience
Variables Indicateurs Nature de
l’indicateur Sous-indicateurs Signe (+/-) Code Score
Ressources humaines
Charge de travail du personnel
Quantitative Nombre de plaintes traités
par membre du personnel + Calibration directe Entre 0 et 1
Délai de
traitement
Quantitative Proportion des cas traités à l’intérieur d’un délai de 12 mois + Calibration directe Entre 0 et 1 Ressources financières Coût de
fonctionnement Quantitative Proportion des frais du personnel par rapport aux dépenses totales
+ Calibration
directe Entre 0 et 1 Quantitative Coût du personnel par unité
de plainte traitée (PPA) - Calibration directe Entre 0 et 1 Coût total par unité de
plainte traitée (PPA)
- Calibration directe
Entre 0 et 1
Efficacité de l’ombudsman
L’efficacité est la mesure dans laquelle, l’ombudsman accomplit ses activités tout en atteignant ses objectifs. Cette dimension de la performance est mesurée par un seul indicateur qui est le taux de traitement des plaintes qui est évalué par trois sous-indicateurs : la proportion de tous les cas fondés relevant de la compétence de l’ombudsman, la proportion de plaintes résolues à la fin de l’investigation et la proportion de plaintes fermées pour 100 000 habitants (Friedmann, 1977). Dans la mesure des trois sous-indicateurs, une variation positive suggère que l’ombudsman est efficace.
Tableau 9 : Synthèse des indicateurs et des sous-indicateurs d’efficacité
Variables Indicateurs Nature de
l’indicateur Sous-indicateurs Signe (+/-) Code Score
Corriger les griefs individuels et collectifs Taux de traitement des plaintes
Quantitative Proportion de tous les cas fondés relevant de la compétence de l’ombudsman
+ Calibration
directe Entre 0 et 1
Quantitative Proportion de plaintes résolues à la fin de l’investigation
+ Calibration
directe Entre 0 et 1 Quantitative Proportion de plaintes
fermées pour
100 000 habitants
+ Calibration
5.2. La pertinence
La pertinence est mesurée par la connaissance de la disponibilité de l’aide de l’ombudsman, la connaissance de sa juridiction et la nature des plaintes. Le graphique 2 présente les scores de chaque cas pour le sous-indice de pertinence des ombudsmans (SIPO). Tout comme nous pouvons le voir, aucun cas n’a obtenu le maximum 1 pour le
SIPO. Une telle observation suggère qu’aucun ombudsman n’est complètement pertinent. De même, aucun ombudsman n’est complètement non pertinent puisqu’aucun des cas n’a obtenu le score de 0. Le Protecteur du citoyen du Québec est le plus pertinent avec un score de 0,776. L’ombudsman du Queensland (0,567) est le deuxième le plus pertinent tandis que la Finlande occupe la troisième place (0,547). L’avant-dernière position est occupée par le Royaume-Uni (0,233) tandis que l’Irlande du Nord ferme la marche (0,216). Au total, neuf ombudsmans sur treize, soit 70 % des cas étudiés ont un score en dessous de 0,500.
Graphique 2 : Sous-indice de pertinence de l’ombudsman (n=13)
Le taux de 70 % suggère que dans la majorité des cas, les ombudsmans n’arrivent pas à satisfaire les besoins des citoyens. Une telle conclusion confirme l’ensemble des travaux qui avaient déjà démontré que l’institution est largement méconnue par les citoyens (Friedmann, 1970; Baccigalupo, 1975; Hannigan, 1977; Danet, 1978; Van Roosbroek et Van de Walle, 2008).
Lorsqu’on analyse la connaissance de la disponibilité de l’aide de l’ombudsman, parmi les cas à l’étude, la Nouvelle-Galles du Sud occupe de très loin le premier rang avec 616 personnes pour 100 000 habitants qui communiquent avec l’institution, soit 46 092 personnes l’an. Ce nombre est deux
fois plus élevé que celui du Québec qui a communiqué avec 22 368 habitants et quatre fois plus élevé que le nombre de personnes qui s’est adressé à l’ombudsman de la Nouvelle-Zélande (11 846 personnes) (voir graphique 3). Le nombre moyen de personnes ayant connaissance de la disponibilité de l’aide de l’ombudsman est 191 personnes pour l’ensemble des cas étudiés.
Ces chiffres montrent que c’est en Nouvelle-Galles du Sud que les populations ont davantage connaissance de la disponibilité de l’aide de l’ombudsman. Cette affirmation est corroborée par le fait que cet ombudsman a la plus faible
proportion (1 %) de plaintes rejetées pour défaut de juridiction. En d’autres termes, non seulement, les citoyens ont une bonne connaissance de la disponibilité de l’aide, mais aussi une bonne connaissance de la juridiction de l’ombudsman. Il s’agit d’un atout favorable à cet ombudsman qui occupe la quatrième place parmi les ombudsmans les plus pertinents avec un SIPO de 0,500.
Graphique 3 : Proportion de personnes s’étant adressées au bureau pour 100 000 habitants (n=13)
Sur un autre plan, le Québec, l’Alberta et la Finlande ont les plus fortes proportions de plaintes hors juridiction. Cette proportion est de 60 % au Québec et 44 % en Alberta et en Finlande. Ces résultats montrent une méconnaissance de la juridiction de l’ombudsman par plusieurs plaignants. À priori, la connaissance de la juridiction de l’ombudsman est de la responsabilité de chaque citoyen. Cependant, avec des proportions qui dépassent 50 % comme c’est le cas du Québec, il peut s’agir ici que l’ombudsman n’arrive pas à rejoindre les citoyens par des programmes de sensibilisation et d’information. Le tableau 6 présente la synthèse des scores des indicateurs de pertinence pour chaque ombudsman.
Tableau 10 : Synthèse des scores des indicateurs de pertinence Ombudsmans Connaissance de la disponibilité de l’aide de l’ombudsman Connaissance de la juridiction de l’ombudsman
Nature des plaintes (proportion de plaintes fondées) SIPO AFS 0,000 0,400 1 000 0,467 ALB 0,260 0,818 0,000 0,359 AUS 0,441 0,500 0,500 0,480 CLB 0,442 0,366 0,333 0,380 DNK 0,175 0,545 0,555 0,425 ECO 0,244 0,366 0,300 0,303 FIN 0,258 0,818 0,566 0,547 IRN 0,482 0,100 0,066 0,216 NSW 1 000 0,000 ND 0,500 NZD 0,570 0,267 0,200 0,346 QLD 0,542 0,693 0,466 0,567 QBC 0,594 1 000 0,733 0,776 RU 0,500 0,100 0,100 0,233
L’Afrique du Sud à la proportion (62 %) la plus élevée de plaintes fondées. Elle est de 38 % au Québec, 23 % en Finlande et 22 % en Colombie-Britannique. Il peut y avoir plusieurs raisons qui justifient ces proportions relativement élevées de plaintes fondées. Cependant, puisque les plaintes sont formulées contre les services publics, il est possible d’évoquer la présence d’une maladaministration plus élevée dans ces pays ou États fédérés comparativement aux autres cas à l’étude. À contrario, la proportion de plaintes fondées en Alberta (2 %), en Irlande du Nord (4 %) et au Royaume-Uni (5 %) et la Nouvelle- Zélande (8 %), signifierait qu’il y a moins de pathologies administratives dans ces pays ou États fédérés et par conséquent une propension des plaignants à se plaindre sans fondement. Les scores du Royaume-Uni et de la Nouvelle-Zélande confirment les écrits sur les réformes de l’administration qui suggèrent que les réformes managériales ont été très radicales dans ces deux pays (Pollitt et Bouckaert, 2011). Ces réformes visent bien sûr la performance des services publics, par conséquent, moins de pathologies administratives.
5.3. La prestation de services
La prestation de services est évaluée par le taux de plaintes, le degré d’investigation et le taux de conseil des ombudsmans. Le graphique 4 présente le score de chaque cas pour le sous-indice de prestation de services des ombudsmans (SIPSO).
Avec un score de 0,721, le Queensland réalise plus de prestation de services que les autres ombudsmans. Le Québec occupe le deuxième rang avec un score de 0,688 et la Colombie-Britannique occupe la troisième place (0,608). Le Royaume-Uni est la dernière en bas du tableau avec un score de 0,078 et avant lui dans le classement, l’Irlande du Nord (0,276). Sept ombudsmans sur 13, soit 54 % ont un SIPSO inférieur à 0,500. Il s’agit d’une distribution quasiment égale d’ombudsmans ayant un score inférieur à 0,500 et ceux dont le SISPO est supérieur à 0,500.
Graphique 4 : Sous-indice de prestation de l’ombudsman (n=13)
Tout comme pour le SIPO, aucun ombudsman n’a obtenu le maximum 1 pour le SIPSO. Ce qui veut dire qu’aucun ombudsman ne réalise complètement les prestations pour lesquelles l’institution a été mise en place.
Une analyse détaillée de chaque indicateur permet de mieux comprendre les tendances. En effet, parmi les cas étudiés, le Queensland, l’Australie et le Québec sont ceux qui reçoivent le plus de plaintes. Le Queensland en reçoit 211 pour 100 000 habitants, l’Australie et le Québec reçoivent respectivement 168 et 167 plaintes pour 100 000 habitants (voir graphique 5). Le nombre moyen de plaintes reçues est de 105 plaintes pour l’ensemble des ombudsmans.
Graphique 5 : Nombre de plaintes reçues pour
100 000 habitants (n=13) Graphique 6 : Proportion de plaintes rejetés par rapport au nombre de plaintes reçues justifiées (n=13)
Tout comme la proportion de personnes s’étant adressées à l’institution, l’Afrique du Sud occupe la dernière position. L’analyse de ces deux données suggère que le Protecteur public d’Afrique du Sud est la plus méconnue de tous les ombudsmans. L’histoire récente de l’institution dont la création remonte au début des années 90 peut expliquer cette méconnaissance.
Sur un autre plan, le Québec a la proportion de plaintes rejetées par rapport au nombre de plaintes justifiées la plus élevée (64 %). Ainsi, deux plaintes sur trois après investigation seraient rejetées. De même, une plainte sur deux serait rejetée après investigation en Alberta (50 %) et en Queensland (49 %). De tels résultats peuvent suggérer que le mode de sélection des plaintes justifiées est problématique. Par contre, cette proportion est très faible au Royaume-Uni (4 %), en Nouvelle-Zélande
(9 %) et Nouvelle-Galles du Sud (10 %) et en Afrique du Sud (11 %). Ces pourcentages indiquent que lorsqu’une plainte est déclarée justifiée, la probabilité qu’elle soit rejetée après investigation est très faible dans ces pays ou États fédérés concernés.
L’information aux citoyens fait partie des fonctions de l’ombudsman, elle n’est pas la fonction première qui établirait la capacité de l’institution à rendre des services. Et pourtant, il existe des ombudsmans dont la fonction première pourrait être assimilée aux conseils, si l’on observe leur taux de conseil. C’est le cas de l’Alberta avec un taux de conseil de 97 % et du Royaume-Uni (94 %). Le tableau 5 présente les scores de chaque ombudsman pour le SIPSO.
Tableau 11 : Synthèse des scores des indicateurs de prestation de services
Ombudsmans Score Nombre de plaintes reçues pour
100 000 habitants
Score Proportion de plaintes immédiatement
rejetées par rapport au nombre de plaintes reçues
justifiées Score Taux de conseils Sous-indice de prestation de services AFS 0,000 0,218 0,920 0,379 ALB 0,500 0,840 0,000 0,447 AUS 0,793 0,500 0,291 0,528 CLB 0,644 0,681 0,500 0,608 DNK 0,344 0,437 0,760 0,514 ECO 0,327 0,281 1 000 0,536 FIN 0,416 0,772 0,187 0,458 IRN 0,078 0,437 0,312 0,276 NSW 0,750 0,187 ND 0,469 NZD 0,327 0,156 0,640 0,374 QBC 0,788 1 000 0,270 0,686 QLD 1 000 0,829 0,333 0,721 RU 0,172 0,000 0,062 0,078
5.4. L’efficacité
Le graphique 7 présente les scores et les rangs de chaque ombudsman pour le critère d’efficacité. Le sous-indice de l’efficacité des ombudsmans
(SIEO) est évalué par la proportion de tous les cas fondés relevant de la compétence de l’ombudsman, la proportion de plaintes résolues à la fin de l’investigation et la proportion de plaintes fermées pour 100 000 habitants.
L’Afrique du Sud obtient un score de 0,695 et il est suivi du Québec (0,667). Le troisième rang est occupé par l’Australie (0,627). En bas de l’échelle se situe l’Alberta avec un score de 0,047 et la Nouvelle-Zélande (0,222).
Graphique 7 : Sous-indice d’efficacité de l’ombudsman (n=13)
Au regard de ces scores, aucun ombudsman n’est complètement efficace et aucun ombudsman n’est complètement inefficace. Huit ombudsmans sur treize soit 62 % ont un score inférieur 0.500. Le tableau 12 présente la synthèse des scores de chaque ombudsman pour le critère d’efficacité.
L’analyse de chaque indicateur d’efficacité montre que le Protecteur public d’Afrique du Sud obtient le score de 1 pour la proportion de tous les cas fondés relevant de la compétence de l’ombudsman (48 %). Il est suivi par la Colombie-Britannique (30 %). De tels résultats confirment qu’effectivement l’administration sud-africaine présentent plus de pathologies administratives que les autres cas à l’étude. Les séquelles de l’apartheid peuvent justifier la propension des citoyens à se plaindre à l’égard des services publics quand bien même les plaintes ne sont pas fondées.
Tableau 12 : Synthèse des scores des indicateurs d’efficacité
Ombudsmans Score Proportion de tous les cas fondés
relevant de la compétence de l’ombudsman Score Proportion de plaintes résolues à la fin de l’investigation Score Proportion de plaintes fermées pour 100 000 habitants SIFO AFS 1 000 1, 000 0,085 0,695 ALB 0,000 0,000 0,141 0,047 AUS 0,515 0,517 0,880 0,637 CLB 0,718 0,821 0,264 0,601 DNK 0,515 0,535 0,524 0,525 ECO 0,291 0,250 0,411 0,317 FIN 0,333 0,375 0,564 0,424 IRN 0,531 0,517 0,000 0,349 NSW 0,291 0,250 0,868 0,470 NZD 0,083 0,083 0,499 0,222 QLD 0,000 0,000 0,896 0,299 QBC 0,500 0,500 1 000 0,667 RU 0,041 0,416 0,281 0,246
Le Protecteur du citoyen du Québec (157 plaintes fermées pour 100 000 habitants) obtient le score 1 comparativement aux autres ombudsmans (la moyenne est 91 plaintes fermées pour 100 000 habitants). Cependant, il obtient un score de 0,5 (dans la moyenne) pour la proportion de tous les cas fondés relevant de la compétence du protecteur du citoyen (16 %). Cette faible proportion montre que les services publics du Québec ne sont pas les moins performants, car 84 % des plaintes fermées ne sont pas fondées. Un tel résultat suggère plutôt une facilité des plaignants à se tourner vers le Protecteur du citoyen. Contrairement à Felstiner, Abel et al. (1980), dans les juridictions comme le Québec, le processus de plainte passe uniquement du « naming » au « claiming » sans qu’il n’y ait