OBSERVATIONS SUR L’UTILITÉ DES ACTIVITÉS DE SURVEILLANCE DES OCTROIS POUR

surveillance des octrois pour les Conseils et les universités

7.1 Conclusion

S’il est manifeste que les activités de surveillance des octrois donnent des résultats positifs tant pour les Conseils que pour les universités, la communication de l’information obtenue dans le cadre de ces activités doit être améliorée pour que ces activités atteignent leur plein potentiel.

Voici des exemples de pratiques adéquates, ainsi que des pratiques perfectibles, avec nos recommandations.

7.2 Pratiques adéquates

7.2.1 Bonnes communications entre l’ESF et les universités pendant le processus d’examen

Les communications pendant les visites d’examen sont très satisfaisantes. Les universités sont bien informées pendant tout le processus, et l’équipe de l’ESF tient compte des explications fournies par les universités. Ces échanges sont basés sur la confiance et le partenariat.

7.2.2 Possibilités pour les universités de présenter des commentaires et de se comparer à d’autres universités

Les visites d’examen se comparent favorablement à d’autres examens et vérifications similaires réalisés au sujet des paiements de transfert, car elles permettent davantage de discussions, d’échange de commentaires et de comparaisons entre les universités. On constate également un équilibre adéquat entre l’examen des transactions et l’évaluation du cadre de contrôle. En outre, les universités apprécient les conseils du personnel de l’ESF sur la façon de répondre à certaines des recommandations, d’après ce qu’il a constaté dans d’autres universités. Enfin, les universités apprécient aussi grandement la séance d’information tenue pendant la visite d’examen.

7.2.3 Professionnalisme de l’équipe de l’ESF

Le personnel de l’équipe de l’ESF est perçu comme étant très professionnel, avec de bonnes capacités de communication.

7.2.4 Échanges d’informations utiles entre l’ESF et la Section de l’administration des subventions

Une bonne communication existe entre l’ESF et la Section de l’administration des subventions en raison des objectifs complémentaires de chaque groupe. Comme exemples de pratiques

« Période de questions » tenue par la Section de l’administration des subventions, ainsi que les séances d’information organisées par les membres de l’ESF après chaque visite d’examen afin de faire part des principales observations. La qualité exceptionnelle des communications entre ces deux groupes leur permet d’échanger de l’information utile et mutuellement avantageuse.

7.3 Aspects perfectibles

7.3.1 Certaines sections ou aspects des rapports d’examen doivent être modifiés ou clarifiés

Bien que passablement d’observations, de commentaires, de clarifications et de réponses soient officieusement échangés entre l’ESF et l’université pendant le processus d’examen, le rapport d’examen est le document le plus important pour une université, car il représente le produit final du processus d’examen. Il représente à leurs yeux l’opinion officielle des organismes subventionnaires au sujet du cadre de contrôle mis en place à l’université et, par les réponses de la direction de l’université, ce rapport formalise l’engagement de l’université à l’égard des recommandations de l’examen. Pour ces raisons, on doit accorder une grande attention au contenu et à la forme du rapport d’examen.

Notre évaluation de certains rapports d’examen produits au cours des deux dernières années nous a permis de relever certains points qui nécessitent des modifications ou des clarifications.

a) Expressions utilisées dans l’annexe du rapport intitulée « Sommaire des transactions examinées »

L’annexe intitulée « Sommaire des transactions examinées » présente un résumé des résultats des tests détaillés réalisés sur un échantillon de transactions consignées dans les comptes d’octrois.

Les résultats sont triés selon les catégories suivantes de dépenses : équipement/ordinateur, déplacements, salaire, matériel et fournitures, et autres dépenses. Pour chacune de ces catégories, des données sont présentées sur le nombre de « transactions examinées », de « transactions non conformes » et de « transactions inadmissibles ».

Dans l’annexe, on définit l’expression « transactions non conformes » comme étant des

« transactions [qui] sont admissibles mais ne se conforment pas aux lignes directrices des Conseils ». Nous croyons que cette expression doit être clarifiée, car la notion d’admissibilité doit nécessairement être considérée par rapport à des lignes directrices définies. Dans ce cas-ci, on peut supposer que les lignes directrices fait implicitement référence à celles de l’université.

Pour cette raison, l’expression devrait être modifiée pour se lire : « Ces transactions, bien qu’admissibles à l’égard des lignes directrices de l’université, ne se conforment pas à celles des Conseils », ou encore plus simplement : « Ces transactions ne sont pas conformes aux lignes directrices des Conseils ».

L’expression « transactions inadmissibles » doit également être clarifiée. Dans l’annexe, on les définit comme étant des « transactions [qui] ne devraient pas avoir été imputées à l’égard des fonds des Conseils et pourraient faire l’objet d’un remboursement ». Pour des raisons manifestes, l’utilisation du mot « transactions » dans l’expression et dans la définition ne convient pas. Par conséquent, on devrait la remplacer par le mot « dépenses ». On devrait préciser davantage cette

expression, en stipulant que ces dépenses ne sont pas admissibles selon les lignes directrices des Conseils.

b) Cohérence entre d’une part l’opinion globale exprimée dans le Sommaire et d’autre part les observations, les recommandations et le Sommaire des transactions examinées

Le Sommaire consiste en une opinion globale sur le cadre de contrôle mis en place à l’université pour assurer le respect des lignes directrices des Conseils et la saine gestion des fonds de recherche. Cette opinion est importante, car elle donne le ton au reste du rapport, et la direction de l’université peut, en toute légitimité, la considérer comme représentant la conclusion principale des Conseils après la visite d’examen. Par conséquent, cette opinion et le contenu du rapport devraient toujours être cohérents.

D’après l’évaluation des rapports d’examen, nous avons constaté que les observations, les recommandations et le Sommaire des transactions examinées ne semblent pas toujours cohérents avec l’opinion globale exprimée dans le Sommaire. Dans certains cas, le cadre de contrôle de l’université a été jugé « adéquat », même si de nombreuses observations et recommandations importantes étaient faites dans le corps du rapport et que l’on relevait un taux de non-conformité de transactions de 20 à 25 %.

Une transaction est jugée non conforme même si une seule exigence rattachée à la catégorie correspondante n’est pas satisfaite. Pour certaines catégories de transactions, plusieurs exigences doivent être satisfaites, ce qui accroît le risque qu’une transaction soit jugée non conforme.

Par exemple, pour les frais de déplacement faisant l’objet de demandes de remboursement de frais de déplacement, chacune des exigences suivantes doit être satisfaite :

• l'objectif du voyage, y compris les dates et les destinations;

• la documentation d'appui officielle (p. ex., prospectus ou programme précisant les dates des conférences ou des ateliers);

• les reçus originaux, p. ex., les factures d'hôtel, les contrats de location de véhicules (les bordereaux de cartes de crédit ne sont pas des reçus valides);

• les reçus originaux des billets d'avion (les cartes d'embarquement des compagnies aériennes ne sont pas acceptées en remplacement des reçus de billets d'avion, sauf dans le cas de billets électroniques);

• une demande séparée pour chaque déplacement fait par une personne;

• la conformité aux politiques et procédures de déplacement de l’université;

• dans le cas des personnes autres que le titulaire demandent un remboursement, l’affiliation avec le groupe de recherche du titulaire doit être spécifiée, et si le voyageur est le titulaire même ou un chercheur visiteur, la demande de remboursement de frais de déplacement doit être contresignée par le chef du département ou le doyen, qui confirme la pertinence du déplacement pour la recherche qui est financée.

Il est difficile de satisfaire à toutes ces exigences pour une demande de remboursement de frais de déplacement ce qui peut avoir comme effet d’augmenter le taux de transactions non conformes. Bien que toutes ces exigences correspondent à des moyens légitimes de contrôle, on doit les considérer en regard du risque qu’une dépense inadmissible ne soit pas décelée par les contrôles mis en place à l’université.

Cette règle s’applique également aux observations et recommandations incluses dans le rapport d’examen. Dans certains cas, nous avons constaté que, même si le fréquence d’une non-conformité particulière était apparemment faible, que son impact sur les dépenses potentielles inadmissibles était faible également et que le cadre de contrôle de l’université avait été jugé satisfaisant, le rapport contenait néanmoins une observation et une recommandation à l’égard de cette non-conformité. Comme nous l’avons mentionné, nous avons constaté l’absence d’une ligne directrice sur la façon d’évaluer le cadre de contrôle des universités. Nous estimons qu’il serait utile de formaliser cet autre aspect des visites d’examen, pour décider quelles transactions non conformes justifient des observations et des recommandations dans le rapport d’examen, compte tenu de critères de gestion du risques.

Nous avons également constaté, dans le cas de certains rapports produits au cours des deux dernières années, que le Sommaire des transactions examinées expliquait en détail pourquoi une transaction particulière avait été jugée non conforme, et on donnait pour chacune de ces transactions le motif de la non-conformité. Cette pratique devrait être étendue à tous les rapports, car elle aide les universités à comprendre les raisons de la non-conformité de certaines transactions testées. Elle permet également de mieux établir un lien entre les résultats des tests des transactions et les observations et recommandations figurant dans le rapport.

c) Rapport sur les examens des Réseaux de centres d’excellence (RCE)

Outre les visites d’examen réalisées dans les universités, l’ESF est également responsable d’effectuer des visites similaires dans les 21 Réseaux de centres d’excellence (RCE) existants.

Les visites d’examen des RCE sont généralement réalisées concurremment aux visites des universités car, sauf quelques exceptions, la plupart de ces centres sont hébergés par des universités et parce que les RCE s’appuient en partie sur les universités pour la gestion de leurs fonds. Pour ces raisons, les résultats de l’examen d’une université et du RCE hébergé figurent dans le même rapport d’examen.

La portée des visites d’examen des RCE est similaire à celle des visites d’examen réalisées dans les universités. L’ESF examine les cadres administratif et de contrôle que le RCE a mis en place, afin de s’assurer qu’ils sont conformes aux lignes directrices des Conseils et à l’entente de financement signée entre les Conseils et l’université hôte. Cet examen est réalisé principalement par des entrevues avec les représentants du RCE, ainsi que par la revue des dépenses de fonctionnement et des exigences de l’entente de financement.

Nous avons constaté qu’il y a lieu d’améliorer les rapports sur l’examen financier des RCE hébergés par les universités. Le rapport d’examen des RCE est intégré au rapport principal sur l’université. Toutefois, les RCE sont des organisations distinctes des universités, pour ce qui est de leur gestion et de leurs objectifs. En outre, ils sont financés suivant un programme distinct créé par le CRSNG, le CRSH et les IRSC Par conséquent, le rapport d’examen financier des

RCE devrait soit inclus dans une section distincte du rapport d’examen principal, ou encore faire l’objet d’un rapport séparé, comportant les observations et recommandations requises, le cas échéant.

Il y a lieu aussi d’améliorer l’examen financier des dépenses des RCE. À l’heure actuelle, cet examen est limité aux seules dépenses d’exploitation. Cela signifie que les dépenses touchant les projets de recherche, ou les transferts de fonds entre établissements participants, sont exclus même si leur valeur est beaucoup plus élevée que les frais de gestion. Cet examen, dans son format actuel, ne souligne pas suffisamment cette exclusion.

Recommandation 5

Les modifications ou améliorations suivantes devraient être apportées au rapport d’examen :

a) on devrait modifier la définition des expressions « transactions non conformes » et

« transactions inadmissibles » utilisées dans le Sommaire des transactions examinées;

b) on devrait considérer le taux des transactions non conformes en regard du risque de non-contrôle et de l’impact de la non-conformité sur les dépenses inadmissibles, afin de déterminer s’il y a lieu de présenter une observation et une recommandation;

c) dans le Sommaire des transactions examinées, on devrait expliquer en détail quelles transactions particulières ont été jugées non conformes, et, pour chacune d’entre elles, présenter la raison de la non-conformité;

d) le rapport sur les résultats de l’examen des RCE devrait faire l’objet d’une section distincte dans le rapport d’examen principal, ou d’un rapport séparé.

7.3.2 Écart perçu entre le ton utilisé pendant le compte rendu par rapport au contenu du rapport d’examen

Certaines universités nous ont dit qu’elles étaient surprises de voir que le message du rapport d’examen leur est apparu plus dur que le ton et les commentaires généralement positifs qui leur avaient été présentés pendant le compte rendu.

Cet écart apparent semble être, plus qu’autre chose, une question de perception. Bien que les universités n’aient pas tenté d’expliquer les raisons de cet écart apparent, certaines explications peuvent être mises de l’avant. Notamment, pendant le compte rendu, le contact direct entre le personnel de l’ESF et les représentants de l’université est en général moins formel que dans le rapport d’examen. Il est possible que ce contact crée une atmosphère dans laquelle les membres de l’ESF sont plus enclins à mettre l’accent sur les constats positifs de la visite d’examen, ou à mettre les déficiences davantage en perspective.

Une autre explication pourrait être que, pendant le compte rendu, on ne met pas l’accent sur les conclusions obtenues par les tests des transactions consignées dans les comptes d’octrois car, en général, plusieurs transactions doivent faire l’objet d’un suivi. Toutefois, dans le rapport d’examen, les résultats finals de ces tests ont été calculés dans le « Sommaire des transactions

non conformes ou des dépenses inadmissibles additionnelles. Pour les raisons mentionnées précédemment, cette annexe semble présenter une image plus sombre des résultats réels des tests. Il est possible également que le calcul des résultats puisse amener l’ESF à présenter des observations et des recommandations additionnelles qui n’ont pas été mentionnées pendant le compte rendu, car l’équipe ne les connaissait pas encore ou était en train de les examiner. À cet égard, certaines universités nous ont dit qu’elles auraient aimé qu’on leur indique pendant le compte rendu la nature de transactions non conformes découvertes par les tests, afin de mieux comprendre l’ampleur des écarts.

Recommandation 6

L’ESF devrait s’assurer que le même message est transmis pendant le compte rendu de la visite d’examen et dans le rapport d’examen.

7.3.3 Production tardive des rapports d’examen finals

Les lignes directrices concernant les normes de service indiquent que la première ébauche du rapport d’examen, le rapport préliminaire, devrait être produite dans les 20 jours ouvrables après la fin de la visite, que l’université devrait disposer de 20 autres journées ouvrables pour y répondre, et que le rapport final devrait être produit dans les cinq jours ouvrables suivant la réception de la réponse de l’université, à moins que des clarifications additionnelles ne soient requises. En théorie, ces lignes directrices signifient que la version finale du rapport d’examen doit être produite dans les trois mois suivant la fin d’une visite.

L’analyse des visites d’examen réalisées au cours des dernières années démontre que, pour la plupart des visites, le rapport préliminaire a été produit après environ deux mois. Bien que cette période ne soit pas conforme au délai indiqué dans les normes de service, elle semble acceptable.

Nous avons constaté que pour environ la moitié des visites d’examen, la version finale des rapports d’examen était produite dans le délai acceptable de trois mois après la fin de la visite.

Toutefois, dans quelques cas, les rapports finals ont été produits très tard, soit de 6 à 12 mois après la fin des visites.

Différentes raisons peuvent expliquer la production tardive des rapports d’examen finals. Dans certains cas, il peut y avoir un nombre inhabituellement élevé d’observations et de recommandations dans le rapport préliminaire. L’université a donc besoin de plus de temps pour préparer sa réponse. Pour certaines visites d’examen auxquelles les IRSC ont participé, il semble que le retard ait été attribuable aux IRSC, au niveau de la rédaction du rapport d’examen, ou encore du suivi des transactions ou des réponses de l’université. Comme nous l’avons mentionné, cela peut s’expliquer par le fait que les rôles et les responsabilités de l’ESF et des IRSC ne sont pas suffisamment formalisés. La disponibilité moindre du personnel universitaire pendant les vacances d’été ou les périodes de pointe peut également expliquer le retard de certains rapports d’examen.

La production tardive d’un rapport d’examen final a des conséquences négatives telles que la diminution de la pertinence du rapport avec le passage du temps. L’université visitée risque alors d’interpréter de façon erronée ce retard et croire, à tort, que les observations et les recommandations qui y figurent ne sont pas, somme toute, aussi importantes pour les Conseils.

De plus, même si les Conseils ne sont pas tenus d’approuver les mesures correctives proposées par les universités, certaines universités peuvent néanmoins conclure que, comme elles n’ont pas encore reçu le rapport final, elles doivent attendre pour mettre en œuvre certaines mesures correctives, car le retard dans la production du rapport pourrait être attribuable au désaccord des Conseils à l’endroit de certaines de ces mesures. L’université perd ainsi une partie du dynamisme généré par la visite d’examen. Un autre effet négatif de la production tardive des rapports d’examen est que le suivi des visites par le personnel de l’ESF prend plus de temps et devient moins efficace.

Recommandation 7

L’ESF devrait mettre en place des mesures correctives visant à s’assurer que ses normes de service relatives à la date de production des rapports d’examen finals sont appliquées, y compris un suivi plus rigoureux avec les universités et une meilleure coopération avec les IRSC

7.3.4 Possibilités de partage accru de l’information obtenue lors des visites d’examen avec les autres groupes du CRSNG et du CRSH

Le processus des visites d’examen permet à l’ESF d’obtenir un éventail complet d’informations importantes sur les universités, dans le contexte de leurs relations avec les Conseils. Ces informations peuvent être divisées en deux grandes catégories : les informations financières et les informations non financières.

Les informations de nature financière sont l’objet de l’opinion de l’équipe au sujet de la pertinence du cadre de contrôle que l’université a mis en place pour gérer les subventions des Conseils. Ces informations constituent l’objectif principal des visites d’examen et sont résumées dans le rapport d’examen. Selon la pratique actuelle, un exemplaire du rapport d’examen est remis seulement à la direction de l’université visitée et au directeur des Finances, de la DSAC.

En outre, pendant les réunions qui ont lieu trois ou quatre fois l’an, les membres des Comités exécutifs du CRSNG et du CRSH sont informés des principales conclusions dégagées au cours des visites d’examen récentes. Ces conclusions peut être résumés ainsi : soit que la visite a été un succès et qu’un rapport préliminaire sera produit, soit que des préoccupations ont été soulevées et qui résulteront probablement en une visite de suivi au cours des prochaines années. Enfin, quand un des présidents des Conseils visite une université, l’ESF est priée d’aviser le bureau du président de toute question litigieuse importante soulevée au cours des visites d’examen récentes.

Dans le document Évaluation des activités de surveillance des octrois du CRSNG/CRSH (Page 14-22)