Commentaires du ministère

« Un projet d’envergure est en phase de réalisation relativement aux problématiques soulevées par le Vérificateur général. Ce projet, gestion intégrée des ressources (G.I.R.), permettra au ministère de se doter d’un système prenant en charge les fonctions reliées à la planification et au suivi des investissements en technologie, autant sur une base triennale qu’annuelle.

« De plus, le ministère envisage l’acquisition et l’implantation d’une méthodologie de gestion de projet, méthodologie qui comprendra tous les processus qui y sont associés de même que les outils de normalisation. Ce projet est actuellement à l’étape des appels d’offres et offrira des services d’accompagnement pour les projets approuvés aux plans triennal et annuel. »

Développement de système

4.47 De façon à orienter notre intervention, nous avons réalisé des travaux préliminaires en ce qui a trait au processus de développement de système dont les principales phases sont décrites dans l’annexe 2. La démarche d’évaluation utilisée, supportée principalement par le logiciel d’analyse S:P²RAM (Software : Probabilistic Process Risk Assessment and Management), a permis la détermination, la mise en relation et l’évaluation des risques associés à un tel processus. Les résultats de cette démarche sont présentés dans l’annexe 3.

Taille des produits de travail, effort de développement et coût des projets

4.48 La première estimation détaillée de la taille des produits de travail, de l’effort de développement et du coût d’un projet vise à soutenir pour une bonne part la décision d’enclencher ou non la réalisation proprement dite de celui-ci et sert à établir l’affectation des ressources. Cette estimation est présentée au moment où l’architecture du système est suffisamment définie. Pareille tâche fait appel au jugement tout en se référant à des techniques d’estimation, comme les barèmes,

4

qui sont le fruit d’expériences de développement et le reflet des particularités de chaque organisation (politique de développement, environnement technique, expérience des ressources, participation des utilisateurs, outils de productivité).

L’estimation initiale se précise tout au long du projet.

4.49 Ce travail est facilité s’il s’appuie sur une procédure précisant au moins la portée des estimations, la démarche et les outils suggérés, la documentation à élaborer ainsi que les modalités de revue et d’acceptation de ces mêmes estimations. Au surplus, afin de profiter des expériences passées, les organismes doivent constituer et exploiter une banque d’information portant sur les activités de développement et sur les biens livrables qu’elles génèrent. Cette banque doit comprendre des données factuelles et contextuelles concernant notamment la taille des produits de travail, l’effort, le coût, le calendrier, l’affectation du personnel ainsi que les activités techniques.

4.50 L’analyse du coût de développement des systèmes sélectionnés nous conduit à formuler d’entrée de jeu quelques observations générales. Les données que nous avons scrutées sont détaillées dans le tableau 2, qui présente l’information disponible à l’égard du coût prévu et du coût réel de ces systèmes.

L e V é r i f i c a t e u r g é n é r a l d u Q u é b e c – R a p p o r t d e 1 9 9 9 - 2 0 0 0 ( I I )

TABLEAU 2

COÛT DU DÉVELOPPEMENT DES SYSTÈMES D’INFORMATION(en millions de dollars)

Ressources spécialisées Ressources propres Équipement Coût global en développement de système aux utilisateurs et logiciel

Coût Prévu¹ Réel² Écart Prévu¹ Réel² Écart Prévu¹ Réel² Écart Prévu¹ Réel² Écart

Systèmes (%) (%) (%) (%)

IMP-CER 1,38 2,98 115,9 0,29 n.d. – 3,01 n.d. – 4,68 n.d. –

TOF 0,48 1,23 156,3 0,95 n.d. – 0,00 0,14 ∞ 1,43 n.d. –

CIR 0,70 n.d. – 0,15 n.d. – 3,25 n.d. – 4,10 n.d. –

TBG-SIG 0,48 1,12 133,3 0,28 n.d. – 0,56 n.d. – 1,32 n.d. –

GCH 0,81 0,85 4,9 0,21 n.d. – 0,73 1,14 56,2 1,75 n.d. –

Total 3,85 – 96,2³ 1,88 – – 7,55 – 75,3³ 13,28 – –

1. Ces données proviennent du cahier des charges pour le système IMP-CER, d’un rapport d’avancement des projets SAI pour le système TOF, du document d’analyse préliminaire pour le système CIR, du document de conception administrative pour le système TBG-SIG et du rapport d’architecture pour le système GCH.

2. Les données réelles correspondent aux données de réalisation les plus probables, soit le cumul des coûts réels et de ceux nécessaires à l’achèvement du système.

3. Ce pourcentage s’applique aux systèmes pour lesquels les données sont disponibles.

4.51 D’abord, il est impossible de calculer l’écart éventuel des coûts se rapportant aux ressources propres aux utilisateurs puisqu’il n’y a pas eu de suivi systématique à ce chapitre. Quant à l’équipement et au logiciel, nous avons vainement tenté d’évaluer la précision des estimations car, comme nous l’avons déjà mentionné, il existe des failles majeures concernant le suivi. On peut toutefois affirmer que l’écart entre le coût prévu et le coût réel est supérieur à 50 p. cent en ce qui a trait aux deux systèmes pour lesquels les données requises ont pu être colligées.

4.52 Par contre, un bilan plus précis se dessine au chapitre des ressources spécialisées, même si le suivi du coût n’est pas réalisé pour un système. Ainsi, l’écart entre les prévisions et les données réelles est supérieur à 100 p. cent pour trois des quatre autres systèmes. Compte tenu de ces dépassements substantiels, de l’importance de ces ressources et, comme l’indique notre expérience, de leur incidence sur les coûts associés aux utilisateurs, nous avons centré notre attention sur les ressources spécialisées en développement de système.

4.53 Le tableau 3 fait ressortir que l’estimation de l’effort de développement est très imprécise pour quatre des systèmes tandis qu’il est impossible de la qualifier pour le cinquième. Dans les faits, l’écart observé pour ce qui est des systèmes ayant fait l’objet d’un suivi adéquat correspond à des dépassements oscillant entre 54,9 et 175,2 p. cent. Or, ces variations surpassent nettement les normes suggérées par la méthodologie de développement généralement suivie au gouvernement du Québec. En effet, celles-ci requièrent que l’écart par rapport à l’estimation réalisée à la fin de l’étape d’analyse préliminaire, au regard des étapes subséquentes, soit en deçà de 30 p. cent. Pour au moins deux des systèmes analysés, nous consi-dérons que l’écart acceptable est même d’au plus 15 p. cent, attendu que les données de planification utilisées proviennent d’une étape postérieure à l’analyse préliminaire, ce qui implique un degré de précision supérieur.

TABLEAU 3

EFFORT ET COÛT DES ACTIVITÉS DE DÉVELOPPEMENT ATTRIBUABLES AUX RESSOURCES SPÉCIALISÉES EN CETTE MATIÈRE Estimation lors de la conception administrative Données de réalisation

ou toute autre étape préliminaire les plus probables

Effort Coût Effort Coût

(en jours- (en millions (en jours- (en millions

Systèmes personnes) de dollars) personnes) de dollars)

IMP-CER 4 127 1,38 9 881 2,98 139,4 115,9

TOF 1 530 0,48 2 573 1,23 68,2 156,3

CIR 3 505 0,70 n.d. n.d. – –

TBG-SIG 1 424 0,48 3 919 1,12 175,2 133,3

GCH 1 500 0,81 2 324 0,85 54,9 4,9

Total 12 086 3,85 – – 117,9² 96,2²

N.B. : Les notes du tableau 2 s’appliquent au présent tableau avec les ajustements requis.

1. Il s’agit ici d’un minimum puisque le tableau ne comprend pas tous les efforts et les coûts.

2. Ce pourcentage s’applique aux quatre systèmes pour lesquels les données sont disponibles.

4.54 Ce manque de précision a différentes causes. D’une part, aucune norme ou procédure récente n’appuie l’exercice d’estimation. Au mieux, le ministère exploite les outils proposés par la méthodologie de développement retenue, mais leur usage n’est ni généralisé ni adapté aux particularités de l’entité. Ainsi, les estimations relatives à deux des systèmes sélectionnés n’ont pas été menées

Pourcentage

4

selon un processus formel alors que celles qui se rapportent aux trois autres l’ont été à l’aide de barèmes qui ne reflètent pas la réalité du ministère. Bref, dans tous les cas, les sources d’information se limitent le plus souvent à l’expérience des personnes affectées à ces tâches, ce qui est loin d’être suffisant.

4.55 De façon plus particulière, nous constatons que l’ampleur des systèmes, pour ce qui est de la taille des produits de travail, n’a pas été évaluée lors des travaux préliminaires pour deux des systèmes et que des fonctions importantes ont été oubliées relativement à un troisième, par exemple le pilotage de systèmes (1 612 personnes) et la planification des travaux d’entretien (890 jours-personnes). Par ailleurs, les données utilisées pour convertir les efforts en coûts ne sont pas normalisées en fonction de données objectives. Ainsi, les coûts unitaires pour des éléments similaires diffèrent grandement d’un système à un autre sans que cette fluctuation soit toujours expliquée. Enfin, certains coûts, tels que ceux liés au financement ainsi que les avantages sociaux, ont été exclus des estimations dans tous les cas.

4.56 D’autre part, le ministère ne cumule pas avec assez de rigueur le coût et l’effort relatifs aux systèmes développés, données nécessaires à la constitution d’une banque d’information sur les activités de développement et les biens livrables qui en résultent. Comme en témoignent les tableaux 2 et 3, et particulièrement pour un des systèmes, on doit souvent composer avec des renseignements fragmentaires. Les personnes ayant le mandat de préparer les estimations ne disposent donc pas d’une source fiable reflétant l’expérience cumulée au chapitre des résultats et de la productivité des ressources.

4.57 En conclusion, les pratiques actuelles du ministère, peu structurées, ne lui permettent pas d’avoir une vision initiale suffisamment précise de l’ampleur, de l’effort et du coût des systèmes qu’il développe. Il peut alors être amené à prendre de mauvaises décisions et à affecter ses ressources de manière inappropriée, en plus de ne pouvoir par la suite apprécier avec suffisamment d’acuité la productivité des ressources.

4.58 Nous avons recommandé au ministère

• de concevoir, de tenir à jour et d’appliquer systématiquement une procédure encadrant l’estimation de la taille des produits de travail, de l’effort de développement et du coût des projets ;

• de constituer et d’exploiter une banque d’information fiable sur les activités de développement et les biens livrables qu’elles génèrent.

4.59 Commentaires du ministère

« Au moment de la vérification, le ministère travaillait à l’élaboration d’un cadre méthodologique de développement de systèmes qui en est à l’étape d’implantation, laquelle devrait se dérouler jusqu’en avril 2001. »

L e V é r i f i c a t e u r g é n é r a l d u Q u é b e c – R a p p o r t d e 1 9 9 9 - 2 0 0 0 ( I I )

Les personnes ayant le mandat de préparer les estimations ne disposent

pas d’une source fiable d’information.

Assurance qualité et revue par les pairs

4.60 L’assurance qualité a pour but de donner aux organismes une image fidèle de l’efficacité et de l’efficience d’un processus donné. Cette fonction doit être soigneusement planifiée et exercée par des personnes indépendantes de l’équipe de développement. Elle porte normalement sur trois objets distincts : la conformité des biens livrables avec les exigences déjà établies ; la conformité des activités avec le cadre méthodologique en vigueur et les normes de l’industrie ; l’efficience des activités par rapport aux normes.

4.61 La revue par les pairs vise pour sa part à éliminer tôt et efficacement les défauts des produits. Elle consiste en un examen méthodique, par des collègues, de produits de travail précis préalablement sélectionnés, examen permettant de déceler les failles de toute nature de même que les secteurs où des changements s’imposent.

4.62 Une politique de certification couvrant les principaux développements de système a été instaurée en 1997. Elle s’intéresse à la satisfaction des besoins, au respect de normes et de règles ainsi qu’à des considérations relatives à la faisabilité, à la cohérence architecturale, aux choix technologiques et à la formation. Certains systèmes sélectionnés aux fins de nos travaux de vérification ont cependant été élaborés avant que cette politique soit appliquée. Le ministère a aussi prévu la mise sur pied d’un comité de validation appelé à donner des avis sur divers aspects liés à la livraison des produits de travail (orientations, choix, nature des biens produits, etc.) et, au bout du compte, à en recommander l’approbation après ajustement, au besoin.

4.63 Dans l’ensemble, le processus en place est insuffisant. En effet, les mesures actuelles ou planifiées s’apparentent davantage à de « l’assurance résultat » qu’à de l’assurance qualité puisqu’elles visent en premier lieu à garantir que les biens livrables répondent adéquatement aux besoins et, dans une moindre mesure, que les activités respectent le cadre normatif – plans, normes et procédures – adopté par le ministère. L’efficience des activités de développement de système n’est par ailleurs jamais évaluée. En outre, l’évaluation de la qualité n’est pas menée avec toute l’indépendance voulue étant donné que les personnes endossant cette fonction sont parties prenantes à la conception des systèmes et que les conditions requises pour assurer un minimum d’objectivité ne sont pas en place. Enfin, la direction du ministère n’est pas systématiquement informée des difficultés importantes qui surviennent au fil des différentes phases du cycle de développement.

4.64 Sur le plan opérationnel, les activités d’assurance qualité ne sont pas planifiées.

De surcroît, elles ne sont pas documentées, pas plus que les problèmes détectés et les décisions prises pour solutionner ces derniers, surtout pour deux des cinq systèmes sélectionnés.

L’efficience des activités de développement

de système n’est jamais évaluée.

4

4.65 Nous constatons par ailleurs que le ministère n’effectue pas de revue par les pairs.

Aucune politique n’a été élaborée pour définir les modalités d’un tel exercice, notamment les critères établissant la pertinence de procéder à ces revues, leur forme, les normes de référence, la documentation à produire ainsi que le suivi à exercer. Il n’en demeure pas moins que des failles peuvent être détectées en cours de développement, mais rien n’assure qu’elles sont effectivement prises en charge et corrigées par la suite. En conséquence, le ministère ignore si tous les défauts majeurs sont décelés et corrigés promptement, ce qui peut entraîner des coûts supplémentaires pour reprendre certains travaux en aval.

4.66 Les déficiences relevées précédemment ne sont pas sans produire des contrecoups de divers ordres. Par exemple, les données relatives à l’effort, pour un des projets sur lesquels nous nous sommes penchés, montrent que les prévisions ont été haussées de 139,4 p. cent entre la phase d’analyse préliminaire et celle d’architecture alors qu’il s’agissait simplement de convertir des systèmes déjà existants, en faisant place éventuellement à quelques améliorations. En outre, plusieurs lacunes au regard de la formation, des fonctionnalités et de la performance nous ont été signalées et indiquent que le ministère aurait dû se préoccuper davantage de la qualité lors du développement de ce système. Il en est de même d’un autre système qui, ne répondant pas adéquatement aux besoins, a été très peu exploité au cours de sa première année d’implantation.

4.67 Dans ces circonstances, les fonctions d’assurance qualité et de revue par les pairs ne contribuent que très peu à la qualité des systèmes développés. À défaut de mécanismes efficaces recueillant a posteriori de l’information fiable et suffisante sur la conformité des biens livrables et des activités, sur les défauts détectés et sur la performance des équipes de travail, le ministère est incapable de mener une gestion éclairée. Il lui est aussi difficile de se fixer des objectifs de qualité réalistes, de procéder à l’affectation des ressources, de tirer profit de ses expériences et de modifier, à point nommé, les processus aboutissant à des produits dont la qualité est en deçà des critères établis.

4.68 Nous avons recommandé au ministère

• d’exercer une assurance qualité qui, reposant sur une évaluation indépendante ou, à défaut, objective, permet d’informer la direction sur l’efficacité et l’efficience des activités de développement de système ;

• d’élargir la portée de l’assurance qualité pour qu’elle intègre la conformité des activités ainsi que l’évaluation de l’efficience de ces dernières ; de planifier rigoureusement les activités menées à ce chapitre ;

• de faire en sorte que les revues par les pairs soient encadrées par une politique et qu’elles soient conduites systématiquement ;

• de colliger la documentation relative à ces fonctions.

L e V é r i f i c a t e u r g é n é r a l d u Q u é b e c – R a p p o r t d e 1 9 9 9 - 2 0 0 0 ( I I )

Il est difficile pour le ministère de se fixer des objectifs de qualité

réalistes, de procéder à l’affectation des ressources et de tirer profit de ses expériences.

4.69 Commentaires du ministère

« La Direction des technologies de l’information a déjà, au cours du présent exercice, consenti des investissements à ce chapitre notamment par la certification des nouveaux projets, lesquels ont nécessité la mise en place d’un ensemble de règles architecturales.

« En accord avec les commentaires formulés, elle envisage de poursuivre ses investis-sements, notamment par la bonification de ses processus d’assurance qualité. La reconnaissance de ces pratiques sera intégrée dans la révision du cadre de gestion des ressources informationnelles. »

Intégrité des systèmes

4.70 Un système d’information regroupe plusieurs composantes nécessaires tout au long de sa vie utile : plans, description des bases de données, spécifications générales, code source, spécifications d’essai, manuels d’installation et d’exploi-tation, etc. L’intégrité du système repose sur la cohérence des composantes et leur concordance avec les caractéristiques attendues, une documentation adéquate devant appuyer les exigences formulées à cet égard.

4.71 Si l’on vise à obtenir et à préserver l’intégrité du système, il convient de déterminer avec soin les composantes requises, d’en connaître l’état à tout moment, de gérer rigoureusement les changements qui y sont apportés et de consigner le détail des interventions. Il importe également de s’assurer, par des vérifications, que toutes les composantes sont présentes et conformes aux spécifications. Un contrôle des référentiels²est ainsi exercé, ce qui favorise leur validité en plus de faciliter la réutilisation de certaines composantes.

4.72 Or, nos travaux indiquent des faiblesses importantes quant à l’intégrité des systèmes d’information. Ainsi, nous n’avons retracé aucune norme ministérielle établissant les exigences ou les responsabilités à ce sujet. De plus, à une exception près, les systèmes sélectionnés n’ont pas été élaborés à l’aide d’un plan de gestion faisant état des activités à réaliser et de la répartition des tâches. Ces déficiences font en sorte que trop de personnes peuvent créer ou modifier des référentiels, en risquant de les détruire accidentellement ou d’y introduire des erreurs qui, faute de vérifications, ne sont pas détectées.

4.73 Par ailleurs, le contrôle portant sur les modifications est insuffisant, car aucune analyse structurée n’évalue leurs répercussions. En principe, les demandes de changement sont autorisées formellement, mais aucun processus ne permet d’encadrer ces changements et d’organiser leur suivi. Par exemple, nous avons constaté que des modifications apportées à la mauvaise version d’un programme ont provoqué la panne générale d’un système utilisé dans plusieurs unités administratives du ministère ; les employés ont dû saisir à nouveau une partie des transactions de la journée.

2. Spécifications ou produits ayant fait l’objet d’une revue formelle et qui servent de base à des activités ultérieures ; ils ne peuvent être modifiés que par l’utilisation de procédures de contrôle de changement.

Aucun processus ne permet d’encadrer les changements et d’organiser leur suivi.

4

4.74 Enfin, dans son ensemble, la documentation est lacunaire, notamment parce qu’elle ne rend pas compte avec rigueur des changements proposés ou apportés, ni de l’état des diverses composantes durant toute la vie utile des systèmes. Il s’ensuit que le personnel œuvrant au développement ou à l’entretien est parfois contraint de consulter le code source, soit les instructions originales d’un programme, pour mener à bien ses tâches.

4.75 Nous avons recommandé au ministère

• d’établir ses exigences et de préciser les responsabilités au regard de la gestion de l’intégrité de ses systèmes d’information ;

• de veiller à ce que la gestion de l’intégrité soit planifiée et mise en œuvre pour chaque système ;

• de revoir les mécanismes mis en place pour assurer l’intégrité des systèmes tout au long de leur cycle de vie utile, notamment en ce qui a trait au contrôle des changements, à l’accès aux bibliothèques de référentiels et au contrôle de l’état des différentes composantes ;

• de réaliser régulièrement des vérifications portant sur l’intégrité des systèmes élaborés et utilisés.

4.76 Commentaires du ministère

« La Direction des technologies de l’information a déjà réalisé certains investissements dans ce domaine, notamment par la revue de ses processus liés à l’accès aux bibliothèques de référentiels et, à cet égard, a procédé récemment au recrutement d’une personne pour pourvoir un poste spécifique à cet effet. Plusieurs investissements restent à faire, en accord avec les commentaires formulés. Ils seront pris en compte dans l’élaboration du nouveau cadre de gestion et les plans d’action qui en découleront. »

Risques

4.77 Un risque se définit communément comme un événement ou une action

4.77 Un risque se définit communément comme un événement ou une action

Dans le document Rapportà l’Assemblée nationalepour l’année 1999-2000 (Page 80-101)