Ce chapitre a deux objectifs :
la mise en evidence du probleme pose par l'estimation des parametres ou encore par le calibrage des modeles de la Section 3;
la mise en evidence des principales methodologies proposees pour une evaluation de la s^urete de fonctionnement d'un logiciel.
Nous presenterons dans la premiere sous-section les deux principales methodes d'estimation et les dicultes associees a leur application aux donnees de defaillance. Il est clair que le calibrage d'un modele parametrique a une in uence directe sur les resultats d'une etude de s^urete de fonctionnement. Ainsi lorsqu'on desire valider un modele de croissance de abilite, il s'agit en fait de valider un systeme complet de prediction tel qu'il a ete de ni en n de Section 2. Pour cela, une approche classique de mesures de qualite d'ajustement a posteriori ne sut pas bien qu'elle ait ete utilisee par de nombreux auteurs [100],[119],[122],[123]. En e et de ce point de vue la validation n'invoque que le modele probabiliste du processus de defaillance. La procedure d'inference n'est alors consideree que comme un bruit et celle de prediction est completement escamotee [2]. La m^eme remarque vaut lorsqu'on desire e ectuer non pas une validation absolue mais relative. C'est a dire quand il s'agit d'etablir une echelle de comparaison entre di erents systemes de prediction. Nous verrons dans la seconde sous-section les criteres de validation reconnus par la majorite des chercheurs et recenses dans [62] et [113]. En n, dans la derniere sous-section, nous presenterons deux approches proposees respectivement dans [69] et [28], pour ameliorer la qualite predictive des modeles classiques.
4.1 Calibrage des modeles
De facon generale, le choix de la mesure a evaluer par les modeles de croissance de abilite impose celui de la variable aleatoire qui sera privilegiee lors de l'estimation des parametres. Ainsi pour obtenir un MTTF ou un taux de defaillance, la variable d'inter^et est Xi le temps
ecoule entre la (i 1)eme et la ieme defaillance. Par contre si on est interesse par le nombre cumule de defaillances, le choix se portera sur le processus de comptage (Nt)t0 des defaillances. L'etape suivante consiste a attribuer des valeurs a un eventuel ensemble de parametres a partir des donnees experimentales. C'est le r^ole de la procedure d'inference. Deux points de vue sont alors possibles:
1. Les parametres sont simplement consideres comme des constantes inconnues. Alors les techniques classiques d'estimation ponctuelle, la methode du maximum de vraisemblance, la methode des moindres carres, consistent a optimiser une expression qui depend bien s^ur de la methode choisie mais egalement de la variable aleatoire retenue.
(a) Goel et Okumoto dans [58] (resp. Musa et Okumoto dans [113]), associent le nombre cumule de defaillances et la methode de maximum de vraisemblance (resp. la methode des moindes carres);
(b) Keiller et Littlewood dans [79], associent la variable Xi et la methode de maximum
2. Les parametres sont consideres comme des variables aleatoires caracterisees alors par leur distribution. La encore, deux possibilites :
(a) Ces distributions sont parametriques. Dans ce cas en combinant les deux sources de hasard, on peut calculer une distribution de probabilite pour les donnees, conditionnee par rapport a cette seconde famille de parametres. En n la speci cation du modele est totale par le biais d'estimations ponctuelles du second jeu de parametres. Le modele de Littlewood et Verall est un exemple de cette approche.
(b) Une approche bayesienne est choisie. L'observateur attribue a priori une distribu- tion aux parametres du modele. Les donnees collectees sont combinees (en utilisant le theoreme de Bayes) avec cette distribution a priori pour une mise a jour de la loi des parametres, ou encore pour obtenir une distribution des parametres dite a posteriori. Cependant ce type de calcul passe par la mise en oeuvre de methodes numeriques d'integration multidimensionnelle. Le BJM constitue un exemple de ce type d'approche.
D'un point de vue pratique, les deux methodes d'estimation les plus usitees sont le maximum de vraisemblance et les moindres carres. Elles se ramenent a une procedure d'optimisation dont voici quelques exemples de mise en oeuvre [63],[74]:
1) la procedure iterative de Newton-Raphson utilisant les derivees premieres et secondes de l'expression a optimiser;
2) la procedure de quasi-Newton utilisant seulement des derivees premieres. Ces deux pre- miers algorithmes sont decrits dans [90].
3) la procedure numerique de recherche directe d'optimum de Powers [124] ou de Fletcher et Reeves [90].
Il s'agit d'une optimisation numerique avec tous les problemes inherents a ce type de calcul : choix des parametres d'initialisation qui determinent la vitesse de convergence de ces methodes; pas de garantie d'obtention d'un optimum absolu. L'in uence de l'etape de calibrage etant essentielle pour l'evaluation d'un logiciel, il est donc necessaire de posseder un bon programme d'optimisation. Il semble d'apres [5] qu'il n'y a pas de choix absolu entre une methode des moindres carres ou de maximum de vraisemblance.
Cependant il est important de noter, qu'en dehors du probleme du calcul de ces estimations, les proprietes des estimateurs eux-m^emes ne sont pas toujours satisfaisantes. Ainsi, un certain nombre de modeles supposent que le logiciel ne contient qu'un nombre ni de fautes. Il existe donc une borne superieure du nombre de donnees observables. Ce qui implique par exemple, que nous devons utiliser avec precaution la theorie asymptotique usuelle pour les estimateurs de maximum de vraisemblance. Leurs proprietes sur de petits echantillons sont diciles a etablir et en general non satisfaisantes. On pourra trouver dans [110] une discussion sur les dicultes pour estimer le nombre initial de fautes dans le modele JM. Plusieurs alternatives, issues des travaux de [47],[21],[99],[67],[137] y sont recensees. Mais toutes ces methodes sont plus ou moins confrontees au probleme d'estimations eventuellement in nies et/ou biaisees. Musa en conclut qu'un unique estimateur ne peut pas fonctionner au mieux pour toutes les tailles d'echantillon
et suggere, par exemple, l'emploi d'estimateurs adaptatifs. Pour l'estimation des parametres des modeles N.H.P.P. ou EOS, on pourra consulter [66],[125],[123].
Une alternative consiste a utiliser une approche bayesienne pour obtenir la de nition com- plete d'un systeme de prediction. Elle invoque des lois a posteriori pour les parametres et des distributions predictives (bayesiennes) pour la variable aleatoire d'inter^et. Cependant, en dehors des problemes que peuvent poser le calcul explicite de toutes ces distributions, ceci presente des dicultes numeriques importantes comme nous l'avons deja signale. Mais de recentes etudes sur des techniques numeriques liees aux methodes bayesiennes [135], couplees avec des calculateurs puissants, permettent d'envisager la generalisation de tels systemes.
Tout ceci souligne la necessite de considerer la validation absolue ou relative d'un modele de abilite comme la validation d'un
systeme de prediction
complet incluant a la fois le modele stochastique associe au processus de defaillance et les procedures d'inference et de prediction. Dans la prochaine sous-section, nous donnerons des criteres de validation pour juger de la qualite globale d'un tel systeme.4.2 Criteres de validation
Devant l'e ort considerable de modelisation, il est devenu necessaire d'etablir un certain nombre de criteres sur lesquels l'utilisateur puisse s'appuyer pour juger de la pertinence des modeles pro- poses. D'autant plus que les etudes comparatives menees par des specialistes [108],[79],[62],[1] ont conduit a la conclusion qu'il etait impossible d'elire a priori, un modele universel. Par consequent l'utilisateur est veritablement confronte au probleme du choix parmi l'ensemble des systemes de prediction, du ou des modeles adaptes au contexte de son evaluation de s^urete de fonctionne- ment. Ce choix peut ^etre guide par les criteres de validations enumeres dans [62]. Ces criteres sont essentiellement utilises a une n comparative, mais la plupart sont applicables pour une validation absolue, (i.e on accepte ou on rejette le modele). Ils sont presentes approximativement par ordre d'importance.
4.2.1 Validite predictive
Il s'agit de la capacite du modele a predire le comportement des futures defaillances durant la phase de test ou la phase operationnelle [62]. Pour cela, un certain nombre de methodes ont ete proposees [79],[63],[70],[2], selon l'approche utilisee pour caracteriser le processus stochastique de defaillance.