2 Approche \nombre cumule de defaillances"
4.3 Techniques visant a une meilleure evaluation de la abilite du logiciel
4.3.1 Methode de recalibrage
Cette methode repose sur l'analyse de la distance entre le comportement de defaillance prevu et observe. En e et, un modele peut capturer de maniere satisfaisante la ou les tendances de la croissance de abilite des donnees mais generer des predictions \biaisees" (erreur consistente). Le but de cette technique est alors d'ameliorer la qualite des futures estimations a la lumiere du comportement predictif passe du modele. Elle est independante du modele considere et permet de construire une nouvelle classe de systemes de prediction dont la validite predictive peut ^etre evaluee via les mesures de la sous-section precedente (voir [30],[25]). On trouvera dans [28] une synthese complete de ces travaux dont les fondements apparaissent des 1984 [80]. Nous n'evoquerons ici que les grandes lignes de la methode.
Soit Xi la variable aleatoire \temps ecoule entre la (i 1)eme et la ieme defaillance", on noteFi(t) sa fonction de repartition (inconnue a priori). La fonctioncF
i(t) designe la fonction de
repartition predictive deXi, construite a partir des observationsx1;...;xi 1. Supposons qu'une certaine fonction Gi permette de reconstituer Fi(t) a partir cF
i(t), c'est a dire Fi(t) =Gi h c Fi(t) i : (18)
La methode de recalibrage consiste a estimer Gi par une fonction G
i. On obtient alors un
nouveau predicteur en posant
c F i (t) =G i h c Fi(t) i : (19)
On constate dans de nombreuses situations que la suite fGigi
1 est approximativement station- naire, i.e. independante de i. Ce qui garanti une meilleure estimation de la relation (18) gr^ace au supplement d'information sur l'erreur de prediction apporte par chaque nouvelle occurrence d'une defaillance (c'est a dire avec l'accroissement de la taille de l'echantillon). Un estimateur approprie pour Gi est suggere par l'observation suivante : Gi est la fonction de repartition de la
variable aleatoire Ui=cF
i(Xi). Par consequent, le choix deG
i doit reposer sur le \u-plot", car il
represente la fonction de repartition empirique de la suite de realisationsfuj;j < igdes variables aleatoires Uj. Le plus simple est alors de prendre pour G
i, la fonction polygonale obtenue en
joignant par un segment deux sauts consecutifs de la fonction de repartition empirique ( gure 2).
Fi(t) 1 i+1 i i+1 u(3) u(2) u(1) G i FU(0;1)(t) 1 0 1
Figure 2 : On trace le u-plot associe auxipoints (u1;
;ui). Puis on joint les sauts consecutifs de la fonction de reparti- tion empirique Fi(t) pour obtenir G
i.
En resume, on peut appliquer a un quelconque modele, la procedure suivante dite de \reca- librage" :
Etape 1 : Veri er que l'erreur issue des precedentes predictions est approximativement sta- tionnaire (avec par exemple le \y-plot").
Etape 2 : Tracer le \u-plot" avec les predictions realisees avantXi. Puis joindre les sommets
issus des sauts de la fonction pour former un polygone qui representera G
i.
Etape 3 : Calcul deFc
i(t).
Etape 4 : recalibrage par G
i h c Fi(t) i =Fc i(t):
Cette procedure est entierement reexecutee a chaque nouvelle occurrence d'une defaillance. Ainsi les fonctions G
i incorporent successivement dans le modele initial, une information de plus en
plus importante sur les erreurs de prediction passees. Si on accepte l'approximative stationnarite de cette suite de fonctions, elles constituent donc un veritable recalibrage dynamique du modele initial.
On obtient nalement un nouveau systeme de prediction (Fc
i est calcule uniquement avec
x1;...;xi 1) dont la qualite predictive peut ^etre evaluee avec les techniques decrites dans 4-2-1. En n le surco^ut engendre par l'etape 3 est negligeable. Le plus gros de l'e ort de calcul est utilise pour la procedure d'inference. La validation de ces nouveaux modeles a ete e ectuee selon les deux approches suivantes.
Premiere approche [25]: on e ectue une simulation de variables aleatoiresXiet on compare les predictions obtenues par les modeles de base et recalibres, aux fonctions de repartition
Fi (connues dans cette situation). On peut employer, par exemple, la distance de Kol-
mogorov comme mesure de l'erreur commise. Les resultats montrent que dans une forte proportion de cas, le systeme recalibre obtient de meilleurs resultats que l'original. En e et, en recalibrant systematiquement toutes les predictions, on a un gain dans sept cas sur dix. Mieux encore, une utilisation rationnelle du \u-plot" pour detecter la presence d'un reel biais, apporte un gain de qualite predictive dans neuf cas sur dix.
Seconde approche [30]: une etude comparative entre les modeles initiaux et recalibres est realisee gr^ace a la fonction prequentielle de vraisemblance (cf 4-2-1). Pour la distribution predictive recalibree, cette fonction admet l'expression
PL n= m +n Y i=m+1 c f i(xi) = m +n Y i=m+1 g i(ui)fb i(xi); oufc i (resp.fb
i) est la densite de probabilite predictive du modele recalibre (resp. initial),cg
i
est la derivee deG
i,mle numero du premier intervalle predit etnle nombre de predictions
realisees.
Cependant cette fonction de vraisemblance prequentielle ne se comporte pas tres bien lorsque la densite de probabilite utilisee n'est pas continue. Ainsi dans le cas oufc
i n'est pas
reguliere, on observe un bruit dans la comparaison entre les modeles qui peut defavoriser le modele recalibre, m^eme si le recalibrage apporte un gain evident. La fonction polygone
G
i est clairement derivable (par morceaux) mais de derivee (par morceaux) non continue
aux points ui. La fonction fc
i est donc discontinue. A n de faire tout de m^eme usage de
la fonction PLRn, la solution adoptee consiste a lisser le polygone G
i de telle sorte que
la derivee devienne reguliere. Des fonctions splines parametriques ont ete utilisees pour construire a partir des points du \u-plot", une fonction de repartition G
i di erentiable en
tout point et de derivee reguliere. Cette fonctionG
i est egalement concue pour representer
le plus delement possible la fonction de recalibrage polygonaleG
i. Alors les predictions de
probabilites (obtenues par integration des densites) issues de G
i et G
i , seront similaires
bien que les densites de probabilite respectives soient di erentes.
Les conclusions de cette etude sont alors essentiellement les m^emes que pour la premiere approche.
Conclusion.
Ainsi, gr^ace a une analyse dynamique des erreurs de prediction passees, cette me- thode de recalibrage genere, dans de nombreuse situations, des modeles dont la qualite predictive est sensiblement meilleure que celle des systemes de base. La famille des systemes de prediction se trouve ainsi enrichie pour un co^ut calcul tres raisonnable.4.3.2 Une approche globale [72],[71],[73],[69],[13],[74]
La methodologie adoptee dans [73],[69] et mise en oeuvre dans SoRel [74] pour l'evaluation de la abilite d'un logiciel est fondee sur les deux etapes fondamentales suivantes:
2. application d'un modele de croissance de abilite connu pour ^etre adapte a la nature des tendances mises en evidence a l'etape precedente et aux objectifs de l'evaluation.
L'originalite de cette approche reside dans l'examen systematique des donnees pour construire (si necessaire) une partition selon les grandes tendances observees. On peut alors appliquer a chaque classe un modele connu pour reproduire le type de tendance associe. Ce qui nous interessera ici, c'est l'emploi de cette methode dans un contexte predictif tel que dans [13]. La notion de validation aura donc le sens de validation
predictive
.Nous allons maintenant decrire plus en detail chacune des etapes 1 et 2, avec une attention particuliere pour le traitement preliminaire des donnees. La seconde phase est constituee par la selection de modeles et par leur validation, ce qui a ete largement aborde respectivement dans la Section 3 et les precedentes sous-sections.