6.2 La méthode d'évaluation
6.2.5 Les pro édures de test des s énarios
Pour ha une des méthodes de omposition du hapitre 5, je n'exé ute qu'une seulefoislestests arlesméthodestestéessontdéterministes.
Notons que sinous utilisionsdes méthodesbaséessur l'apprentissageet l'intelli- gen earti ielle,méthodesqui,étant apablesd'apprendre,pourraient hangerleurs résultats au l du temps, il serait alors utile d'exé uter plusieurs fois les tests des méthodesà ausedel'indéterminismeengendréparl'apprentissage.
L'évaluation des méthodes de omposition analyse leurs fon tionnalités et leur qualité,jeprésente es deuxaspe tsdanslesse tionssuivantes.
6.2.5.1 Exé ution des s énarios L'exé ution d'uns énario onsisteà;
•
démarrerlesservi esWebquisontutilisésparles énariodemanièreàlesrendre disponibles. Lesautresdemeurentarrêtés;•
lan er l'exé ution de laméthodede omposition qu'on souhaite tester ave la requêteet lesdonnéesutilisateur;•
ré upérerlerésultat del'exé utiondans lebut dele omparer ave lerésultat idéalattendu.6.2.5.2 Evaluation des fon tionnalités
Les fon tionnalités testées sont dé rites dans la se tion 6.1.1, et onsistent, par exemple,àévaluerla apa itéde hoisirentredeux ompositions,ouen oredefaire l'uniondedeux ompositions, 'est-à-dire,lesaméliorationssouhaitéesparlesmétéo- rologuesne on ernantpaslaqualité.
L'évaluation des fon tionnalités onsiste à établir un tableau qui synthétise les résultatsobtenusaprèslesexé utionsdelaméthodede ompositionàévaluersurles diérentss énarios.Ce tableauest omposéde inq olonnes.Lapremièreindiquele nomdus énario,lesquatresuivantessontdansl'ordre:
•
lapremière olonnerapportesilerésultatdel'exé utiondus énarioest omplet;•
ladeuxième olonnerapportesilerésultatdel'exé utiondus énarioestpartiel (ilmanque aumoinsune donnéeparrapport aurésultat omplet);•
la troisième olonne indique si le résultat de l'exé ution du s énario est vide (au une donnéen'aétéobtenue);•
la quatrième olonne indique si le résultat du s énario est faux ( e résultat omporteuneou plusieursdonnéesqui n'existentpasdanslerésultat omplet ommeparexempledesdonnéesendegréCelsiusàlapla ededonnéesendegré Farenheit).où lerésultat omplet d'uns énarioest unrésultatthéorique spé i é àlamain; 'est par dé nition le résultat qu'aurait obtenu une méthode idéale ave tous les servi es Web du s énarioparfaits àpartir duquelon va en déterminerles résultats in ompletsoufaux.
Le tableau 6.2 montre un exemple de l'exé ution de tous les s énariospar une méthode donnée.Ce tableau est également letableau, qu'auraitobtenu la méthode idéale(sansbiensûrquelesservi esWebsoienttousparfaits).Ilserviraderéféren e pouranalyserlestableauxobtenusparlesméthodesréellesde omposition.En om- parant e tableau (6.2) ave le tableau obtenu par une méthode quel onque, il est possible de onnaître les fon tionnalités que ette dernière réalise. Par exemple, si
leslignesseq_A,seq_B,seq_Csontidentiques autableaude référen e6.2 pour une méthode donnée,on en on lut que ette méthode réalise les ompositions ompor- tantdesséquen esservi esWeb.Noterlefaitque,dans ertainss énarios,lerésultat souhaitéestl'absen ederésultat.C'estle as,parexemple,pourles énarioappel_C oùleservi eWebest indisponible. Eneet,il n'estpasraisonnablequ'uneméthode fournissedesrésultatsalorsqu'au unservi eWebn'estdisponible.
1 2 3 4 s _appel_A 1 0 0 0 s _appel_B 0 1 0 0 s _appel_C 0 0 1 0 s _seq_A 1 0 0 0 s _seq_B 0 1 0 0 s _seq_C 0 0 1 0 s _ hoix_A 1 0 0 0 s _ hoix_B 0 1 0 0 s _ hoix_C 0 1 0 0 s _union_A 1 0 0 0 s _union_B 1 0 0 0 s _union_C 0 1 0 0 1 2 3 4 s _ hoix1_A 1 0 0 0 s _ hoix1_B 0 1 0 0 s _ hoix1_C 0 1 0 0 s _ hoix2_A 1 0 0 0 s _ hoix2_B 0 1 0 0 s _ hoix2_C 0 1 0 0 s _union1_A 1 0 0 0 s _union1_B 1 0 0 0 s _union1_C 1 0 0 0 s _union2_A 1 0 0 0 s _union2_B 1 0 0 0 s _union2_C 0 1 0 0 s _seq1_A 1 0 0 0 s _seq1_B 0 1 0 0 s _seq1_C 0 0 1 0
Tab.6.2Tableauderéféren epouruntestuniqueréaliséave uneméthodeidéale. La olonne1indiquesiletestaréussi;la olonne2rapportesiletestestpartiellement réussi (il manque au moins une donnée); la olonne 3 indique si le test a é houé (au une donnéen'aétéfournie);la olonne4indiquesilerésultatestfaux(résultat omportantdesdonnéesfausses).
Pour réaliser une analyse plus ne des méthodes de omposition, il est possible de s'appuyersur le tableau6.3 qui lie haques énarioauxbesoinsexprimésparles météorologues.Ces besoinssontexprimésau hapitre3.
On remarque que nous disposonsde plusieurss énariospour haquebesoin,ex- eptépourlebesoin" réationdeservi es omposés".Au uns énarione on erne e besoinpuisqu'ilneportepaspré isémentsurlaméthodede ompositionautomatique et adaptative.
On onstatequeless énariosde hoixetd'unionsontidentiques:lesservi esWeb utilisésetlarequêtedel'utilisateursontidentiques.Néanmoins,ilssedistinguentdans le tableau par le fait que les résultats attendus sont diérents. En eet, l'union de deuxrésultatsdeservi esWebnormauxpeutêtre omplètealorsquele hoixsur es deuxmêmesservi esesttoujoursin omplet.
s énarios prise en ompte de l'hétérogénéité reprise des pannes omplétion des données amélioration de la qualité estimation de la qualité prise en ompte de nouv eaux servi es réation de servi es omp osés s _seq_A
•
•
s _seq_B•
•
s _seq_C•
•
s _ hoix_A•
•
•
•
•
s _ hoix_B•
•
•
•
s _ hoix_C•
•
•
•
s _union_A•
•
•
•
s _union_B•
•
•
•
s _union_C•
•
•
•
s _union1_A•
•
•
•
s _union1_B•
•
•
•
s _union1_C•
•
•
•
s _union2_A•
•
•
•
s _union2_B•
•
•
•
s _union2_C•
•
•
•
s _ hoix1_A•
•
•
•
s _ hoix1_B•
•
•
•
s _ hoix1_C•
•
•
•
s _ hoix2_A•
•
•
•
s _ hoix2_B•
•
•
•
s _ hoix2_C•
•
•
•
s _seq1_A•
•
s _seq1_B•
•
s _seq1_C•
•
Tab. 6.3 S énarios et besoins exprimés. Ce tableau ompare les s énarios (1ère olonne) vis-à-vis des besoins exprimés en météorologie (1ère ligne). Chaque point représente lefaitque les énariovéri eunbesoinexprimé (parexemple,le s énario de hoixex lusifCvéri equelaméthodeest apablederempla erunservi eWeben panne). Onremarque que ladernière olonne est vide: notre méthode d'évaluation nevéri epasquelaméthodetraitela réationdeservi es omposés.
6.2.5.3 Evaluation de la qualité
L'analysedelaqualité s'ee tuede lamême façonquel'évaluationdesfon tion- nalités.J'établisuntableausynthétisantlesrésultatsobtenuslorsdel'exé utiondes s énarios.Cetableauestforméde4 olonnes,lapremièreindiquantlenomdus énario et lessuivantesétant:
•
lase onde olonne indiquelestests oùlerésultatobtenuest eluidemeilleure qualité;•
la troisième olonne indique le nombre de s énarios pour lesquels le résultat obtenun'estpas eluidemeilleurequalité;•
la quatrième olonne ré apitulelenombre detests pourlesquelsau une infor- mationdequalitén'estdisponibleoudontl'exé utionadonnéunrésultatfaux. Contrairementàlaméthoded'évaluationdesfon tionnalitéspré édente,lameilleure qualité n'est pasdéterminée dans le asoù lesservi es Websontparfaits, maiselle est déterminée par rapport à la meilleure qualité qui aurait dû être obtenue dans les onditionsdus énario.Parexemple,siles énarioproposedeuxservi esdefon - tionnalitésidentiquesmaisdequalitédiérente,lameilleurequalitéobtenuepour e s énarioest elle du meilleur servi eWeb. En revan he, pour uns énarioayant es mêmes servi esWebmais oùle servi eWeb demeilleure qualitéserait enpanne, le résultat demeilleure qualité sera naturellement elui obtenu ave le servi eWeb de moinsbonnequalité.Deplus,le ritèredequalitén'estpas xeet elui- idépenddelaméthode.Dans notre aslesméthodes utilisentun ritère dequalité parservi eWeb et réalisentle produitdesqualités( f hapitre4et5)desservi esWebutilisésparlaséquen epour déterminer la qualité du résultat. Si une autre méthode utilise un autre ritère de qualité, elui- isera naturellement hoisi. La qualité reste assez subje tive, et don notreatelierd'évaluationse ontented'évaluersilesméthodesprennenten ompteun ritèredequalité orre tement,plut tqued'évaluerunehypothétiquequalitéabsolue. Dans ertainss énarios, les réponses de meilleure qualité sont lesrésultats sans réponse. Le tableau 6.4 est un exemple de tableau synthétisant les résultats pour l'évaluationdelaqualité.Ilestégalementletableauderéféren e, 'est-à-direletableau quiauraitété obtenuparlaméthodede omposition idéale.
Parailleurs, etteétapedel'évaluationignoretotalementla omplètudedurésul- tat. Une seule valeurave laqualité la meilleure su t à onsidérer quela méthode hoisitbienlameilleurequalité.Seulslesrésultatsfauxouabsentssontdiéren iés.
La omparaison dutableau synthétisant les résultats pour une méthode donnée ave le tableau de référen e 6.4 permet de on lure quant à la apa ité de la om- positionàprendre en ompte laqualitéà onditionquele tableaudesrésultatssoit identiqueautableauderéféren e.Dansle as ontraire,ilestdi iledesepronon er. Ilestpossibled'analyserdansquel asla omposition prenden ompte laqualitéet dansquel as,ellenelaprend pas,en omparants énariopars énario.
1 2 3 s _appel_A 1 0 0 s _appel_B 1 0 0 s _appel_C 0 0 1 s _seq_A 1 0 0 s _seq_B 1 0 0 s _seq_C 0 0 1 s _ hoix_A 1 0 0 s _ hoix_B 1 0 0 s _ hoix_C 1 0 0 s _union_A 1 0 0 s _union_B 1 0 0 s _union_C 1 0 0 1 2 3 s _ hoix1_A 1 0 0 s _ hoix1_B 1 0 0 s _ hoix1_C 1 0 0 s _ hoix2_A 1 0 0 s _ hoix2_B 1 0 0 s _ hoix2_C 1 0 0 s _union1_A 1 0 0 s _union1_B 1 0 0 s _union1_C 1 0 0 s _union2_A 1 0 0 s _union2_B 1 0 0 s _union2_C 1 0 0 s _seq1_A 1 0 0 s _seq1_B 1 0 0 s _seq1_C 0 0 1
Tab. 6.4 Tableau de référen e pour un test réalisé ave une méthode idéale. La olonne 1 indique si le résultat du test est elui de meilleure qualité; la olonne 2 rapportesilerésultat n'estpas elui demeilleurequalité; la olonne3indique sile résultat omportedesdonnéesfaussesouabsentes.