Evaluation

8.3.1 Les mesures de performance

8.3.2 Types d’évaluation 8.3.3 Scénarios d’évaluation

8.4 Conclusion

8.1 Introduction

Ce chapitre est consacré à la validation de notre approche. Pour cela nous avons procédé à un développement d’un prototype, une expérimentation de notre système et une évaluation de ses performances. Nous avons expérimenté notre approche dans deux domaines différents : la médecine et le tourisme.

Nous décrivons, en premier lieu, notre prototype nommé DAMaS (Description and Matching of MaaS services System) en présentant son architecture, ses différents modules et ses interfaces graphiques. Nous abordons ensuite notre évaluation et nos expérimentations menées et nous discutons les résultats obtenus.

8.2 Prototype

Nous avons développé un prototype intitulé DAMaS (Description and Matching of MaaS services System). Ce prototype est implémenté en Java (JDK 1.8) sous l’environnement NetBeans 8.0.2. Il est composé principalement de deux modules : le module de description et le module d’appariement. La Figure 42

illustre l’architecture du système DAMaS.

8.2.1 Module de description

Ce module est accessible uniquement par l’expert. Il permet la description sémantique des services MaaS en s’appuyant sur notre langage SA4MaaS présenté dans le chapitre 6. Nous rappelons que le langage SA4MaaS utilise deux types d’ontologies : une ontologie métier et une ontologie multimédia pour l’annotation sémantique des différents services MaaS et de la requête utilisateur.

Figure 42 : Architecture du système DAMaS.

Les figures Figure 43 et Figure 44 présentent les interfaces du module de description. L’expert choisi d’abord le service MaaS à annoter et les fichiers owl des deux ontologies (métier et multimédia) utilisées dans la description sémantique des services MaaS (Figure 43). Ensuite, il associe les concepts métiers et multimédias aux entrées et sorties du service MaaS en cours d’annotation (Figure 44 ). L’expert répète cette opération pour les autres services MaaS disponibles et la requête de l’utilisateur. A la fin de cette opération d’annotation, des fichiers SA4MaaS seront générés par le système DAMaS des différents services MaaS et de la requête utilisateur. Un exemple de ce fichier est illustré par la Figure 36 présentée dans le chapitre 6.

Expert Annotation basé sur Ontologies Métier Multimédia domain.owl ma-onto.owl Requête SA4MaaS u t il_{i s} e Utilisateur Algorithme Métier Algorithme Multimédia MaaS-MX Module de description Module d’appariement

{ , }

Figure 43 : La préparation de l’annotation sémantique dans DAMaS.

Figure 44 : L’annotation métier et multimédia dans DAMaS.

8.2.2 Module d’appariement

Ce module permet la comparaison des annotations, issues du premier module, des services MaaS avec celles de la requête de l’utilisateur. Cette comparaison est faite sur la base des fichiers SA4MaaS générés par le module de description. Ce deuxième module implémente les deux algorithmes d’appariement proposés par notre matchmaker MaaS-MX. Le premier algorithme compare les annotations métiers des services MaaS avec celles de la requête, il fournit à la fin de cette comparaison les similarités d’entrées et de sorties de chaque service MaaS avec la requête. Sur la base de ces similarités calculées et du seuil défini par l’utilisateur, le système DAMaS filtre la liste des services MaaS disponibles pour ne garder que les services les plus proches du besoin de l’utilisateur. Le deuxième algorithme de notre système compare les annotations multimédias (représentées

par des requêtes SPARQL) de la requête utilisateur avec celles des services MaaS filtrés par le premier module. Il vérifie d’abord si les concepts (classes) de la requête SPARQL, représentant les services MaaS, correspondent bien aux concepts de la requête SPARQL, représentant la requête utilisateur. Ensuite, il vérifie la correspondance entre les relations (objectproperties) des requêtes SPARQL, représentant les services MaaS, avec les relations de la requête SPARQL, représentant la requête utilisateur. Le système DAMaS fournit à travers ce module les services MaaS qui répondent aux besoins de l’utilisateur sur le plan à la fois métier et multimédia. La Figure 45 montre l’interface principale du module d’appariement du système DAMaS.

Figure 45 : L’appariement dans le système DAMaS.

8.3 Evaluation

Pour évaluer les performances de notre système, nous avons utilisé les trois mesures de performance les plus connues, à savoir : rappel, précision et F-Mesure. Dans cette section, nous commençons par définir ces mesures avant de les utiliser dans notre évaluation.

8.3.1 Les mesures de performance

Rappel

Le rappel est défini par le nombre (A) des résultats pertinents retrouvés par le système au regard du nombre total (B) des résultats pertinents. (B) représente le nombre des résultats pertinents retrouvés (appelés aussi résultats vrais positifs) et non retrouvés (appelés aussi résultats faux négatifs) par le système. Le rappel est ainsi défini par la formule suivante :

𝑅 = ^𝐴

𝐵

En fait, lorsque l’utilisateur interroge la base de services, il souhaite obtenir toutes les solutions qui pourraient répondre à sa requête. Le taux de rappel devrait alors être élevé. Par contre, si le système possède de nombreux services pertinents et la plupart d’entre eux ne sont pas fournis par le système, le taux du silence serait élevé. Le silence s’oppose alors au rappel (rappel + silence = 1).

Précision

La précision est définie par le nombre (A) des résultats pertinents retrouvés par le système par rapport au nombre total (C) des résultats. (C) indique le nombre des résultats pertinents et non pertinents retrouvés par le système. Les résultats non pertinents retrouvés par le système sont appelés aussi résultats faux positifs. La précision est ainsi définie par la formule suivante :

𝑃 = ^𝐴

𝐶

En fait, lorsque l’utilisateur interroge la base de services, il souhaite que les solutions proposées en réponse à sa requête soient pertinentes. Les services non pertinents retournés constituent du bruit. La précision s’oppose alors au bruit (précision + bruit = 1). Si elle est élevée, cela signifie que peu de solutions non pertinentes sont proposées par le système et que ce dernier peut être considéré comme "précis".