Résultats

Nous commencerons par calculer la précision, le rappel et la f-mesure pour tous les candidats générés.

Nous menons ensuite une expérimentation pour évaluer l’impact de chacune des fonctions de calcul de confiance sur le classement des candidats. Nous considérons d’abord trust_likelihood puis trust_degree et enfin trust_choquet. Pour chacune de ces expérimentations nous appliquerons plusieurs filtres sur le score de confiances. Nous appliquerons un filtre sur les candidats par pas de 0.1 jusqu’à la valeur 0,9. Nous calculerons les 3 mesures pour chacun des pas. De cette manière il sera possible de comparer l’intérêt des fonctions de

Seuil Précision Rappel F-Mesure 0,1 0,87 1 0,93 0,2 0,87 1 0,93 0,3 0,87 1 0,93 0,4 0,99 0,63 0,77 0,5 0,99 0,63 0,77 0,6 0,99 0,63 0,77 0,7 1 0,60 0,75 0,8 1 0,60 0,75 0,9 1 0,60 0,75

Table 15 – Expérimentations trustlikelihood : individus

calcul. La fonction de calcul qui permettra une meilleure représentation du consensus verra son score de précision être d’autant plus élevé que le filtre sera élevé lui aussi.

Dans le cadre de chacune des expérimentations, nous avons également évalué notre approche sur les différents types de candidats qu’elle permet de générer :

— les "candidats individus" qui représentent les taxons extraits des différentes sources. — les "candidats relations" qui sont les relations "hasHigherRank" entre deux taxons. — les "candidats type" qui sont les relations instanceOf pour chaque taxon, représentant

l’attribution à un rang taxonomique.

— les "candidats label" qui sont les labels associés aux taxons.

Nous ne considérons pas ici les "candidats classe" car ils n’ont pas été validés par les experts.

Analyse de l’ensemble des candidats générés Le premier fait notable sur ces résultats sont les scores encourageants sur le tableau14. Par exemple, la f-mesure des candidats individus est à 0,93. Ce score signifie que notre proposition permet de générer des candidats de bonnes qualités même sans filtrage. Le score le moins élevé ici concerne les candidats Types avec une précision de 0,45. Ceci s’explique par de nombreuses erreurs dans les sources concernant la catégorisation des taxons. Les taxons, les labels et les relations entre taxons sont corrects et consensuels mais ils sont mals placés dans la classification taxonomique.

Fonction de confiance : trust_likelihood

Nous présentons dans cette section les résultats obtenus en utilisant la fonction de calcul trust_likelihood. Les tableaux15,16,17,18présentent ces résultat en fonction du seuil utilisé pour le filtrage. Ce seuil permet de considérer uniquement les candidats ayant un score supérieur ou égale à ce seuil.

Les résultats obtenus grâce à la fonction trust_likelihood sont intéressants, notamment ceux présentés dans le tableau concernant les individus (tableau15). Nous voyons qu’ici

Seuil Précision Rappel F-Mesure 0,1 0,74 0,99 0,84 0,2 0,74 0,99 0,84 0,3 0,74 0,99 0,84 0,4 0,58 0,43 0,50 0,5 0,58 0,43 0,50 0,6 0,58 0,43 0,50 0,7 1 0,21 0,35 0,8 1 0,21 0,35 0,9 1 0,21 0,35

Table 16 – Expérimentations trustlikelihood : relations

Seuil Précision Rappel F-Mesure

0,1 0,45 1 0,62 0,2 0,45 1 0,62 0,3 0,45 1 0,62 0,4 0,48 0,48 0,46 0,5 0,48 0,45 0,46 0,6 0,48 0,45 0,46 0,7 0,55 0,37 0,44 0,8 0,55 0,37 0,44 0,9 0,55 0,37 0,44

Table 17 – Expérimentations trustlikelihood : types

Seuil Précision Rappel F-Mesure

0,1 0,74 0,79 0,77 0,2 0,74 0,79 0,77 0,3 0,74 0,79 0,77 0,4 0,49 0,60 0,54 0,5 0,49 0,60 0,54 0,6 0,49 0,60 0,54 0,7 0,45 0,18 0,26 0,8 0,45 0,18 0,26 0,9 0,45 0,18 0,26

Seuil Précision Rappel F-Mesure 0,1 0,99 0,6 0,77 0,2 0,99 0,63 0,77 0,3 1 0,62 0,77 0,4 1 0,60 0,75 0,5 1 0,60 0,75 0,6 1 0,60 0,75 0,7 1 0,26 0,41 0,8 1 0,26 0,41 0,9 1 0,26 0,41

Table 19 – Expérimentations trustdegree : individus

la précision est à 0,99 à partir du seuil 0,4. Ceci implique que si un candidat individu est composé d’éléments provenant d’au moins deux sources il est très probablement validé par les experts. Ce score est plus mitigé pour les candidats Types (tableau17) puisque la précision est à 0.45. Ceci s’explique par le fait que les relations de types ("instanceOf") sont souvent spécifiques à une source et n’apparaissent que rarement dans une autre. Ceci s’observe d’autant plus que la précision n’augmente que très peu lorsque le seuil augmente. Un point important dans ces résultats apparaît dans le tableau des candidats relations (tableau 16) représentant la relation "hasHigherRank". La précision est de 0,74 pour les seuils de 0,1 à 0,3, puis de 0.58 jusqu’au seuil 0,6 et passe directement à 1 ensuite. Cette chute avant d’augmenter à nouveau s’explique par le fait que beaucoup de candidats relations considérés comme valide n’apparaissent que dans une seule source. Ils sont donc rejetés à un niveau de seuil impliquant qu’il y ait au moins 2 sources pour considérer le candidat, ce qui explique la chute. Néanmoins la remontée à 1 à la fin signifie que tous les candidats relations qui apparaissent dans 3 sources sont validés par les experts. Ce phénomène apparaît aussi sur les candidats labels (tableau18) dont la précision diminue avec l’augmentation du seuil. Ceci peut s’expliquer aussi par le fait que les labels n’apparaissent majoritairement que dans une source.

Globalement nous pouvons observer une augmentation de la précision avec l’augmen-tation du seuil dans les différents tableaux. Ceci permet de vérifier notre hypothèse de départ. Si un élément est présent dans plusieurs sources alors il est de meilleur de qualité. Les candidats labels font exceptions puisque la précision diminue.

Fonction de confiance : trust_degree

La fonction de calcul de confiance trust_degree pour les candidats arcs étant la même que trust_likelihood nous ne présentons ici que les résultats concernant les candidats individus.

En observant les résultats de cette fonction trust_degree présentés dans le tableau 19

et en les comparant avec ceux de la fonction trust_likelihood (tableau 15) nous pouvons observer plusieurs phénomènes. Tout d’abord nous pouvons observer une augmentation plus significative de la précision dés le seuil à 0,1. Néanmoins le rappel est lui fortement

Seuils Precision Rappel F-Measure 0,6 0,68 0,51 0,58 Relations 0,9 0,93 0,32 0,47 0,6 0,77 0,39 0,52 Types 0,9 0,81 0,39 0,53 0,6 0,39 0,24 0,30 Labels 0,9 0 0 0

Table 20 – Expérimentations trustdegreep : sur les candidats arcs

impacté par ce seuil. Ceci s’explique par le fait que l’utilisation des correspondances dans le calcul de la confiance consensuelle est beaucoup plus discriminante. Les candidats ayant un haut score de confiance sont ceux qui impliquent beaucoup de correspondances. Les candidats impliquant moins de 3 sources ici sont rejetés dès les seuils assez bas, bien que certains soient valides. Ceci explique la diminution rapide du rappel. Les candidats impliquant trois sources n’utilisent pas forcément beaucoup de correspondances. Les éléments ontologiques ne sont alors pas fortement connectés entre eux par des correspondances. Ce qui explique la diminution significative du rappel pour des seuils hauts.

Nous pouvons en déduire ici que l’utilisation des correspondances dans le calcul de la confiance permet une représentation plus discriminante de la confiance. Les candidats n’impliquant pas beaucoup de sources auront un score de confiance assez bas. Néanmoins nous maintenons la vérification de notre hypothèse ici. Plus un candidat utilise de correspondances (et donc plus son score trust_degree est élevé) plus sa qualité est assurée. Nous l’observons avec la précision à 1 dés le seuil 0,3.

Fonction de confiance : trustdegreep avec propagation

Le tableau20présente les résultats obtenus en utilisant la fonction de calcul trust_degreep sur les candidats arcs. Cette fonction permet de prendre en compte la propagation de la confiance des candidats sommets associés au candidat arc. Pour ces expérimentations nous avons sélectionné uniquement deux seuils représentatifs. Si nous comparons ces résultats avec ceux obtenus pour trust_likelihood (tableaux 16, 17, 18) nous pouvons observer une nette amélioration pour les candidats Types (arcs étiquetés instanceOf ). Nous pouvons aussi observer une amélioration des résultats pour les candidats relations même si cette amélioration est moins grande. Néanmoins les résultats concernant les labels sont moins bons que pour trust_likelihood. Nous pouvons alors déduire que la propagation de confiance d’un candidat sommet sur la confiance des candidats arcs associés améliore les résultats mais pas pour tous les types de candidats.

Fonction de confiance : trustchoquet

Nous utilisons maintenant la fonction de calcul de la confiance trust_choquet. Cette fonction, comme définie dans la section4.4.3du chapitreIII, nécessite plusieurs paramètres à définir.

Tout d’abord nous définissons la qualité des sources utilisées. Pour cela nous réutilisons les scores de qualités définis avec les experts lors du processus d’analyse des sources. Nous obtenons alors les scores présentés dans le tableau21.

Agrovoc TaxRef NCBI

0,6 0,9 0,8

Table 21 – Qualité des sources pour l’expérimentation qualitative

Nous retrouvons la source TaxRef qui est une référence nationale dans ce domaine, ce qui explique son score de qualité à 0,9. De part son processus de validation manuel et sa mise à jour régulière, la source NCBI a un score relativement élevé aussi : 0,8. La source Agrovoc quant à elle a un score de qualité de 0,6 puisque des travaux [Soergel et al., 2004] ont montré qu’elle contient un certain nombreux d’erreurs. Elle reste néanmoins une source intéressante, notamment par l’apport de ses labels.

Les autres paramètres à définir pour l’utilisation de l’intégrale de choquet sont le x₀ et le γ. Ces paramètres sont utilisés dans la fonction µ qui permet de représenter l’intérêt des sources dans un candidat (c.f. la section4.4.3du chapitreIII). Le paramètre x₀ représente le point d’explosion de la courbe d’intérêt et le paramètre γ la linéarité de la courbe de la fonction µ. Nous définissons ici les valeurs x₀ = γ =

PN i=1Q(Si)

2 = ^0,6+0,9+0,8₂ = 1.15. Cette valeur permet une représentation standard de la fonction µ.

Les résultats obtenus avec la fonction de calcul trust_choquet montrent que cette fonction permet de prendre en considération les avantages des deux autres fonctions de calculs. Lorsque nous analysons les résultats présentés dans le tableau 22 nous pouvons observer une augmentation de la précision, ce qui permet de montrer que la confiance consensuelle

Seuil Précision Rappel F-Mesure

0,1 0,87 0,98 0,92 0,2 0,99 0,63 0,77 0,3 0,99 0,63 0,77 0,4 1 0,62 0,77 0,5 1 0,60 0,75 0,6 1 0,60 0,75 0,7 1 0,26 0,41 0,8 1 0,26 0,41 0,9 1 0,26 0,41

Seuil Précision Rappel F-Mesure 0,1 0,74 0,99 0,85 0,2 0,70 0,96 0,81 0,3 0,583 0,43 0,50 0,4 0,58 0,43 0,50 0,5 0,58 0,43 0,50 0,6 0,58 0,43 0,50 0,7 0,58 0,43 0,50 0,8 0,30 0,42 0,351 0,9 1 0,21 0,35

Table 23 – Expérimentations trustchoquet : relations

Seuil Précision Rappel F-Mesure

0,1 0,45 1 0,62 0,2 0,39 0,98 0,56 0,3 0,48 0,45 0,46 0,4 0,48 0,45 0,46 0,5 0,48 0,45 0,46 0,6 0,48 0,45 0,46 0,7 0,48 0,45 0,46 0,8 0,23 0,43 0,30 0,9 0,56 0,37 0,44

Table 24 – Expérimentations trustchoquet : types

Seuil Précision Rappel F-Mesure

0,1 0,74 0,79 0,77 0,2 0,69 0,78 0,73 0,3 0,49 0,60 0,54 0,4 0,49 0,60 0,54 0,5 0,49 0,60 0,54 0,6 0,49 0,60 0,54 0,7 0,49 0,60 0,54 0,8 0,63 0,54 0,58 0,9 0,45 0,18 0,26

est là aussi bien représentée. La diminution du rappel nous permet d’observer l’effet discriminatoire de la considération des correspondances dans la fonction de calcul. Néan-moins cet effet est diminué ici puisque compensé par une implication de l’intérêt des sources. Cet effet est particulièrement remarquable sur le tableau25 puisque la précision des candidats labels augmente au seuil 0.8. Cette augmentation n’était pas présente sur le tableau 18. Ceci nous permet de faire la distinction entre des labels présents dans Agrovoc et TaxRef par exemple et des labels présents dans TaxRef et NCBI. Ces deux dernières sources ayant un score de qualité plus important, elles apportent alors un intérêt supérieur. La source Agrovoc est néanmoins réputé pour ses labels. Il aurait été interessant ici de pouvoir spécifier l’implication d’une source en fonction du type pour pouvoir favoriser les labels provenant d’Agrovoc, et donc exploiter la spécificité de cette source. Nous reviendrons sur ce point lors des perspectives.

1.2.3. Analyse

L’analyse des résultats obtenus en utilisant les différentes fonction de calcul de la confiance nous a permis d’observer majoritairement trois aspects de cette confiance.

Tout d’abord l’évaluation de la fonction trust_likelihood nous a permis de vérifier que notre hypothèse de départ, qui stipule que plus un candidat implique de sources plus il est susceptible d’être validé, est une bonne intuition. Nous pouvons ici affirmer que la représentation de la confiance consensuelle est un aspect important dans notre processus et permet d’obtenir un résultat de qualité. Le deuxième aspect important est que l’utilisation des correspondances dans le calcul de la confiance a un effet discriminant assez fort sur le score des candidats. Effectivement les candidats, même s’ils impliquent plusieurs sources, n’impliquent pas forcément beaucoup de correspondances. Ces correspondances apportent par contre un aspect de qualité supplémentaire au candidat. Nous pouvons observer ce phénomène dans les tableaux de résultats utilisant la fonction trust_degree. La fonction de calcul trust_choquetconsidère les deux aspects présentés précédemment en donnant en plus la possibilité de paramétrer l’importance des sources. De cette manière la considération des correspondances est toujours forte mais elle est compensée par l’intérêt des sources impliquées dans le processus. L’utilisation de la fonction de calcul trust_degreer considérant le rayonnement permet d’améliorer les résultats sur certains types de candidats arc par rapport à la fonction trust_degree. Ce phénomène n’ayant pas été pris en compte dans trust_choquet il serait intéressant de pouvoir appliquer ce rayonnement sur cette fonction de calcul.

Nous l’avons vu dans les résultats, les candidats labels ont des résultats assez différents des autres types de candidats. Ceci s’explique par le peu de consensus sur ces candidats n’apparaissant que dans peu de sources. C’est notamment le cas d’Agrovoc qui contient beaucoup de labels qu’on ne retrouve pas dans les autres sources. Il serait alors intéressant de faire varier la fonction d’intérêt des sources suivant le type de candidat considéré. Par exemple l’intérêt d’Agrovoc pour un candidat label est beaucoup plus important que pour un candidat relation. Nous verrons cet aspect plus en détail dans les perspectives.