textuelles
Cette section pr´esente une ´etude de la performance de la m´ethode AROMA pour l’alignement de hi´erarchies textuelles. Nous avons utilis´e le jeu de tests ✭✭ catalogues de cours ✮✮. Nous avons confront´e les r´esultats produits par AROMA et l’alignement de r´ef´erence fourni. L’alignement de r´ef´erence est fonctionnel et est compos´e uniquement d’´el´ements de correspondance de type ´equivalence.
Sur ces tests, nous avons utilis´e l’intensit´e d’implication pour la phase de s´election des termes. Concernant la phase d’extraction de l’alignement, nous avons compar´e les r´esultats obtenus par les 6 mesures d’int´erˆet s´electionn´ees 6.2. Pour chacune de ces ´evaluations, nous avons fait varier le seuil de s´election des termes, ϕt, de 0, 6 `a 1 et le seuil de s´election des r`egles de 0 `a 1. Nous
pr´esentons, pour chaque version d’AROMA, les ´evolutions de la F-mesure en fonction des seuils de s´election choisis. Nous donnons ´egalement, dans chaque cas et pour chaque mesure, le meilleur score obtenu ainsi que le contexte c.-`a-d. les valeurs des seuils.
Finalement, nous pr´esentons les r´esultats obtenus en utilisant le mod`ele d’´evaluation pr´esent´e section 5.3.
Fig.6.12 – Evolution de la valeur de F-mesure, en fonction des seuils ϕtet ϕr,
Evaluation d’AROMA sur des hi´erarchies textuelles 141
6.4.1
M´ethode simple
Sur cette premi`ere ´evaluation, les ´evolutions de la F-mesure pr´esentent deux tendances globales. La premi`ere tendance est celle obtenue avec les mesures des- criptives (la confiance, Loevinger et plus marginalement Jaccard). La deuxi`eme tendance est celle des mesures statistiques (l’intensit´e d’implication, la vraisem- blance du lien et plus marginalement Ipee).
Avec les mesures descriptives, l’influence de la valeur du seuil de s´election des r`egles est plus marqu´ee que celle du seuil de s´election des termes. La F-mesure augmente rapidement en fonction du seuil de s´election des r`egles croissant pour atteindre un maximum assez rapidement (l´eg`erement apr`es 0, 2 pour la confiance et l´eg`erement avant 0, 2 pour Loevinger), voire tr`es rapidement dans le cas de la mesure de Jaccard (son maximum est atteint pour un seuil ´egal `a 0, 02). Ensuite, la valeur de F-mesure redescend pour atteindre des valeurs nulles ou non d´efinies. L’influence du seuil de s´election des termes se joue au niveau de l’´etalement et l’aplatissement de l’´evolution de la F-mesure. En effet, l’´evolution des scores a tendance `a ˆetre plus ´etal´ee et moins ´elev´ee lorsque le seuil de s´election des termes augmente. Cette tendance est ais´ement observable pour la confiance et Loevinger, mais elle est tr`es att´enu´ee pour la mesure de Jaccard.
Avec les mesures statistiques, on observe deux tendances bien distinctes : celles de l’intensit´e d’implication et de la vraisemblance du lien d’une part, et celle de Ipee d’autre part. Avec les deux premi`eres mesures (intensit´e d’implica- tion et vraisemblance du lien), les ´evolutions de F-mesures sont influenc´ees par les valeurs des deux seuils de s´election. L’influence des seuils ´evolue en fonction de leurs valeurs. En effet, les surfaces repr´esentant l’´evolution de la F-mesure peuvent ˆetre d´ecoup´ees en deux parties : une premi`ere partie lorsque le seuil de s´election des r`egles est compris entre 0 et 0, 5, et une deuxi`eme partie lorsque ce seuil est compris entre 0, 5 et 1. Sur la premi`ere partie (ϕr∈ [0; 0, 5]), la valeur de
F- mesure est croissante en fonction de la valeur du seuil de s´election des termes croissante. Sur la deuxi`eme partie, l’´evolution est assez particuli`ere. Lorsque le seuil de s´election des termes est inf´erieur `a 0, 85, la valeur de F-mesure est crois- sante en fonction de la valeur du seuil de s´election des r`egles croissante. Pour une valeur de s´election des termes sup´erieure `a 0, 85, la F-mesure est d´ecroissante en fonction des valeurs de seuils croissantes.
Ipee a une ´evolution compl`etement diff´erente des autres mesures statistiques. Son ´evolution peut s’apparenter quelque peu `a celle de Jaccard. En effet, les deux mesures obtiennent leurs meilleurs scores pour des valeurs du seuil de s´election des r`egles tr`es proches de 0. Ensuite, elles ont une ´evolution de F- mesure d´ecroissante en fonction de la valeur du seuil de s´election des r`egles croissante. Cependant l’´evolution des performances de Ipee est beaucoup plus douce que celle de Jaccard et l’effet de la valeur du seuil de s´election des termes est beaucoup plus marqu´e avec Ipee.
Au niveau performance, l’intensit´e d’implication obtient le meilleur score, en terme de F-mesure. Elle est suivie par la confiance et l’indice de Loevinger. Ensuite, Ipee obtient un score de 0, 40. Finalement, les mesures de similarit´e, la vraisemblance du lien et Jaccard, arrivent en derni`ere position et obtiennent `a peu pr`es les mˆemes scores.
Mesure ϕt ϕr F-mesure Pr´ecision Rappel intensit´e d’implication 0,78 0,94 0,49 0,61 0,42 confiance 0,62 0,26 0,47 0,58 0,4 Jaccard 0,98 0,0 0,36 0,31 0,43 Loevinger 0,84 0,22 0,45 0,46 0,43 VdL 0,98 0,5 0,36 0,36 0,36 Ipee 0,98 0,14 0,4 0,55 0,32
Tab. 6.3 – Meilleures valeurs de F-mesure obtenues par chaque mesure sur l’alignement Cornell-Washington avec la m´ethode simple
Mesure Pr´ecision Rappel
moy. ´e.-t. m´ed. moy. ´e.-t. m´ed. intensit´e d’implication 0,24 0,19 0,18 0,48 0,11 0,51 confiance 0,55 0,31 0,54 0,23 0,23 0,15 Jaccard 0,83 0,28 1 0,04 0,09 0,02 Loevinger 0,50 0,28 0,46 0,19 0,23 0,08 VdL 0,1 0,11 0,06 0,33 0,14 0,36 Ipee 0,82 0,23 1 0,12 0,11 0,08
Tab.6.4 – Statistiques sur les r´esultats obtenus par chaque mesure sur l’aligne- ment Cornell-Washington avec la m´ethode simple
A part pour la confiance, ces meilleurs scores sont obtenus avec des valeurs du seuil de s´election des termes assez ´elev´ees. Au niveau du seuil de s´election des r`egles, seules les mesures asym´etriques d’´ecart `a l’ind´ependance obtiennent leur meilleur score avec une valeur de seuil de s´election en accord avec leur s´emantique. En effet, le meilleur score pour l’intensit´e d’implication est obtenu avec une valeur de seuil ϕr sup´erieure `a 0, 5 (valeur prise `a l’ind´ependance par
cette mesure), et pour l’indice de Loevinger, la valeur du seuil est sup´erieure `a sa valeur prise `a l’ind´ependance de 0.
A partir de la table 6.4, on remarque que les mesures de Jaccard et Ipee obtiennent des tr`es bonnes pr´ecisions mais des rappels tr`es faibles (sur- tout dans la cas de l’indice de Jaccard). La confiance et Loevinger ont des pr´ecisions moyennes et des rappels assez faibles. L’intensit´e d’implication ob- tient le meilleur rappel moyen mais sa pr´ecision moyenne est relativement faible. La vraisemblance du lien poss`ede la plus mauvaise pr´ecision moyenne.
Au regard des scores moyens et m´edians obtenus par Jaccard et Ipee, on remarque que sur une grande plage de seuils, la m´ethode bas´ee sur ces mesures ne trouve que tr`es peu d’´el´ements de correspondance.
6.4.2
M´ethode simple avec ´elimination des inconsistances
Dans ce cas, les formes d’´evolutions de F-mesure sont les mˆemes que celles obtenues avec la m´ethode simple (figure 6.12). L’´elimination des inconsistances permet n´eanmoins d’augmenter significativement les valeurs de F-mesures maxi-
Evaluation d’AROMA sur des hi´erarchies textuelles 143
Mesure ϕt ϕr F-mesure Pr´ecision Rappel
intensit´e d’implication 0,72 0,94 0,55 0,62 0,49 confiance 0,60 0,2 0,54 0,53 0,55 Jaccard 0,98 0,0 0,38 0,31 0,51 Loevinger 0,62 0,18 0,52 0,52 0,53 VdL 0,98 0,44 0,38 0,33 0,45 Ipee 0,98 0,14 0,44 0,56 0,36
Tab. 6.5 – Meilleures valeurs de F-mesure obtenues par chaque mesure sur l’alignement Cornell-Washington avec ´elimination des inconsistances
Mesure Pr´ecision Rappel
moy. ´e.-t. m´ed. moy. ´e.-t. m´ed. intensit´e d’implication 0,28 0,22 0,23 0,48 0,10 0,51 confiance 0,58 0,3 0,58 0,23 0,22 0,15 Jaccard 0,55 0,26 0,5 0,06 0,10 0,02 Loevinger 0,54 0,27 0,50 0,19 0,22 0,08 VdL 0,11 0,10 0,08 0,43 0,16 0,47 Ipee 0,63 0,14 0,67 0,13 0,11 0,09
Tab.6.6 – Statistiques sur les r´esultats obtenus par chaque mesure sur l’aligne- ment Cornell-Washington avec ´elimination des inconsistances
males obtenues par les mesures. La confiance et Loevinger sont les mesures qui profitent le mieux de cette augmentation (+7 points) suivies de pr`es par les me- sures d’intensit´e d’implication (+6 points). Ensuite Ipee b´en´eficie d’une hausse de 4 points. Les deux mesures de similarit´e gagnent seulement 2 points.
Ces meilleurs scores sont obtenus avec des valeurs de seuils assez proches ou ´egales `a celles utilis´ees avec la m´ethode simple. Seul l’indice de Loevinger obtient son meilleur score avec une valeur du seuil de s´election des termes largement plus ´elev´ee (+0, 22).
Avec les mesures asym´etriques d’´ecart `a l’ind´ependance (intensit´e d’implica- tion et Loevinger), l’´elimination des inconsistances permet d’augmenter sensi- blement leur pr´ecision moyenne. Par contre, cela procure l’effet inverse avec les mesures de Jaccard et Ipee qui voient leur pr´ecision moyenne baisser significati- vement. Dans le cas de la vraisemblance du lien, l’´elimination des inconsistances lui permet d’am´eliorer son rappel moyen.
Globalement, malgr´e une am´elioration significative des meilleurs r´esultats, le filtre d’´elimination des inconsistances utilis´e seul, n’apporte pas beaucoup de changements sur les r´esultats moyens de la plupart des mesures.
6.4.3
M´ethode simple avec m´ethode syntaxique
Sur cette troisi`eme ´evaluation, on peut remarquer que l’utilisation de la m´ethode d’alignement syntaxique permet d’am´eliorer notablement les r´esultats
Mesure ϕt ϕr F-mesure Pr´ecision Rappel intensit´e d’implication 0,92 0,96 0,75 0,88 0,66 confiance 0,62 0,26 0,67 0,64 0,7 Jaccard 0,94 0,18 0,68 0,78 0,6 Loevinger 0,64 0,26 0,69 0,69 0,68 VdL 0,96 0,86 0,67 0,73 0,62 Ipee 0,88 0,5 0,7 0,8 0,62
Tab. 6.7 – Meilleures valeurs de F-mesure obtenues par chaque mesure sur l’alignement Cornell-Washington avec la m´ethode syntaxique
par rapport `a la m´ethode simple. Les mesures de similarit´e sont celles qui b´en´eficient le plus de cette am´elioration : Jaccard et la vraisemblance du lien gagnent respectivement 32 et 31 points. Ensuite, ce sont les mesures asym´etriques et statistiques qui profitent le mieux de cette hausse, suivies des deux mesures asym´etriques descriptives. L’am´elioration est globalement ressen- tie `a la fois sur les valeurs de pr´ecision et de rappel.
Le classement des mesures a chang´e par rapport `a la m´ethode simple. L’in- tensit´e d’implication obtient toujours le meilleurs score. Ipee, qui obtenait le plus mauvais score avec la m´ethode simple est d´esormais en seconde place. Les mesures de Loevinger et de Jaccard sont ´egalement pass´ees au dessus de la confiance, qui obtient la derni`ere position avec la vraisemblance du lien.
A part pour la confiance, les valeurs du seuil de s´election des r`egles, avec lesquelles sont obtenus les meilleurs scores, sont assez diff´erentes de celles uti- lis´ees avec la m´ethode simple ou avec le filtre d’´elimination des inconsistances. La valeur du seuil de s´election des r`egles est plus ´elev´ee. Cette diff´erence am`ene `
a penser que l’alignement syntaxique fonctionne mieux lorsque que la pr´ecision de l’alignement d’entr´ee est assez ´elev´ee.
Quant `a la valeur du seuil de s´election des termes, l’intensit´e d’implication obtient son meilleur r´esultat avec une valeur beaucoup plus ´elev´ee que celles utilis´ees avec la m´ethode simple ou la m´ethode bas´ee sur le filtre d’´elimination des inconsistances. Les autres mesures ont tendance `a avoir des valeurs du seuil de s´election des termes assez proches de celles utilis´ees avec la seconde m´ethode. Seule Ipee utilise une valeur de seuil largement moins ´elev´ee.
Pour les mesures qui obtenaient des valeurs de pr´ecision inf´erieures `a 0, 8 avec la m´ethode simple, l’alignement syntaxique permet d’augmenter la pr´ecision moyenne. Dans les cas de l’intensit´e d’implication et de la vraisemblance du lien, le gain de pr´ecision entraˆıne un ´etalement des valeurs plus important que celui obtenu par la m´ethode simple. Dans le cas des mesures de Jaccard et Ipee, qui obtiennent des pr´ecisions moyennes sup´erieures `a 0, 8 avec la m´ethode simple, la baisse de pr´ecision est assez cons´equente (plus de dix points en moins). On peut toutefois remarquer que la m´ethode syntaxique permet de resserrer les valeurs de pr´ecision obtenues (baisse de l’´ecart-type resp. ´egale `a−0, 13 et −0, 07).
La m´ethode syntaxique permet, pour l’ensemble des mesures, d’augmenter tr`es significativement les valeurs de rappel et ´egalement de les resserrer autour de la moyenne. Ce gain de rappel est toutefois largement plus ´elev´e pour les
Evaluation d’AROMA sur des hi´erarchies textuelles 145
Mesure Pr´ecision Rappel
moy. ´e.-t. m´ed. moy. ´e.-t. m´ed. intensit´e d’implication 0,28 0,22 0,21 0,63 0,06 0,64 confiance 0,57 0,22 0,70 0,60 0,05 0,58 Jaccard 0,71 0,11 0,74 0,57 0,02 0,58 Loevinger 0,59 0,21 0,70 0,59 0,05 0,57 VdL 0,16 0,17 0,09 0,47 0,11 0,51 Ipee 0,71 0,12 0,73 0,59 0,02 0,58
Tab.6.8 – Statistiques sur les r´esultats obtenus par chaque mesure sur l’aligne- ment Cornell-Washington avec la m´ethode syntaxique
Mesure ϕt ϕr F-mesure Pr´ecision Rappel
intensit´e d’implication 0,94 0,96 0,76 0,86 0,68 confiance 0,6 0,26 0,73 0,75 0,72 Jaccard 0,94 0,18 0,72 0,85 0,62 Loevinger 0,64 0,28 0,71 0,78 0,66 VdL 0,98 0,98 0,70 0,80 0,62 Ipee 0,94 0,52 0,69 0,77 0,62
Tab. 6.9 – Meilleures valeurs de F-mesure obtenues par chaque mesure sur l’alignement Cornell-Washington avec la m´ethode compl`ete
mesures qui obtiennent un mauvais rappel avec la m´ethode simple.
Sur ce jeu de tests, l’enrichissement de l’alignement par la m´ethode syn- taxique permet d’am´eliorer significativement les r´esultats obtenus. Elle permet ´egalement de resserrer les diff´erences entre les mesures que l’on observe dans le cas de la m´ethode simple.
6.4.4
M´ethode compl`ete
L’utilisation simultan´ee du filtre d’´elimination des inconsistances et de la m´ethode d’alignement syntaxique permet d’obtenir des r´esultats sensiblement meilleurs que ceux obtenus par la seule utilisation de la m´ethode syntaxique. Seule Ipee obtient un score l´eg`erement en baisse par rapport `a celui obtenu avec l’utilisation de la m´ethode syntaxique. Le gain se joue principalement par l’aug- mentation des valeurs de pr´ecision obtenues (sauf pour l’intensit´e d’implication et Ipee). Le gain de rappel est tr`es marginal voir nul.
Au niveau du classement, l’intensit´e d’implication obtient toujours le meilleur r´esultat, avec 3 points de plus que la confiance. Ensuite viennent les mesures de Jaccard, Loevinger, vraisemblance du lien et finalement Ipee qui retourne en derni`ere position.
Sur la table 6.10, on n’observe pas de grandes diff´erences par rapport aux r´esultats obtenus avec la m´ethode d’alignement syntaxique (table 6.8). On re- marque une l´eg`ere am´elioration des r´esultats en termes de pr´ecision pour les
Mesure Pr´ecision Rappel moy. ´e.-t. m´ed. moy. ´e.-t. m´ed. intensit´e d’implication 0,32 0,21 0,27 0,63 0,07 0,64 confiance 0,59 0,21 0,69 0,60 0,04 0,58 Jaccard 0,67 0,13 0,70 0,52 0,07 0,53 Loevinger 0,61 0,19 0,70 0,58 0,04 0,57 VdL 0,15 0,16 0,09 0,56 0,11 0,60 Ipee 0,67 0,11 0,70 0,55 0,04 0,55
Tab. 6.10 – Statistiques sur les r´esultats obtenus par chaque mesure sur l’ali- gnement Cornell-Washington avec la m´ethode compl`ete
mesures asym´etriques (mis `a part Ipee) et une l´eg`ere baisse pour les mesures de similarit´es. Au niveau du rappel, seule la vraisemblance du lien obtient une augmentation significative de son rappel moyen. Les rappels de Jaccard et Ipee ont quant `a elles tendance `a diminuer.
6.4.5
M´ethode compl`ete avec r´eduction de la cardinalit´e
En utilisant la connaissance du fait que l’alignement de r´ef´erence est fonc- tionnel, l’utilisation du filtre de r´eduction de la cardinalit´e permet d’am´eliorer, dans certains cas, la performance de la m´ethode. En effet, les meilleurs r´esultats obtenus dans ce cas (pr´esent´es table 6.11) montrent une am´elioration pour l’in- tensit´e d’implication, la confiance, l’indice de Loevinger, et la vraisemblance du lien. Le meilleur score d’Ipee ne s’am´eliore pas. Pour l’indice de Jaccard, le meilleur score est mˆeme en baisse. Pour la majorit´e des mesures, les valeurs uti- lis´ees pour obtenir ces meilleurs scores ne changent pas ´enorm´ement par rapport `
a celles utilis´ees avec la m´ethode compl`ete.
On peut ´egalement remarquer des diff´erences assez notables entre les ´evolutions de la F-mesure de la m´ethode simple (figure 6.12) et celles que l’on obtient avec la m´ethode compl`ete et le filtre de r´eduction des cardinalit´es (fi- gure 6.13). Les mesures descriptives et asym´etriques (la confiance et Loevinger) deviennent stables, apr`es ϕr = 0, 2, lorsque que la valeur du seuil de s´election
des r`egles augmente, alors qu’avec la m´ethode simple, la F-mesure baissait tr`es rapidement apr`es une valeur seuil au environ de 0, 2. Avec ces deux mesures, une zone de F-mesure maximale est situ´ee au voisinage des valeurs de seuil ϕt
et ϕr´egales respectivement `a 0, 6 et 0, 2.
L’´evolution de la F-mesure obtenue, dans ce cas, avec la mesure de Jaccard est tr`es diff´erente de celle issue de la m´ethode simple. En effet, avec la premi`ere m´ethode la F-mesure d´ecroˆıt tr`es rapidement en fonction du seuil de s´election de r`egles croissant. Sur cette derni`ere exp´erimentation son ´evolution est assez particuli`ere : elle est en forme d’escalier et les bons scores sont obtenus soit avec une valeur du seuil de s´election des termes ´elev´ee, soit avec une valeur du seuil de s´election des r`egles ´elev´ee.
L’apparence des ´evolutions de F-mesure de l’intensit´e d’implication et de la vraisemblance du lien est assez comparable `a celles de la m´ethode simple.
Evaluation d’AROMA sur des hi´erarchies textuelles 147
Fig. 6.13 – Evolution de la valeur de F-mesure, en fonction des seuils ϕt et
ϕr, sur l’alignement de Cornell-Washington et en utilisant la m´ethode compl`ete
Mesure ϕt ϕr F-mesure Pr´ecision Rappel intensit´e d’implication 0,92 0,96 0,77 0,88 0,68 confiance 0,6 0,2 0,77 0,78 0,75 Jaccard 0,94 0,1 0,69 0,79 0,62 Loevinger 0,68 0,24 0,73 0,76 0,7 VdL 0,98 0,7 0,71 0,76 0,66 Ipee 0,94 0,38 0,69 0,79 0,62
Tab. 6.11 – Meilleures valeurs de F-mesure obtenues par chaque mesure sur l’alignement Cornell-Washington avec la m´ethode compl`ete + r´eduction de car- dinalit´e
Mesure Pr´ecision Rappel
moy. ´e.-t. m´ed. moy. ´e.-t. m´ed. intensit´e d’implication 0,53 0,15 0,53 0,66 0,05 0,66 confiance 0,64 0,12 0,67 0,6 0,05 0,58 Jaccard 0,69 0,07 0,69 0,54 0,06 0,55 Loevinger 0,64 0,11 0,67 0,59 0,05 0,58 VdL 0,44 0,15 0,44 0,6 0,06 0,6 Ipee 0,69 0,06 0,7 0,55 0,03 0,55
Tab.6.12 – Statistiques sur les r´esultats obtenus par chaque mesure sur l’aligne- ment Cornell-Washington avec la m´ethode compl`ete + r´eduction de cardinalit´e
La tendance de la F-mesure `a d´ecroˆıtre lorsque les valeurs des deux seuils de s´election tendent vers 1 disparaˆıt avec cette derni`ere m´ethode.
La surface repr´esentant l’´evolution de la F-mesure obtenue avec Ipee devient presque plane alors qu’elle avait une tendance `a d´ecroˆıtre en fonction de la croissance de la valeur du seuil de s´election des r`egles sur la m´ethode simple.
La table 6.12 permet de confirmer l’am´elioration des r´esultats obtenus sur la majorit´e des mesures. On remarque une nette am´elioration de la pr´ecision moyenne pour l’intensit´e d’implication et de la vraisemblance du lien. Cette am´elioration est plus marginale pour la confiance, l’indice de Loevinger et Ipee. Cependant, la pr´ecision moyenne de l’indice de Jaccard est en baisse.
L’utilisation du filtre de r´eduction cardinalit´e a ´egalement tendance `a r´eduire l’effet des valeurs de seuil. En effet, les ´ecart-types de pr´ecision ont tendance `a diminuer significativement. Au niveau du rappel, on ne note pas de changement majeur par rapport aux valeurs obtenues sur la m´ethode compl`ete.
En conclusion, lorsque que l’alignement recherch´e est fonctionnel, l’utilisa- tion de cette connaissance permet d’am´eliorer de fa¸con significative les r´esultats obtenus par AROMA.
Evaluation d’AROMA sur des hi´erarchies textuelles 149
Mesure ϕt ϕr F-mesure Pr´ecision Rappel
intensit´e d’implication 0,72 0,98 0,78 0,82 (0,81) 0,75 (0,70) confiance 0,98 0,68 0,69 0,70 (0,83) 0,68 (0,61) Jaccard 0,98 0,7 0,72 0,83 (0,80) 0,63 (0,61) Loevinger 0,98 0,5 0,68 0,68 (0,77) 0,68 (0,63) VdL 0,98 0,76 0,75 0,83 (0,81) 0,68 (0,68) Ipee 0,96 0,52 0,70 0,74 (0,78) 0,67 (0,59)
Tab. 6.13 – Meilleures valeurs de F-mesure (mod`ele s´emantique id´eal) obte- nues par chaque mesure sur l’alignement Cornell-Washington avec la m´ethode compl`ete + r´eduction de la cardinalit´e
6.4.6
Prise en compte des implications - ´evaluation avec
mesures id´eales
Sur cette derni`ere ´evaluation, nous avons utilis´e la m´ethode compl`ete avec r´eduction de la cardinalit´e. Nous avons proc´ed´e au calcul des mesures de pr´ecision et de rappel id´eales avec le mod`ele introduit section 5.3. Dans ce cas, nous avons pris en compte non seulement les ´el´ements de correspondance de type ´equivalence mais ´egalement ceux de type implication dans le sens Cornell vers Washington.
Comme pour les ´evaluations pr´ec´edentes, nous pr´esentons le tableau 6.13 des meilleurs scores calcul´es selon les mesures id´eales de pr´ecision et rappel. Les scores apparaissant entre paranth`eses sont ceux obtenus en consid´erant unique- ment les relations d’´equivalence.
Avec les mesures id´eales de pr´ecision et de rappel, l’intensit´e obtient le meilleur score. La vraisemblance du lien, l’indice de Jaccard, et Ipee passent d´esormais devant la confiance et l’indice de Loevinger.
En comparant les r´esultats obtenus avec la prise en compte des implications et ceux obtenus avec uniquement les ´equivalences (ceux entre parenth`ese), on remarque que les mesures statistiques et asym´etriques (l’intensit´e d’implication et Ipee) sont celles qui profitent le mieux de l’aspect implicatif d’AROMA. En