Evaluation sur les données d’ARTAL

La RTO V1artal utilisée pour l’expérimentation comporte 582 concepts et 887 termes.

L’ontographe a rajouté 21 fiches au corpus qui en comportait initialement 287. Suite à cet ajout, l’ontographe a fait évoluer manuellement cette même RTO en rajoutant 9 nouveaux concepts et 19 nouveaux termes. L’évolution manuelle de la RTO a duré un peu moins d’une

heure et a permis d’obtenir une version V2_artal de la RTO. L’ontographe a procédé ensuite

à l’évolution de la RTO avec les 3 versions de DYNAMO en déclenchant l’outil avec les mêmes 21 nouvelles fiches.

Evaluation de DYNAMO V1

Avec DYNAMO V1, DYNAMO MAS a proposé à l’ontographe 48 nouveaux concepts et 49 nouveaux termes. Parmi les 48 concepts seulement 12 ont été retenus par l’ontographe et parmi les 49 termes seulement 22 ont été retenus. Le tableau 5.1 présente le détail des ré- sultats obtenus. Les propositions retrouvées manuellement sont les propositions retrouvées à la fois par l’ontographe et par DYNAMO MAS.

Qualité des propositions Termes Concepts

Propositions pertinentes 13 4

Propositions correctes 9 8

Propositions acceptables 0 0

Propositions inutiles 0 0

Propositions erronées 27 36

Propositions retrouvées manuellement 7 2

Pertinence globale des résultats 45% 25%

Tableau 5.1 — Pertinence des résultats proposés par DYNAMO MAS dans DYNAMO V1sur les données du partenaire ARTAL après l’ajout de 21 nouvelles fiches.

La pertinence des résultats de DYNAMO V1 atteint 25% pour les concepts et 45% pour les termes.

Analyse des résultats

– retrouver 7 termes parmi les 19 termes rajoutés manuellement par l’ontographe et de placer 3 de ces termes aux bons endroits dans la RTO. Par exemple, le terme Text_Box a été proposé comme terme associé au concept Text_Box ;

– proposer 14 termes non retrouvés par l’ontographe et de placer 9 de ces termes aux bons endroits dans la RTO. Par exemple, le terme Code_Incoherence a été proposé comme terme associé au concept Code_Incoherence ;

– retrouver 2 concepts parmi les 9 concepts rajoutés manuellement par l’ontographe. Par exemple, le concept server_URL a été proposé comme sous-concept de URL ; – proposer 10 concepts non retrouvés par l’ontographe et de placer 4 de ces concepts aux

bons endroits dans la RTO. Par exemple, le concept affected_TE a été proposé comme sous-concept de Traceable_Element.

Le nombre de propositions correctes (9 pour les termes et 8 pour les concepts) ainsi que le nombre de propositions erronées (27 pour les termes et 36 pour les concepts) montrent que DYNAMO MAS n’a pas encore atteint l’adéquation fonctionnelle. D’autre part, cela confirme notre hypothèse, selon laquelle toutes les relations lexicales ne sont pas traduites

en relations conceptuelles équivalentes. Enfin, le silence au niveau des 12 termes non pro-

posés est dû en partie à l’extracteur de termes YaTeA qui n’est pas capable de retrouver tous les termes du domaine.

Evaluation de DYNAMO V2

Dans la deuxième version de DYNAMO, DYNAMO MAS a proposé à l’ontographe 25 nouveaux concepts et 35 nouveaux termes. Parmi les 25 concepts seulement 9 ont été retenus par l’ontographe et parmi les 35 termes seulement 19 ont été retenus. Le tableau 5.2 présente le détail des résultats obtenus.

Qualité des propositions Termes Concepts

Propositions pertinentes 13 4

Propositions correctes 6 5

Propositions acceptables 0 0

Propositions inutiles 1 0

Propositions erronées 15 16

Propositions retrouvées manuellement 6 1

Pertinence globale des résultats 54% 36%

Tableau 5.2 — Pertinence des résultats proposés par DYNAMO MAS dans DYNAMO V2sur les données du partenaire ARTAL après l’ajout de 21 nouvelles fiches.

La pertinence des résultats de DYNAMO V2 atteint 36% pour les concepts et 54% pour les termes.

Analyse des résultats

Avec DYNAMO V2, DYNAMO MAS a été capable de :

– retrouver 6 termes parmi les 19 termes rajoutés manuellement par l’ontographe et de placer 3 de ces termes aux bons endroits dans la RTO ;

– proposer 13 termes non retrouvés par l’ontographe et de placer 10 de ces termes aux bon endroits dans la RTO ;

– retrouver 1 concept parmi les 9 concepts rajoutés manuellement par l’ontographe ; – proposer 8 concepts non retrouvés par l’ontographe et de placer 4 de ces concepts aux

bon endroit dans la RTO.

Par rapport à DYNAMO V1, nous remarquons dans cette deuxième version que : – le nombre de propositions erronées a baissé considérablement (de 27 à 15 termes et de

36 à 16 concepts). Ce résultat est dû à l’introduction dans DYNAMO Corpus Analyser de la méthode d’élimination des candidats termes lorsqu’un candidat terme comporte des termes sémantiquement différents mais aussi à la modification des formules de pertinence dans les agents termes et les agents concepts. Par exemple, dans DYNAMO

V1, le terme Formation_Edition a été proposé par DYNAMO MAS. Or, selon la RTO

du partenaire ARTAL, le terme Formation est associé au concept Formation qui est un composant et le terme Edition est associé au concept Edition qui est une fonction. For- mation_Edition est composé de termes qui sont associés à des concepts sémantique- ment différents. Il a été supprimé par DYNAMO Corpus Analyser et n’a donc pas été proposé par DYNAMO MAS ;

– le nombre de propositions correctes a baissé (de 9 à 6 termes et de 8 à 5 concepts). Pour les termes et les concepts, l’introduction des comportements coopératifs dans les agents termes et les agents concepts qui est la cause de cette baisse. Certaines propositions de termes sont devenues pertinentes, et certaines propositions de concepts ont été sup- primées. Par exemple, dans DYNAMO V1, le terme Tes a été proposé comme terme associé au concept Tes, lui aussi proposé par DYNAMO MAS. Le terme était dans une mauvaise position et le concept était erroné. Dans DYNAMO V2, le terme Tes s’est proposé par DYNAMO MAS comme terme associé au concept Traceable_Element (proposition correcte). Puisque l’agent concept Tes c’est retrouvé dans une SNC d’inuti- lité, il a disparu de l’AMAS et le concept erronné ne se retrouve alors plus dans les propositions de DYNAMO V2. Certaines propositions correctes présentes dans DY-

NAMO V1ont également été supprimées dans DYNAMO V2 suite à la modification

de la formule de pertinence. Par exemple, le terme Message Type proposé avec DY-

NAMO V1n’a pas été proposé avec DYNAMO V2 car l’agent terme lui corrspondant

n’a pas dépassé le seuil de proposition ;

– le nombre de propositions pertinentes entre DYNAMO V1 et DYNAMO V2 n’a pas changé. En effet, malgré le fait que des propositions correctes soient devenues perti- nentes, certaines propositions correctes présentes dans DYNAMO V1 ont été suppri- mées dans DYNAMO V2 suite à la modification de la formule de pertinence.

Evaluation de DYNAMO V3

Dans DYNAMO V3, DYNAMO MAS a proposé à l’ontographe 18 nouveaux concepts et 24 nouveaux termes. Parmi les 18 concepts seulement 10 ont été retenus par l’ontographe et parmi les 24 termes seulement 16 ont été retenus. Le tableau 5.3 présente le détail des résultats obtenus.

Qualité des propositions Termes Concepts Propositions pertinentes 13 5 Propositions correctes 3 5 Propositions acceptables 0 0 Propositions inutiles 1 0 Propositions erronées 7 8

Propositions retrouvées manuellement 4 1

Pertinence globale des résultats 67% 56%

Tableau 5.3 — Pertinence des résultats proposés par DYNAMO MAS dans DYNAMO V3sur les données du partenaire ARTAL après l’ajout de 21 nouvelles fiches.

La pertinence des résultats de DYNAMO V3 a atteint 56% pour les concepts et 67% pour les termes.

Analyse des résultats

Avec DYNAMO V3, DYNAMO MAS a été capable de :

– retrouver 4 termes parmi les 19 termes rajoutés manuellement par l’ontographe et de placer 3 de ces termes aux bons endroits de la RTO ;

– proposer 12 termes non retrouvés par l’ontographe et de placer 10 de ces termes aux bons endroits dans la RTO ;

– retrouver 1 concept parmi les 9 concepts rajoutés manuellement par l’ontographe ; – proposer 9 concepts non retrouvés par l’ontographe et de placer 5 de ces concepts aux

bon endroits dans la RTO.

Par rapport à DYNAMO V2, nous remarquons que :

– le nombre de propositions erronées a baissé considérablement (50% environ) (de 15 à 7 termes et de 16 à 8 concepts). Ce résultat est dû à l’introduction des comportements co- opératifs de détection et d’élimination des agents concepts et des agents termes inutiles. Par exemple, l’agent concept GDF a détecté une SNC d’inutilité car il a la même fré- quence que son sous-concept Export_GDF. L’agent concept GDF a disparu de l’AMAS ainsi que son agent terme GDF. Pour cette raison le terme GDF présent dans les propo- sitions de DYNAMO V2 a été supprimé ainsi que son concept associé GDF ;

– le nombre de propositions de termes corrects a baissé de moitié (de 6 à 3 termes). Le nombre de propositions de concepts corrects quant à lui n’a pas changé. Ce résultat montre que le comportement de détection et d’élimination des agents termes inutiles peut entraîner l’élimination de bonnes propositions. Par exemple, le terme Listed_Tes, proposition correcte dans DYNAMO V2 et ayant la même fréquence que le terme Black_Listed_Tes a été supprimé. Cependant, certaines propositions correctes sont ap- parues grâce à l’utilisation de WordNet. Par exemple, le terme Sort, proposition cor- recte non présente dans DYNAMO V2, a été proposé comme terme associé au concept Icon ;

lui n’a pas changé pour les termes. Des propositions pertinentes ont été éliminées à cause du comportement permettant la détection et l’élimination des agents inutiles. En revanche, nous notons l’apparition de propositions pertinentes grâce à l’utilisation de WordNet. Par exemple, le terme Parameter associé au concept Parameter est une proposition pertinente non présente dans DYNAMO V2. Le concept Performance a été proposé comme sous-concept de Action. Il s’agit d’une proposition correcte non proposée par DYNAMO V2 ;

– L’introduction de WordNet dans DYNAMO V3 a contribué à l’amélioration des résul- tats de DYNAMO MAS.