Résultats globaux pour tous les sujets

Nous nous intéressons d'abord à comparer les diagrammes de séquence obtenus par notre approche et les diagrammes obtenus suite à des transformations automatiques comme celle de Briand et al. [3]. Pour cela, nous calculons la moyenne des variables de précision et de rappel pour nos cinq sujets pour chaque scénario et pour chacun des acteurs et des messages.

Les histogrammes présentés dans les figures (

Figure 4.1 et Figure 4.2) résument nos résultats obtenus. Nous exposons pour chaque scénario sous forme d’histogrammes la précision et le rappel des diagrammes générés suite à des transformations automatiques (AT) et la moyenne des précisions et des rappels concernant les diagrammes obtenus suite à l’application de notre approche par nos sujets (MIV).

La

Figure 4.1 illustre une augmentation de la précision des messages dans chacun des scénarios, soient de 26% à 48% dans le scénario « Session », de 33% à 52% dans le scénario «Deposit» et de 37% à 48% dans le scénario «Withdraw». Cependant contrairement à la précision, nous constatons une diminution du rappel de 100% à 89% dans le scénario «Session», de 100% à 95% dans le scénario « Deposit » et de 100% à 93% dans le scénario «Withdraw».

L’analyse de la Figure 4.1 montre que la mesure précision augmente dans le cas des trois scénarios, ce qui est évident suite à l’utilisation de notre environnement interactif et par conséquent, de l’élimination de plusieurs messages considérés inutiles afin de produire un diagramme de séquence compréhensif et qui englobe toutes les situations possibles. Cette augmentation est plus prononcée dans le scénario «Session», ce qui est aussi logique puisque juste dans ce scénario « Session », on illustre un cas de fusion de fragments de diagramme de séquence recommandé par notre système (ceci sera détaillé dans la section suivante). Toutefois, les mesures de rappels diminuent faiblement dans les trois scénarios. Cette diminution est causée par l’élimination de quelques messages considérés importants en référence par rapport au diagramme de conception.

Figure 4.1 : Précision et rappel des messages entre les diagrammes obtenus par les transformations automatiques (AT) et la moyenne de ceux obtenus par notre approche (MIV) pour chacun des trois scénarios «Session», «Deposit» et «Withdraw».

Figure 4.2 : Précision et rappel des acteurs entre les diagrammes obtenus par les transformations automatiques (AT) et la moyenne de ceux obtenus par notre approche (MIV) pour chacun des trois scénarios « Session », « Deposit » et « Withdraw ».

De même que la Figure 4. 1, la Figure 4. 2 illustre la variation de précision et de rappel des messages. Nous remarquons ainsi une augmentation de la précision des messages dans chacun des scénarios, soit de 45% à 88% dans le scénario «Session», de 75% à 83% dans le scénario «Deposit» et de 75% à 90% dans le scénario «Withdraw». Cependant contrairement à la précision, nous constatons une diminution du rappel de 100% à 92% dans le scénario «Session», de 100% à 97% dans le scénario « Deposit » et de 100% à 90% dans le scénario « Withdraw ».

Comme au niveau des messages, l’analyse de la Figure 4.2 au niveau des acteurs montre que les variations de la précision augmentent dans les trois scénarios. Cette augmentation est plus prononcée dans le scénario « Session ». Toutefois, les variations des rappels diminuent dans les trois scénarios et cette diminution est plus prononcée dans le scénario « Session ».

La comparaison des figures 4.1 et 4.2 (entre les mesures au niveau des messages et des acteurs) montre que les deux mesures suivent la même variation, toutefois, l’amplitude de la variation est plus importante dans le cas de la mesure précision au niveau des acteurs (Figure 4.2). Cette variation est causée par le fait que dans le diagramme de séquence, le nombre d’acteurs est toujours moindre que le nombre de messages, et par conséquent, il est plus facile de faire le choix entre garder ou éliminer des acteurs que des messages. Afin de valider l’efficacité de notre outil de rétro-ingénierie des diagrammes de séquence, nous nous intéressons maintenant à la variabilité entre nos sujets de l’expérience et par conséquent aux diagrammes de séquence extraits. Pour cela, nous employons les mêmes mesures (précision et rappel) calculées précédemment.

Nous exposons dans la Figure 4.3 et la Figure 4.4 la variation des variables de précision et de rappel des diagrammes générés par nos sujets pour le scénario « Session », respectivement au niveau des messages et au niveau des acteurs.

Au niveau des messages, l’analyse de la Figure 4.3 montre qu’une augmentation de la précision entraîne une diminution de celle du rappel. Ainsi, nous concluons que la relation entre les deux mesures est inverse. Par exemple dans le cas du sujet 4 nous remarquons que le niveau du rappel est de 100% alors que celui de la précision est

d'environ 40%. Par contre dans le cas du sujet 2, le niveau de précision est plus prononcé (environ 60%) alors que celui du rappel est plus de 80%.

Figure 4.3 : Précision et rappel des messages entre les diagrammes générés par les différents sujets pour le scénario «Session».

Figure 4.4 : Précision et rappel des acteurs entre les diagrammes générés par les différents sujets pour le scénario «Session».

Nous concluons de ces résultats que l'efficacité de l’extraction des diagrammes de séquence varie faiblement selon les compétences de l'utilisateur, dû au fait que la majorité des messages sont des messages de retour indiquant l’achèvement d’une activité et des messages d’initialisation indiquant la création de nouveaux objets. Ceci engendre des variations de choix entre nos sujets (soit de les garder ou de les éliminer). Par conséquent, les diagrammes résultants ne sont pas totalement identiques.

Nous remarquons aussi que la précision des messages ne dépasse pas 60%, dû au fait qu’une portion des messages de détails (retour, construction, …) n'ont pas été supprimés. Ces messages ont été considérés importants par les sujets, même s’ils n’apparaissent pas dans le diagramme de conception.

Contrairement à la Figure 4.3, au niveau des acteurs, la Figure 4.4 montre que la précision des acteurs est élevée (100% pour les sujets 3, 4 et 5), ce qui indique que la majorité (ou la totalité) des objets gardés dans les diagrammes de séquence sont pertinents (présents dans le diagramme de conception).

Nous remarquons que dans le cas des deux premiers sujets, la précision est plus importante en pourcentage que le rappel. La position s’inverse dans le cas des sujets 3, 4 et 5. Par exemple dans le cas du sujet 4, le rappel est de 100% alors que celui de la précision est d’environ 70%, cependant, dans le cas du sujet 2 la précision est plus importante (100%) alors que le rappel est de 80%. Par la suite et conformément à la Figure 4.3, la Figure 4.4 illustre une relation inverse entre les deux mesures.

On s’aperçoit aussi que les diagrammes de séquence obtenus par application directe de notre approche ont conservé la sémantique des données, tout en simplifiant encore plus les diagrammes de séquence préalablement obtenus par l’application des transformations automatiques.

En ce qui concerne le temps d’exécution, on a constaté d’après les expérimentations réalisées que les temps consacrés pour générer les diagrammes de séquence sont raisonnables. Néanmoins, l’utilisateur ne parvient pas parfois à comprendre immédiatement les fonctionnalités du système étudié, c’est-à-dire, il doit y avoir une période de temps pour qu’il puisse s’adapter à eux. Par exemple, parfois l’usager ne peut

décider de supprimer ou de garder une certaine entité que lorsqu’il progresse dans la trace combinée, alors qu’il serait plus adéquat de pouvoir le faire instantanément.