Evaluations de la remémoration

2.2.1. Préambule : analyse des cas sources remémorés

Le graphique 7.4 représente la distribution des cas sources remémorés par le système en fonction des cas cibles. Cette figure montre que cette distribution des cas sources remémorés est homogène. Cette figure montre aussi que plusieurs cas sources sont remémorés pour un même cas cible (lecture des points par colonne) et qu’un même cas source est remémoré pour plusieurs cas cibles (lecture des points par ligne). Les figures 7.5 et 7.6 résument bien ces faits.

Graphique 7.5 : part des UCS et MCS Graphique 7.6 : part des UCC et MCC

Le graphique 7.5 montre que pour les algorithmes REM1, REM2 et REM4 la majorité des cas cibles sont appariés à un unique cas source remémoré (noté UCS), tandis que la majorité des cas cibles sont appariés à de multiples cas sources remémorés (noté MCS) pour l’algorithme REM3 : pour REM3 le nombre médian de cas sources remémorés par cas cible est de 2. Le graphique 7.5 montre aussi que globalement, à l’issue des quatre remémorations, 97% des cas cibles sont appariés à de multiples cas sources remémorés : le nombre médian de cas sources remémorés par cas cible est alors de 4. De même, le graphique 7.6 montre que pour les algorithmes REM1, REM2, REM3 et REM4, la majorité des cas sources sont remémorés pour de multiples cas cibles (MCC) ; le nombre médian de cas cibles appariés à un cas source est de 2 pour REM1 et REM2, de 3 pour REM3 et REM4 et de 6 pour les quatre algorithmes confondus.

196

Graphique 7.7 : occurrence des cas sources remémorés pour chaque cas cible

Graphique 7.8 : occurrences de remémoration des cas sources

Graphique 7.9 : distribution des distances globales calculées à partir des descripteurs DP et DI

197 Le graphique 7.7 représente le nombre d’occurrences de cas sources remémorés pour chaque cas cible. Elle montre que les cas cibles 9, 25, 12 et 14 sont ceux qui ont été les plus fréquemment appariés à un cas source remémoré à l’issue des quatre algorithmes de remémoration (cf. symbole rouge) et qu’à l’inverse le cas cible 20 est celui qui a été le moins fréquemment apparié à un cas source. De la même manière, le graphique 7.8 représente l’occurrence de remémoration des cas sources. Elle montre que les cas sources 29, 14, 22 et 24 sont ceux qui ont été les plus fréquemment appariés à un cas cible à l’issue des quatre algorithmes de remémoration et qu’à l’inverse le cas source 30 n’a jamais été apparié à un cas cible.

Les graphiques 7.7 et 7.8 indiquent ainsi le niveau de centralité et de marginalité des cas cibles et sources de la base. Ces figures peuvent aider l’utilisateur final à améliorer la base de cas. Elles peuvent notamment être utilisées pour guider l’utilisateur final dans la suppression ou le maintien de cas sources très souvent remémorés par le système. Une suppression de ces cas permet par exemple de limiter les arbitrages de l’utilisateur pour sélectionner qu’une seule solution finale par cas cible ; à l’inverse, le maintien de ces cas peut être intéressant s’ils apportent suffisamment d’information.

2.2.2.Analyse des distances globales entre les cas

Le graphique 7.9 représente la distribution des distances globales entre les cas cibles et sources, calculées à partir des descripteurs DP et DI (cf. partie 2.2) : elle représente plus particulièrement les distances globales entre tous les cas cibles et sources de la base (cf. srceTot) et entre tous les cas cibles et les cas sources uniquement remémorés par le système, pour chaque algorithme testé (cf. REM1 ; REM2 ; REM3 ; REM4).

Cette figure montre que :

- la distance globale médiane calculée à partir de DI, pour tout cas cible comparé à tout cas source de la base (cf. srceTot) est inférieure à celle de DP ;

- les distances globales médianes, pour tous cas cibles comparés aux cas sources uniquement remémorés par le système (cf. REM1 ; REM2 ; REM3 ; REM4) sont inférieures à celles de srceTot ; - les distances globales médianes de REM1 et REM3, tous descripteurs confondus, sont inférieures à celles de REM2 et REM4 : ceci est cohérent puisque le premier critère de remémoration de REM1 et REM3 est la minimisation des distances globales sur DP et DI ;

-les distances globales médianes calculées sur DI sont inférieures ou égales à celles calculées sur DP pour REM1, REM3 et REM4 ; la distance globale médiane de DI est en revanche supérieure à celle de DP pour REM2.

Le graphique 7.10 représente la distance globale moyenne de chaque cas cible, calculée à partir de DP pour tout cas source remémoré par le système (cf. REM1 ; REM2 ; REM3 ; REM4) et pour tout cas source de la base (cf. srceTot). Le graphique 7.11 représente cette distance calculée à partir de DI. Les deux figures montrent que les distances calculées sur DP diffèrent légèrement plus d’une remémoration à l’autre que celles calculées sur DI.

2.2.3.Analyse du taux de réussite des prédictions faites à partir des solutions sources

Le graphique 7.12 représente les taux de réussite des prédictions du système faites à partir des solutions des cas sources remémorés : ces taux sont calculés à partir de tests de validité établis à la stricte égalité et par relâchement.

Le graphique 7.12 montre que :

- sans adaptation, 13 à 29% des prédictions du système sont correctes à la stricte égalité, contre

39 à 49% par relâchement

198

Graphique 7.11 : distribution des distances globales moyennes de chaque cas cible calculées à partir des DI

Légende matrice Matrice de confusion : V_CSA : Vrais CSA CSA CSR V_CSR : Vrais CSR Sol cible observée Sol Rem JSol Adapt K Types de cas source F o 6 3 9 F_CSA : Faux CSA

0 0 1 _CSA l

V_N ^a V ^p 2 2 4 F_CSR : Faux CSR

0 2 CSR m F_P2 f Ʃ types de cas sources 8 5 13

0 0 2 CSA V_N

0 1 CSR F_P1 e

0 2 CSR F_P2 ^f

1 2 1 CSA F_P2 CSA CSR

2 0 2 CSA F_N ^d Taux de précision^g 0,75 0,40

1 0 1 CSA _{F_N Taux de vrais cas sources}h 0,67 0,50

1 1 CSR V_P1 ^b Taux de réussiteⁱ

1 2 0 CSA F_P2

2 0 1 CSA F_N o

F : valeurs du test de validité F_N, F_P1 ou F_P2

2 1 1 CSA F_P1 p

V : valeurs du test de validté V_N, V_P1 ou V_P2

2 2 CSR V_P2 ^c g

Taux de précision = nombre de V_CSA / Ʃ CSA (ou nombre de V_CSR / Ʃ CSR) h

Taux de vraies types de cas sources = nombre V_CSA / Ʃ F (ou nombre de V_CSR / Ʃ V) a

V_N : Vrai Négatif i

Taux de réussite = Ʃ (V_CSA, V_CSR) / Ʃ (CSA, CSR) k

Sol Adapt : solution source adaptée b

V_P1: Vrai Positif 1 c V_P2 : Vrai Positif 2 d F_N : Faux Négatif e F_P1 : Faux Positif 1 f F_P2 : Faux Positif l

CSA : Cas Source à solution Adaptée m

CSR : Cas Source à solution Remémorée (non adaptée)

Analyses des performances du prototype SAMM à partir d'une validation des prédictions du système à la stricte égalité des valeurs observées des cas cibles

J

Sol Rem : solution source remémorée

Test de validité pour Sol Rem :

0,62

Base de données : Types de cas source Ʃ tests de

validité Test de

validité

Evaluation : ^{Types de cas source}

Figure 7.14 : démarche d’évaluation des performances de sélection des cas sources à adapter (SELECTA)

Graphique 7.12 : taux de réussite de la remémoration _{appariées à tous les cas sources remémorés par le système selon} ^{Graphique 7.13 : distribution des solutions cibles observées et} les algorithmes de remémoration

199 Ces résultats sont cohérents avec le graphique 7.13 ; celui-ci montre que les cas sources remémorés ont en majorité été appariés à des cas cibles ayant une solution 0, justifiant alors un taux de réussite établi par relâchement inférieur à 50%.