Chapitre 7 Conception d’un prototype de raisonnement à partir de cas : depuis des enquêtes en exploitation agricole à
1. Paramètres d’évaluation du système
1.1. Construction d'un jeu de données expérimental
Pour la construction d’un système de RàPC, tous les cas disponibles sont intégrés dans la base de cas pour obtenir et manipuler un maximum de connaissances.
Pour l’évaluation d’un système de RàPC, en revanche, un jeu de données expérimental est conçu. Ce jeu est composé d’une base de cas (sources) servant à l’apprentissage du système et de cas cibles, pour lesquels la solution durant cette étape d’évaluation est connue mais ignorée, servant à tester le système.
Pour construire ce jeu de données expérimental, nous avons distingué, dans les cas disponibles, ceux qui seront utilisés comme sources et ceux qui seront utilisés comme cibles. Pour cela, la construction du jeu test s’est faite en deux temps : nous avons premièrement établi des règles d’attribution de rôles (cible ou source), puis nous avons sélectionné les cas finalement utilisés par le système en fonction de règles de composition de la base.
- Concernant les règles d’attribution de rôles, nous avons d’une part choisi d’attribuer un rôle cible à
un corpus de cas ayant chacun une solution observée 0, 1 ou 2 (cf. partie 1.1.1). Nous avons d’autre
part choisi d’attribuer un rôle source à un corpus de cas ayant chacun une solution observée 1 ou
2 : l’exclusion des cas ayant une solution 0 ayant pour but de limiter l’arbitrage de l’utilisateur final si
plusieurs cas sources sont remémorés pour un même cas cible, après la phase de remémoration (cf. figure 7.11). A noter alors que les solutions 0 prédites par le système sont le résultat de l’adaptation des solutions sources remémorées.
- Concernant les règles de composition de la base de cas, nous avons choisi d’attribuer un rôle source
aux 2/3 des cas ayant une solution 1 ou 2 et un rôle cible au dernier tiers de ces cas ; ce taux est
arbitraire et se fonde sur les taux d’apprentissage classiquement rencontrés en apprentissage
supervisé. Nous avons ensuite choisi de prendre autant de cas sources que de cas cibles pour tracer
le fonctionnement du système à travers les résultats de ses prédictions (cf. figure 7.12) ; c’est également un choix arbitraire qui peut être discuté.
Au final, 36 cas sources et 36 cas cibles sont utilisés comme base de données expérimentale pour évaluer les performances du système. Ils ont été sélectionnés par un unique tirage aléatoire.
1.2. Paramètres d’expérimentation
Les parties précédentes du chapitre montrent que la conception d’un système de RàPC pour prédire l’insertion territoriale du miscanthus à partir des décisions des agriculteurs peut être envisagée de multiples manières. Des tests sur l’effet, sur les prédictions du système, des paramètres du prototype et des algorithmes choisis, ont alors été conduits pour comprendre le fonctionnement du système appliqué à nos données et pour en permettre la calibration. Ainsi, 48 tests ont été mis en œuvre (cf. tableau 7.5) et élaborés à partir de quatre paramètres d’expérimentation :
- Le premier paramètre d’expérimentation du système est l’algorithme de remémoration décliné en
192
Tableau 7.5 : plan d’expérimentations
Figure 7.13 : analyses et évaluations des performances du prototype SAMM
Légende matrice
Test de validité : Matrice de confusion : V_N a
0 1 2 V_P1 b
Sol observée Sol prédite Test validité 0 2 2 2 6 V_P2 c
0 0 V_N a 1 1 1 2 4 F_N d 0 1 F_P1 e 2 2 1 1 4 F_P1 e 0 2 F_P2 f Ʃ solutions prédites 5 4 5 14 F_P2 f 0 0 V_N 0 1 F_P1 0 2 F_P2 1 2 F_P2 0 1 2 2 0 F_N d Taux de précisiong 0,40 0,25 0,20
1 0 F_N Taux de vraies solutionsh 0,33 0,25 0,25
1 1 V_P1 a Taux de réussitei 1 2 F_P2 2 0 F_N 2 1 F_P1 Analyses : 2 2 V_P2 b Remémoration
Sélection des cas cibles à adapter a
V_N : Vrai Négatif ou vraie solution 0 Adpatation
b
V_P1: Vrai Positif 1 ou vraie solution 1 Prédictions finales du système
c
V_P2 : Vrai Positif 2 ou vraie solution 2 d
F_N : Faux Négatif ou fausse solution 0 g
Taux de précision = nombre de V_P / Ʃ des solutions prédites (ou nombre de V_N / Ʃ des solutions prédites) e
F_P1 : Faux Positif 1 ou fausse solution 1 h
Taux de vraies solutions = nombre de V_P / Ʃ des solutions observées (ou nombre de V_N / Ʃ des solutions observées) f
F_P2 : Faux Positif 2 ou fausse solution 2 i
Taux de réussite = Ʃ des V_P / Ʃ des solutions prédites
Légende matrice
Test de validité : V_N j
0 1 et 2 V_P k
Sol observée Sol prédite Test validité 0 2 4 6 F_N l
0 0 V_N j 1 et 2 3 5 8 F_P m 0 1 F_P m 5 9 14 0 2 F_P 0 0 V_N 0 1 F_P 0 2 F_P 0 1 et 2 1 2 V_P Taux de précisiong 0,40 0,56 2 0 F_N l
Taux de vraies solutionsh 0,33 0,63
1 0 F_N Taux de réussitei
1 1 V_P k
1 2 V_P
2 0 F_N Analyses :
2 1 V_P Remémoration
2 2 V_P Sélection des cas cibles à adapter
Adpatation j
V_N : Vrai Négatif ou vraie solution 0 Prédictions finales du système
k
V_P : Vrai Positif ou vraie solution 1 ou 2 g
Taux de précision = nombre de V_P / Ʃ des solutions prédites (ou nombre de V_N / Ʃ des solutions prédites) l
F_N : Faux Négatif ou fausse solution 0 h
Taux de vraies solutions = nombre de V_P / Ʃ des solutions observées (ou nombre de V_N / Ʃ des solutions observées) m
F_P : Faux Positif ou fausse solution 1 ou 2 i
Taux de réussite = Ʃ des V_P / Ʃ des solutions prédites
Base de données :
Analyses des performances du prototype SAMM à partir d'une validation des prédictions du système à la stricte égalité des valeurs observées des cas cibles
Evaluation : Solutions prédites
0,29
Analyses des performances du prototype SAMM à partir d'une validation par relâchement des prédictions : i.e. à partir du regroupement des solutions 1 et 2
Base de données : Solutions prédites Ʃ solutions
observées
0,50 Solutions
observées
Matrice de confusion : Solutions prédites Ʃ solutions observées Solutions
observées Ʃ solutions prédites
193 présentés dans la partie 1.2.2. Pour rappel, l’algorithme de remémoration affecte : (i) l’évaluation de la similarité des cas par l’utilisation distincte de deux jeux de descripteurs de comparaison des cas (cf. partie 2.3.3) et (ii) l’identification et la sélection des cas sources les plus similaires aux cas cibles, par la procédure de remémoration (cf. partie 2.3.3). Ainsi dans la partie 4.2, nous évaluerons les capacités du prototype à sélectionner les cas sources les plus similaires aux cas cibles, par l’analyse des distances globales entre les problèmes de ces cas et par l’analyse des distances entre les
solutions de ces cas, via un test de validité (cf. figure 7.13). Ce test consiste à comparer les solutions
observées des solutions prédites : si les solutions sont jugées égales alors la solution prédite est classée comme vraie (V), sinon la solution prédite est classée comme fausse (F).
- Le second paramètre d’expérimentation est le choix des Règles d’Adaptation (RA) à utiliser. Ce
paramètre est décliné en deux modalités : les règles d’adaptation de l’agriculteur du cas source
remémoré (RAS) et les règles d’adaptation des agriculteurs de tous les cas sources de la base (RAT).
Comme illustré dans la figure 7.10, ce paramètre définit la solution des cas à adapter par le système. Nous évaluerons l’effet de ce paramètre sur l’adaptation et sur les prédictions finales du système, par une comparaison systématique des prédictions faites à partir de RAS et de RAT.
- Le troisième paramètre est le mode de sélection des cas sources (SELECT) à adapter, décliné en
deux modalités : SELECT0 et SELECT5. La modalité SELECT0 signifie une application des règles
d’adaptation au problème du cas cible pour toute distance locale valant 0 et la modalité SELECT5, pour toute distance locale valant 5. Nous évaluerons l’effet de ces deux modes de sélection par la comparaison des cas sources adaptés (CSA), aux cas sources remémorés (CSR) pour lesquels la solution prédite a été classée comme fausse au test de validité (cf. figure 7.13 et partie 5.3.1).
- Le quatrième paramètre est l’algorithme d’adaptation décliné en trois modalités (ADAPT1, ADAPT2,
ADAPT3), correspondant aux trois algorithmes présentés dans la partie 4. Pour rappel, l’algorithme
d’adaptation sélectionne la solution à substituer à la solution source quand plusieurs RA s’appliquent à un même cas cible (cf. partie 4). Nous évaluerons dans la partie 5.4 l’effet de ce paramètre par la comparaison des solutions adaptées aux solutions cibles observées (cf. figure 7.13 et partie 4.3.1). - L’effet combiné de ces quatre paramètres d’expérimentation sera enfin évalué dans la partie 4.4 par la comparaison des solutions finales prédites par le système aux solutions cibles observées (cf. figure 7.13 et partie 4.4).
Comme montré dans la figure 7.13, les analyses de performances du prototype se sont faites à partir de validations strictes ou relâchées des prédictions du système. Une validation stricte consiste à classer comme « vraie » toute solution prédite égale à la solution observée. Une validation relâchée consiste à regrouper les solutions 1 et 2 au sein d’une même catégorie 1-2 et à classer comme « vraie » toute solution prédite 1 ou 2, pour toute solution observée de catégorie 1-2.
Pour ne pas alourdir nos analyses, nous présenterons les résultats d’évaluation à la stricte égalité pour les quatre paramètres testés ; pour l’analyse des prédictions finales, nous présenterons aussi ces résultats pour l’évaluation relâchée.
194
Graphique 7.1 : distribution du nombre de descripteurs DP et DI selon les cas cibles et sources de la base
Graphique 7.4 : distribution des cas sources remémorés en fonction des cas cibles Graphique 7.2 : distribution du nombre de
195