Evaluation finale de la généralisation d’un espace

Après avoir présenté les capacités d’observation du composant d’observation et d’évaluation, dans cette partie, nous allons décrire la problématique de l’évaluation de la généralisation d’un espace géographique par le processus de généralisation choisi par le registre.

Que souhaitons-nous évaluer ?

Nous avons vu que nous disposons, grâce aux moniteurs de contrainte, d’une évaluation qualitative individuelle du respect des spécifications formalisées de la carte généralisée. Dans CollaGen, l’évaluation finale de la généralisation d’un espace géographique est à la fois une évaluation pour contrôler et une évaluation pour valider si l’on reprend la classification de (Mackaness et Ruas, 2007). Il s’agit d’une évaluation pour contrôler car cette évaluation est le support de la décision de continuer ou de revenir en arrière dans le système en essai-erreur de CollaGen. Il s’agit également d’une évaluation pour valider car il s’agit de qualifier la généralisation de succès ou d’échec afin d’enregistrer ce résultat dans le registre pour alimenter ses capacités d’apprentissage.

Le composant d’évaluation doit réaliser ces évaluations en agrégeant toutes les informations individuelles des moniteurs. De plus, comme CollaGen est un système dans lequel un processus a été choisi automatiquement pour généraliser un espace, nous proposons de distinguer la qualité interne de la généralisation, c’est-à-dire le respect des capacités prévues du processus, et la qualité globale de la généralisation, c’est-à-dire le respect global des spécifications de la carte. Nous allons d’abord expliquer comment fonctionne le mécanisme d’évaluation à partir de ces qualités interne et globale. Puis nous détaillons nos propositions pour déterminer ces deux qualités en analysant les distributions de satisfaction des moniteurs de contrainte. Enfin, nous expliquons notre méthode d’agrégation des évaluations pour noter une généralisation.

Mécanisme d’évaluation

La Figure C-70 montre le mécanisme que nous proposons d’adopter pour interpréter les informations de qualité interne et globale. Le composant agrège les deux informations de qualité pour noter grossièrement la généralisation et stocker la notation dans le registre s’il s’agit d’une bonne note ou d’une mauvaise. Ces informations de qualité permettent de choisir l’une des trois évolutions possibles dans la dynamique de CollaGen :

Soit le composant considère que l’espace est mieux généralisé que dans l’état précédent mais qu’il ne l’est pas encore parfaitement, auquel cas il valide le nouvel état de l’espace (et de ses objets) et fait une nouvelle requête au registre pour un nouveau processus qui peut traiter les conflits restants.

Soit le composant considère que la généralisation de l’espace est terminée et passe au choix d’un nouvel espace (les effets de bord éventuellement générés par la généralisation sont vérifiés entre temps).

Soit le composant considère que la généralisation de l’espace est vraiment mauvaise auquel cas il annule la généralisation et remet l’espace (et ses objets) dans leur état précédent. Il essaye alors le processus suivant dans la liste renvoyée par la précédente requête au registre.

Figure C-70. Description du mécanisme d’évaluation qui détermine la qualité interne et externe à partir de quoi

il note la généralisation et prend la décision de valider l’état et passer à un nouvel espace si les deux sont bonnes, valider l’état et demander une généralisation supplémentaire au registre si seule la qualité interne est bonne et enfin annuler la généralisation et essayer le processus suivant dans la liste si la qualité interne est mauvaise.

La première des trois options est choisie uniquement quand chacune des deux qualités interne et globale est évaluée comme bonne et que le processus a amené une amélioration significative de la généralisation de l’espace géographique. Cela signifie que la généralisation par le processus choisi a bien répondu aux attentes et a bien traité les conflits identifiés dans l’espace. La deuxième option est choisie quand l’état de l’espace s’est amélioré significativement mais avec une qualité globale insuffisante, quelle que soit la qualité interne. Pour faire simple, le processus a bien satisfait tout ou partie des contraintes qu’il était censé satisfaire mais n’a pu gérer d’autres conflits présents dans l’espace. Cette option est aussi choisie quand il n’y a pas d’amélioration significative mais que la qualité interne est bonne car cela signifie que le manque d’amélioration est surtout dû à des capacités limitées du processus mais les améliorations mineures (bonne qualité interne) sont quand même bonnes à prendre. CollaGen cherche alors logiquement un autre processus pour compléter le premier et résoudre les conflits restants. Enfin, la troisième option est choisie quand il n’y a aucune amélioration significative et que la qualité interne est mauvaise quelle que soit la qualité globale car cela signifie que le processus n’est pas arrivé à faire ce qu’il était censé faire. Cela peut arriver avec les processus de généralisation car ils ne sont pas infaillibles et la diversité des contextes géographiques peut générer une infinité de cas particuliers qu’un processus donné ne peut pas tous gérer. Il est donc logique de revenir à l’état précédent de l’espace (avant la généralisation

défectueuse) et d’essayer le processus suivant dans la liste des processus adaptés renvoyée par le registre.

Nous allons maintenant détailler comment nous déterminons une amélioration significative, la qualité interne et la qualité globale à partir des distributions de satisfactions des moniteurs de contrainte.

Amélioration significative de la qualité

Déterminer si la généralisation d’un espace géographique par un processus de généralisation a provoqué une amélioration significative de la qualité de l’espace se fonde sur la comparaison des distributions des satisfactions avant et après la généralisation. Plus précisément, nous proposons de nous fonder sur la variation de moniteurs non satisfaits (y a-t-il plus ou moins de moniteurs insatisfaits ?) et la variation de moniteurs très satisfaits. A partir de ces deux variations, nous proposons l’algorithme suivant où la fonction getPourcentage(seuil) donne le pourcentage de moniteurs de la distribution dont la satisfaction est inférieure ou égale au seuil de satisfaction :

ameliorationSignificative(distribution, distributionAvant) : boolean Réel nonPct ← distribution.getPourcentage(PEU_SATISFAIT)

Réel nonPctAv ← distributionAvant.getPourcentage(PEU_SATISFAIT) Réel tresPct ← distribution.getPourcentage(CORRECT)

Réel tresPctAv ← distributionAvant.getPourcentage(CORRECT) Booléen amelioration ← faux

// S’il y a un peu plus de satisfaits et un peu moins de non satisfaits, c’est une amélioration significative

Si (nonPctAv - nonPct >0.33*nonPctAv et tresPct - tresPctAv > 0.05)

amelioration ← vrai

Fin Si

// S’il y a une diminution drastique des contraintes non satisfaites, c’est une amélioration significative

Si (nonPctAv - nonPct > 0.50* nonPctAv)

amelioration ← vrai

Fin Si

// S’il y a une augmentation drastique des contraintes satisfaites, c’est une amélioration significative

Si (tresPct - tresPctAv >0.66* tresPctAv)

amelioration ← vrai

Fin Si

Comme pour la qualité interne et la qualité globale, la méthode que nous présentons est une première proposition qui nécessite des tests de validation et de comparaison dont une partie seulement est effectuée dans cette thèse, les autres sont une des premières perspectives de notre travail.

Qualité interne de la généralisation

La qualité interne d’un traitement se définit en général comme le respect des spécifications définies par le producteur du traitement (Vauglin, 1997). Dans le cas de la généralisation d’un espace géographique dans CollaGen, la qualité interne est la satisfaction globale des contraintes de généralisation que le processus appliqué est censé satisfaire d’après les post-conditions de sa description formelle. Nous proposons de définir la qualité interne d’un processus de généralisation dans CollaGen comme une valeur entre 0 et 1, 1 correspondant à une qualité interne parfaite, c’est-à-dire la bonne gestion de l’ensemble des spécifications formelles présentes dans les post-conditions par rapport à l’ensemble des moniteurs correspondant contenus dans l’espace. Comme le montre l’algorithme ci-dessous, nous proposons de diminuer la qualité interne chaque fois que la satisfaction d’un moniteur (correspondant à une des post-conditions) est inférieure à la moyenne des satisfactions de la distribution. La diminution est proportionnelle à l’indice de confiance de la post-condition et à la distance entre la satisfaction du moniteur et la moyenne. Nous proposons de travailler en relatif (utilisation de la moyenne), car ainsi, la qualité interne acceptée dépend du contexte de satisfaction (on est moins tolérant quand les contraintes de l’espace sont plutôt bien satisfaites).

evaluationQualiteInterne(distribution, processus) : double

Initialisation Réel seuil ← moyenne(distribution) Initialisation Réel qualite ← 1.0

Pour toutes les post-conditions post de processus faire

Initialisation Réel confiance ← post.getIndiceConfiance()/5 Pour tous les moniteurs moniteur de distribution faire

Si (moniteur.contrainte != post.contrainte) suivant Si (moniteur.satisfaction <= seuil) suivant

Initialisation Réel dist ← seuil-moniteur.satisfaction Initialisation Réel ratio ← dist*confiance/|distribution|

qualite = qualite - ratio

Fin Pour Fin Pour

Un seuil est ensuite utilisé pour déterminer les généralisations évaluées avec une bonne qualité interne et celles avec une mauvaise qualité interne. Ce seuil doit être représentatif de la confiance que fait le développeur de CollaGen au fournisseur de processus car si la description des post-conditions est très approximative, il est difficile d’obtenir une forte valeur de qualité interne. Par exemple, dans notre implémentation de CollaGen, nous jouons tous les rôles donc nous avons confiance dans nos descriptions et utilisons un seuil de 0,8 ce qui est plutôt élevé.

Qualité globale de la généralisation

La qualité globale d’un traitement ou de données se définit en général comme son adaptation aux besoins de leur utilisateur. Dans le cas de la généralisation, les besoins de l’utilisateur sont une carte bien généralisée, ce qui se traduit dans CollaGen par les contraintes formelles et les règles opérationnelles. Si nous nous ramenons au cas d’un espace géographique généralisé par un processus, la qualité globale de l’espace généralisé correspond à la satisfaction globale de l’ensemble

des contraintes contenues dans l’espace géographique. Seulement, calculer la satisfaction globale d’un ensemble de contraintes de généralisation est un problème scientifique qui n’a pas actuellement de réponse pleinement satisfaisante. En effet, comme le problème de la généralisation est sur-contraint, nous n’obtiendrons jamais une satisfaction maximum pour l’ensemble des contraintes évaluées. Ce problème n’étant pas le cœur de notre travail de thèse, nous ne proposons qu’une première méthode très basique mais également une piste intéressante pour aborder de manière nouvelle ce problème.

Nous proposons donc dans un premier temps d’utiliser la moyenne pondérée par l’importance des satisfactions des contraintes de la distribution, comme c’est le cas notamment dans le modèle AGENT pour évaluer la satisfaction globale d’un objet. Nous utilisons aussi l’écart-type de satisfaction conjointement à la moyenne, car un résultat avec des contraintes très satisfaites et d’autres très peu satisfaites n’est pas aussi convenable que si toutes les satisfactions sont regroupées autour de la moyenne. Et encore, ceci dépend du contexte de la carte : par exemple, s’il est envisagé de réaliser des corrections interactives après généralisation automatique (comme cela se fait dans les chaînes de production de carte actuelles), un résultat global avec 10 moniteurs ‘très insatisfaits’ et 2 ‘passables’ sera meilleur qu’un résultat avec 1 seul moniteur très insatisfait mais 20 moniteurs passables.

Pour aller plus loin dans l’estimation de la qualité globale d’une généralisation, nous pensons qu’il serait intéressant de faire une analogie avec le problème de bien-être global d’une société qui a été abordé par les économistes et les sociologues (Moulin, 2004). Par exemple, le bien-être de Nash, utilisé dans les problèmes d’allocation de ressources dans les SMA (Nongaillard et al, 2010 ; Ramezani et Endriss, 2010) repose sur le produit de l’ensemble des satisfactions donc de très mauvaises satisfactions font beaucoup baisser le bien-être global.

Notation de la généralisation

Nous avons montré comment étaient évaluées les qualités internes et globales de la généralisation, ainsi que l’amélioration significative d’un espace géographique dans CollaGen pour permettre le contrôle du système. Nous présentons maintenant les deux aspects de l’évaluation « pour valider » présents dans CollaGen. Noter la généralisation dans le but de stocker les succès et les échecs petit à petit dans le registre revient à agréger les évaluations des qualités interne et globale et de l’amélioration en une seule et unique note. Pour permettre l’apprentissage des succès et échecs par le registre, nous proposons que le composant d’évaluation donne trois types de notes : succès, échec ou moyen. Seules les généralisations notées comme des succès et des échecs sont alors stockées pour apprentissage.

La note succès est attribuée uniquement quand la qualité interne est jugée comme bonne et qu’au moins un des deux autres critères (qualité globale et amélioration significative) est positif. Un succès est donc un processus qui fait très bien ce pour quoi il est conçu tout en améliorant l’état général de l’espace géographique.

La note échec est attribuée dans un seul cas, quand les trois critères sont négatifs.

Aucune note n’est attribuée dans tous les autres cas qui représentent, soit des demi-succès soit des demi-échecs (amélioration peu significative, qualité interne moyenne…). Dans ces

cas assez difficiles à évaluer, nous choisissons donc de ne pas influer sur les connaissances du registre.

Décrire la qualité de la généralisation

Dans la classification des évaluations en généralisation de (Mackaness et Ruas, 2007), l’évaluation pour décrire signifie la production de métadonnées sur le résultat décrivant ce qui a bien fonctionné et ce qui n’a pas fonctionné. Nous proposons ainsi de décrire dans des traces des statistiques sur les moniteurs non satisfaits et les moniteurs très satisfaits. Par exemple, la Figure C-71 montre la description des moniteurs non satisfaits après la généralisation d’une zone urbaine par un processus issu du modèle AGENT : les trois concepts, types de contraintes, caractères et contraintes dont la satisfaction moyenne des moniteurs est la plus faible sont décrits dans le tableau avec leur représentativité, c’est-à-dire le pourcentage de ces moniteurs parmi les moniteurs non satisfaits. Dans l’exemple de la figure, il s’agit principalement de contraintes sur les objets de type végétation (non traités par le processus) qui sont non satisfaites. De telles métadonnées sur l’ensemble des généralisations effectuées permettent après une généralisation par CollaGen d’analyser en détail ce qui s’est passé.

Figure C-71. Exemple de la description de la généralisation d’une ville (contour épais orange) généralisé par

un processus issu du modèle AGENT.

En résumé, plusieurs types d’évaluations sont réalisés sur le résultat d’une généralisation d’un espace géographique par un processus de généralisation : le composant évalue la qualité interne du processus en comparant la satisfaction des moniteurs avec la description formelle, évalue la qualité globale pour l’instant de manière simplifiée en calculant moyenne et écart type des satisfactions et évalue si l’état des satisfactions s’est amélioré significativement après la

généralisation. Ces trois critères sont utilisés pour le contrôle du mécanisme par essai-erreur et pour la notation de la généralisation. De plus, une évaluation plus descriptive des moniteurs satisfaits et non satisfaits est produite sous forme de traces de CollaGen.