2.1 Structure commune à la plupart de ces modèles
2.1.6 Comment étalonner les modèles ?
Afin de comparer les modèles autrement que qualitativement, il est bon de se donner des outils et des mesures.
Il nous est apparu que deux approches étaient possibles pour essayer de mesurer les performances d’un modèle. La première, analytique, consiste à mesurer séparément le comportement de chacune des étapes des modèles, en les comparant à des réponses théoriques idéales. La seconde, plus synthétique,
4
2.1. STRUCTURE COMMUNE À LA PLUPART DE CES MODÈLES 33
consiste à ignorer les détails et à se concentrer sur l’efficacité d’ensemble, c’est-à-dire la proportion de points de l’environnement où l’animat atteint effectivement le but avec une certaine précision, la longueur du chemin parcouru, et éventuellement d’autres propriétés de la trajectoire.
Cependant, la première méthode pose quelques difficultés. Les mesures les plus naturelles à faire ne sont pas forcément satisfaisantes. Ainsi, il est possible en simulation de vérifier rigoureusement si une méthode d’appariement fonctionne bien ou se trompe, ou bien de comparer la direction indiquée par l’algorithme à la direction qui va droit au but. Ces mesures ne sont pas réellement satisfaisantes, d’une part parce qu’une méthode peut parfois s’accommoder d’un appariement mauvais dans certains cas (dans le sens où sa performance globale n’est pas plus mauvaise), d’autre part parce que la méthode qui va droit au but va parfois buter sur un obstacle ou un ensemble d’obstacles et donc échouer, là où une méthode qui fait des détours aura une meilleure performance globale.
L’esprit des mesures analytiques est bien résumé par la question « Cette méthode estime-t-elle précisément dans quelle direction se trouve le but ? », tandis que l’esprit des mesures synthétiques est mieux résumé par « Cette méthode recommande-t-elle des directions qui permettent à l’animat de rejoindre le but ? ». Notons que s’il n’y a pas d’obstacle sur le chemin, la réponse aux deux questions est la même (le plus court chemin est la ligne droite). Mais s’il y a des obstacles sur le chemin le plus direct, ce n’est plus le cas.
Le cas particulier de la méthode par élimination que nous introduirons en section 5.3 est
élo-quent : la direction calculée par cette méthode, s’il n’y a pas d’erreur en amont, diminue la distance entre l’animat et le but. Dans les cas où il est nécessaire de faire un détour parce qu’un obstacle se trouve entre l’animat et le but, cette méthode enverra l’animat sur l’obstacle. En d’autres termes, cette méthode peut, s’il y a des obstacles à contourner, obtenir d’excellents résultats analytiques et de mau-vais résultats synthétiques. Il peut être nécessaire d’adjoindre un évitement d’obstacle extérieur à la méthode pour obtenir des trajectoires qui mènent bien l’animat au but.
Chaque méthode de mesure ayant ses avantages et ses inconvénients, nous avons trouvé que les
deux pouvaient être intéressantes et nous avons utilisé l’une et l’autre. Weber et al. [WEB 99] utilisent
des statistiques synthétiques, comme nous le verrons en section2.5. Franz et al. [FRA 98b] utilisent
les deux sortes de statistiques (section4.5).
2.1.6.1 Obtention de statistiques
Pour obtenir des statistiques d’efficacité, on se donne typiquement, d’une part, une méthode fixée et, d’autre part, un ensemble d’environnements générés aléatoirement (de mêmes paramètres, ou de paramètres variés comme le nombre d’amers, leur taille, leur répartition) ainsi qu’un ensemble de points de départ (aléatoires ou alignés sur une grille) et de points d’arrivée (par exemple aléatoires mais un point d’arrivée unique est possible).
On applique ensuite l’élément à tester (appariement, calcul de direction, ou bien trajectoire com-plète) depuis chacun des points de départ dans chacun des environnements. Dans le cas où l’on fait depuis chaque point une trajectoire complète, on peut obtenir une surface de captation en se donnant
un critère de réussite comme, par exemple, le fait que la distance entre le point d’arrivée effectif et la cible est inférieure à un seuil.
2.1.6.2 L’appariement
Dans une vue donnée, tous les amers ne sont pas forcément visibles. Entre la vue du but et la vue actuelle, certains amers ont disparu et d’autres sont apparus. Pour pouvoir estimer la qualité d’un appariement, on se donne en simulation une méthode particulière d’appariement dite « appariement parfait ». Cette méthode connaît l’identité véritable de chaque amer, se contente de passer en revue les amers de la vue de référence, et apparie chacun avec le même amer dans l’autre vue si et seulement s’il est visible. Bien sûr, cette méthode « triche » par rapport aux informations accessibles à l’animat mais elle fournit une référence.
2.1.6.3 La direction à suivre : mesure de composante centripète
Pour estimer analytiquement la performance d’une méthode de navigation, on ne l’applique
qu’une fois depuis chaque point de la grille de test5.
Une mesure intéressante, utilisée par Franz est appelée « composante centripète »6 [FRA 98b].
Cette mesure s’intéresse à la composante du déplacement qui approche l’animat du but, c’est-à-dire
c = cos(θméthode testée − θdirection menant droit au but)
c est toujours entre -1 et 1, et les valeurs s’analysent facilement. Voici l’interprétation des valeurs
en terme de trajectoire de l’animat :
interprétation si c constant le long de la trajectoire
c = 1 avancée face au but ligne droite vers le but
0 < c < 1 approche du but approche en spirale
c = 0 à angle droit du but arc de cercle à distance constante du but
−1 < c < 0 éloignement du but éloignement en spirale
c = −1 l’animat avance dos au but ligne droite
On peut représenter un ensemble de mesures sous la forme d’un nuage de point, représentation
que nous trouvons particulièrement claire. Un exemple est donné en figure2.5.
5
Par contraste, la mesure synthétique consistera à faire partir de chaque point de la grille une trajectoire complète en appliquant tout le modèle.
6
Nous traduisons par « composante centripète » l’expression « homeward component », qui se traduirait mot à mot par « composante en direction du nid ».
2.1. STRUCTURE COMMUNE À LA PLUPART DE CES MODÈLES 35 0 1000 2000 3000 4000 5000 6000 7000 −1.0 −0.5 0.0 0.5 1.0
Composante centripète en fonction de la distance au but
Distance au but
Composante centripète
FIG. 2.5: Exemple de mesure analytique de performance : une représentation de la composante centripète. Dans une expérience simulée donnée, pour chaque point de l’environnement où l’ani-mat a fait appel au système de navigation, on place un point dans ce schéma, dont l’abscisse est la distance au but, et l’ordonnée la composante centripète de la direction à suivre calculée par le modèle (voir texte). 1 signifie que la direction va droit au but ; 0 signifie que la direction est orthogonale à celle du but ; -1 signifie qu’elle est à l’opposé de celle du but. Nous avons choisi la moyenne de la composante centripète sur l’ensemble des points comme mesure analytique de la performance d’une méthode de navigation.
2.1.6.4 La longueur du pas
Nous pensons que la longueur du pas est un critère moins important que les autres. En pratique, la longueur du vecteur trouvée par un modèle peut être ignorée et la longueur du déplacement de
l’animat calculée par d’autres méthodes comme celle que nous verrons en section5.4. Nous exposons
toutefois brièvement comment nous procéderions pour étudier ce paramètre.
Le principe consisterait à observer s’il existe une relation linéaire entre la distance au but et la
longueur du vecteur déplacement calculé par la méthode7. Pour cela, on peut représenter la longueur
du vecteur en fonction de la distance au but. On peut aussi tracer le rapport longueur du déplacement divisé par la distance en fonction de la distance et observer si ce rapport tend vers une constante pour des petites distances, ou est très dispersé. Cela permet de déterminer si les méthodes peuvent estimer la distance restant à parcourir. Idéalement ce rapport tendrait vers 1.
2.1.6.5 L’orientation
Estimer la performance d’une méthode d’orientation semble simple : on peut étudier la répartition des écarts angulaires entre l’orientation réelle de l’animat et l’orientation estimée par la méthode.
2.1.6.6 Tout ensemble : mesure synthétique
Pour obtenir une mesure synthétique depuis chaque point de la grille définie d’où on fait partir l’animat, on le laisse parcourir une trajectoire complète jusqu’au but, ou jusqu’à ce qu’il se bloque contre un obstacle, ou encore après un nombre défini de cycles.
Dans ce cas, on fait fonctionner un modèle complètement défini : une méthode d’appariement, une méthode donnant la direction à suivre, éventuellement assistée d’une méthode d’évitement d’obs-tacles.
Les mesures synthétiques qu’on peut obtenir sont : le point d’arrivée (distance au but à l’arrivée
notamment), longueur de la trajectoire, tortuosité (définie en section5.4), nombre de pas effectués).
2.1.6.7 Conclusion
On dispose globalement de deux approches pour estimer la valeur d’une méthode de naviga-tion. Les mesures analytiques fournissent des informations théoriques. Les mesures synthétiques four-nissent des informations plus pragmatiques. En effet, une méthode peut avoir une efficacité théorique meilleure (aller souvent plus directement dans la direction du but) mais une efficacité pragmatique moins bonne (rester coincée dans certains cas, là où une autre méthode aurait trouver un contour-nement). Il sera intéressant de conserver cet aspect présent à l’esprit lors de l’analyse des résultats statistiques.
7
Le déplacement réellement effectué par l’animat peut dépendre d’autres facteurs comme la variation du gain liant ces deux variables, ou la présence d’un obstacle.
2.2. LES PREMIERS MODÈLES, CARTWRIGHT & COLLETT 37