• Aucun résultat trouvé

Chapitre 5 UNE IMPL ´ EMENTATION PRATIQUE DE GM-MADS

5.4 R´esultats num´eriques avec la fonction substitut

5.4.1 M´ethodologie

Pour chaque strat´egie, on a effectu´e des tests sur 18 instances. Il y a plus d’une centaine d’algorithmes `a comparer si l’on se tient avec rigueur aux possibilit´es d´efinies par le banc

d’essai. Cela repr´esente donc une grande quantit´e de donn´ees `a analyser, qu’il va ˆetre n´ecessaire de synth´etiser en agr´egeant l’information.

Rappelons que nous avions fix´e pour les tests effectu´es un budget d’´evaluation max- imal `a 1000 ´evaluations de boˆıte noire. Nous allons d´efinir deux types de budgets d’´e- valuations : les budgets d’´evaluations totaux (BET), ind´ependant de l’instance, et les budgets d’´evaluations par GMON (BPG), fonction du nombre de GMON. Pour chacun de ces types, nous allons consid´erer trois budgets arbitraires : BET ∈ {250, 500, 1000} et BP G ∈ {30, 70, 100}. Par exemple, pour une configuration `a 8 GMON, un budget d’´evaluations par GMON´egal `a 30 donnerait un budget total d’´evaluations de 8 × 30 = 240,

et ceci ind´ependamment de la carte consid´er´ee. Afin de comparer toutes nos strat´egies, nous allons utiliser deux m´ethodes compl´ementaires : le calcul de moyennes bas´ees sur les am´eliorations relatives, ainsi que les profils de performance, ces derniers ayant ´et´e originalement introduits par Dolan et Mor´e (2002). La premi`ere va nous permettre d’extraire les meilleurs algorithmes par l’estimation num´erique des performances, puis la seconde nous aidera `a visualiser ces derni`eres afin de conclure de mani`ere pertinente. Rappelons tout d’abord comment les obtenir, afin d’ˆetre en mesure de les exploiter par la suite.

Am´elioration relative

Supposons qu’un algorithme a, inclus dans un ensemble A d’algorithmes `a comparer, renvoit une valeur objectif positive vp(a, b) lorsqu’il est ´ex´ecut´e sur une instance p incluse

dans un ensemble de probl`emes P , avec un budget d’´evaluations b inclus dans un ensemble de budgets B, `a partir d’une solution initiale xp0 de valeur f (xp0) > 0.

Le principe est simple : on va effectuer une moyenne des am´eliorations relatives sur l’ensemble des instances pour assigner un score η(a, b) `a un algorithme a pour un budget fix´e `a b. Ensuite, la moyenne sur l’ensemble des budgets ¯η(a) servira `a classer les algorithmes dans les tableaux pour en accroˆıtre la visibilit´e. Voici la m´ethode pour les calculer : η(a, b) = 1 |P | X p∈P f (xp0) − vp(a, b) f (xp0) ,

¯ η(a) = 1 |B| X b∈B η(a, b) .

Ces deux indices sont adimensionnels et positifs, d`es lors que f (xp0) ≥ vp(a, b), ∀a, b, p

dans un contexte de minimisation : `a budget b fix´e, l’algorithme ayant le score η(a, b) le plus ´elev´e est le meilleur en moyenne sur l’ensemble des instances P . Notons que η(a, b) est une fonction croissante de b. Ainsi, si les budgets sont suffisamment bien r´epartis, un algorithme a1 atteignant d`es les premi`eres ´evaluations son optimum aura une valeur ¯η(a1) > ¯η(a2), si

a2 atteint plus lentement un optimum de mˆeme valeur, ce qui est coh´erent.

Profils de performance (Dolan et Mor´e (2002))

Supposons qu’un algorithme a, inclus dans un ensemble A d’algorithmes `a comparer, renvoit une valeur objectif positive vp(a) lorsqu’il est ´ex´ecut´e sur une instance p incluse dans

un ensemble de probl`emes P . Dans un contexte de minimisation, le meilleur algorithme pour l’instance p ∈ P renvoit la valeur objectif la plus faible vp∗. D´efinissons pour tout v, v∗ ≥ 0 et α ≥ 1, la fonction de score :

s(v, v∗, α) = (

1 si v ≤ αv∗, 0 sinon.

Le profil de performance d’un algorithme a ∈ A est la fonction associant `a une valeur α la moyenne des scores de l’algorithme :

ζa(α) = 1 |P | X p∈P s(vp(a), vp∗, α) .

Remarquons d’embl´ee qu’en tant que moyenne de valeurs binaires, 0 ≤ ζa(α) ≤ 1.

De plus, pour tout a ∈ A, ζa(1) correspond au pourcentage d’instances o`u l’algorithme

a est le meilleur, ζa(2) correspond au pourcentage d’instances o`u l’algorithme a est `a un

facteur 2 du meilleur, et limα→∞ζa(α) correspond au pourcentage d’instances sur lequel

l’algorithme a r´eussi. Ici, puisque nous partons d’une solution r´ealisable, cette limite sera toujours ´egale `a 1. Enfin, notons que la fonction ζaest monotone croissante sur [1, +∞[.

Organisation des r´esultats

Nous allons dans un premier temps analyser les performances des algorithmes statiques avec et sans pr´etraitement, puis nous choisirons en fonction des r´esultats de poursuivre avec la totalit´e ou une partie des pr´etraitements. Nous tenterons ensuite de nous ramener “brutalement” au cas classique, par l’ajout d’un algorithme MADSclassique soit `a la fin de l’algorithme, soit “en parall`ele” (il ne s’agit pas de parall´elisme informatique `a proprement parler, mais simplement d’un abus de langage pour signifier l’ajout d’un groupe N contenant toutes les variables `a chaque it´eration).

Enfin, nous passerons aux groupements dynamiques ´evolutifs. Les r`egles secondaires IR, XR et T R, destin´ees au groupement des variables n’´etant pas directement g´er´ees par l’algorithme de reconfiguration, sont explicitement mentionn´ees dans le nom de l’algorithme lorsqu’elles sont activ´ees. Nous allons consid´erer toutes les combinaisons possibles en trois mouvements. Tout d’abord, nous allons nous int´eresser aux algorithmes principaux qui ne groupent qu’un sous-ensemble des variables, et n´ecessitent l’emploi d’une r`egle secondaire. Nous allons d´ebuter avec l’algorithme D, bas´e sur une fusion progressive par distance simple et intuitive. Puis, nous verrons les algorithmes bas´es sur l’absence de mouvement, `a savoir M et sa variante F . Enfin, nous traiterons ensemble les algorithmes K, V et W , qui ne requi`erent pas de r`egle secondaire et groupent l’ensemble des variables. Nous extrairons finalement les champions de chaque classe et les comparerons.

Rappelons par ailleurs que nous avons r´esum´e la signification des diff´erentes d´enomina- tions utilis´ees `a la page xx (au d´ebut du m´emoire).