Analyses de la VNS

Suite `a des tests pr´eliminaires r´ealis´es pr´ec´edemment par Louis-Alexandre Leclaire et moi-mˆeme (Leclaire(2011)), il ressortait que l’utilisation de l’option VNS SEARCH semblait am´eliorer de beaucoup la performance de NOMAD sur le pr´esent probl`eme. La VNS est une m´ethode de recherche dans l’espace reposant sur la m´etaheuristique Variable Neighborhood

Search (d´etaill´ee `a la Section 2.1.2) et est particuli`erement utile lorsque le probl`eme `a opti- miser comporte un grand nombre d’optima locaux ou un domaine fractionn´e, comme c’est le cas ici (voir Duan et al. (1992) pour les caract´eristiques du probl`eme d’optimisation d’un mod`ele hydrologique). De plus, puisque l’ajout de contraintes permet de r´eduire l’espace de recherche, il semblait probable que le degr´e d’utilisation de cet algorithme (en pourcentage du nombre d’´evaluations totales) diminuerait d’une strat´egie de calage `a l’autre. Afin de confir- mer cette hypoth`ese et de choisir le degr´e d’utilisation de la VNS le plus performant pour chaque strat´egie de calage, des tests plus rigoureux furent r´ealis´es. Ainsi, chacune des trois strat´egies de calage (traditionnel sans contrainte, traditionnel avec contrainte et parall`ele avec contrainte) fut ex´ecut´ee cinquante fois (afin de diminuer l’impact de la variabilit´e des r´esultats induite par le choix des options de NOMAD ainsi que par la forme du probl`eme, tel que d´ecrit dans la Section 4.2.1) pour six degr´es d’utilisation de la VNS, soit 0 % (ou VNS d´esactiv´e), 25 %, 50 %, 75 %, 90 % et 95 % ; ces strat´egies pouvant ˆetre raffin´ees si l’analyse des r´esultats en d´emontrait le besoin. L’ensemble des r´esultats fˆut regroup´e en trois profils de performance, soit un par strat´egie de calage, pr´esent´es aux Figures5.6,5.7 et5.8.

Figure 5.7 Performance des strat´egies d’utilisation de la VNS avec un calage traditionnel avec bilan sur l’ETR

Introduction aux profils de performance

Les profils de performance ont ´et´e con¸cus par Dolan et Mor´e (2002) afin de pallier au manque d’outils disponibles afin de comparer efficacement plusieurs algorithmes entre eux. Une technique couramment utilis´ee consistait `a traiter la performance moyenne ou cumu- lative de chaque algorithme. Le principal inconv´enient d’une telle m´ethode est qu’un petit nombre de probl`emes tr`es difficiles influen¸cait grandement les r´esultats obtenus. De plus, les probl`emes n’ayant pu ˆetre r´esolus dans un d´elai raisonnable devaient ˆetre exclus de la comparaison, avantageant les algorithmes les plus robustes, ou encore une p´enalit´e arbitraire leur ´etait attribu´ee. Plusieurs autres m´ethodes ont vu le jour, notamment un classement des algorithmes en trois rangs ou par quartiles, mais l’information quant `a la progression de la performance desdits solveurs ´etait ainsi perdue. Une approche par ratio par rapport `a la meilleure r´esolution introduite par Billups et al. (1997) a conduit `a la pr´esente m´ethode, d´efinie par une fonction de distribution cumulative pour une mesure de performance choisie.

Les profils de performance servent donc `a comparer entre elles un certain ensemble S de strat´egies diff´erentes sur I probl`emes ind´ependants. Cet outil est donc assez flexible et peut ˆ

etre mis `a profit dans bon nombre de situations. Dans le cas pr´esent, ce sont six strat´egies d’utilisation de la VNS qui seront compar´ees entre elles sur leur performance dans la r´esolution de cinquante instances du probl`eme de calage. En somme, pour chacune des trois strat´egies de calage (traditionnel, traditionnel avec bilan ETR et parall`ele), ce sont 300 simulations qui seront confront´ees `a l’aide d’une variable ti,s repr´esentant la valeur de l’objectif obtenue pour le probl`eme i sous la strat´egie s. Pour chaque strat´egie de calage, le plus petit ti,s, ou la meilleure solution, trouv´e, toutes strat´egies de VNS confondues, sera consid´er´e comme la r´ef´erence et un ratio de performance, ri,s viendra mesurer l’´ecart `a cette valeur, ou l’erreur relative, de la fa¸con suivante :

ri,s =

ti,s− min {ti,s: s ∈ S} min {ti,s : s ∈ S}

. (5.6)

Le graphique est con¸cu de fa¸con `a pr´esenter le nombre de probl`emes r´esolus, pour chaque strat´egie s ∈ S, `a un certain ´ecart de la meilleure solution, quantitifi´e par l’erreur relative. Ainsi, la courbe la plus pr`es du coin sup´erieur gauche du graphique repr´esente la meilleure strat´egie, ou celle ayant r´esolu la plus grande part des probl`emes ayant les meilleures solu- tions. Afin d’illustrer le concept, un exemple comportant deux strat´egies, a et b, chacune ayant r´esolu cinq probl`emes, sera pr´esent´e ici. Les r´esultats obtenus apparaissent au Tableau5.1.

Tableau 5.1 Donn´ees de l’exemple acad´emique. Strat´egie a Strat´egie b

Test 1 5 9

Test 2 8 5

Test 3 4 4

Test 4 1 6

Test 5 6 6

exemple, pour la premi`ere valeur du tableau, l’erreur relative se calcule de la fa¸con suivante :

ri,s= 5 − 1

1 = 4. (5.7)

L’´etape subs´equente consiste `a diviser l’´etendue totale en un certain nombre d’intervalle, en se servant des valeurs minimale et maximale d’erreur relative. Pour l’exemple pr´esent´e ici, les valeurs allant de 0 `a 8, des pas d’une unit´e ont ´et´e choisis. Il est alors possible de d´eterminer, pour chaque pas, combien de probl`emes ont ´et´e r´esolus par chaque strat´egie (Ta- bleau 5.3). Finalement, il suffit de diviser le nombre de probl`emes r´esolus `a chaque intervalle par le nombre total de probl`emes (Tableau 5.4) et de tracer le graphique repr´esentant le pourcentage de probl`emes r´esolus `a chaque niveau d’erreur relative. Le profil de performance li´e au probl`eme acad´emique est pr´esent´e `a la Figure5.9. Il permet de conclure `a la sup´eriorit´e de la strat´egie a, puisque celle-ci a non seulement trouv´e la meilleure solution, mais a aussi trouv´e un plus grand nombre de solutions ayant un faible ´ecart avec la meilleure d’entre elles que la strat´egie b.

Les profils de performance sont couramment utilis´es en recherche op´erationnelle (par exemple par Mor´e et Wild (2009)), mais le sont beaucoup moins en hydrologie, o`u les dia- grammes en boˆıtes (boxplot ) sont g´en´eralement pr´ef´er´ees. Celles-ci seront donc tout de mˆeme pr´esent´ees en Annexe Fpour le lecteur int´eress´e, mais les grandes tendances sont parfois plus difficiles `a identifier.

Tableau 5.2 Erreurs relatives de l’exemple acad´emique. Strat´egie a Strat´egie b

Test 1 4 8

Test 2 7 4

Test 3 3 3

Test 4 0 5

Tableau 5.3 Nombre de probl`emes r´esolus pour chaque intervalle d’erreur relative. Erreur relative Strat´egie a Strat´egie b

0 1 0 1 1 0 2 1 0 3 2 1 4 3 2 5 4 4 6 4 4 7 5 4 8 5 5

Tableau 5.4 Pourcentage de probl`emes r´esolus par rapport au nombre total pour chaque intervalle d’erreur relative.

Erreur relative Strat´egie a Strat´egie b

0 0.2 0 1 0.2 0 2 0.2 0 3 0.4 0.2 4 0.6 0.4 5 0.8 0.8 6 0.8 0.8 7 1 0.8 8 1 1