Analyse des performances de l’algorithme calibré

L’évaluation des performances de ces 3 jeux de paramètres doit être faite dans des conditions massivement parallèles, pour être proches des conditions normales de fonctionnement de l’algorithme, qui correspondent ici

à 3024 cœurs pendant 24 heures3_{. De plus, chaque jeu de paramètres doit être testé plusieurs fois afin d’obtenir}

une statistique robuste à la variance liée aux mutations aléatoires et à l’initialisation. Chaque jeu de paramètres est évalué sur 5 runs de 5 heures sur 1024 processeurs. Chaque run devrait calculer environ 30 000 solutions, soit environ 150 solutions par direction, un nombre équivalent à 40 générations. Les calculs sont effectués sur le TGCC (Très Grand Centre de Calcul) au CEA, sur des processeurs SKL Irene Intel Xeon 8168 2.7GHz, dans le cadre du projet GENCI.

Les paramètres de l’algorithme qui n’ont pas été calibrés par la marche aléatoire, c’est à dire le nombre de directions, la taille du voisinage ainsi que la fonction de scalarisation sont réglées sur les valeurs préconisées sur ce problème par Muniglia [54], à savoir 200 directions, un voisinage égal au nombre de directions, et une scalarisation de Chebyshev. L’influence de la taille du voisinage est étudiée dans la section 4.3.4.

4.3.3.1

Comparaison à l’algorithme G-SEMO

De manière à s’assurer que l’approche MOEA/D est adaptée au problème, on se propose ici de comparer les performances de l’algorithme AMW-MOEA/D avec les paramètres de mutation BASE à l’algorithme G-SEMO, qui est basé sur la définition du front de Pareto (Voir Alg. 4). On utilise une version parallèle de l’algorithme G-SEMO, utilisant le même opérateur de mutation que l’algorithme AMW-MOEA/D.

La figure 4.12 donne l’évolution de l’hypervolume pour les runs de l’algorithme G-SEMO et ceux de l’algo- rithme AMW-MOEA/D avec les paramètres de mutation BASE. La phase d’initialisation est identique pour les deux algorithmes, mais la phase de recherche est plus efficace avec l’algorithme AMW-MOEA/D. Ceci confirme l’intérêt de l’approche multi-objectifs par décomposition pour ce problème.

0 5000 10000 15000 20000 25000 n 25 30 35 40 45 50 55 IH G-SEMO AMW-MOEA/D - Base

Figure 4.12 – Évolution de l’hypervolume comparée entre l’algorithme G-SEMO et l’algorithme AMW- MOEA/D - BASE. La ligne pleine présente l’hypervolume moyen en fonction du nombre de solutions évaluées. La ligne pointillée donne l’intervalle de confiance.

Cet écart de performance peut s’expliquer par la non homogénéité de la recherche du front de Pareto en fonction de la direction. En effet, si par exemple l’algorithme trouve beaucoup de solutions dans l’archive dans une partie de l’espace objectif, ces solutions, plus nombreuses, vont être tirées plus souvent par l’algorithme G-SEMO, qui va donc favoriser la recherche dans les directions pour lesquelles de nombreuses solutions sont disponibles dans l’archive. En revanche, l’algorithme AMW-MOEA/D conserve en mémoire une solution par direction, de manière à ne pas favoriser une direction plus que les autres.

4.3.3.2

Performances de l’algorithme AMW-MOEA/D calibré

Les approximations du front de Pareto obtenus avec les trois jeux de paramètres sont présentés Fig. 4.13. Les approximations semblent globalement continues, avec une discontinuité dans les directions centrales. Cette discontinuité n’est pas explorée par tous les runs, mais tous les jeux de paramètres y ont trouvé des points. Il semble cependant que le jeu PLAGE en trouve plus que les autres. Il ne semble pas y avoir de différences

majeures dans les fronts de Pareto trouvés par les différents jeux de paramètres, excepté pour les faibles valeurs du volume d’effluents, pour lesquelles le jeu BASE semble plus à même de trouver les valeurs extrêmes dev. A l’exception de cette différence, la seule étude visuelle des approximations du front de Pareto ne permet pas de conclure quant aux performances relatives des différents jeux de paramètres. La figure 4.14 donne l’évolution de l’hypervolume entre la fin de l’initialisation et la fin du run. La moyenne de l’augmentation d’hypervolume pour les trois jeux de paramètres est statistiquement identique. On peut noter cependant une plus grande incertitude sur l’hypervolume avec les paramètres de base.

Figure 4.13 – Approximations du front de Pareto pour les différents runs de l’algorithme AMW-MOEA/D avec les paramètres de mutation BASE, PLAGE et TAUX.

0 5000 10000 15000 20000 25000 n 44 46 48 50 52 54 56 IH AMW-MOEA/D - TAUX AMW-MOEA/D - BASE AMW-MOEA/D - PLAGE

Figure 4.14 – Évolution de l’hypervolume comparée de l’algorithme AMW-MOEA/D avec les paramètres de mutation BASE, PLAGE et TAUX. La ligne pleine présente l’hypervolume moyen en fonction du nombre de points évaluées. La ligne pointillée donne l’intervalle de confiance.

De façon à regarder des indicateurs de performances plus locaux, on s’intéresse à la proportion de solutions dominantes générées par chaque jeu de paramètre, et à l’epsilon dominance des fronts générés sur les autres. De manière à pouvoir comparer deux jeux de paramètres, chacun comportant plusieurs runs, on ne s’intéresse

désormais plus à la moyenne pour chaque jeu de paramètres, mais à la moyenne des comparaisons 2 à 2 des fronts générés avec ces paramètres. Si on note εd(F P, F Pr) l’ε-dominance du front F P sur le front F Pr, on

définit l’epsilon dominance de l’ensemble de frontsA sur l’ensemble de fronts B comme étant : εd(A, B) = 1 |A||B| |A| X i=1 |B| X j=1 εd(Ai, Bj) (4.16)

De la même manière, si on notepd(F P, F Pr) le taux de solutions de F P non dominées par les solutions de

F Pr, on définit pour deux ensembles de frontsA et B :

pd(A, B) = 1 |A||B| |A| X i=1 |B| X j=1 pd(Ai, Bj) (4.17)

Ces deux indicateurs permettent de comparer deux jeux de paramètres entre eux. On peut les interpréter comme suit :

— εd(A, B) est l’espérance de l’ε-dominance d’un front généré avec les paramètres A sur un front généré

avec les paramètresB.

— pd(A, B) est l’espérance de la proportion de solution d’un front généré avec les paramètres A dominant

celles d’un front généré avec les paramètresB.

Le meilleur jeu de paramètres sera donc celui qui a la meilleure proportion de solutions non dominées, et la plus faibleε-dominance. L’équation pd(A, B) = 1− pd(B, A) est vraie.

Table 4.5 – Comparaison des performances des jeux de paramètres TAUX et BASE. La p-valeur indiquée est le résultat d’un test t de Welch.

BASE TAUX p-valeur pd 65.7 34.3 0.0

εd 0.091 0.10 0.193

Table 4.6 – Comparaison des performances des jeux de paramètres PLAGE et BASE. La p-valeur indiquée est le résultat d’un test t de Welch.

BASE PLAGE p-valeur pd 55.3 44.7 0.047

εd 0.14 0.096 0.003

Les résultats de la comparaison entre les jeux PLAGE et BASE est donnée dans le tableau 4.6, et ceux de la comparaison entre les jeux TAUX et BASE dans le tableau 4.5. Pour chaque case, on lit la valeur de l’indicateur pour le jeu de la colonne, par rapport à l’autre. Dans la troisième colonne, on peut lire la p-valeur obtenue par un test t de Welch [84]. Le choix de ce test est motivé par les variances très différentes observées sur la Fig. 4.14 sur l’hypervolume. Le test t de Welch est une variante du test de Student qui ne suppose pas l’égalité des variances. Il est également efficace y compris sur de petits échantillons.

On s’intéresse d’abord à la comparaison entre les jeux BASE et PLAGE. Les fronts obtenus avec les pa- ramètres de base fournissent légèrement plus de solutions non dominées, et la différence des moyennes est statistiquement significative selon le test t. Cependant, les fronts obtenus avec le jeu PLAGE ont tendance à avoir une meilleure ε-dominance. La différence dans le nombre de solutions non dominées semble venir de la zone des faibles volumes d’effluents. Comme constaté sur la figure 4.13, dans cette zone les fronts du jeu BASE semblent dominer les deux autres jeux de paramètres, fournissant ainsi un grand nombre de solutions non dominées. Cependant, les fronts restent proches dans cette zone, donc cet effet ne se constate pas sur l’ε- dominance. La différence d’ε-dominance en faveur des approximations de fronts du jeu PLAGE semble venir de la zone centrale, elle aussi constatée sur la figure 4.13. On peut faire l’hypothèse que les fronts du jeu BASE ont plus de difficulté à trouver cette discontinuité dans le front de Pareto, et donc qu’ils sont assez éloignés des approximations de front du jeu PLAGE qui la trouvent plus souvent.

Afin de vérifier cette hypothèse, on utilise un indicateur géométrique, l’EAF pour Empirical Atteinment Function (voir Sec. 4.1.1). La différence d’EAF entre les jeux de paramètres BASE et PLAGE est tracée sur la figure 4.15. Une différence positive signifie que l’EAF est plus élevée pour les paramètres BASE. Les deux observations précédentes semblent validées : la différence d’EAF est effectivement en faveur des paramètres

Figure 4.15 – Différence d’EAF entre les jeux de paramètres BASE et PLAGE. Une valeur positive indique que l’EAF est plus élevée pour les paramètres BASE.

de base pour les directions extrêmes correspondant aux faibles valeurs de volume d’effluents, et en faveur des paramètres PLAGE pour les directions centrales, correspondant à la discontinuité repérée sur la figure 4.13. La différence d’EAF est significative, entre0.3 et 0.4 dans certaines zones. La probabilité pour les jeux PLAGE d’atteindre la discontinuité centrale est de0.3 On ne peut donc pas dire que le jeu PLAGE permet à chaque fois d’atteindre ces solutions, mais la probabilité de le faire est significativement plus élevée.

On s’intéresse désormais au jeu de paramètres TAUX, dont les résultats sont donnés dans le tableau 4.5. La différence entre le jeu PLAGE et le jeu TAUX est l’augmentation du taux de mutation pour les paramètres jugés plus importants. Le tableau 4.5 montre que ce réglage n’est pas performant. En effet, le jeu BASE fournit significativement plus de solutions non dominées, sans pour autant que le jeu TAUX compense par une meilleure ε-dominance. L’étude de l’EAF (Fig. 4.16) confirme que la probabilité d’atteindre la discontinuité en modifiant plus souvent les paramètres importants n’est pas plus élevée.

Cette observation semble confirmer que, puisque l’algorithme est déjà fortement exploratoire, il est intéressant de lui redonner une capacité d’exploitation en réduisant les plages de variation de certains paramètres, mais pas de renforcer l’exploration en leur permettant d’être mutés plus régulièrement.

On retiendra de ces comparaisons que le réglage PLAGE, réduisant la plage de variation des paramètres pro- duisant beaucoup de grandes variations, permet d’améliorer les performances de l’algorithme pour les directions centrales. En revanche, il dégrade légèrement les performances dans la zone des très faibles volumes d’effluents. Cette zone est physiquement moins intéressante, si l’on garde en tête les corrélations entre les observables du suivi de charge. En effet, le volume d’effluent est négativement corrélé au critère IPG et au nombre de pas du GRT, ainsi, on aura tendance à privilégier des solutions présentant un meilleur compromis, et non des valeurs extrêmes dev. On retiendra donc le réglage PLAGE pour le reste de ces travaux.