Application de l’algorithme EGO ` a la fonction de Branin-Hoo

Fig. 4.7 – Premi`ere it´eration d’EGO sur la fonction de Branin-Hoo, avec pour plan d’exp´erience initial un plan complet 3× 3, une covariance gaussienne anisotrope, et des param`etres de covariances estim´es par EMV. En haut : moyenne de KO (`a gauche) et variance de KO (`a droite) ; les points rouges repr´esentent le plan d’exp´eriences initial. En bas : surface et lignes de niveaux de l’am´elioration esp´er´ee ; le point orange repr´esente le maximum courant de l’am´elioration esp´er´ee.

La fonction de Branin-Hoo, d´ej`a rencontr´ee dans la partie 3, constitue un cas-test d’op- timisation globale int´eressant dans la mesure o`u elle pr´esente trois optima globaux (trois locaux auxquels la valeur prise par la fonction objectif est la mˆeme). Nous illustrons

dans cette section comment l’algorithme EGO permet de trouver ces trois optima. La figure 4.3.2 repr´esente le m´etamod`ele de Krigeage Ordinaire `a l’´etat initial de l’algo- rithme, ainsi que la surface d’am´elioration esp´er´ee associ´ee. Cette surface pr´esente deux zones de maxima locaux et un seul maximum global, mat´erialis´e par un point orange. La situation de ce point illustre bien le compromis entre une moyenne de Krigeage basse et une variance ´elev´ee. Remarquons au passage la forme particuli`ere de la surface de variance de Krigeage : elle varie beaucoup plus selon x1 que selon x2. Cela illustre une

forte anisotropie d´ecel´ee par maximum de vraisemblance Cf. 9.3.2.

Fig.4.8 – Deuxi`eme it´eration d’EGO (Cf. 4.3.2 pour la l´egende). Le(s) point(s) bleu(s) symbolise(nt) le(s) point(s) visit´e(s) durant l’(les) it´eration(s) pr´ec´edente(s).

Le graphique correspondant `a la deuxi`eme it´eration (Cf. 4.3.2) pr´esente le m´etamod`ele de Krigeage apr`es int´egration du maximiseur de l’EI de l’it´eration pr´ec´edente et r´e- estimation des param`etres de covariance, ainsi que la moyenne de Krigeage (Cf. 9.3.2 et 4.12 pour observer l’´evolution des valeurs num´eriques). On peut aussi observer que la variance et l’am´elioration ont sensiblement ´evolu´e, en particulier au voisinage du point pr´ec´edemment visit´e, o`u les deux s’annulent. Le nouveau maximiseur de l’EI est malgr´e tout relativement proche du dernier point visit´e, dont l’image basse a confirm´e l’int´erˆet de la zone. Remarquons qu’une seconde zone d’int´erˆet se profile d´ej`a.

Fig. 4.9 – Troisi`eme it´eration d’EGO sur la fonction de Branin-Hoo. Cf. 4.3.2 et 4.3.2 pour les l´egendes.

La zone pressentie `a la deuxi`eme it´eration comme potentiellement int´eressante devient incontournable `a la troisi`eme it´eration (Cf. 4.3.2 o`u ce point s’av`ere ˆetre le nouveau maximiseur de l’EI), apr`es que la visite du point de la deuxi`eme it´eration a eu lieu. Vues les surfaces de moyenne et de variance de Krigeage, cette zone apparaˆıt clairement comme la seule en laquelle on a `a la fois des pr´edictions optimistes et une grande incertitude (ce qui s’explique par l’´eloignement aux observations, toutes confondues).

Fig.4.10 – Quatri`eme it´eration d’EGO sur la fonction de Branin-Hoo. Cf. fig. (4.3.2) et (4.3.2) pour les l´egendes.

Remarquons enfin avec le graphique de la quatri`eme it´eration (Cf. fig. (4.3.2) et tab. (9.3.2) que l’ordre de grandeur de l’am´elioration esp´er´ee a nettement baiss´e depuis la

premi`ere it´eration (divis´e par plus de 10). Cela est dˆu au fait que l’acquisition de nou- veaux points a permis de mieux connaˆıtre la vraie fonction, et ainsi de simultan´ement diminuer la variance de Krigeage et de supprimer des zones d’am´elioration possible (au sens o`u une fois connues, elle ne repr´esentent plus de gain potentiel). La figure 4.3.2 r´esume les points visit´es et l’´etat du m´etamod`ele de Krigeage apr`es 10 it´erations d’EGO.

Fig. 4.11 – Surfaces de moyenne et de variance de Krigeage Ordinaire, et r´epartition spatiale des points visit´es apr`es 10 it´rations d’EGO. Les trois r´egions de minimum ont bien ´et´e visit´ees, et le minimum courant est de 0.47 (`a comparer au vrai minimum global de la fonction de Branin-Hoo, `a savoir 0.4). On peut remarquer que la variance reste ´elev´ee dans les r´egions qui n’ont pas encore ´et´e visit´ees par l’algorithme.

Les graphiques de 4.12 et 9.3.2 nous permettent d’observer l’´evolution des param`etres de mod`ele au fil de l’algorithme5_{. Notons que la trajectoire des param`etres de covariance est}

assez variable entre diff´erents lancements de l’algorithme (non montr´e ici). En revanche les r´esultats d’optimisation sont robustes, et on trouve g´en´eralement comme sur cet exemple un minimum tr`es proche du vrai minimum global (0.47) et une visite des trois zones de minima au bout des 10 it´erations. On voit ainsi comment l’introduction d’une mod´elisation probabiliste —en particulier via l’utilisation de la variance de Krigeage— offre une alternative puissante aux techniques pr´esent´ees dans la section pr´ec´edente.

5_{Il se peut que certaines donn´ees de 4.12 et 9.3.2 soient l´eg`erement diff´erentes de celles repr´esent´ees}

sur les graphiques de l’´evolution du Krigeage et de l’EI puisqu’ils correspondent `a deux applications successives de l’algorithme. Mˆeme en prenant une population de 100 individus dans l’algorithme g´en´etique avec gradients utilis´e pour maximiser L et EI, il subsiste une l´eg`ere variabilit´e.

Fig.4.12 – Evolution des param`etres de covariances (ψ1, ψ2) (`a gauche), de la moyenne

µ∗ (en haut `a droite) et σ2∗ (en bas `a droite) durant 10 it´erations de l’algorithme EGO appliqu´e `a la fonction de Branin-Hoo.

µ∗ σ2∗ ψ∗₁ ψ∗₂ x∗ EI∗ y(x∗) min(y(X\{x∗_})) it 1 119 12472 0.40 0.73 (0.73, 0.17) 49.84 21.05 9.5 it 2 110 10127 0.32 0.66 (1, 0.22) 15.40 2.30 9.5 it 3 147 17545 0.42 0.99 (0.21, 0.75) 12.16 11.63 2.3 it 4 185 30692 0.56 1.24 (0.43, 0.28) 2.94 11.11 2.3 it 5 158 24212 0.53 1.12 (0.6, 0.0) 1.55 6.40 2.3 it 6 167 30884 0.61 1.17 (0.11, 0.99) 0.021 5.84 2.3 it 7 197 29115 0.52 1.30 (0.10, 0.90) 0.22 1.07 2.3 it 8 189 21173 0.47 11.41 (0.55, 0.16) 1.18 0.47 1.07 it 9 205 24752 0.49 1.24 (0.97, 0.18) 2e−5 0.61 0.47 it 10 194 16348 0.4 1.12 (0.99, 0.11) 5e−2 0.75 0.47

Tab. 4.1 – Evolution des param`etres de mod`ele et des points visit´es par l’algorithme EGO appliqu´e `a la fonction de Branin-Hoo. Les valeurs initiales des param`etres de covariance sont fix´ees `a (0.5, 0.5). La derni`ere colonne repr´esente la plus petite valeur de y(x) connue avant l’it´eration courante.