Quelques exemples

L’article [Jon01], publi´e par Donald Jones en 2001, propose une taxonomie des m´eth- odes d’optimisation sur base de surfaces de r´eponse. Il y distingue l’optimisation sur base d’approximateurs (surfaces de r´eponses polynˆomiales et autres r´egressions lin´eaires, etc.), dite de type 1, et celle sur base d’interpolateurs (RBF, splines, moyenne de Krigeage), de type 2. Nous donnons ici quelques exemples de type 1, laissant le lecteur consulter l’excellent [Jon01] pour s’assurer que l’attitude de r´eserve que l’on recommande pour le type 1 reste bien pertinente pour le type 2.

Minimisation directe d’une surface de r´eponse polynˆomiale

Les surfaces de r´eponses polynˆomiales, que nous avons d´eja abord´ees aux chapitre 2, constituent sans doute les surfaces de r´eponse les plus populaires en ing´enierie. Une fois estim´ee `a partir des observations au plan d’exp´eriences, il n’est pas rare que l’on utilise la surface de r´eponse m directement comme un substitut `a la fonction y, que cela soit pour l’optimisation ou pour toutes autres op´erations d´ependant de y. Voyons maintenant sur 1_{global par opposition aux strat´egies bas´ees sur des approximations locales, ce que nous ne traiterons}

pas ici. Remarquons que bon nombre des m´ethodes traditionnelles cit´ees en annexe reposent sur des d´eveloppements limit´es `a l’ordre 1 ou 2, ce que l’on peut assimiler `a des m´etamod`eles locaux.

Fig.4.1 – Approximation par surfaces de r´eponses polynˆomiales (en bleu) de degr´es 2 (`a gauche) et 3 (`a droite) d’une fonction d´eterministe (une spline, en noir), en consid´erant comme plan d’exp´eriences (en rouge) 7 points ´equi-espac´es de l’intervalle d’´etude [_{−6, 6].} Les points noirs repr´esentent le minimum global de chacune des approximations. quelques exemples simples si cette approche est bien raisonnable.

Consid´erons tout d’abord le cas d’une fonction objectif y d´eterministe, mono-dimension- nelle, connue en 7 points ´equi-espac´es, et approch´ee par des surfaces de r´eponse po- lynˆomiales de degr´es 2 et 3 respectivement. Comme l’illustre le graphe (fig. 4.1, `a gauche), la surface de r´eponse de degr´e 2 admet son minimum en un point qui est bien loin d’ˆetre un minimum pour y. En augmentant le degr´e du polynˆome d’approximation `a 3, on obtient (Cf. fig. 4.1, `a droite) un ph´enom`ene analogue, et le remplacement pur et simple de y par son approximation m semble peu propice `a une optimisation r´eussie.

Quid d’une approche it´erative ?

La mise en garde pr´ec´edente porte sur la m´ethode statique consistant `a optimiser m et `a se contenter du r´esultat (x∗(m)). Il semble naturel de s’int´eresser au proc´ed´e qui consiste `

a ´evaluer le simulateur y au point x∗(m), `a r´e-estimer le m´etamod`ele m en prenant la nouvelle observation en compte, et `a it´erer jusqu’`a ce qu’une condition de convergence soit remplie. Nous allons dans un premier temps appliquer ce proc´ed´e it´eratif `a l’exemple pr´ec´edent ainsi qu’`a la fonction de Branin-Hoo (d´ej`a rencontr´ee au chapitre 3, Cf. fig. 3.2.3). On peu constater sur la figure 4.2 que les it´erations successives n’ont pas permis

Fig.4.2 – Optimisation s´equentielle de la fonction objectif de la figure 4.1, bas´ee sur une alternance entre estimation de surfaces de r´eponses polynˆomiales (en bleu, de degr´es 2 `

a gauche, et 3 `a droite) et optimisation des surfaces de r´eponse, avec int´egration dans le plan d’exp´eriences des minima obtenus `a chaque it´eration (points noirs).

d’am´eliorer sensiblement l’optimisation de la fonction objectif : qu’il s’agisse de la surface de degr´e 2 ou de celle de degr´e 3, l’ajout du minimum de la surface de r´eponse `a chaque pas ne permet pas ici de se rapprocher du vrai minimiseur recherch´e. Le probl`eme lors de l’optimisation s´equentielle avec un m´etamod`ele global aussi simple (polynˆomial de degr´e 2) est que l’ajout de nouvelles observations ne m`ene pas n´ecessairement `a une surface de r´eponse plus pr´ecise, en tout cas en ce qui concerne le voisinage du vrai minimum. Nous nous pencherons au prochain paragraphe sur la question de savoir si le cas de m´etamod`eles plus souples (splines de lissage) est plus favorable. Voyons avant tout quel r´esultat donne l’optimisation de la fonction de Branin-Hoo sur base de surface de r´eponses polynˆomiales de degr´e 2, avec et sans terme d’interaction.

On peut constater sur 4.3 que la d´emarche s´equentielle appliqu´ee `a la fonction de Branin- Hoo permet d’am´eliorer les r´esultats que l’on aurait obtenus en une seule it´eration, en particulier dans le cas sans interaction : la prise en compte de l’observation au point minimiseur de la premi`ere surface de r´eponse occasionne ici un changement des surfaces de r´eponse suivantes et r´eoriente la sequence de points vers des zones plus pertinentes pour la minimisation de la vraie fonction. En revanche, cela n’a pas permis de visiter l’ensemble des zones de minima. De mˆeme dans le cas avec interactions : on reste coinc´e

Fig. 4.3 – 3 it´erations d’une optimisation s´equentielle de la fonction de Branin-Hoo (en haut `a gauche de chaque quadrant) sur base de surfaces de r´eponses polynˆomiales, en consid´erant comme plan d’exp´eriences initial un plan factoriel tourn´e `a 9 points (en rouge). A gauche : surface de degr´e 2 sans interaction. A droite : surface de degr´e 2 avec interaction. Les sph`eres oranges indiquent les minima globaux des surfaces repr´esent´ees. `

a proximit´e d’un minimum local (on ne visite pas les autres locaux, mˆeme apr`es un grand nombre d’it´erations). Cela n’est pas satisfaisant du point de vue de l’optimisation globale. Sachant que le r´egression avec interaction pr´esente un coefficient R2

adj de 0.9824, on

constate ici que le bon ajustement d’une approximation aux observations est clairement insuffisant pour garantir une optimisation r´eussie. Concluons ces premiers exemples sur une citation :

This example(s) shows that even for non-pathological functions, the me- thod can fail abismally. Donald R. Jones, [Jon01]

Optimisation s´equentielle `a base de splines de lissage

Pour finir sur ce sujet, la figure 4.4 montre le r´esultat obtenu avec un m´etamod`ele « souple », i.e. une spline d’approximation. On obtient cette fois un minimum local, mais on n´eglige toute une zone de l’espace, non visit´ee. On trouvera dans [Jon01] d’autres exemples illustrant la non-efficacit´e des splines comme m´etamod`ele d´eterministe pour l’optimisation. L’exemple peut sembler caricatural, mais il faut bien garder `a l’esprit que l’existence de grandes zones non visit´ees sera in´evitable en plus grandes dimensions.

Fig.4.4 – Optimisation s´equentielle d’approximations par splines (en bleu) d’une spline (en noir), en consid´erant un plan d’exp´eriences initial (en rouge) `a 4 points. Les points bleus repr´esentent les minimiseurs des approximations succesives.