Extensions connues, limites, et pistes d’am´elioration

Quelques extensions d’EGO

On peut trouver d`es la th`ese de Schonlau des propositions de g´en´eralisations d’EGO `a diff´erentes fins. La section 5.2 de [Sch97] est en effet d´edi´ee `a une extension de l’EI, le generalized expected improvement, dans lequel le terme (min(Y)_{− Y (x))}+ de l’EI est remplac´e par une puissance enti`ere de ce dernier, ((min(Y)_{− Y (x))}+₎g_{, g∈ N. L’auteur}

affirme que l’EI marche bien dans le cas o`u la fonction objectif se laisse bien mod´eliser comme r´ealisation d’un processus gaussien de covariance choisie, mais que dans le cas contraire l’exploration par EI est trop locale. En fonction de la valeur du param`etre g, le generalized expected improvement permetrait ainsi de forcer EGO `a un comportement plus exploratoire, et donc d’obtenir des r´esultats meilleurs que l’EI dans le cas o`u le mod`ele de processus gaussien est peu adapt´e `a la fonction trait´ee.

Dans un registre diff´erent, [HANZ06] propose une adaptation d’EGO aux simulateurs non-d´eterministes, avec une version particuli`ere de l’EI prenant en compte le fait que le minimum courant n’est pas parfaitement connu dans le cas o`u les observations sont bruit´ees. On peut aussi trouver dans l’article [HANM06] un algorithme d´eriv´e d’EGO pour le cas d’exp´eriences num´eriques `a plusieurs niveaux de fid´elit´e ; un crit`ere prenant en compte le coˆut des ´evaluations, l’augmented expected improvement, y est introduit. On peut encore citer [Kno05], d´edi´e `a l’optimisation multi-objectifs sur base de Kri- geage, [HGKK05], qui traite aussi d’optimisation multi-objectifs et propose une adap- tation d’EGO pour les exp´eriences physiques, et l’excellent m´emoire [Kra06] proposant une introduction g´en´erale au Krigeage, `a EGO, des crit`eres permettant respectivement une optimisation `a la fois robuste, sous contraintes, et multicrit`eres, avec une appli- cation au laminage de tˆoles. Mentionnons enfin l’existence de travaux en optimisation ´evolutionnaire, notamment [EGN06], dans lesquels un m´etamod`ele de Krigeage est uti- lis´e au sein d’un algorithme ´evolutionnaire pour faire une pr´e-selection parmi les points d’une g´en´eration, permettant ainsi de r´eduire sensiblement les coˆuts computationnels. Limites connues et pistes suivies

EGO tel qu’il est pr´esent´e dans la litt´erature se base exclusivement sur le Krigeage Or- dinaire, et pr´esuppose donc que la fonction ´etudi´ee est la r´ealisation d’un processus au moins stationnaire `a l’ordre 1. Cela peut ˆetre un important manque `a gagner lorsque l’hy- poth`ese est clairement abusive, i.e. dans les cas o`u y poss`ede une tendance prononc´ee. Par ailleurs, la fonction de covariance utilis´ee dans EGO est de type exponentielle g´en´eralis´ee

3.40 avec param`etres estim´es par maximisation de vraisemblance. La pertinence du type de covariance et surtout du protocole d’estimation des param`etres sont des questions ´epineuses qui sont rarement discut´ees lors de l’application d’EGO. Nous les consid´erons pour autant d’importance, et elles font l’objet de la derni`ere section du chapitre 5 et de plusieurs perspectives de travail.

Les limites auxquelles nous proposons des ´el´ements de r´eponse `a ce stade concernent la parall´elisation d’EGO, mais aussi la prise en compte de plusieurs m´etamod`eles de Krigeage en simultan´e durant l’optimisation. Le premier point (Cf. chapitre 9, ainsi que [GLRC07] reproduit en annexe) est destin´e `a pallier la sequentialit´e d’EGO, et `a adapter l’algorithme `a un context de calcul distribu´e sur plusieurs processeurs i.e. `a fournir `a chaque appel un nombre arbitraire de points destin´es `a lancer plusieurs simulations de mani`ere simultan´ee, dans l’esprit de [QVPH06]. Le second point (chapitre 8) vise `

a proposer un cadre formel permettant d’int´egrer de multiples mod`eles de Krigeage —avec diff´erents noyaux de covariance, mais aussi potentiellement plusieurs structures de tendances—, ainsi qu’une variante de l’algorithme EGO bas´ee sur des m´elanges de noyaux. Cette deni`ere a fait l’objet de [GHC08], ´egalement reproduite en annexe.

Contributions `a l’´etude des

m´etamod`eles probabilistes

Variabilit´e de l’EMV des

param`etres de covariance du KS

Lorsque l’on d´efinit le Krigeage Simple `a partir du conditionnement d’un processus gaussien —tel que cela est pr´esent´e dans la section 3 du chapitre 3—, la fonction y est vue comme une r´ealisation d’un PG Y centr´e (quitte `a consid´erer le processus centr´e Y−µ(x)) de noyau de covariance kψ de forme param´etrique fix´ee, o`u ψ ∈ Ψ est un param`etre

fini-dimensionnel. Y = y(x1_{), ..., y(x}n_{)
est une r´ealisation de Y = Y (x}1_{), ..., Y (x}n_)
,

vecteur al´eatoire des valeurs prises par Y au plan d’exp´eriences X = {x1_{, ..., x}n_{}. Par}

d´efinition des processus gaussiens, nous savons que le vecteur al´eatoire Y est de loi

Y ∼ N (0, K(ψ)) (5.1)

o`u K(ψ) est la matrice de covariance des observations, d´ependant `a la fois de X et du noyau de covariance kψ. Nous insistons ici plus particuli`erement sur la d´ependance en

ψ, puisque c’est le param`etre auquel nous souhaitons remonter `a partir des observations Y. L’estimation par maximum de vraisemblance (EMV) consiste `a rechercher la valeur de ψ qui rende maximale la densit´e de probabilit´e des observations :

pψ(Y) := f (Y|ψ) = (2π)−

n

2det[K(ψ)]−12e−12YTK(ψ)−1Y (5.2) Nous rappelons ci-dessous quelques ´el´ements de th´eorie de la vraisemblance ainsi que des r´esultats asymptotiques associ´es, puis les applications qui en sont classiquement faites dans un contexte g´eostatistique. Une ´etude exp´erimentale est ensuite rapport´ee et ana- lys´ee au sujet de la variabilit´e —et donc de la robustesse— de l’estimateur du maximum de vraisemblance des param`etres de covariance du KS lorsque le nombre d’observations est peu ´elev´e. Nous proposons enfin une discussion au sujet de m´ethodes bas´ees sur l’EMV, et sp´ecifiquement adapt´ees au cas o`u n est petit.

5.1

Elements de th´eorie de la vraisemblance

La th´eorie de la vraisemblance [Lin96] porte principalement sur l’´etude des mod`eles probabilistes param´etriques (nous nous y restreignons ici compl`etement), et plus par- ticuli`erement sur l’estimation des param`etres de ces derniers `a partir de donn´ees ob- serv´ees. Nous consid´erons dans cette section le cadre g´en´eral d’un vecteur al´eatoire n- dimensionnel Y distribu´e selon une loi de probabilit´e Pψ (ψ ∈ Ψ, o`u Ψ est 1 une partie

de Rp_{, p∈ N). Lorsque P}

ψ est absolument continue par rapport `a la mesure de Lebesgue

sur Rn, nous utilisons la notation pψ pour la densit´e de probabilit´e correspondante.