Les méthodes d'optimisation sont nombreuses et peuvent être classées en diérentes catégories selon le type du problème qu'elles tentent de résoudre. En eet, la fonction dont on cherche l'extrémum, peut être multi-variables, linéaire ou non linéaire, dié-rentiable ou non diédié-rentiable, soumise ou non à des contraintes.
Considérons un problème d'optimisation sans contraintes de la forme :
M inimiser f (x, W (x)), x ∈ J (A.1)
où f représente la fonctionnelle coût, x est la variable de contrôle, J est le domaine de dé nition de x, W regroupe les variables d'état du système.
Les méthodes de résolution de ce type de problème peuvent être classées, comme pro-posé par plusieurs auteurs (e.g. [DUV] [Mar13]) en deux familles :
les méthodes de gradient
les méthodes dites boîtes noires
A.0.1 Les méthodes de gradient
Ces méthodes nécessitent que la fonctionnelle de coût soit au moins dérivable au voi-sinage de x∗, solution du problème A.1. Si x∗ est solution de ce problème alors ∇(f (x∗, W (x∗))) = 0.
Pour résoudre le problème de minimisation, on cherche x∗ avec des algorithmes ité-ratifs, où à chaque itération k, les équations d'état sont résolues pour la variable de contrôle xk puis une nouvelle variable de contrôle xk+1 est construite à partir de la fonction de coût et de son gradient évalués au point xk. L'algorithme s'arrête lorsqu'on converge vers x∗ (un critère d'arrêt possible est ∇(f(xk, W (xk))) ' 0). La procédure itérative est schématisée dans l'algorithmeA.1.
De nombreuses méthodes d'optimisation sont basées sur cet algorithme. Elles dièrent dans la manière de la construction de la nouvelle variable de contrôle à chaque itération. On peut citer par exemple la méthode de la plus grande descente. Cette approche est basée sur l'idée que f diminue le plus rapidement lorsqu'on "descend" dans le sens opposé à son gradient. A chaque itération k, on construit xk+1 comme suit :
xk+1 = xk+ αkdk (A.2)
avec dk= −∇(f (xk, W (xk))) (A.3)
dk désigne la direction de descente à l'itération k et αk s'appelle le pas de descente. Il s'agit d'un paramètre numérique à déterminer dans chaque itération.
162 ANNEXE A. MÉTHODES D'OPTIMISATION Algorithme A.1 : Algorithme modèle pour les méthodes de gradient
(0) Initialisation
Choix de la variable de contrôle initiale x0 k ← 0
(1) Début de la boucle d'itération (itération k) (2) Résolution des équations d'état
Obtention de W (xk) (3) Calcul de la fonction de coût
Obtention de f(xk, W (xk))
(4) Calcul du gradient de la fonction de coût Obtention de ∇(f(xk, W (xk)))
(5) Calcul de la nouvelle variable de contrôle
Obtention de xk+1 à partir de f(xk, W (xk))et ∇(f(xk, W (xk))) (6) Fin de la boucle d'optimisation
k ← k + 1
Si convergence atteinte STOP sinon Goto (1)
Souvent, en raison de la nature itérative de l'algorithme, il arrive qu'une itération défait les progrès de minimisation faits sur des "descentes" précédentes. Pour limiter cet eet indésirable, la méthode du gradient conjugué choisit successivement comme direction de descente une combinaison linéaire des directions de descente des itérations précédentes. A l'itération k, on construit xk+1 de la manière suivante :
xk+1= xk+ αkdk (A.4)
avec dk = −∇(f (xk, W (xk))) + βkdk−1 (A.5) où βk est un paramètre numérique. Il diérencie entre les variantes de la méthode du gradient conjugué.
D'autres méthodes de gradient existent et ont été appliquées, avec succès, à divers problèmes d'optimisation. Ces méthodes disposent de nombreuses qualités comme, une convergence prouvée ou une vitesse de convergence rapide. Le principal défaut de ces approches est qu'elles convergent généralement vers le premier minimum trouvé, peut-être caractérisé par une valeur de la fonction de coût médiocre, en comparaison du minimum absolu.
A.0.2 Les méthodes boîtes noires
Ces méthodes sont appelées de la sorte car elles ne nécessitent pas la connaissance d'une forme analytique de la fonctionnelle de coût f. Pour une valeur de la variable de contrôle x, il existe un processus, pouvant être une simulation numérique ou une expérience physique par exemple, qui calcule la sortie f(x). Ces méthodes sont bien adaptées à la résolution de certaines applications industrielles où on ignore la forme de f (une boîte noire). Ces méthode sont fondamentalement plus coûteuses et plus lentes que les méthodes de gradient car le nombre d'évaluation de la fonction coût est élevé. Mais, elles présentent l'avantage d'éviter le calcul du gradient de la fonction coût, qui peut être un des points délicats dans la mise en ÷uvre des méthodes de gradient. Les approches boîtes noires peuvent être classées en approches déterministes et approches stochastiques.
163 Approches déterministes Parmi les approches déterministes, on peut citer les mé-thodes de type simplexe. Elles consistent à évaluer la fonction de coût en un ensemble de n+1 vecteurs des variables de contrôle (n étant le nombre de variables de la fonction f) de façon à former une gure régulière à n+1 sommets, appelée simplexe. En compa-rant les réponses en ces points, on détermine dans un premier temps le plus mauvais point. Ensuite, l'idée est de s'éloigner de ce plus mauvais point, en le remplaçant par un point situé à l'opposé. La même opération sera réalisée sur le nouveau simplexe et les itérations se poursuivent jusqu'à obtention de l'optimum. Ces approches ont été proposées par Spendley, Hext et Himsworth en 1962, étendues par Nelder et Mead en 1965 et revisitées par Dennis et Torczon en 1991.
Les méthodes d'interpolation font partie des méthodes déterministes. Elles consistent à utiliser les valeurs obtenues pour la fonction de coût dans un certain nombre de points de contrôle pour interpoler localement cette fonction de coût. Ensuite, il s'agit de minimiser localement cette interpolation dans une région de con ance, le minimum trouvé est potentiellement un bon candidat pour minimiser f. De manière itérative, l'interpolation est ra née et l'algorithme s'approche de la solution recherchée. Ces méthodes ont été proposées par Winfeld en 1973, puis revisitées par Powell en 1994. Approches stochastiques D'une itération k à l'itération k+1, ces algorithmes tentent de "deviner" la direction à prendre pour trouver un xk+1 caractérisé par une meilleure valeur de la fonctionnelle de coût en comparaison avec xk. La plupart des algorithmes de ce type ont une heuristique pour trouver comment "deviner" cette direction. Certains approches stochastiques acceptent parfois de nouveaux candidats qui soient pires (en termes de valeur de la fonction objectif) que la solution actuelle. Ainsi, l'algorithme pourra chercher une solution globale, conduisant à la meilleure solution possible en théorie. La littérature sur les algorithmes stochastiques est bien développée. On en ci-tera ici un seul exemple, à savoir l'algorithme du recuit simulé. Ce dernier s'appuie sur une analogie avec le phénomène de cristallisation en métallurgie. Ce processus alterne des cycles de refroidissement lent et de rechauage (recuit) qui tendent à minimiser l'énergie du matériau. Cette approche a été proposée par Aarts et Korst an 1989.