Classification des méthodes d’optimisation

Aujourd’hui, les différentes méthodes d’optimisation peuvent être classées en deux principaux groupes :

les méthodes déterministes et les méthodes stochastiques [21].

Les premières, comme leur nom l'indique, ne laissent aucune place au hasard et conduiront pour un contexte initial donné à une même solution finale. Pour ces méthodes, l'exploration de l'espace des solutions se fait grâce à la connaissance d'une direction de recherche qui peut être donnée par le gradient. Ce sont en général des méthodes efficaces, peu coûteuses, mais qui nécessitent en contrepartie une première solution connue proche de la solution optimale.

A l'opposé des méthodes déterministes, les méthodes stochastiques explorent l'espace des solutions grâce à des mécanismes de transitions aléatoires. Ainsi, plusieurs exécutions successives de ces méthodes, pourront conduire à des résultats différents (pour une même solution initiale!) [26].

III.3.4.1 Méthodes déterministes

Les méthodes déterministes peuvent être séparées en deux grandes classes. La première regroupe toutes les méthodes dites d'ordre 0 c'est-à-dire qui ne nécessitent pas la connaissance de la dérivée première (et a fortiori des dérivées d'ordre supérieur à 1). Ces méthodes sont en général peu précises et convergent très lentement vers l'optimum local. Mais elles offrent l'avantage de se passer du calcul des gradients ce qui peut être intéressant lorsque la fonction n'est pas différentiable ou lorsque leurs calculs nécessitent un coût important. D'une manière générale, de telles méthodes sont employées en début d'exécution pour repérer la région de l'optimum local. L'autre classe, par laquelle nous commencerons la présentation, suppose que toutes les fonctions 𝑓 ,𝑔_𝑖,ℎ_𝑗 sont continûment différentiables. Cette propriété permet d'exploiter au mieux une information très importante sur la direction de recherche: le gradient [26].

➢ Méthodes déterministes unidimensionnelles

Les méthodes déterministes unidimensionnelles sont utilisées dans l'optimisation de fonctions à un seul paramètre. Ces méthodes, aussi appelées méthodes de Recherche Linéaire

(Line Search Methods), sont normalement basées sur des techniques qui permettent de localiser

le point minimal de la fonction à partir de réductions successives de l'intervalle de recherche [24].

Page 37

➢ Méthodes déterministes multidimensionnelles

Les méthodes déterministes multidimensionnelles sont consacrées à l'optimisation de fonctions à un paramètre ou plus.

Nous pouvons diviser les méthodes multidimensionnelles, qu'elles soient directes ou indirectes, en deux différents groupes: les méthodes analytiques ou de descente et les méthodes

heuristiques ou géométriques..

1. Méthodes analytiques:

Les méthodes analytiques se basent sur la connaissance d'une direction de recherche souvent donnée par le gradient de la fonction. La plupart de ces méthodes sont d'ordre 1 et exécutent des minimisations linéaires successives en faisant appel à des méthodes unidimensionnelles. Les exemples les plus significatifs de méthodes analytiques sont la méthode de la Plus Grande Pente , le Gradient Conjugué , la méthode de Powell et les méthodes

QuasiNewton [24].

2. Méthodes heuristiques:

Les méthodes heuristiques explorent l'espace par essais successifs en recherchant les directions les plus favorables. À l'opposé des méthodes analytiques, la plupart de ces méthodes sont d'ordre O. Les implémentations de méthodes géométriques les plus souvent utilisées sont celles de la méthode du Simplex, la méthode de Rosenbrock et la méthode de variations locales

de Hooke et Jeeves.

La Figure III.3, montre les méthodes multidimensionnelles les plus importantes avec leur ordre respectif de résolution [24].

Figure III.2 Principales méthodes déterministes unidimensionnelles Méthodes Déterministes Unidimensionnelles Méthode de Dichotomie Méthode de la Section Dorée Méthode de Brent Méthode de Fibonacci Armijo & Goldstein

Page 38

III.3.4.2 Méthodes d'optimisation stochastiques

Les méthodes d'optimisation stochastiques s'appuient sur des mécanismes de transition probabilistes et aléatoires. Cette caractéristique indique que plusieurs exécutions successives de ces méthodes peuvent conduire à des résultats différents pour une même configuration initiale d'un problème d'optimisation.

Ces méthodes ont une grande capacité de tro uver l'optimum global du problème. Contrairement à la plupart des méthodes déterministes, elles ne nécessitent ni de point de départ, ni la connaissance du gradient de la fonction objectif pour atteindre la solution optimale. Cependant, elles demandent un nombre important d'évaluations avant d'arriver à la solution du problème .

La Figure III.4, présente les méthodes stochastiques les plus utilisées.

Méthodes déterministes multidimensionnelles

Figure III.3Principales méthodes déterministes multidimensionnelles.

Figure III.4Principales méthodes stochastiques.

Méthodes analytiques Méthodes heuristiques Méthode de Powell (ordre 0) Plus Grande Pente (ordre 1) Gradient Conjugué (ordre 1) Méthode Quasi-Newton (ordre 1) Méthode du Simplex (ordre 0) Méthode Rosenbrok (ordre 0) Hooke et Jeeves ( ordre 0) Méthodes stochastiques

Recuit Simulé Recherche Tabou

Méthodes Évolutionnistes Algorithmes Génétiques Stratégies d'Évolution Programmation Évolutionniste Programmation Génétique

Page 39

➢ Algorithmes génétiques

Les algorithmes génétiques (AG) font partie d'une famille de méthodes stochastiques appelée méthodes évolutionnistes qui reposent sur une analogie avec la Théorie de l'évolution

Naturelle de Darwin, selon laquelle les individus d'une population les mieux adaptés à leur

environnement ont une plus grande probabilité de survivre et de se reproduire de génération en génération, en donnant des descendants encore mieux adaptés [24].

Les algorithmes génétiques présentent les avantages suivants : ce sont des méthodes robustes à l’initialisation (c'est-à-dire que leurs convergences ne dépendent pas de la valeur initiale), et qui permettent de déterminer l'optimum global d'une fonctionnelle ou de s’en approcher. En revanche leur inconvénient majeur réside dans le nombre important d'évaluations nécessaires et leur temps de convergence.

Les algorithmes génétiques se basent sur quatre éléments principaux qui sont : l’évaluation, la sélection, le croisement et la mutation.

Après l’initialisation aléatoire de la première population d’individus qui définit la première génération, on répète successivement les quatre étapes suivantes :

➢ L’évaluation des individus par le calcul de leurs fonctions objectifs (mesure de l’adaptation).

➢ La sélection des individus reproducteurs : théoriquement les individus qui s’adaptent le mieux à l’environnement défini par la fonction objectif.

➢ Application de l’opérateur de croisement. Cet opérateur permet l’exploration de l’espace de recherche.

➢ Application de l’opérateur de mutation. Cet opérateur joue un double rôle : explorer l’espace de recherche qui n’a pas pu être atteint par l’opérateur de croisement et réaliser une recherche locale, très proche de la solution en cours.

A la fin de l’étape quatre, nous obtiendrons une nouvelle population. Cette population constitue l’ensemble d’individus de la génération (itération) qui suit. Ces quatre étapes sont répétées autant de fois qu’il y a besoin de générations pour satisfaire un critère d’arrêt.

Celui ci est défini avant que le processus commence. La solution est alors représentée par le meilleur individu de la dernière génération [27].

Page 40