Itération externe

3.3 Analyse de convergence globale . . . 32

3.3.1 Itérations internes . . . 32 3.3.2 Itérations externes . . . 35 3.4 Convergence asymptotique . . . 39

3.5 Détails de l’implémentation . . . 43

3.6 Résultats numériques . . . 45

3.6.1 Comparaison avec SPDOPT-QP . . . 45 3.6.2 Comparaison avec d’autres méthodes de lagrangien augmenté . . . . 48 3.7 Conclusion. . . 51

3.1 Introduction et motivation

Dans le chapitre précédent, nous avons proposé un algorithme primal-dual pour la résolution des problèmes d’optimisation avec seulement des contraintes d’égalité. Cet algorithme est basé sur une méthode de type Newton appliquée à une suite de conditions d’optimalité du problème de pénalisation quadratique associée à (P_E). Ces conditions d’optimalité incluent une perturbation des contraintes d’égalité. Cette perturbation qui remplace les contraintes d’égalité g(x) = 0 par g(x)−σy = 0, offre une régularisation naturelle du système linéaire utilisé à chaque itération pour générer une direction de

recherche. Ceci permet à notre méthode de bien se comporter pour la résolution des problèmes dégénérés pour lesquels la matrice jacobienne des contraintes n’est pas de plein rang. Malgré ce succès, nous avons remarqué que la perturbation des contraintes par le terme σy devient non négligeable, puisque pour ces problèmes les multiplicateurs de Lagrange sont non bornés.

La deuxième motivation est liée à l’analyse de convergence asymptotique de la mé-thode développée dans le chapitre 2. Celle ci a été établie en se basant sur la notion de

trajectoire. L’utilisation de cette dernière nous a permis d’avoir seulement une conver-gence superlinéaire. En considérant une nouvelle formulation du problème initial, nous allons montrer la convergence quadratique en s’acquittant de la notion de trajectoire. Ceci est réalisé en proposant une méthode qui se réduit asymptotiquement à une méthode de Newton régularisée sur le système d’optimalité initial.

Le but de ce chapitre est donc de proposer une nouvelle méthode qui permet d’amé-liorer celle du chapitre 2 en prenant en compte les remarques citées ci-dessus tout en conservant la régularisation naturelle du système linéaire et l’aspect primal-dual de la méthode permettant le contrôle des variables primales et duales tout au long du proces-sus de minimisation.

Considérons le problème de lagrangien augmenté associé au problème (P_E)

min

x∈_Rnϕ_λ,σ(x) :=f(x) +λ^>g(x) + ¹

2σkg(x)k2, (3.1.1) où σ est le paramètre de pénalisation et λ est une estimation du multiplicateur de La-grange. Les conditions d’optimalité du premier ordre de (3.1.1) sont

∇f(x) +∇g(x)(λ+ ¹

σ^{g(x)) = 0.}

En introduisant la variable y = λ+ 1

σg(x), ces conditions peuvent être écrites sous la forme suivante F(w, λ, σ) := ∇_xL(w) g(x) +σ(λ−y) = 0. (3.1.2)

Notons ici qu’en utilisant la notation introduite dans (1.3.4), nous obtenons

F(w, λ, σ) = F₀(w) +σ 0 λ−y .

L’idée essentielle de notre algorithme est d’appliquer au système (3.1.2) des itérations de type Newton au cours de lesquelles les suites {σ_k} et {λ_k} sont mises à jour. Étant donné σ_k > 0 et une estimation w_k, de nouvelles valeurs σ_k⁺ > 0 et λ_k+1 sont choisies par l’algorithme suivant le progrès réalisé par l’itéré actuel vers la faisabilité primale. Le nouvel itéré de Newton w_k⁺ := (x⁺_k, y_k⁺) est ensuite donné par la solution du système linéaire primal-dual H_k ∇g(x_k) ∇g(x_k)^> −σ⁺_kI x⁺_k −x_k y⁺_k −y_k =− ∇_xL(w_k) g(x_k) +σ_k⁺(λ_k+1−y_k) ,

où H_k est la matrice hessienne du lagrangien ou son approximation et I est la matrice identité. En utilisant la définition de F₀ dans (1.3.4), ce système linéaire s’écrit sous la forme J(w_k, σ_k⁺)(w⁺_k −w_k) = −F₀(w_k)−σ_k⁺ 0 λ_k+1−y_k . (3.1.3)

Si, à une itération k, nous choisissons λ_k+1 = y_k, alors le second membre du système linéaire (3.1.3) est exactement−F₀(w_k). Notons ici que σ⁺_k apparaît dans la matrice et le second membre du système linéaire (3.1.3) contrairement à la méthode proposée dans le chapitre précédent. Ceci est indispensable pour montrer la convergence quadratique de notre algorithme.

Si la norme du résidu F(w⁺_k, λ_k+1, σ_k⁺) est estimée suffisamment petite, alors nous faisons w_k+1 =w⁺_k etσ_k+1 =σ_k⁺. Sinon, une suite d’itérations internes est appliquée afin de trouver une paire (w_k+1, σ_k+1) satisfaisant la condition

kF(w_k+1, λ_k+1, σ_k+1)k ≤ε_k,

pour une tolérance ε_k>0. Un choix deε_k similaire à celui proposé dans le chapitre 2est utilisé. Pour garantir la convergence globale de ces itérations, une technique de recherche linéaire basée sur une fonction de mérite primale-duale est utilisée. Au cours de ces itérations, l’estimation du multiplicateur de Lagrange λ_k+1 est maintenue fixe alors que le paramètre de pénalisation σ_k+1 est autorisé à augmenter.

Le reste de ce chapitre est organisé comme suit. La section suivante est consacrée à la description du nouvel algorithme. L’analyse de convergence globale des itérations internes et externes est donnée dans la section 3.3. Dans la section 3.4, nous étudions le comportement asymptotique de la suite générée par l’algorithme global et nous donnons les conditions sous lesquelles le taux de convergence est quadratique. Nous terminons ce chapitre par la présentation des résultats numériques de notre implémentation pour la même collection de problèmes utilisée dans le chapitre 2. Ces résultats incluent une comparaison de la méthode développée dans ce chapitre avec celle du chapitre 2 et une deuxième comparaison avec deux autres codes basés sur la méthode de lagrangien aug-menté : ALGENCAN [4, 5] et LANCELOT-A [40].

3.2 Description de l’algorithme

Comme celui présenté dans le chapitre2, l’algorithme proposé dans ce chapitre utilise deux types d’itérations. Au cours des itérations externes, le paramètre de pénalisation et l’estimation du multiplicateur de Lagrange sont mis à jour, un pas d’extrapolation est calculé et la convergence globale de l’algorithme est testée. Une suite d’itérations internes est appliquée lorsque la décroissance de la norme du résidu kF(w, λ, σ)k est jugée insuffisante.

3.2.1 Itération externe

Nous décrivons maintenant la k-ème itération de notre algorithme d’itérations ex-ternes, spécifié comme Algorithme 3.1, pour résoudre (P_E). L’algorithme est initialisé

avec un point de départ w₀ = (x₀, y₀), un paramètre initial σ₀, une estimation initiale du multiplicateur de Lagrange λ₀ = y₀ et trois constantes a, ρ ∈]0,1[ et ` ∈ _N. L’indice d’itérations est initialisé à k = 0 et un indice i_k est initialement fixé a 0.

Algorithme 3.1 Itération externe

1. Choisir ζ_k ≥0et r_k >0 tels que {ζ_k} →0 et{r_k} →0. Faire η_k=kg(x_k)k+ζ_k. Si

kg(x_k)k ≤amax

η_ij : (k−`)⁺ ≤j ≤k , (3.2.1) alors aller à l’étape 2. Sinon, aller à l’étape 3.

2. Mettre à jour l’estimation du multiplicateur de Lagrange et éventuellement réduire le paramètre de pénalisation. Faire

σ⁺_k ≤σ_k, s_k = max{σ_k⁺, r_k}, λ_k+1 =y_k et i_k+1 =k

et aller à l’étape 4.

3. Réduire suffisamment le paramètre de pénalisation. Faire

σ_k⁺ ≤min{ρσ_k, r_k}, s_k=r_k, λ_k+1 =λ_k et i_k+1 =i_k.

4. Choisir une matrice H_k telle que In(J(w_k, σ_k⁺)) = (n, m,0).

5. Calculer l’itéré de Newton w⁺_k en résolvant le système linéaire

J(w_k, σ_k⁺)(w⁺_k −w_k) =−F(w_k, λ_k+1, σ_k⁺). (3.2.2)

6. Choisir ε_k>0 tel que {ε_k} →0. Si

kF(w_k⁺, λ_k+1, σ_k⁺)k ≤ε_k, (3.2.3) alors faire w_k+1 =w⁺_k et σ_k+1 =σ_k⁺. Sinon, choisir un point initial w0

k et appliquer une suite d’itérations internes avec une estimation du multiplicateur de Lagrange

λ_k+1 qui est fixée pour identifier w_k+1 et σ_k+1 ∈[σ_k⁺, s_k] tels que

kF(w_k+1, λ_k+1, σ_k+1)k ≤ε_k. (3.2.4)

Les règles de mise à jour des paramètresσ_k⁺etλ_k+1 sont ajoutées aux étapes2et3de l’algorithme3.1. L’exécution de chaque étape dépend du progrès réalisé par l’itéré actuel vers la faisabilité primale. Ce progrès est mesuré par l’inégalité (3.2.1). Si cette dernière est satisfaite, alors l’itéré courantx_k a réalisé un progrès suffisant vers la faisabilité primale. Dans ce cas, l’estimation du multiplicateur de Lagrangeλ_k+1est mise à jour avec la valeur

y_k. Cette règle de mise à jour implique que la direction de Newton w⁺_k −w_k, calculée à l’étape 5 de l’algorithme 3.1, vérifie l’équation

H_k ∇g(x_k) ∇g(x_k)^> −σ_k⁺I x⁺_k −x_k y⁺_k −y_k =− ∇_xL(w_k) g(x_k) , (3.2.5)

ce qui correspond au système linéaire obtenu en appliquant une méthode de Newton régularisée aux conditions d’optimalité du problème (P_E). Dans ce système, le paramètre

σ_k⁺ joue le rôle d’un terme de régularisation. En effet, lorsque la matrice jacobienne des contraintes n’est pas de plein rang, la matrice

H_k ∇g(x_k)

∇g(x_k)^> 0

,

obtenue en linéarisant les conditions d’optimalité du problème (P_E), est singulière. Reve-nons maintenant au deuxième cas de la mise à jour de σ_k⁺ et λ_k+1. Lorsque la condition (3.2.1) n’est pas satisfaite, l’estimation du multiplicateur de Lagrange reste constante et le paramètre de pénalisation est diminué. Pour tout k ≥1,i_k correspond à l’indice de la dernière itération au cours de laquelle l’instructionλ_k+1 =y_k a été exécutée. En particu-lier, nous avonsλ_k =y_ik pour tout indicek ∈_N. La suite{i_k}joue un rôle très important dans l’analyse de convergence globale (Lemme 3.3.1et Théorème 3.3.2) et asymptotique (Lemme 3.4.1) de la méthode proposée.

En ce qui concerne la mise à jour du paramètre de pénalisation, deux stratégies sont implicitement incluses dans la description de notre algorithme. La première est de réduire le paramètre de pénalisation à chaque itération afin que la suite {σ_k} converge vers zéro, une condition nécessaire pour obtenir un taux de convergence quadratique de l’algorithme. Puisque le paramètre de pénalisation est autorisé à augmenter au cours des itérations internes, les suites {s_k} et {r_k} sont utilisées pour forcer la convergence de {σ_k} vers zéro. La deuxième stratégie consiste à garder le paramètre de pénalisation constant à l’étape 2, comme dans les méthodes de lagrangien augmenté classiques. En effet, si on choisit σ_k⁺ =σ_k à l’étape 2 et si l’étape 3 n’est exécutée qu’un nombre fini de fois, alors on a s_k =σ_k⁺ pour tout k suffisamment grand et par conséquent l’étape 5 implique que

σ_k+1 =σ_kpour toutksuffisamment grand. Dans ce cas, seulement un taux de convergence au plus linéaire est attendu. Notons que la convergence globale de l’algorithme 3.1 est garantie, quel que soit la stratégie utilisée pour choisir le paramètre de pénalisation. Le lemme suivant joue un rôle très important pour démontrer la convergence globale.

Lemme 3.2.1. Si l’étape 3 de l’algorithme 3.1 est exécutée une infinité de fois, alors la suite {σ_k} converge vers zéro.

Preuve. Soit K = {k₀, k₁, k₂, . . .} l’ensemble des indices des itérations au cours de les-quelles l’étape3est exécutée. Soiti∈_N. Les choix des_k à l’étape3et deσ_k+1 à l’étape6

impliquent que σ_ki+1 ≤r_ki. Les choix de s_k à l’étape 2 et σ_k+1 à l’étape 6 et le fait que

σ_k⁺≤σ_k impliquent que pour tout 1≤j ≤k_i+1−k_i−1, on a

σ_ki+j+1 ≤ max{σ_ki+j, r_ki+j}

≤ max{σ_ki+1, r_ki+1, . . . , r_ki+j} ≤ max{r_ki, r_ki+1, . . . , r_ki+j}.

Ceci implique que

max{σ_k+1 :k_i ≤k < k_i+1} ≤max{r_k :k_i ≤k < k_i+1}.

La convergence de la suite{r_k}vers zéro implique que le membre droit de cette inégalité converge vers zéro lorsqueitend vers l’infini et par conséquent toute la suite{σ_k}converge vers zero.