sur l’état et une commande scalaires

(1)

http://france.elsevier.com/direct/CRASS1/

Contrôle optimal

Conditions d’optimalité du second ordre nécessaires ou suffisantes pour les problèmes de commande optimale avec une contrainte

sur l’état et une commande scalaires

J. Frédéric Bonnans, Audrey Hermant

INRIA-Futurs et CMAP, École polytechnique, 91128 Palaiseau cedex, France Reçu le 23 février 2006 ; accepté après révision le 5 septembre 2006

Disponible sur Internet le 5 octobre 2006 Présenté par Alain Bensoussan

Résumé

Dans cette Note, nous étudions un problème de commande optimale avec une commande scalaire et une contrainte sur l’état scalaire d’ordre quelconque. Les instants de jonction sont supposés en nombre fini. Nous obtenons des conditions d’optimalité du second ordre nécessaires ou suffisantes, qui permettent de caractériser la croissance quadratique.Pour citer cet article : J.F.

Bonnans, A. Hermant, C. R. Acad. Sci. Paris, Ser. I 343 (2006).

Abstract

No-gap second-order optimality conditions for optimal control problems with a single state constraint and control.This Note deals with optimal control problems with only one control variable and one state constraint, of arbitrary order. We consider the case of finitely many boundary arcs and touch times. We obtain a no-gap theory of second-order conditions, allowing us to characterize second-order quadratic growth.To cite this article: J.F. Bonnans, A. Hermant, C. R. Acad. Sci. Paris, Ser. I 343 (2006).

Abridged English version

In this Note, we study an optimal control problem(P)with a single state constraint and control, in abstract form (2).

The control and state spaces are respectivelyU:=L^∞(0, T )andY:=W^1,^∞(0, T;Rⁿ). The data of the problem,f, g,φareC^∞mappings, and the dynamicsf is Lipschitz continuous. This ensures that the mappingU→Y,u→y_u, wherey_uis solution of the state equation (1), isC^∞. So are the cost functionJ:U→Rand the constraint mapping G:U→C[0, T], whereC[0, T]denotes the set of continuous functions over[0, T]. The constraint coneKis the set of non-positive continuous functionsC₋[0, T]. We assume that the initial conditiony₀∈Rⁿsatisfies (A1)g(y₀) <0.

We say thatu∈U is a local optimal solution of(P)satisfying the quadratic growth condition, if (3) holds.

Adresses e-mail :[email protected] (J.F. Bonnans), [email protected] (A. Hermant).

doi:10.1016/j.crma.2006.09.005

(2)

The dual ofC[0, T]is the set of bounded measures denoted byM[0, T]and identified with functions of bounded variationBV(0, T )vanishing at zero. The first necessary optimality condition atu∈G⁻¹(K)is given by (5), whereL is theLagrangian(4) of problem(P)and the Lagrange multiplierη∈M+[0, T]is a bounded non-negative measure, with support in the contact setI_u:= {t∈ [0, T]; g(y_u(t ))=0}.

We may define by induction the functionsR×Rⁿ→R,g⁽¹⁾, . . . , g^(q) byg^{(j )}(u, y)=g_y(y)^(j⁻¹⁾f (u, y), if we haveg_u^{(j )}≡0, for allj=1, . . . , q−1. Letq1 be the smallest integer such thatg_u^(q)≡0. Ifqis finite, we say that qis theorderof the state constraint.

Aboundary(resp.interior)arcis a maximal interval of positive measureI⊂ [0, T], such thatg(yu(t ))=0 (resp.

g(y_u(t )) <0) for allt∈I.Entryandexitpoints are respectively the left and right endpoints of a boundary arc. Atouch pointis an isolated contact point, endpoint of two interior arcs. A touch point is said to beessential, if it belongs to the support of the Lagrange multiplierη. Entry, exit and touch points are called junction points.

TheHamiltonianis defined by (6), and given(u, η)∈U×M₊[0, T], the costatep_u,η∈BV(0, T;Rⁿ^∗)is defined as the solution of (7).

We make the following hypotheses: (A2) the Hamiltonian is strongly convex with respect to the control variable, uniformly w.r.t. time, that is (8) is satisfied; (A3) the state constraint is of orderq and satisfies (9); (A4) the trajectory (u, y_u)has finitely many junction points, andg(y_u(T )) <0; (A5) the junction points satisfy (10) where qˆ equals 2q−1 ifqis odd and 2q−2 ifq is even; (A6) thestrict complementarity on boundary arcs(11) holds.

If(u, η)satisfies the first order necessary condition (5) and assumptions (A2)–(A4), then it was shown in [4,7]

that the control and multiplier are smooth functions on the interior of arcs, and that the control and some of its time derivatives are continuous at junction points. More precisely,u, . . . , u^(q⁻²⁾are continuous at junction times, and in addition, if the orderqof the state constraint isodd,u^(q⁻¹⁾andηare continuous at entry/exit points. Ifq=1,u˙andη are also continuous at touch points, which means thatfirst-order state constraints do not have essential touch points.

Let us recall that the derivative of the mappingU →Y,u→y_u is the mappingU→Y,v→z_u,v, wherez_u,vis solution of the linearized state equation (12). The latter has a continuous extension overL²(0, T ). The critical cone C(u)=C_∞(u)and its extensionC₂(u)inL²(0, T ), are defined by (13). Our main result is the following:

Theorem 0.1.

(i) Let u be a local optimal solution of(P)satisfying (A1)–(A6), with its unique Lagrange multiplierη. Denote byT_u^essthe(finite)set of essential touch points of the trajectory(u, y_u). Then:

D_uu² L(u, η)(v, v)−

τ∈Tu^ess

(g_y⁽¹⁾(yu(τ ))zu,v(τ ))²

d²

dt²g(yu)|t=τ

η(τ )

0 ∀v∈C2(u).

(ii) Let(u, η)∈U×M+[0, T]satisfying(5)and(A1)–(A6). Thenuis a local optimal solution of(P)satisfying the quadratic growth condition(3), if and only if:

D_uu² L(u, η)(v, v)−

τ∈Tu^ess

(g_y⁽¹⁾(y_u(τ ))z_u,v(τ ))²

d²

dt²g(yu)|t=τ

η(τ )

>0 ∀v∈C2(u)\ {0}.

Here are the main ideas of the proof. We use the abstract second-order necessary condition (18) due to Kawasaki [5]. The latter involves a term taking into account the curvature of the convex setK, the expression of which, whenK=C₋[0, T], was obtained in [6] and is given by (19)–(20). Using the results on junction conditions in [4,7], we are able to prove that under assumptions (A1)–(A6),the contribution of boundary arcs to the curva- ture term is zero. It remains, when the state constraint is of orderq2, the contribution offinitely many essential touch points. We thus obtain that the curvature term is given by (15). The extension inL²is obtained by a density argument.

Known second-order sufficient conditions such as (21) do not take into account the curvature term. There is a gap with the necessary condition, when essential touch points are present (which implies that the order of the state constraint isq 2). For the latter we use a reduction argument. We extend the idea in [3], where the reduction isC², to minima/maxima of functions inW^2,^∞. The distributed constraint is locally replaced, around essential touch points, by finitely many inequality constraints. The Hessian of Lagrangian of the corresponding reduced problem has

(3)

an additional term that matches the curvature term. We thus obtain a no-gap second-order condition, in the sense that the second-order necessary or sufficient conditions differ only between a strict and a non-strict inequality. The characterization of quadratic growth follows. The proofs and results are developed in [1].

1. Introduction

SoitU:=L^∞(0, T )(resp.Y:=W^1,^∞(0, T;Rⁿ)) l’espace de commande (resp. d’état), et soientf:R×Rⁿ→Rⁿ, :R×Rⁿ→R, φ, g:Rⁿ→Rdes applications de classe C^∞ et y0∈Rⁿ, tels quef est lipschitzienne et (A1) g(y0) <0. D’après le théorème de Cauchy–Lipschitz, l’applicationU→Y,u→yuoùyu∈Yest solution de l’équa- tion d’état

˙

y_u(t )=f

u(t ), y_u(t )

p.p.t∈ [0, T] ; y_u(0)=y₀ (1)

est de classeC^∞. On s’intéresse au problème de commande optimale avec contrainte sur l’état :

(P) min

u∈UJ (u):=

T

0

u(t ), yu(t ) dt+φ

yu(T )

; G(u):=g(yu)∈K. (2)

Les applicationsJetGsontC^∞deUdans respectivementRetC[0, T], l’espace des fonctions continues sur[0, T]. Le cône des contraintes estK=C₋[0, T], ensemble des fonctions continues négatives.

On dit queuest une solution locale de(P)satisfaisant la condition decroissance quadratique, si

∃α, ρ >0, J (u)˜ J (u)+α ˜u−u²₂, ∀ ˜u∈U ; ˜u−u_∞ρ, G(u)˜ ∈K. (3) 2. Hypothèses et résultat principal

On noteM[0, T]l’espace des mesures de Radon, espace dual deC[0, T]identifié aux fonctions à variation bornée BV(0, T )s’annulant en zéro, etM₊[0, T]le cône des mesures positives.

Soit I_u:= {t∈ [0, T]; g(y_u(t ))=0}le domaine de contact. Les cônes tangent et normal (au sens de l’analyse convexe) àK au point G(u)∈K, sont respectivement donnés parT_K(G(u))= {h∈C[0, T]; h(t )0 surI_u}et N_K(G(u))= {η∈M₊[0, T];supp(η)⊂I_u}, où supp(η)désigne le support deη; ces cônes sont vides siG(u) /∈K.

Lelagrangiende(P)est défini par

L:U×M[0, T] →R; (u, η)→J (u)+

η, G(u). (4)

On dit queη∈M₊[0, T]est un multiplicateur de Lagrange associé àu∈U, si D_uL(u, η)=0; η∈N_K

G(u)

. (5)

NotonsRⁿ^∗l’ensemble des vecteurs lignes. Lehamiltonienest défini par :

H:R×Rⁿ×Rⁿ^∗→R; (u, y, p)→(u, y)+pf (u, y). (6)

Etant donné(u, η)∈U×M+[0, T], l’état adjointp_u,η∈BV([0, T];Rⁿ^∗)est solution (unique) de :

pu,η(t )= T

t

Hy

u(s), yu(s), pu,η(s) ds+

T

t

gy

yu(s)

dη(s)+φy

yu(T )

. (7)

Commeηetp_u,η sont à variation bornée, ils ont à chaque instant une limite à gauche et à droite. On note[η(τ )] = η(τ⁺)−η(τ⁻)0 le saut deηà l’instantτ ∈ [0, T], oùη(τ^±)=lim_t_→_τ±η(t ).

On suppose le hamiltonien uniformément fortement convexe par rapport à la variable de commande le long de la trajectoire, au sens où :

(A2) ∃β >0, H_uu ˆ

u, y_u(t ), p_u,η(t^±)

β, pour toutt∈ [0, T]et toutuˆ∈R. (8)

(4)

Si pour j =1, . . . , q−1, la fonction g^{(j )}(u, y):=g^(jy⁻¹⁾(y)f (u, y):R×Rⁿ→Rest indépendante de u (i.e.

g^{(j )}_u ≡0), on la noteg^{(j )}(y)et l’on ag^(q)(u, y)=g_y^(q⁻¹⁾(y)f (u, y):R×Rⁿ→R. Soitq1 le plus petit entier tel queg_u^(q)≡0. Siqest fini, on dit queq est l’ordrede la contrainte, et on dit que cette dernière estrégulière, si :

(A3) ∃ν >0, g_u^(q) ˆ

u, y_u(t )ν, pour toutt∈ [0, T]et toutuˆ∈R. (9) On remarquera que l’on peut affaiblir (A3) en supposant (9) pourt au voisinage de l’ensemble de contactI_u, et dans la définition de l’ordre, on peut restreindrey à un voisinage dansRⁿde{y_u(t ); t∈I_u}.

Les hypothèses (A1) et (A3) impliquent l’existence et l’unicité du multiplicateurηsatisfaisant (5) en une solution locale de(P).

Unarc frontière(resp.intérieur) de la trajectoire(u, y_u), est un intervalle maximal non réduit à un pointI⊂ [0, T], tel queg(y_u(t ))=0 (resp.g(y_u(t )) <0), pour toutt∈I. On appellepoints de jonctionles instants de]0, T[extré- mités de deux arcs consécutifs. Si[τ_e, τ_s]est un arc frontière,τ_eetτ_s sont appelés respectivement points d’entréeet desortie. Un point decontact isolé(point de jonction à l’extrémité de deux arcs intérieurs)τ est ditessentiel si le multiplicateur de Lagrangeηsatisfait[η(τ )]>0. L’ensemble des points de jonction (resp. points de contact isolés essentiels) de(u, yu)est notéTu⊂(0, T )(resp.Tu^ess⊂Tu). On supposera :

(A4) L’ensemble des points de jonctionTuestfinietg yu(T )

<0.

Rappelons le résultat suivant, dû à Jacobson et al. [4], dont la preuve a été clarifiée par Maurer [7].

Proposition 2.1(Conditions de jonction). Soit (u, η)∈U ×M+[0, T] satisfaisant(5) et (A2)–(A4). Alors: sur [0, T] \Tu,uetηsontC^∞. En un pointτ d’entrée ou de sortie,uet ses dérivées jusqu’à l’ordreq−2sont continues, et siq est impair, alorsu^(q⁻¹⁾ est continu et[η(τ )] =0. En un pointτ de contact isolé,u et ses dérivées jusqu’à l’ordreq−2sont continues, et siq=1, alors[η(τ )] =0etu˙ est continu(siq=1, il n’y a donc pas de points de contact isolés essentiels).

Soitqˆ=2q−1 siq est impair etqˆ=2q−2 siq est pair. La contrainte est ditenon tangentielle, si en tout point d’entréeτ_e, de sortieτ_s et point de contact isoléessentielτ_c^ess, on a :

(A5) (i)(−1)^q^ˆ⁺¹d^q^ˆ⁺¹ dt^q^ˆ⁺¹g(y_u)

t=τ_e⁻

<0; d^q^ˆ⁺¹ dt^q^ˆ⁺¹g(y_u)

t=τ_s⁺

<0, (ii) d² dt²g(y_u)

t=τ_c^ess

<0. (10)

Enfin, on fera l’hypothèse de « complémentarité stricte » sur les arcs frontières :

(A6) IntIu⊂supp(η). (11)

La dérivée (Fréchet) au pointu deU →Y,u→yu est l’applicationU →Y,v→zu,v oùzu,v est solution de l’équation d’état linéarisée

˙

z_u,v(t )=f_y

u(t ), y_u(t )

z_u,v(t )+f_u

u(t ), y_u(t )

v(t ) p.p.t∈ [0, T] ; z_u,v(0)=0. (12) Les applications qui àv associentz_u,v, DG(u)v,D²_uuL(u, η)(v, v), etc. définies sur L^∞(0, T ), ont une extension unique surL²(0, T ). Le cône critique est défini par :

C_p(u)=

v∈L^p(0, T ); DG(u)v∈T_K G(u)

; DJ (u)v0

, p=2,∞. (13)

On noteC(u):=C_∞(u). SoitI_u,v² := {t∈I_u; g_y(y_u(t ))z_u,v(t )=0}. Si(u, η)satisfont (5),v∈C(u)ssi g_y

y_u(t )

z_u,v(t )0 ∀t∈I_u et supp(η)⊂I_u,v² . (14)

La contribution de la courbure deKà la condition du second ordre a pour expression σ_c^ess(u, v;η):=

τ∈Tu^ess

(g_y⁽¹⁾(y_u(τ ))z_u,v(τ ))²

d²

dt²g(yu)|t=τ

η(τ )

. (15)

Nous pouvons maintenant énoncer le résultat principal, le hessien du lagrangien pouvant s’exprimer en fonction de (u, y_u, η, p_u,η, v, z_u,v)et des dérivées secondes deH,getφ.

(5)

Théorème 2.2.

(i) Soitusolution locale de(P), satisfaisant(A1)–(A6)avec son multiplicateurη. Alors:

D²_uuL(u, η)(v, v)−σ_c^ess(u, v;η)0 ∀v∈C₂(u). (16)

(ii) Soit(u, η)∈U×M+[0, T]satisfaisant(5)et(A1)–(A6). Alorsuest une solution locale de(P)satisfaisant la croissance quadratique(3), si et seulement si

D²_uuL(u, η)(v, v)−σ_c^ess(u, v;η) >0 ∀v∈C₂(u)\ {0}. (17) 3. Idée de la démonstration du résultat principal

La condition nécessaire du second ordre s’appuie sur celle obtenue par Kawasaki [5],T_K^2,i désignant l’ensemble tangent intérieur du second ordre, voir [2,5] etσ (η, S)la fonction d’appui de l’ensembleS:

D_uu² L(u, η)(v, v)−σ η, T_K^2,i

G(u), DG(u)v

0; ∀v∈C(u). (18)

L’expression du terme de courbure lorsqueK=C₋[0, T], env∈C(u), est donnée (voir [6]) par : σ

η, T_K^2,i

G(u), DG(u)v

=

τ∈Tu∩I_u,v²

ςu,v(τ ) η(τ )

0, (19)

avec

ςu,v(τ )= lim inf

t→τ;g(yu(t ))<0

({g_y(y_u(t ))z_u,v(t )}₊)²

2g(yu(t )) . (20)

En un pointτ d’entrée ou de sortie, les dérivées deujusqu’à l’ordreqˆ−q étant continues, les dérivées temporelles deg(yu)le sont jusqu’à l’ordreq. Par ailleurs, il est facile de voir queˆ t→gy(yu(t ))zu,v(t )a des dérivées continues jusqu’à l’ordre q −1, s’annulant donc en τ par (14) et (A6), et une dérivée qième bornée. D’après (20) et avec (A5)(i), il vientςu,v(τ )=0 siq est pair, etςu,v(τ ) >−∞siq est impair. Combinant avec[η(τ )]<+∞siq pair et[η(τ )] =0 siq impair, on obtientςu,v(τ )[η(τ )] =0, en tout point d’entrée-sortie, pour tout ordre q. Autrement dit,la contribution des arcs frontières dans le terme de courbure est nulle. Le traitement des points de contact isolés essentiels, avec (A5)(ii), est classique. Ainsi (19) a l’expression donnée par (15), pour toutes les directions critiques v telles queI_u,v² ne contient pas de points de contact isolés non essentiels. Ces directions formant une partie dense deC(u), lui même dense dansC2(u)sous les hypothèses (A3), (A4) et (A6), on obtient (16).

Pour la condition suffisante, on note que sous l’hypothèse (A2), l’extension du hessien du lagrangien àL²(0, T ) est une forme de Legendre [2]. Ainsi, la condition classique du second ordre

D_uu² L(u, η)(v, v) >0 ∀v∈C₂(u)\ {0}, (21)

implique que uest solution optimale locale de(P)satisfaisant la condition de croissance quadratique (3). Il existe un saut entre la condition nécessaire (16) et la condition suffisante (21), dès que le terme de courbure (15) est non nul. Ceci se produit lorsqueq2 et qu’il existe des points de contact isolés essentiels. Pour ces derniers, on utilise une méthode de réduction. Classique en programmation semi-infinie [3] dans un cadreC², cette idée est étendue à l’espaceW^2,^∞(0, T )(utile pour traiter le casq2). Un point de contact isoléτ est ditréductible, sit→_dt^d²2g(y_u(t )) est continue et (A5)(ii) satisfaite enτ. PourTu^red= {τ_u¹, . . . , τ_u^N}ensemble fini quelconque de points de contact isolés réductibles de la trajectoire(u, y_u), etε, δ >0 suffisamment petits, l’application

Θ:B_∞(u, δ)→R^N; ˜u→ g

y_u_˜(τ_uⁱ_˜)

1iN,

oùτ_uⁱ_˜ est l’unique point de maximumdeg(y_u_˜)sur(τ_uⁱ−ε, τ_uⁱ+ε), est bien définie, de classeC¹, deux fois Fréchet différentiable enu, et de plus :

g

y_u₊_v(τ_uⁱ₊_v)

=g

y_u₊_v(τ_uⁱ)

−(g_y(y_u(τ_uⁱ))z_u,v(τ_uⁱ))² 2_dt^d²₂g(y_u)|t=τ_uⁱ

+r(v), i=1, . . . , N, (22)

(6)

avecr(v)/v²₂→0 lorsquev∞→0. Ceci permet d’étendre la condition (21) avec le hessien du lagrangien du problème réduit. Ce dernier fait intervenir un terme supplémentaire, égal au terme de courbure quandT_u^red=T_u^ess. On obtient ainsi (17), dont découle la caractérisation de la croissance quadratique.

Les résultats et preuves présentés dans cette Note sont développés dans [1].

Références

[1] J.F. Bonnans, A. Hermant, No gap second order optimality conditions for optimal control problems with a single state constraint and control, INRIA Report 5837 (2006), Mathematical Programming, in press.

[2] J.F. Bonnans, A. Shapiro, Perturbation Analysis of Optimization Problems, Springer-Verlag, New York, 2000.

[3] R.P. Hettich, H.T. Jongen, Semi-infinite programming: conditions of optimality and applications, in: J. Stoer (Ed.), Optimization Techniques, in: Proc. 8th IFIP Conf. on Optimization Techniques, Part 2, Würzburg, Springer-Verlag, New York, 1978.

[4] D.H. Jacobson, M.M. Lele, J.L. Speyer, New necessary conditions of optimality for control problems with state-variable inequality constraints, Journal of Mathematical Analysis and Applications 35 (1971) 255–284.

[5] H. Kawasaki, An envelope-like effect of infinitely many inequality constraints on second order necessary conditions for minimization problems, Mathematical Programming 41 (1988) 73–96.

[6] H. Kawasaki, Second order necessary optimality conditions for minimizing a sup-type function, Mathematical Programming Ser. A 49 (1990/91) 213–229.

[7] H. Maurer, On the minimum principle for optimal control problems with state constraints, Schriftenreihe des Rechenzentrum 41, Universität Münster, 1979.