Minimisation polynomiale à plusieurs variables:

(1)

Minimisation polynomiale &

théorie des moments

Plan de l’exposé Programmation SDP Optimisation sans contraintes Optimisation avec contraintes Et après ?

Minimisation polynomiale à plusieurs variables:

l’approche de la théorie des moments (d’après Lasserre)

Richard Leroy

11 février 2005

(2)

Programmation semi-définie positive

Optimisation sans contraintes

Optimisation avec contraintes

Et après ?

(3)

Problème primal

◮ Données

◮

n, m ≥ 1

◮

b ∈ R

^m

◮

A

i

∈ S

n

(R), i = 1, . . . , m et C ∈ S

n

(R)

(4)

Problème primal

◮ Données

◮

n, m ≥ 1

◮

b ∈ R

^m

◮

A

i

∈ S

n

(R), i = 1, . . . , m et C ∈ S

n

(R)

◮ Problème primal

(P) minimiser ^t by

sous les contrainte C −

m

X

i= 1

y i A i ∈ S _n ⁺ (R)

(5)

Problème primal

◮ Données

◮

n, m ≥ 1

◮

b ∈ R

^m

◮

A

i

∈ S

n

(R), i = 1, . . . , m et C ∈ S

n

(R)

◮ Problème primal

(P) minimiser ^t by

sous les contrainte C −

m

X

i= 1

y i A i ∈ S _n ⁺ (R)

◮ Solutions

F P : solutions primales p ^∗ := inf _t

by/ y ∈ F P : valeur primale optimale

Solution primale optimale y ^∗ : y ^∗ ∈ F P et ^t by ^∗ = p ^∗

(6)

Problème dual

◮ Données

◮

n, m ≥ 1

◮

b ∈ R

^m

◮

A

i

∈ S

n

(R), i = 1, . . . , m et C ∈ S

n

(R)

(7)

Problème dual

◮ Données

◮

n, m ≥ 1

◮

b ∈ R

^m

◮

A

i

∈ S

n

(R), i = 1, . . . , m et C ∈ S

n

(R)

◮ Problème dual

(D) maximiser hC , Xi

sous les contraintes ∀i, hA i , X i = b _i

X ∈ S _n ⁺ (R)

(8)

Problème dual

◮ Données

◮

n, m ≥ 1

◮

b ∈ R

^m

◮

A

i

∈ S

n

(R), i = 1, . . . , m et C ∈ S

n

(R)

◮ Problème dual

(D) maximiser hC , Xi

sous les contraintes ∀i, hA i , X i = b _i X ∈ S _n ⁺ (R)

◮ Solutions

F D : solutions duales

d ^∗ := sup {hC , X i / X ∈ F D } : valeur duale optimale

Solution duale optimale X ^∗ : X ^∗ ∈ F D et hC , X ^∗ i = d ^∗

(9)

Dualités faible et forte

(10)

Dualités faible et forte

◮ Proposition (Dualité faible)

d ^∗ ≤ p ^∗

(11)

Dualités faible et forte

◮ Proposition (Dualité faible) d ^∗ ≤ p ^∗

◮ Théorème (Dualité forte)

∃y, C − P ^m

i= 1

y _i A _i ∈ S _n ⁺⁺ (R) F D 6= ∅







⇒ p ^∗ = d ^∗ .

De plus, d ^∗ est alors atteint.

(12)

Optimisation sans contraintes

Soit R _m [x ] := R _m [x 1 , . . . , x n ], de base B :

mon

_m

( x ) = ( 1

, x

¹

, . . . , x

n

, x

¹

x

²

, . . . , x

¹

x

n

, x

²

x

³

, . . . , x

n²

, . . . , x

¹^m

, . . . , x

n^m

)

d(m) := dim R _m [x ] =

n + m m

(13)

Optimisation sans contraintes

Soit R _m [x ] := R _m [x 1 , . . . , x n ], de base B :

mon

_m

( x ) = ( 1

, x

¹

, . . . , x

n

, x

¹

x

²

, . . . , x

¹

x

n

, x

²

x

³

, . . . , x

n²

, . . . , x

¹^m

, . . . , x

n^m

)

d(m) := dim R _m [x ] =

n + m m

Problème de minimisation sans contraintes

(P) min P (x ) contrainte x ∈ R ⁿ

◮ Entrée

◮

P = P

α

p

α

x

^α

∈ R

2m

[x] admettant un minimum

◮ Sortie

◮

le minimum global p

^∗

de P

(14)

Interprétation en termes de moments

Théorème

Le problème (P) est équivalent au problème (P ) inf

Z

P (x )d µ(x ) contrainte µ ∈ P(R ⁿ )

avec P (R ⁿ ) : espace des mesures de probabilité sur R ⁿ .

(15)

Interprétation en termes de moments

Théorème

Le problème (P) est équivalent au problème (P ) inf

Z

P (x )d µ(x ) contrainte µ ∈ P(R ⁿ )

avec P (R ⁿ ) : espace des mesures de probabilité sur R ⁿ . Reformulation

(P) inf X

α

p α y α

contrainte ∃µ y ∈ P(R ⁿ ), y α = Z

x ^α d µ y (x)

(16)

Matrice des moments

◮ Définition

Soit y ∈ R ^d ⁽ ² ^m) tel que y 0 ,..., 0 = 1.

B(i) = x ^α = x 1 ^α

¹

. . . x _n ^α

ⁿ

B(j ) = x ^β = x ₁ ^β

¹

. . . x n ^β

ⁿ

⇒ (M m (y )) _ij := y _α+β

(17)

Matrice des moments

◮ Définition

Soit y ∈ R ^d ⁽ ² ^m) tel que y 0 ,..., 0 = 1.

B(i) = x ^α = x 1 ^α

¹

. . . x _n ^α

ⁿ

B(j ) = x ^β = x ₁ ^β

¹

. . . x n ^β

ⁿ

⇒ (M m (y )) _ij := y _α+β

◮ Définition

y ∈ R ^d ⁽ ² ^m) : vecteur des moments d’ordre ≤ 2m de µ y . F ∈ R _m [x ] ! f ∈ R ^d ^(m) (dans la base B).

hf , M m (y )f i = X

γ

(F ² ) γ y γ = Z

F (x ) ² d µ y (x )

(18)

Matrice des moments

◮ Définition

Soit y ∈ R ^d ⁽ ² ^m) tel que y 0 ,..., 0 = 1.

B(i) = x ^α = x 1 ^α

¹

. . . x _n ^α

ⁿ

B(j ) = x ^β = x ₁ ^β

¹

. . . x n ^β

ⁿ

⇒ (M m (y )) _ij := y _α+β

◮ Définition

y ∈ R ^d ⁽ ² ^m) : vecteur des moments d’ordre ≤ 2m de µ y . F ∈ R _m [x ] ! f ∈ R ^d ^(m) (dans la base B).

hf , M m (y )f i = X

γ

(F ² ) γ y γ = Z

F (x ) ² d µ y (x )

◮ Proposition

M m (y ) 0

(19)

Relaxation SDP

◮ Problème primal

(Q) inf X

α

p α y α

contrainte M m (y ) 0

(20)

Relaxation SDP

◮ Problème primal

(Q) inf X

α

p α y α

contrainte M m (y ) 0

◮ Reformulation

(Q) inf X

α

p α y α

contrainte X

α6= 0

y α B α −B 0

(21)

Relaxation SDP

◮ Problème primal

(Q) inf X

α

p α y α

contrainte M m (y ) 0

◮ Reformulation

(Q) inf X

α

p α y α

contrainte X

α6= 0

y α B α −B 0

◮ Problème dual

( Q ^∗ ) sup hX , −B 0 i

contraintes ∀α 6= 0, hX , B α i = p α

X 0

(22)

Cas favorable







P ∈ R 2 m [X ]

p 0 := P (0) = 0

p ^∗ := min P

(23)

Cas favorable







P ∈ R 2 m [X ] p 0 := P (0) = 0 p ^∗ := min P

Théorème

1. P − p ^∗ ∈ P

R[X ] ² ⇒ (P) ≡ (Q) :

(24)

Cas favorable







P ∈ R 2 m [X ] p 0 := P (0) = 0 p ^∗ := min P

Théorème

1. P − p ^∗ ∈ P

R[X ] ² ⇒ (P) ≡ (Q) :

◮

min(P) = min(Q)

(25)

Cas favorable







P ∈ R 2 m [X ] p 0 := P (0) = 0 p ^∗ := min P

Théorème

1. P − p ^∗ ∈ P

R[X ] ² ⇒ (P) ≡ (Q) :

◮

min(P) = min(Q)

◮

x

^∗

! y

^∗

:= mon

2m

(x

^∗

)

(26)

Cas favorable







P ∈ R 2 m [X ] p 0 := P (0) = 0 p ^∗ := min P

Théorème

1. P − p ^∗ ∈ P

R[X ] ² ⇒ (P) ≡ (Q) :

◮

min(P) = min(Q)

◮

x

^∗

! y

^∗

:= mon

2m

(x

^∗

) 2. Si F Q

^∗

6= ∅, alors :

min(P) = min(Q) ⇒ P − p ^∗ ∈ X

R[X ] ²

(27)

Cas général : suite de relaxations SDP

Définition (Matrice localisante)

B(i ) = x ^α = x 1 ^α

¹

. . . x _n ^α

ⁿ

B(j ) = x ^β = x 1 ^β

¹

. . . x n ^β

ⁿ

Q(x ) = P

η

q _η x ^η



 

 

⇒ (M m (qy)) _ij := X

η

q η y _α+β+η

(28)

Cas général : suite de relaxations SDP

Définition (Matrice localisante)

B(i ) = x ^α = x 1 ^α

¹

. . . x _n ^α

ⁿ

B(j ) = x ^β = x 1 ^β

¹

. . . x n ^β

ⁿ

Q(x ) = P

η

q _η x ^η



 

 

⇒ (M m (qy)) _ij := X

η

q η y _α+β+η

Proposition

◮ {y γ } : moments d’ordre ≤ 2m de µ y

F ∈ R _m [x ] ! f ∈ R ^d ^(m)

hf , M m (qy)f i = Q(x ) X

γ

F ²

γ y γ = Z

Q(x )F (x ) ² d µ y (x)

(29)

Cas général : suite de relaxations SDP

Définition (Matrice localisante)

B(i ) = x ^α = x 1 ^α

¹

. . . x _n ^α

ⁿ

B(j ) = x ^β = x 1 ^β

¹

. . . x n ^β

ⁿ

Q(x ) = P

η

q _η x ^η



 

 

⇒ (M m (qy)) _ij := X

η

q η y _α+β+η

Proposition

◮ {y γ } : moments d’ordre ≤ 2m de µ y

F ∈ R _m [x ] ! f ∈ R ^d ^(m)

hf , M m (qy)f i = Q(x ) X

γ

F ²

γ y γ = Z

Q(x )F (x ) ² d µ y (x)

◮ Supp(µ y ) ⊂ K Q := {Q ≥ 0} ⇒ M m (qy ) 0

(30)

Cas général : suite de relaxations SDP

Hypothèse : on connaît a > 0 tel que

∃x ^∗ , P (x ^∗ ) = min P et kx ^∗ k ≤ a

(31)

Cas général : suite de relaxations SDP

Hypothèse : on connaît a > 0 tel que

∃x ^∗ , P (x ^∗ ) = min P et kx ^∗ k ≤ a Notations :

θ(x ) := a ² − kx k ²

ℓ ≥ m

(32)

Cas général : suite de relaxations SDP (2)

(33)

Cas général : suite de relaxations SDP (2)

◮ Problème primal

(Q ^ℓ _a ) inf X

α

p _α y _α contraintes M _ℓ (y ) 0

M ℓ− 1 (θy ) 0

(34)

Cas général : suite de relaxations SDP (2)

◮ Problème primal

(Q ^ℓ _a ) inf X

α

p _α y _α contraintes M _ℓ (y ) 0

M ℓ− 1 (θy ) 0

◮ Problème dual

Q ^ℓ _a ∗

sup −X (1, 1) − a ² Z (1, 1)

contraintes ∀α 6= 0, hX , B _α i + hZ , C _α i = p _α X , Z 0





M ℓ (y ) = P

α

y α B α

M _ℓ− 1 (θy ) = P

α

y _α C _α





(35)

Cas général : suite de relaxations SDP (3)

Théorème

(36)

Cas général : suite de relaxations SDP (3)

Théorème 1. inf( Q ^ℓ _a ) ↑

ℓ→∞

p ^∗

(37)

Cas général : suite de relaxations SDP (3)

Théorème 1. inf( Q ^ℓ _a ) ↑

ℓ→∞

p ^∗

2. ∃ℓ 0 , ∀ℓ ≥ ℓ 0 , inf(Q ^ℓ _a ) = sup Q ^ℓ _a ∗

= max Q ^ℓ _a ∗

(38)

Cas général : suite de relaxations SDP (3)

Théorème 1. inf( Q ^ℓ _a ) ↑

ℓ→∞

p ^∗

2. ∃ℓ 0 , ∀ℓ ≥ ℓ 0 , inf(Q ^ℓ _a ) = sup Q ^ℓ _a ∗

= max Q ^ℓ _a ∗

3. ∃Q i , T _j ∈ R[X ], P − p ^∗ = P

i

Q _i ² + θ P

j

T _j ²

⇓

∀ℓ ≥ max (deg(Q i ), deg(T j )) , p ^∗ = max Q ^ℓ _a ∗

= min(Q ^ℓ _a )

(39)

Cas général : suite de relaxations SDP (3)

Théorème 1. inf( Q ^ℓ _a ) ↑

ℓ→∞

p ^∗

2. ∃ℓ 0 , ∀ℓ ≥ ℓ 0 , inf(Q ^ℓ _a ) = sup Q ^ℓ _a ∗

= max Q ^ℓ _a ∗

3. ∃Q i , T _j ∈ R[X ], P − p ^∗ = P

i

Q _i ² + θ P

j

T _j ²

⇓

∀ℓ ≥ max (deg(Q i ), deg(T j )) , p ^∗ = max Q ^ℓ _a ∗

= min(Q ^ℓ _a ) 4. Si p ^∗ = max Q ^ℓ _a ∗

= min(Q ^ℓ _a ), alors on peut construire

une écriture de P − p ^∗ comme ci-dessus à partir d’une

solution duale optimale (X ^∗ , Z ^∗ ).

(40)

Preuve

Ingrédients :

(41)

Preuve

Ingrédients :

◮ dualité forte

(42)

Preuve

Ingrédients :

◮ dualité forte

◮ Théorème (cf Berg)

Si Q > 0 sur K a := {kx k ≤ a}, Alors ∃ℓ ⁰ ∈ N, ∃Q i , T j ∈ R[X ],

max (deg(Q _i )) = ℓ 0 , deg(T _j ) ≤ ℓ 0 − 1,

Q =

r

1

X

i= 1

Q _i ² + θ

r

2

X

j = 1

T _j ² .

(43)

Optimisation avec contraintes

Problème de minimisation avec contraintes (P) min P (x )

contrainte x ∈ K

(44)

Optimisation avec contraintes

Problème de minimisation avec contraintes

(P) min P (x ) contrainte x ∈ K

◮ Entrée :

◮

P ∈ R

m

[x]

◮

K := {g

¹

≥ 0, . . . , g

r

≥ 0} ⊂ R

ⁿ

compact, g

i

∈ R

d_i

[X ]

(45)

Optimisation avec contraintes

Problème de minimisation avec contraintes

(P) min P (x ) contrainte x ∈ K

◮ Entrée :

◮

P ∈ R

m

[x]

◮

K := {g

¹

≥ 0, . . . , g

r

≥ 0} ⊂ R

ⁿ

compact, g

i

∈ R

d_i

[X ]

◮

Hypothèse supplémentaire :

∃u = u

0

+

r

X

k=1

g

k

u

k

u

k

∈ X R[X ]

²

,

{u ≥ 0} est compact

(46)

Optimisation avec contraintes

Problème de minimisation avec contraintes

(P) min P (x ) contrainte x ∈ K

◮ Entrée :

◮

P ∈ R

m

[x]

◮

K := {g

¹

≥ 0, . . . , g

r

≥ 0} ⊂ R

ⁿ

compact, g

i

∈ R

d_i

[X ]

◮

Hypothèse supplémentaire :

∃u = u

0

+

r

X

k=1

g

k

u

k

u

k

∈ X R[X ]

²

, {u ≥ 0} est compact

◮ Sortie :

◮

le minimum p

^∗_K

de P sur K

(47)

...sa reformulation...

Reformulation

(P) min

Z

P (x )d µ(x ) contrainte µ ∈ P (K )

(P (K ) : espace des mesures de probabilité à support ⊂ K )

(48)

...et sa relaxation

◮ Notations

◮

d ˜

i

:= l

d_i 2

m

◮

ℓ ≥ max

m

2

, max d ˜

i

◮

M

_ℓ

−d˜_i

(g

i

y) = P

α

C

iα

y

α

(49)

...et sa relaxation

◮ Notations

◮

d ˜

i

:= l

d_i 2

m

◮

ℓ ≥ max

m

2

, max d ˜

i

◮

M

_ℓ

−d˜_i

(g

i

y) = P

α

C

iα

y

α

◮ Problème primal

(Q ^ℓ _K ) inf X

α

p α y α

contraintes M _ℓ (y ) 0

∀i, M _ℓ− _d _˜

i

(g _i y ) 0

(50)

...et sa relaxation

◮ Notations

◮

d ˜

i

:= l

d_i 2

m

◮

ℓ ≥ max

m

2

, max d ˜

i

◮

M

_ℓ

−d˜_i

(g

i

y) = P

α

C

iα

y

α

◮ Problème primal

(Q ^ℓ _K ) inf X

α

p α y α

contraintes M _ℓ (y ) 0

∀i, M _ℓ− _d _˜

i

(g _i y ) 0

◮ Problème dual

(Q ^ℓ _K ) ^∗ sup −X (1, 1) −

r

X

i = 1

g _i (0)Z _i (1, 1)

contraintes ∀α 6= 0, hX , B _α i +

r

X

i = 1

hZ i , C _iα i = p _α

X , Z i 0

(51)

Le théorème

Théorème 1. inf( Q ^ℓ _K ) ↑

ℓ→∞

p _K ^∗

(52)

Le théorème

Théorème 1. inf( Q ^ℓ _K ) ↑

ℓ→∞

p _K ^∗

2. Si K ^◦ 6= ∅, alors inf( Q ^ℓ _K ) = sup Q ^ℓ _K ∗

= max Q ^ℓ _K ∗

(53)

Le théorème

Théorème 1. inf( Q ^ℓ _K ) ↑

ℓ→∞

p _K ^∗

2. Si K ^◦ 6= ∅, alors inf( Q ^ℓ _K ) = sup Q ^ℓ _K ∗

= max Q ^ℓ _K ∗

3. ∃Q, T _i ∈ P

R[X ] ² , P − p ^∗ _K = Q +

r

P

i= 1

g _i T _i

⇓

∀ℓ >> 1, p _K ^∗ = max Q ^ℓ _K ∗

= min(Q ^ℓ _K )

(54)

Minimisation polynomiale à plusieurs variables:

Minimisation polynomiale à plusieurs variables:

l’approche de la théorie des moments (d’après Lasserre)

Richard Leroy

11 février 2005

Programmation semi-définie positive

Optimisation sans contraintes

Optimisation avec contraintes

Et après ?

Problème primal

◮ Données

n, m ≥ 1

b ∈ R

A

∈ S

(R), i = 1, . . . , m et C ∈ S

(R)

Problème primal

◮ Données

n, m ≥ 1

b ∈ R

A

∈ S

(R), i = 1, . . . , m et C ∈ S

(R)

◮ Problème primal

(P) minimiser t by

sous les contrainte C −

m

X

i= 1

y i A i ∈ S n + (R)

Problème primal

◮ Données

n, m ≥ 1

b ∈ R

A

∈ S

(R), i = 1, . . . , m et C ∈ S

(R)

◮ Problème primal

(P) minimiser t by

sous les contrainte C −

m

X

i= 1

y i A i ∈ S n + (R)

◮ Solutions

F P : solutions primales p ∗ := inf t

by/ y ∈ F P : valeur primale optimale

Solution primale optimale y ∗ : y ∗ ∈ F P et t by ∗ = p ∗

Problème dual

◮ Données

n, m ≥ 1

b ∈ R

A

∈ S

(R), i = 1, . . . , m et C ∈ S

(R)

Problème dual

◮ Données

n, m ≥ 1

b ∈ R

A

∈ S

(R), i = 1, . . . , m et C ∈ S

(R)

◮ Problème dual

(D) maximiser hC , Xi

sous les contraintes ∀i, hA i , X i = b i

X ∈ S n + (R)

Problème dual

◮ Données

n, m ≥ 1

b ∈ R

A

∈ S

(R), i = 1, . . . , m et C ∈ S

(R)

◮ Problème dual

(P) minimiser ^t by

y i A i ∈ S _n ⁺ (R)

(P) minimiser ^t by

y i A i ∈ S _n ⁺ (R)

F P : solutions primales p ^∗ := inf _t

Solution primale optimale y ^∗ : y ^∗ ∈ F P et ^t by ^∗ = p ^∗

sous les contraintes ∀i, hA i , X i = b _i

X ∈ S _n ⁺ (R)

sous les contraintes ∀i, hA i , X i = b _i X ∈ S _n ⁺ (R)

d ^∗ := sup {hC , X i / X ∈ F D } : valeur duale optimale

Solution duale optimale X ^∗ : X ^∗ ∈ F D et hC , X ^∗ i = d ^∗

d ^∗ ≤ p ^∗

◮ Proposition (Dualité faible) d ^∗ ≤ p ^∗

∃y, C − P ^m

y _i A _i ∈ S _n ⁺⁺ (R) F D 6= ∅

⇒ p ^∗ = d ^∗ .

De plus, d ^∗ est alors atteint.

Soit R _m [x ] := R _m [x 1 , . . . , x n ], de base B :

d(m) := dim R _m [x ] =

Soit R _m [x ] := R _m [x 1 , . . . , x n ], de base B :

d(m) := dim R _m [x ] =

(P) min P (x ) contrainte x ∈ R ⁿ