Analyse convexe

Cours Apprentissage - ENS Math/Info Analyse Convexe

Francis Bach 8 Octobre 2015

Ce cours s’appuie sur le livre “Convex Optimization” de Stephen Boyd et Lieven Vandenberghe (disponible gratuitement :http://www.stanford.edu/~boyd/cvxbook/).

La convexit´e intervient dans de nombreuses branches des math´ematiques et de l’informatique. Deux aspects seront vus dans le cours d’apprentissage : l’analyse convexe (propri´et´es des fonctions et probl`emes d’optimisation convexes) et l’optimisation convexe (algorithmes de r´esolution).

Dans le cadre de l’apprentissage statistique, la convexit´e permet d’obtenir des probl`emes d’optimi- sationbien pos´es, pour lesquels il est possible d’obtenir des solutions par des algorithmes efficaces.

Exemple classique en apprentissage : minimisation du risque empirique r´egularis´e minf∈F

1 n

n

X

i=1

`(yi, f(xi)) +λΩ(f), avec

— (xi, yi)∈ X × Y,i= 1, . . . , ndonn´ees d’apprentissage

— F : ensemble convexe de pr´edicteurs f :X →R

— u7→`(y, u) perte convexe pour touty ∈ Y

— Ω p´enalit´e convexe.

La convexit´e servira typiquement `a (a) analyser la solution et ses propri´et´es statistiques de g´en´eralisation et (b) d´eterminer des algorithmes d’estimation.

1 Ensembles convexes

On ne consid`ere dans ce cours que la convexit´e dans un espace Euclidien de dimension finie (le plus g´en´eralementRⁿ).

— D´efinition:K⊂Rⁿest convexe si et seulement si, pour toutx, y∈K, le segment [x, y] est inclus dansK, i.e.,∀α∈[0,1], αx+ (1−α)y ∈K. Attention au domaine (qui doit ˆetre un ensemble convexe).

— Exemples classiques : hyperplana^>x=b (a∈Rⁿ, a6= 0, b ∈R), demi-espacea^>x>b, sous-espace affine Ax = b, boules {kxk 6 1} ⊂ Rⁿ, cone {kxk 6 t} ⊂ Rⁿ⁺¹. Poly´edres (intersections de demi-espaces) et polytopes (poli`edres compacts).

— Propri´et´es: l’intersection d’une famille (non n´ecessairement d´enombrables) de convexes est convexe ; la convexit´e est pr´eserv´ee par les applications affines (image et image inverse).

— Enveloppe convexe : Etant donn´e un ensemble A, l’enveloppe convexe est le plus petit ensemble convexe contenantA. Elle est ´egale `a l’intersection de tous les convexes contenant A. Elle est ´egale `a l’ensemble des barycentres `a coefficients positifs ou nuls de familles finies de points deA(i.e.,Pp

i=1α_ix_i, pour x_i∈A,α_i >0 etPp

i=1α_i= 1).

— S´eparation des convexes: SiC etD sont deux ensemble convexes disjoints (C∩D=∅), il existe un hyperplan s´eparant C et D, i.e., ∃a 6= 0 et b ∈ R tels que C ⊂ {a^>x > b} et D⊂ {a^>x6b}(forme g´eom´etrique du th´eor`eme de Hahn-Banach). SiCetDsont compacts, alors il existe une s´eparation stricte, i.e.,C⊂ {a^>x > b}et D⊂ {a^>x < b}.

Exercice : Montrer le th´eor`eme de s´eparation stricte quand C et D sont compacts (indication : on utilisera la paire (x, y) minimisantkx−yk²pour (x, y)∈C×D et la m´ediatrice des pointsxety).

2 Fonctions convexes

— D´efinition: Une fonctionf d´efinie surD⊂Rⁿest convexe ssi (a)Dest convexe et (b) pour toutx, y∈D, etα∈[0,1], alorsf(αx+ (1−α)y)6αf(x) + (1−α)f(y).

— Convexit´e stricte: mˆeme d´efinition sauf : siα∈(0,1),f(αx+(1−α)y)< αf(x)+(1−α)f(y)

— Convexit´e forte: mˆeme d´efinition sauf :f(αx+ (1−α)y)6αf(x) + (1−α)f(y)−^µ₂α(1− α)kx−yk². NB :f estµ-fortement convexe ssix7→f(x)−^µ₂x^>xest convexe.

— Exemples classiques en une dimension:x,x²,−logx,e^x, log(1 +e^−x),|x|^ppourp>1,

−x^p pourp <1 etx>0.

— Exemples classiques en dimension sup´erieure : fonctions lin´eairesa^>x, fonctions qua- dratiques ¹₂x^>Qx pour Qsymm´etrique semid´efinie positive (rappel de la d´efinition : toutes les valeurs propres positives ou nulles, ou ∀x ∈Rⁿ, x^>Qx > 0), normes, max{x₁, . . . , x_n}, log(P

ie^xi).

— Caract´erisation pour f d´erivable:∀x, y∈D, f(x)>f(y) +f⁰(y)^>(x−y).

— Caract´erisation pour f deux fois d´erivable:∀x∈D, f⁰⁰(x) semid´efinie positive.

— Op´erations pr´eservant la convexit´e : supremum d’une famille de fonctions convexes sup_i∈Ifi(x), combinaison lin´eaires positives, minimisation partielle inf_x∈Cf(x, y) (si f est convexe surC×D).

— Comment v´erifier qu’une fonction est convexe ou non-convexe ? :Le plus souvent, aucun calcul n’est n´ecessaire. Une fonction est convexe ssi elle est convexe sur tout segment inclus dans son domaine.

— Propri´et´es: (a) f est continue sur l’int´erieur deD, (b)f est convexe ssi l’´epigraphe def est convexe, i.e.,{(x, t)∈Rⁿ⁺¹, f(x)6t} est convexe.

— In´egalit´e de Jensen:f(Pn

i=1α_ix_i)6Pn

i=1α_if(x_i) etf(EX)6Ef(X). Attention au sens de l’in´egalit´e.

— Fonctions convexes ´etendues(`a valeurs dansR∪ {+∞}) : ˜f :R<sup>n</sup>7→R∪ {+∞}finie sur son domaine, infinie sur son compl´ement. Permet de g´erer simplement les fonctions `a domaine D6=Rⁿ.

3 Probl` emes d’optimisation non-contraints

Attention `a la diff´erence entre “min”, “inf” et la d´efinition d’un probl`eme d’optimisation.

On supposef convexe et finie surRⁿ. Alors, les trois cas exclusifs suivants sont possibles :

— inf_x∈Rnf(x) =−∞: pas de minimum (exemplef lin´eaire)

— inf_x∈Rnf(x)>−∞non atteint (exemple log(1 +e^−x))

— inf_x∈Rnf(x)>−∞atteint, et alors ´egale `a min_x∈Rnf(x) (exemple le plus classique) :f est ditecoercive(lim_kxk→+∞f(x) = +∞)

Minimas locaux vs. minimas globaux:xest minimum local ssi il existe un voisinage (ouvert) V dextel quexest le minimum def surV. Lorsquef est convexe, tout minimum local est global.

Stricte convexit´e et minimum unique : si f est strictement convexe, alors il y a au plus un minimum.

Condition n´ecessaire et suffisante d’optimalit´e (cas d´erivable): Sif est convexe et d´erivable, xest un minimum def surRⁿ si et seulement sif⁰(x) = 0. Attention `a la diff´erence entre minimum local et point stationnaire.

4 Probl` emes d’optimisation contraints

On supposef convexe et finie surD⊂Rⁿ. On cherche `a minimiserf sur un convexeC⊂D.

L’ensemble de contraintesCpeut ˆetre sp´ecifi´e par une intersection d’ensemblesh_i(x) = 0 etg_j(x)60 (voir section suivante).

Minimisation d’une fonction lin´eaire sur une enveloppe convexe : SoitA un compact de Rⁿ eta∈Rⁿ, a6= 0. Alors

min

x∈Aa^>x= min

x∈Enveloppe convexe(A)

a^>x

Exemple classique du probl`eme d’affectation : on a p employ´es et ptˆaches, et `a chaque paire em- ploy´e/tˆache (i, j), on a un coˆutcij, le but est de trouver une permutationσ:{1, . . . , p} 7→ {1, . . . , p}

telle quePp

i=1c_iσ(i)est minimum. On aPp

i=1c_iσ(i)=hc, Mσio`uMσ est la matrice de permutation associ´ee. L’enveloppe convexe des matrices de permutations est l’ensemble des matrices double- ment stochastiques (th´eor`eme de Birkhoff), qui correspond `a un probl`eme d’optimisation comvexe contraint.

5 Dualit´ e Lagrangienne

On s’int´eresse au probl`eme d’optimisation suivant (dit probl`emeprimal) :

minx∈Df(x) tel que ∀i∈ {1, . . . , m}, hi(x) = 0 et∀j ∈ {1, . . . , r}, gj(x)60.

On noteD^∗ l’ensemble desx∈D v´erifiant les contraintes.

On utilisera l’exemple canonique de la projection orthogonale d’un pointzsur le demi-espace{a^>x6 b} ou l’hyper-espace{a^>x=b}.

— D´efinition du Lagrangien: on appelle Lagrangien la fonctionL:R^m×R^r+ d´efinie par L(x, λ, µ) =f(x) +λ^>h(x) +µ^>g(x).

λetµsont appel´es multiplicateurs de Lagrange (ou variables duales).

— Probl`eme primal comme supremum du Lagrangien par rapport aux variables duales: pour toutx∈D,

sup

(λ,µ)∈R^m×R^r₊

L(x, λ, µ) =

f(x) six∈D^∗ +∞sinon (Preuve utilisant le minimum d’une fonction lin´eaire surRouR+) Le probl`eme primal est donc ´equivalent `a

p^∗= inf

x∈D sup

(λ,µ)∈R^m×R^r+

L(x, λ, µ).

— Fonction duale:q:R^m×R^r+→Rd´efinie parq(λ, µ) = inf_x∈DL(x, λ, µ). Le probl`eme dual est la minimisation deq surR<sup>m</sup>×R<sup>r</sup>+, ´equivalent `a

d^∗= sup

(λ,µ)∈R^m×R^r₊

x∈Dinf L(x, λ, µ).

— Concavit´e du probl`eme dual: sans aucune hypoth`eses surD,f, g, h, la fonction dualeq est concave.

— Dualit´e faible : sans aucune hypoth`eses sur D, f, g, h, pour tout (λ, µ) ∈ R^m×R^r+, et x∈ D^∗,

inf

x⁰∈DL(x⁰, λ, µ)6L(x, λ, µ)6 sup

(λ⁰,µ⁰)∈R^m×R^r+

L(x, λ⁰, µ⁰) ce qui impliqueq(λ, µ)6f(x). Ceci impliqued^∗6p^∗.

NB : on peut toujours inverser sup et inf : “sup inf6inf sup”

— Probl`emes non faisables(D^∗=∅⇔d^∗= inf),non-born´es(p^∗=−∞)

Interpr´etation g´eometrique : probl`eme `a une contrainte d’in´egalit´e (intuition pour l’hypoth`ese de convexit´e) Pour le probl`eme min_x∈Df(x) tel que g(x)60, on consid`ere l’ensemble A ={(u, t)∈ R², ∃x∈D, f(x)6t, g(x)6u}.

— Conditions de Slater : si f et D sont convexes, h_i affines et g_j convexes et il existe un point strictement faisable (∃¯x∈D^∗ tel que∀j,gj(¯x)<0), alorsd^∗=p^∗ (dualit´e forte).

— Conditions de Karush-K¨uhn-Tucker (KKT) : Si il y a dualit´e forte, alors x^∗ est une variable primale optimale et (λ^∗, µ^∗) une paire duale optimale si et seulement si

— stationarit´e primale : x^∗ minimisex7→ L(x, λ^∗, µ^∗).

— faisabilit´e :x^∗ et (λ^∗, µ^∗) sont faisables

— conditions de compl´ementarit´e :∀j, µ^∗_jgj(x^∗) = 0

— Preuve pour les conditions de KKT : soitx^∗∈Dfaisable(i.e.,x∈D^∗) et (λ^∗, µ^∗)∈R^m×R^r+. Alors

q(λ^∗, µ^∗) = inf

x∈Df(x) + (λ^∗)^>h(x) + (µ^∗)^>g(x) 6 f(x^∗) + (λ^∗)^>h(x^∗) + (µ^∗)^>g(x^∗) 6 f(x^∗).

La paire (x^∗, λ^∗, µ^∗) est alors optimale si et seulement si il y a ´egalit´e dans les deux in´egalit´es pr´ec´edentes, ce qui aboutit aux conditions de KKT.

— Remarques : (a) le dual du dual est le primal, (b) plusieurs probl`emes duaux, dualit´e forte pas toujours vraie.

— Exemple (Programmation lin´eaire): minAx=b,x>0c^>x= max_A^>_y6cb^>y

— Exemple (Probl`eme quadratique avec contrainte d’´egalit´e): min_a>x=b1

2x^>Qx−q^>x

— Exemple (Relaxation Lagrangienne de probl`eme combinatoire - Max Cut): min_x∈{−1,1}nx^>W x

— Exemple (Dualit´e forte pour probl`eme non convexe): min_x>x611

2x^>Qx−q^>x