Optimisation convexe

Cours Apprentissage - ENS Math/Info Optimisation Convexe

Francis Bach 24 octobre 2014

Ce cours s’appuie sur le livre “Convex Optimization” de Stephen Boyd et Lieven Vandenberghe (disponible gratuitement : http://www.stanford.edu/~boyd/cvxbook/) et les livres “Non-linear programming” de Dimitri Bertsekas (Athena Scientific), et “Introductory lectures on convex opti- mization : A basic course” de Yurii Nesterov (Kluwer Academic Publishers).

1 Boˆıte ` a outil g´ en´ erique

– Utile pour la programmation lin´eaire, i.e., minAx=b,x>0c^>x= max_A^>_y6cb^>y

– Optimisation `a moyenne ´echelle (pas plus de dizaines de milliers de contraintes et/ou variables) – Voirhttp://cvxr.com/cvx/

2 M´ ethode de l’ellipsoide

– Minimisation d’une fonction convexe d´erivable surRⁿ(extensions possibles aux cas non-diff´erentiables et contraints).

– Complexit´e th´eorique polynˆomiale (r´esultat tr`es g´en´eral), peu utilis´e en pratique.

– Algorithme:

– Initialisation : ellipsoide{(x−x0)^>P₀⁻¹(x−x0)61}qui contientx∗ (avec typiquement P0= R²I)

– Pourt>0, contruire l’ellipsoide de volume minimum qui contient {(x−x_t)^>P_t⁻¹(x−x_t)61}

et le demi-plan{f⁰(x_t)^>(x−x_t)60}.

– Ceci correspond `axt+1=xt−_n+1¹ PtgtetPt+1=_nⁿ2−1² (Pt−_n+1² Ptgtg_t^>Pt) avecgt= √ ¹

f⁰(xt)^>Ptf⁰(xt)f⁰(xt).

Voirhttp://www-math.mit.edu/~goemans/18433S09/ellipsoid.pdf et http://sma.epfl.ch/~eisenbra/OptInFinance/Slides/ellipsoid.pdf – Propri´et´e: le volume deP_t+1est plus petit quee^−1/2n fois le volume deP_t.

– Cons´equence: sif estB-Lipschitz, alors la pr´ecisionεest atteinte apr`es au plus 2n²log(RG/ε).

Voirhttp://www.stanford.edu/class/ee392o/elp.pdf.

1

3 Descente de gradient

– Minimisation d’une fonction convexe d´erivable sur Rⁿ – Algorithme:

– Initialisation :x₀∈Rⁿ,

– Pourt>0,x_t+1=x_t−γ_tf⁰(x_t).

– Valeurs de pasγ_t:

– Pas constant :γ_t= 1/Lo`uLest une borne sup´erieure uniforme de la plus grande valeur propre de la Hessienne def

– “Line search” : optimisation totale ou partielle par rapport `a γ. Voir par exemple http://

www-personal.umich.edu/~mepelman/teaching/IOE511/Handouts/511notes07-5.pdf pour la r`egle dite d’Armijo.

– Analyse th´eorique

– Hypoth`eses pour r´esultat th´eorique simple :f deux fois d´erivableconvexe,LI<f⁰⁰(x)<µI – xt+1−x∗=xt−x∗−γtf⁰⁰(yt)(xt−x∗) for someyt∈[xt, x∗]

– Pourγt= 1/L, on peut montrer quekxt+1−x∗k²6(1−_L^µ)kxt−x∗k²6(1−^µ_L)^2(t+1)kx0−x∗k² – La convergence est alors dite lin´eaire

– Cadre convexe : convergence vers un minimum global – Cadre non convexe : convergence vers un point stationnaire – Crit`ere d’arrˆet : gradient de norme inf´erieure `a ε

4 M´ ethode de Newton

– Minimisation d’une fonction convexe deux fois d´erivable sur Rⁿ – Principe: minimiser l’approximation quadratique autour de xt

– Algorithme:

– Initialisation :x₀∈Rⁿ,

– Pourt>0,x_t+1=x_t−f⁰⁰(x_t)⁻¹f⁰(x_t).

– Convergence quadratrique(cas convexe) :kx_t+1−x_∗k²6C(kx_t+1−x_∗k²)²

2