solution

TP4 : OPTIMISATION CONVEXE

COURS D’APPRENTISSAGE, ECOLE NORMALE SUP ´ERIEURE

Rapha¨el Berthier raphael.berthier@inria.fr

1. Choix des pas dans la descente de gradient pour la minimisation de quadratiques 1) De ∇f(x^∗) = 0 il d´ecoule que Hx^∗ =b. Par cons´equent,

x_t+1−x^∗ =x_t−γ(Hx_t−b)−x^∗=x_t−x^∗−γH(x_t−x^∗) = (I_d−γH)(x_t−x^∗).

2) La matrice H´etant la hessienne def, on cherche donc µetLtels queµI_d4H 4LI_d.L=λ₁ et µ=λn sont les constantes optimales.

3)

hx_t+1−x^∗, uii=h(I_d−γH)(xt−x^∗), uii

=hx_t−x^∗,(I_d−γH)u_ii carH est sym´etrique

=hx_t−x^∗,(1−γλ_i)u_ii

= (1−γλi)hx_t−x^∗, uii, et le r´esultat suit par r´ecurrence.

4) On a donc kx_t−x^∗k²₂ =Pd

i=1(1−γλi)^2thx₀−x^∗, uii². Pour minimiser la vitesse de convergence, il faut minimiser enγ la quantit´e

i=1,...,dmax |1−γλ_i|= max(1−γµ, γL−1).

Ceci est minimal enγ = 2/(L+µ). La vitesse de convergence associ´ee est

kx_t−x^∗k₂ ≤

L−µ L+µ

t

kx₀−x^∗k₂.

5) Si on noteat=hx_t−x^∗, uii, alorsat+1 = (1−γλ_i)at+β(at−a_t−1). On applique ensuite la m´ethode classique de r´esolution des ´equations lin´eaires d’ordre 2. Apr`es quelques calculs, le discriminant du polynˆome caract´eristique vaut δ = 16λi(λi −L−µ)/(√

L+√

µ)⁴, qui est n´egatif. Le polynˆome caract´eristique a deux racines complexes conjugu´ees z₊, z−. La vitesse de d´ecroissance de a_t est donn´ee parat=O(m^t), o`u m=|z₊|=|z₋|. Le calcul donne m= (√

L−√ µ)/(√

L+√ µ).