HAL Id: hal-00133050
https://hal.archives-ouvertes.fr/hal-00133050
Submitted on 23 Feb 2007
HAL
is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire
HAL, estdestinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.
A Predual Proximal Point Algorithm solving a Non Negative Basis Pursuit Denoising model
François Malgouyres, Tieyong Zeng
To cite this version:
François Malgouyres, Tieyong Zeng. A Predual Proximal Point Algorithm solving a Non Negative
Basis Pursuit Denoising model. International Journal of Computer Vision, Springer Verlag, 2009, 83
(3), pp.294-311. �hal-00133050�
465879;:=<?>?@BA-CDFE
∗9;G*HJI25LKMDFGB<
∗
4DFNM5LO;PBQ8O;R;RTS
U$VXWY?Z[V
\*]F^`_-acbaedgfBhjiklmb^`kF_bMkFdgnobprqifs^tls]Fuv_wixp`yz^`kFq{bybfs^rbkl-i|els]}dL~*b_w^`_*}fs_w}^tlu$izXdjp\*]}dyxbfs^ bklBb^`u$_
blB_w^ru$a}p`^`| X^rk}q3ls]FdLacbfmbu$dlsdf-lsFk}^rk}q}z\*]}dbprqifs^tls]Fu,^`_Bd.b_$lsi^`u$a}prdu$djklBbkc$a}fsiyd8^tl*hixkzydfsqdj_Blsi3ls]Fd
bhlsFbp_wixp`}ls^`iki|?ls]}d3u$iz}djpFXiu$ddXaedfs^`u$djkls_*ixk6^ru!bqxd{baFa}fsi.X^`u!bls^`ixk_w]Fi.nls]cbl^tlLixXlsaedfw|ifsu$_
|bfLls]}d3dX^`_ls^rk}q$bp`qifs^tls]Fu$_j
2Xm zg X¡£¢¥¤¦x{¤F§¥¨e©}§zª¦x§¥¨c¤}«X¬®X¯¨F¤F«X¬°¦x§e¨e©F§z±$¯}§
±²³c´}µ¶¢·}mM¸8¹¥µjm¹¥ ¨z ºXXµ g»¥¼¨¥g½zµjm²)µ²½¥µ²g²¡Fzg X¡
¾ ¿?À°ÁÂBÃÄÆÅ[ÇLÁÈðÀ
ÉÊmÉ ËÍÌÎ?ÏLÐmÐmÌ-Î;Ñ¥ÒsÏLÓÔÏÓÖÕo×*ØcÒgØÚÙ£ÛÜØcÛÒwÑ
Ý »¥²[¹m²ÆzÞ{»¥²·M}m¸8¹¥µjm¹¥ ¡¥Xµ¼àߤXá3 ¡â ¼zº}²ãzm ºX¡XL½¥µe²xgg ¡º¡´äÞåX µ ³Ú¶e²æX² }½²x¶Ú² ¶çzÞ
µg²xm²xzµjj»è Ý ¼²¡Fg X¡£Þé²´'}¡}µg ꥹe }¡)r!$}¼¼6}¡¥ ³¹g²¶ÞéXµ!}¼½¥µg²xgg X¡¨?m}¹¥µj²m²½zµj }¡çß ¦ëáLX¡¶
Þé²¹¥µ²ìm² ²x. }¡ ¡ç }ggr; }¡âßáèz¡c³»¥²}µg²gX8µg²xm¹r!»æ}²1zm2ê;²²¡²mXê¥ g»¥²¶og¹¥½¥½;Xµgg ¡¥º2»¥
¼6e¶e²=èc2FsMzÞ?g»¥²¼Ôz ¼'z¹¥¡¶e²µjsjz¡¶¥ ¡¥º!g»¥²®²íF¹¥ æX ²¡²ê²s´²²¡g»²®}¼¼6}¡ì·Xg 8¸8¹¥µjm¹¥ ¼e¶e²Bî=m²²
ê² ´ïz¡¶ìg»²)g²Xµj»Þé}µMg»¥²$g½zµjm²xsM¶e²X¼½Fm g X¡îåg²²}¨cX¼X¡¥º6z»¥²µj¨;ßð¥¨e«áéï.èñg»²µ3z¹e»¥XµjMm»¥´Jg»z
g»¥²!·Xg¸8¹¥µjm¹¥ {¼e¶e²T{z¡Æ²ò1 ²¡}{´³gg ¼½¥ Þé³[}¼½¥ ²ó[¶¥z¶esµg ꥹe }¡î=m²²ß ¦xe¨¦xôáïè
õ¡Æ ¼}m{µg²x²¡FÞéXµ¼öß«¥¨-¦á¨¥»¥²!·Xg ¸8¹µg¹¥ {Þé¹¥¡g X¡X ¶e²¡²¶êc³[6¡r²°m¹êm²{zÞ
RN îåz ²x¶
¶e g X¡Xµg³¥ï
(ψi)i∈I
z¡¶ìjz÷}²g»¥²Þé}µg¼
E(v) = inf(λi)i∈I
P
i∈Iλi
¹¥¡¶e²µg»¥²!X¡mgµjz ¡F
λi≥0,∀i∈I,
z¡¶
P
i∈Iλiψi=v,
ÞéXµ{z
v∈RNè
Ý
»¥²mgµ²¡¥ºXg»zÞT»¥8Þé¹¥¡.g X¡zLg»zLrjL ²æ}²;m²LXµg²®gz ²¶æX²µg X¡*XÞTg»¥²)X¡cæ}²ó»c¹¥ XÞ
(ψi)i∈I
î=m²²
ßtëe¨¦xáïè
õ
M 8g»¥²µg²ÞéXµ²{½;}m ê¥ ²3gꥹ¥ ¶1$Þé¹¥¡. }¡z
E
»ÞåæXXµ8g»¥²)z½¥½Xµg g X¡XÞ-m½;²r®sµg¹.g¹µg²xøXX¡¶
´²{»æX²{$}¼½¥ ²g²X¡FgµXX¡6g»¥²xm²®sµg¹g¹¥µ²è
Ý
» 8Þé¹¥¡. }¡z;X¡»¥²¡ìê²{¹m²x¶ ¡}½eg ¼ ùxg X¡½µg}ê¥ ²¼
¶e²g º}¡¥²¶ìÞéXµ{g½;² $X½¥½¥ g X¡è
Ý
»¥²$X¼¼X¡Æ¼e¶e²¡z¼²¶·Xg M¸8¹µg¹¥ 3z÷}²M»¥²ÞéXµ¼
(λψ)minψ∈D∈RDkX
ψ∈D
λψψ−vk2+λX
ψ∈D
|λψ|, îs¦ï
ÞéXµ°2¶e. }¡zµ³
D¨ λ > 0¨-2¶¥¹¥¼
v ∈ RN z¡¶£»¥²ìmz¡¶¥zµj¶
l2 ¡¥Xµ¼ö}¡
RN¨ k.kè õ X¡oê²1µ²´3µ mg²¡
¹¥¡¶e²µ3g»¥²Þé}µg¼
min
w∈RNkw−vk2+λE(w), îúôXï
´3»¥²¡
E 3¶¥²¡¥²x¶Æ´3r»[»¥²!¶e. }¡zµ³
D ∪ {−ψ, ψ∈ D}è
∗ûcüýBüþûcÿ ! #"%$&(')*%+-,./0# !1!243,,5"!#687-ü:9+);<.=,>!?!"@A:.=*BDC"0&
E
CFGIH>0A:.=*BDC"0&
E
JCFK
E
m}¼6²° ¼½;Xµgz¡²$ ¡m}¼6²z½¥½¥ æ}²!}¡}²ócè-îÝ »¥ ¡÷Xê}¹e®1gX¹µ²g²½zµjg X¡½¥µXê ²¼ ¡Fæ}X æc ¡¥º²ócè
Ý »¥²$ ²m²µj3zµ²X ´³eLê }j÷1X¡6´3»¥r²$êXj÷cº}µg}¹¥¡¶Tètï
{¡¥Xg»¥²µgg¹¥²®´3»¥ j»ì´²®´MX¡}²¶6° ¼6½µgæ}²{ ¡îs¦ï8}¡²µg¡g»²)j»¥} ²{zÞT»¥²)½zµjz¼²²µ
λè¥}µL½¥µjXgX
z½¥½¥ }¡¨er{3z ´M³eM½¥µ²Þé²µXê¥ ²®g1gX æX²®g»²$¼6e¶e²¹¥¡¶¥²µg»²ÞéXµ¼
min(λψ)ψ∈D∈RDP
ψ∈D|λψ|,
¹¡¶e²µ{g»¥²!X¡mgµjz ¡F
kP
ψ∈Dλψψ−vk2≤τ,
ÞéXµ1½zµjz¼²g²µ
τ > 0è õ¡¶¥²²¶¨ τ z¡ÍºX²¡²µjz ³Úê;²g¹¥¡²¶z¹eX¼ z ³}¨XXµj¶e ¡¥ºÚm}¼6²½¥µ²µ ê²x¶
½¥µg²xm X¡ÆXµ3÷c¡¥´3¡[¡¥Xm² ²æ}²úè
{ Tg»¥²xm²$X¡g ¶¥²µjg X¡ ²¶Æ¹M1}¡m¶e²µ·Xg¸8¹¥µjm¹¥ {¼e¶e²´3µ mg²¡[¹¡¶e²µ{g»¥²Þé}µg¼
(D)
inf(λi)i∈I
P
i∈Iλi
¹¥¡¶e²µg»¥²!X¡mgµjz ¡F
λi≥0,∀i∈I,
z¡¶
kv−P
i∈Iλiψik ≤τ,
ÞéXµ{¶e.g X¡zµ³
D= (ψi)i∈I
¨
τ >0z¡¶Æz¡ ¡¥ gz¶¥zg¹¥¼
v∈RNè
Ý »¥²½¥¹¥µ½Fm²zÞBg»²$½z½;²µ3Mg1¶e²xm ºX¡z¡Æ²ò1 ²¡}X º}Xµr»¥¼'ÞéXµ{gX æc ¡º
(D)è
Ý »¥µg}¹¥ºX»X¹eMg»¥²$½z½;²µx¨e´²´3 -}gg¹¥¼²)g»z3g»¥²!¶¥ g X¡Xµg³{g¹j»ì»
∀w∈RN,∃(λi)i∈I,∀i∈I, λi≥0z¡¶ w=X
i∈I
λiψi
Xµ3²íF¹¥ æz ²¡Fg ³î»¥²$²íF¹¥ æz ²¡² ¡¥Xgµ æczz¡¶ìµ² ²x¨FÞé}µ3 ¡mX¡²}¨eX¡[g»¥²æzµz¡F3zÞ-»¥²Xµg÷X-²¼¼
ºX æX²¡Æ ¡ß ¦©áú¨
Ý
»-èôXôe襨e½½è ¦x«X«Fï»
{w,∀i∈I,hw, ψii ≤1}ê;X¹¥¡¶¥²¶Tè »¥²¡Æg» 3»c³c½;zg»²g »¥} ¶¨
E {6¡¥Xµ¼è
ÉÊ 8ÌTÑ¥Î/ÏÑ{Ì×$ÌÜ
õ¡g²g X¡Úôe¨?´²ê¥¹ ¶£s´z ºX}µg g»¥¼è Ý » $¶eX¡²6êc³gX æc ¡ºÆ[½¥µXê¥ ²¼
(P)´3»}g²¶¥¹z½¥µXê ²¼Ö
(D)è Ý »¥²½¥µXê¥ ²¼
(P) $mzê ù²¶g ¼½¥µæX²}¡cæX²µºX²¡²m½;²²x¶âî=m²²e². }¡oô¥è ¦z¡¶ô¥èô}ï.è
Ý
»¥²¡¨m}¼²
z¹ zg X¡½;²µ¼rjgº} æ}²)X¡z ³Fgz?Þé}µg¼¹¥XMÞéXµ{gX¼²zÞBg»²$¡¥²²gXµg³1X¼½¥¹ejg X¡3zÞg»¥²°X º}Xµr»¥¼
îåg²²®c²x. }¡ìôeè}ï.è
Ý
»¥²³zg$ºX¹XµX¡}²² LX¡cæX²µgº}²¡²$îåg²²®c²x. }¡ìôeè¤Fï.è
Ý
´M!æX²µg X¡*XÞ;»¥²X º}Xµr»¥¼8zµ²
½¥µg}½Fm²x¶ì ¡c²g X¡2ôeèt§6z¡¶ôeè©¥è
Ý
»¥²³ìzµ²²}m³ ¼½¥ ²¼²¡Fxè
Ý
»¥²¡¨¥gX¼²)²óe½;²µ ¼²¡FjMXµg²)²óe½¥z ¡¥²x¶[X¡¶ìX¼¼²¡Fg²x¶ì ¡e². }¡Æè
Ý
»¥²²óe½²µg ¼²¡FXµg²¶e²µ ê²x¶ì ¡
c²g X¡¥è ¦X¨cg»²)½µ}.gXTX¡cæ}²µºX²¡²XÞ-»¥²$½¥µX½;}g²¶ìX º}Xµr»¥¼L{mg¹¶¥ ²x¶ì ¡c²g X¡¥ètôe¨e6ê¥ ê Xº}µX½¥»c³
X¡²óe mg ¡¥º[X º}Xµr»¥¼)¼X¶e²6 ¡oc²g X¡¥èìz¡¶´M²6X¼½zµ²!}¹¥µ)X º}Xµr»¥¼{컥²6¼X ¡£²óes ¡¥ºz ºX
µg g»¥¼è
Ý
»¥X¼½Xµgm}¡1m»´{8X¹µz ºX}µg g»¼®îé ¡ì½Xµm ¹¥zµL}¡¥²XÞTg»¥²¼1ï8}¹eg½;²µgÞéXµ¼¨Fêc³ÞåXµ¨}g»²®²ócmg ¡¥º
z ºXXµ g»¥¼è
Å[ÈÄ[ÈÀ!Ã$Â*ÈjÁ! #"
ÊmÉ $JÛ{×Ð%jÏ8Ü'&%Û®Ðs×BÑ¥ÒsÏLÓ
²}¡m¶e²µL»¥²®}½eg ¼ ùx }¡ì½¥µXê¥ ²¼'ê;² ´vz¡¶1´3 Tg»¥´g»z»¥²$}µgµ²g½}¡¶e ¡¥º°¶e¹z?½¥µXê¥ ²¼ X÷X²x
g»¥²®ÞéXµ¼
(D)Xêæ}²XèF ¡ìg»¥²®½¥µg²x²x¶e ¡ºg². }¡
v ∈RN
Lg»¥²) ¡¥r X;¶g¹¼Æ¨
D= (ψi)i∈I
$¡¥ g²m¹¥êm²
zÞ
RN
îåX ²¶¶e. }¡zµ³¥ïMz¡¶
τ >0è
(P)
minw∈RNkwk − 1τhw, vi
¹¥¡¶e²µ»¥²!}¡sµX ¡Fj
∀i∈I,hw, ψii ≤1.
Ý
»¥²-zº}µX¡¥ºXz¡ìzÞBg»¥²$½¥µXê ²¼
(P)
L(w,(λi)i∈I) =kwk − 1
τhw, vi+X
i∈I
λi(hw, ψii −1).
¹g¹z{î=m²² Ý »-è-ôzð¥è¥¨?½¥½Úôzð¦X¨? ¡âß ¦©áéï.¨?»¥²¹¥¡¥íF¹¥²m} ¹e }¡
w∗ g (P) $X g[g»¥²6µjs$zµºX¹¼6²¡F)XÞMz¡c³
g}¶¥¶e ²)½;X ¡F
(w∗,(λ∗i)i∈I)zÞBg»²ÞéXµ¼
wmin∈RN max
(λi)i∈I∈R+IL(w,(λi)i∈I),
´3»¥²µ²X¨e´M²´3µg g²}¨
R+I ={(λi)i∈I ∈RI,∀i∈I, λi≥0}.
{ -z X¡¥º6»¥²$½z½;²µx¨e´M²¶¥²¡¥Xg²
S={(λ∗i)i∈I ∈R+I,(λ∗i)i∈I = arg max
(λi)i∈I∈R+IL(w∗,(λi)i∈I)}. îå}ï
²Æ÷c¡¥´'g»z
S 6= ∅ î=m²²}µèôzðèô¥è ¦}¨-½¥½è8ôFë𥨠¡,ß ¦x©áéï!ꥹ¥z¡¥¡¥Xº}¹zµjz¡Fg²²rµ²¶¥¹²x¶og£g ¡ºX ²
² ²¼²¡Fè
¬{z ²2g»¨
L ìçg}¶¥¶e ²Þé¹¥¡g X¡ îå=è²Xè)¢X¡cæ}²óâ ¡
w X¡¶J}¡æ}² ¡
(λi)i∈I
ï´3» j»v m²xg»²
»F³c½;z»¥²g²zÞ Ý »-èccëcè©¥¨F½¥½èeX«cëc¨F ¡£ß ¦x©á8î
L(.,(λi)i∈I)X¡¶ −L(w, .)¶¥°¡¥XM»æ}²®X¡F³¶e µ². }¡1zÞµg²x²g }¡ï.è
c¨eÞé}µ{z¡c³
(λ∗i)i∈I ∈ S¨ (w∗,(λ∗i)i∈I) 3X¶¥¶¥ ²½;X ¡}3XÞ»¥²ÞéXµ¼
wmin∈RN max
(λi)i∈I∈R+IL(w,(λi)i∈I) = max
(λi)i∈I∈R+I min
w∈RNL(w,(λi)i∈I)
= max
(λi)i∈I∈R+I min
w∈RN kwk − hw,1 τv−X
i∈I
λiψii
!
−X
i∈I
λi.
¡X ³X¨¥¡zg²)»x¨¶e²¡zg ¡¥º
F(w) =kwk¨¥´M²)»æX²
wmin∈RN kwk − hw,1 τv−X
i∈I
λiψii
!
=
−∞ ¨e Þ v−P
i∈Iτ λiψi6∈τ ∂F(0) 0 ¨eXg»¥²µg´3g²Xè
îé¤cï
{m¨e´²$÷c¡¥´ »
∂F(0) ={w∈RN,kwk ≤1}. îú§Xï
c´²)¡z ³1÷c¡¥´vg»zz¡c³
(λ∗i)i∈I ∈ S {gX ¹e }¡ì
max(λi)i∈I∈R+I −P
i∈Iλi
¹¡¶e²µ»¥²!}¡mgµjz ¡}
kv−P
i∈Iτ λiψik ≤τ,
´3»¥ j»-¨x¼e¶e¹¥ ®{gµ æczF¼°¹¥ g ½¥ }¡!êc³
τ ½¥µ² g² ³)g»¥²M½¥µXê¥ ²¼
(D)}¡g ¶e²µg²x¶ ¡°g»¥²M½¥µ²²¶e ¡¥ºg²g X¡è
$}¡ ¹g }¡¨?g»¥²½¥µXê ²¼
(D) z¡ê²1gX æX²x¶êc³z¡c³X º}Xµr»¥¼ gX æF ¡¥º
(P) ´3»¥j»ozm½¥µæc ¶e²x®
±¹¥»¥¡
Ý
¹j÷X²µ)æX²x.Xµ
(λ∗i)i∈I
è Ý
»¥²½;X ¡F)g»¨T ¡£ÞåX.x¨T¼}mX º}Xµr»¥¼)gX æc ¡º
(P) X gì½¥µæc ¶¥²6g¹j»£
(λ∗i)i∈I
è
õ
¡$g»¥²ÞéX ´3 ¡¥º¨´M²L´3 F}¡¥ ³X¡g¶e²µB®g¼z XÞåX¼6 ³)XÞg¹j»°z ºX}µg g»¼è}îñ®¹¥µB¼6Xg æg X¡°ÞéXµ*}¡m¶e²µg ¡¥º
g»¥Þåz¼ ³[´3 Tê;²! ²zµ{zÞg²µc²g X¡ôeèX¡¶2ôeè¤Fï
Ý
»¥MÞåz¼ ³[ 3¶e²xgµg ê;²¶Æ ¡Æ»¥²¡¥²ócg². }¡è
Ê Ø}Ñe×)ÒmÐgÒTÌ j×&'ÒgÐäÏ1×Ð 8Ï8ÜÒsÑ &'Ø
²$´3µr²
f((λi)i∈I) = min
w∈RNL(w,(λi)i∈I).
6 ¡¶e ²¶â ¡çg»¥²Æ½¥µ²æc }¹6m²x.g X¡-¨
(D) X¡msj° ¡ç¼zóc ¼ ù ¡º
f
æ}²µ
R+I
è*®gg¹¥¼ ¡¥º»´M²[÷c¡¥´
»¥´J²æz ¹²
∇f X¡c³1 eg X¡
(λi)i∈I
g¹j»ì»
f((λi)i∈I) ¡¥ g²}¨´M²X¹¥¶Æ ¡½¥µ ¡ ½¥ ²X½¥½¥ ³[X¡F³ ºXµjX¶e ²¡F3êXg²¶Æz ºX}µg g»¼'gXj»¥ ²æ}²)g»zº}}X=è¥s³c½¥XT²ó¥z¼½¥ ² M»¥²{ùx´M6z ºX}µg g»¥¼è
¬{´$¨$²xXj» g²µzg X¡¨?»¥²1mg²½og ù²6XÞMg¹j»oz¡oz ºXXµ g»¥¼Ö´3 L»æX²gê;²1m¹j»£g»
f µ²¼z ¡)¡r² îåg²²1îé¤cïmïè
Ý
»¥´3 µ²g¹¥r3 ¡26g ´,z¡¶ì¹¥¡sjzê¥ ²!z ºX}µg g»¥¼è
²½¥»µ}m²x¶ì ¡X¹¥µ3}¡Fg²ócx¨eg»¥²³µjsX¡g¶e²µMg»²$ ¡Fg²µg¼²x¶e zg²½¥µXê¥ ²¼¢
(Pu)
minw∈RNαkw−uk2+kwk −τ1hw, vi
¹¥¡¶e²µ3»¥²$}¡sµX ¡Fj¢
∀i∈I,hw, ψii ≤1,
ÞéXµ
α >0z¡¶ u∈RN
è
Ý
X÷F ¡¥º
u0∈RN
¨cg»¥²³ìm»´J ¡[g»²!X¡F²ócMXÞ-»¥² µ3½z½;²µ$î=m²²)¸Lµg}½Fm g X¡ôe¨e ¡£ß ¦.áéïg»zM»¥²$z ºX}µg g»¥¼
um+1=solve(Pum), îå©Fï
´3»¥²µ²m} æ}²
(Pum) »¥²$¹¥¡¥íF¹¥²$m} ¹e }¡ì
(Pum)¨X¡cæX²µgº}²Lg6g»¥²$¹¡¥ íF¹¥²!gX ¹e }¡ì
(P)è
õ¡[}¹¥µ½z½;²µx¨e´²)ºX6X¡²mg²½ìÞé¹µm»¥²µ{X¡¶[}¶¥z½¥»¥² µ3 ¶¥²g6g»²)½µg}ê¥ ²¼ÔzÞ¡¶e ¡¥ºg}¶¥¶e ²®½;X ¡Fè Ý
¶e1m¨c´²$´3µr²
fum((λi)i∈I) = min
w∈RNL0(w,(λi)i∈I, um),
´3r»
L0(w,(λi)i∈I, um) =αkw−umk2+kwk − hw,1 τv−X
i∈I
λiψii −X
i∈I
λi.
Ý
»¥²3Þåz¼ ³6zÞX º}Xµr»¥¼ ´3»¥j»´M²}¡m¶e²µ ¡»¥8½X½²µLL¶e²xgµg ê²x¶ ¡
Ý
zê ²!¦}èXv¶¥ ¹g }¡g ¼6 zµ
g»¥²$}¡¥²®XÞ-»¥²$½¥µ²²x¶e ¡¥º6g²g X¡ÆºX¹XµX¡Fg²²x8»»¥²$m²xí}¹²¡²
(um)m∈N
ꥹ¥ r{êc³ìg¹j»Æz¡z ºXXµ g»¥¼Ô²xí}¹z
g»¥²$}¡¥²zÞBg»¥²!j»¥²¼²îå©Fï.è
õ
¡¥ gz ù²
u0
²½²x{¹¥¡Fg -X¡cæX²µgº}²¡²îé cX½Æ ¡
mï
¦}è g²º}µ}¶e ²¡FMêXg²¶Æz ºXXµ g»¥¼'Þé}µ{m} æc ¡¥º
(λmi )i∈I = arg max
(λi)i∈I∈R+Ifum((λi)i∈I)
ô¥è {½?¶¥²
um+1= arg minw∈RNL0(w,(λmi )i∈I, um)è
¦
²¡¥²µX;ÞéXµ¼äzÞBg»¥²!X º}Xµr»¥¼è Ý »¥²$º}µ}¶e ²¡FMêXg²¶Æz ºXXµ g»¥¼ämg -¡¥²²x¶¥gê;²!m½;²r²¶Tè
¬{z ²!»x¨Tê²xm¶e²g»¥²¶e²X¼½;}gr }¡®X¡¶2µ²X¼½Fm g X¡¨g»¥²X¡ ³2¶e ò1¹¥ s³2 ¡g»¥²6 ¼6½ ²¼6²¡F }¡
zÞ»¥²$zê;æX²®X º}Xµr»¥¼ g»²X¼½¥¹ej }¡LXÞ-»¥²®º}µ}¶e ²¡F
∇fum
¨e ¡Æs²½£¦X¨ez¡¶1g»¥²)µ²gX ¹eg X¡1XÞg»²mg²½
ôeè
ñ®¹¥µ ¡Fg²µ²mÞé}µ{»¥²X º}Xµr»¥¼zê;æX²X¼²x3ÞéµX¼ g»¥²°ÞåXg»¨?X®´3 Bê²6m»´3¡ ¡g»¥²¡¥²óc)g²g X¡¨
g»¥Fm²Ms´MX¼½¥¹ej }¡*z¡6ê;²3½²µmÞé}µg¼²¶²ó¥}.g ³Xègg²¡Fgz ³X¨g»²{}m*zÞ;g»¥²²æX ¹zg X¡6zÞ
∇fum
*}¡¥²3¶e²
X¼½;}gr }¡ìz¡¶X¡¥²®µg²x}¼6½;}g g X¡1 ¡
(ψi)i∈I
z¡¶1g»¥²)}mLÞé}µMX¼½¥¹e ¡º
arg minw∈RNL0(w,(λmi )i∈I, um)
3}¡¥²µg²x}¼6½;}g g X¡ì ¡
(ψi)i∈I
è
2Xµ²æ}²µx¨´M²3´3 g»¥´çg»z
∇fum
½j»¥ gù{z¡¶´M²3´3 ½¥µgæc¶e²rj - ½j»¥ gù{X¡mX¡}{îå´3»¥ j»1z¡ê;²
X¼½¥¹¥g²¶¡F¹¼6²µgX ³¥ï.è
Ý
»¥{´3 *ºX¹zµjz¡Fg²²g»¥²6X¡cæ}²µºX²¡²zÞ»¥²º}µ}¶e ²¡F{êXg²¶z ºXXµ g»¥¼{X¡g ¶¥²µ²¶
¡1mg²½Æ¦}èX·M³$g»²{´M³}¨´²3´3 }¡m¶e²µ*s´æzµ X¡F¢})½¥µs²x.²¶6ºXµjX¶e ²¡F8X²¡F*XÞ?X¡mX¡Fmg²½1m ù²$îúFg²½
¦ì!»¥²¡ç {ùx´M2X º}Xµr»¥¼+gX æc ¡º
(Pum)ïz¡¶¬{²mg²µgæo{ ºX}µg g»¼ îå´3»¥ j»ç 6zµºX¹¥²x¶g£ê²[X½e ¼z
z¼X¡¥ºº}µ}¶e ²¡FMê}m²x¶[X º}Xµr»¥¼1ï)îåg²²ß ¦§xá¨c²g X¡2ôeètôXïè
·²ÞéXµ²X¨ºXX ¡¥º[ ¡Fgìg»¥Fm²6¶e²jz ¨; ²)¹®µjm)m²!»¥²°Þé} ´3 ¡¥ºì½¥µX½;}g g X¡2´3»¥j»º}¹zµjz¡Fg²²»X¹µ
¶e¹z8X½¥½¥µ}}j»£Xg¹X ³2½¥µæc ¶e²xz¡oz½¥½¥µóe ¼zg X¡XÞLg»²1X.¹z8gX ¹e }¡´M²Xµg²6 F}÷c ¡¥º[ÞéXµxè õ !½¥µgcXÞL
ºX æX²¡Æ ¡½¥½;²¡¶e óTè
! #"%$'&)(*&,+.-/&*0%1,&2(
(um)m∈N
3
0%4 ((λmi )i∈I)m∈N
45&60&,48790:"
35;*<
&>=8(
3?
7@(BA,C
=5D (um)m∈N
1,E0F&.GHI&2(
? E ?
$'&)(*E
<- ? 7E0
w∗ EJA (P)D
K D
limm→+∞inf(λ∗
i)i∈I∈Sk(λmi −λ∗i)i∈Ik= 0LNM $/&*GO&
LNM
&PGO&,1
3<9<Q?
$
3?
L S 7@( ?$'&RETS
?
79U
3<
(.&
?
EJA (D)D
µjsx¨?}®¹m¹z*´3r»»¥²ºXµjX¶e ²¡FXÞ8Þé¹¥¡g X¡¶e²¡¥²¶£X)ì¼ ¡¥ ¼°¹¥¼¨?¼z¡c³g²µg¼)z¡²®X¹e!X¡¶
´²)¡X ³ì»æX²
∇fum((λi)i∈I) = (hw∗, ψii −1)i∈I,
´3»¥²µ²
w∗= arg min
w∈RNαkw−umk2+kwk − hw,1 τv−X
i∈I
λiψii. îúëXï
3}¡m²xíF¹¥²¡²X¨c¼e¶e¹¥ 6¶e²xX¼½;}gr }¡[ ¡
(ψi)i∈I
¨c»¥²$X¼½¥¹¥ }¡[XÞ
∇fum
X¡¶ìg»¥²µ²gX ¹eg X¡[zÞ
s²½ôê} {¶e´3¡[g6g»²!gX¼6²½¥µXê ²¼ ¢ Ý »¥²µ²gX ¹eg X¡ÆzÞ!îúëXï.è
²3¹3µm{m ¼½¥ r²xg»²$¡¥zjg X¡3z¡¶Æ}¡m¶e²µ»¥²$½¥µXê¥ ²¼
w∗= arg min
w∈RNαkw−uk2+kwk+hw, ri,
´3»¥²µ²
uz¡¶ rXµg² ¡ RN
è
²¹8ê;²º} ¡´3 g»»¥²gr¹ }¡´3»¥²µ²
kw∗k= 0è}ª®;²µg²¡} zg ¡¥º¨}´²÷F¡´ç»
2α(w∗−u) +r∈∂F(0)¨
´3»¥²µ²
F(w) =kwkè g ¡¥ºîú§X逸´²»æ}²
w∗ = 0⇒ kr−2αuk ≤1.
ñ®¡ì»¥²$z»¥²µ3»X¡¶T¨¥ Þ*´²$Xg¹¥¼²®»
kw∗k 6= 0¨e´M²÷F¡´Jg»
2α(w∗−u) + w∗
kw∗k+r= 0.
Ý »¥ {ºX æX²
kw∗k(2αu−r) = (2αkw∗k+ 1)w∗.
îåðFï
Ý
X÷F ¡¥º6g»²$¡¥Xµ¼äzÞg»¥²!Xêæ}²®²xíF¹z rs³}¨e´²$}êeX ¡
k2αu−rk= 2αkw∗k+ 1, îå«}ï
´3»¥ j»º}¹zµjz¡Fg ²Lg»
k2αu−rk>1è
3}¡ ¹g }¡¨
w∗ = 0⇔ k2αu−rk ≤1,
z¡¶Æ´3»¥²¡
w∗6= 0¨ w∗ z¡Æê²!X¼½¥¹e²¶T¨¹m ¡¥ºî=ð}ïz¡¶£î=«}ï.¨z¡¶[
w∗=k2αu−rk −1
2αk2αu−rk (2αu−r)
²!z¡Æµg²½¥»¥µjXg²»¥ X
w∗=
( 0 ¨e Þ k2αu−rk ≤1
k2αu−rk−1
2αk2αu−rk(2αu−r) ¨ezg»²µ´3 g²Xè
!2X¡ ¹g X¡¨T ¡g»¥²[cg²½¦XÞ»¥²1z ºX}µg g»¥¼ ¶e²µ ê;²¶ ¡ Ý Xê¥ ²2¦}¨Tg»²ºXµjX¶e ²¡F!X¡£ê;²ì}¼½¥¹eg²x¶
´3r»¢
∇fum((λi)i∈I) = (hw∗, ψii −1)i∈I,
îm¦¯Fï
´3»¥²µ²
w∗=
( 0 ¨rÞ ktk ≤1
ktk−1
2αktk t ¨zg»²µ´3 g²X¨
îm¦X¦ï
´3r»
t= 2αum+v τ −X
i∈I
λiψi.
2Xµ²æ}²µx¨X»¥²!s²½2ôzÞBg»¥²!X º}Xµr»¥¼ÔzÞ
Ý
Xê¥ ²6¦{gX æX²¶ìêc³ìz½¥½ ³c ¡¥ºîs¦}¦xï
(λmi )è
9 ?B* B *?! )? BI*,D!
L0B? E .=, w E ?! (λi)i∈IC ?)5 ?!././?!
B "B
max min E ?,./ B . ∂L∂w0 0"I, H? , B ./ ∂λ∂w
i
BB
EE
B,",*?! ?F
∇fum((λi)i∈I)C6I?! . E ,?F"B J,",*?! IB E ?0?F ?F8 B C CC "!
Ý »¥²$z¹ ¹XÞ»¥²$½¥µ²²¶e ¡¥ºm²x. }¡[½;²µ¼rjMg½¥µæX²®g»¥²Þé} ´3 ¡¥ºµ²g¹¥ è
QEG
3
0/C
(λi)i∈I 3
0%4
(λ0i)i∈I
790
RIL
k∇fum((λi)i∈I)− ∇fum((λ0i)i∈I)k ≤Ck(λi−λ0i)i∈Ik,
M 7?$
C=3√M2α1M2LM 7?$
M1=X
i∈I
kψik2,
3
04
M2
7@(
?
$'&
<3 GH5&*(
?
&.7H5&.0/F
3<
-/&REJA
?
$/& G 3 U#U
3?
G27 (hψi, ψji)i,j∈I
D
GOE E A è-²
(λi)i∈I
z¡¶
(λ0i)i∈I
ê;²$ ¡
RIè ²$»æX²}¨}ÞéµX¼+îs¦x¯}ïj¨
∇fum((λi)i∈I)− ∇fum((λ0i)i∈I) = (hw∗−w0∗, ψii)i∈I,
´3r»
w∗=
( 0 ¨¥ Þ ktk ≤1
ktk−1
2αktk t ¨¥z»¥²µ´3m²}¨
X¡¶
w0∗=
( 0 ¨¥ Þ kt0k ≤1
kt0k−1 2αkt0k t0
¨¥z»¥²µ´3m²}¨
´3»¥²µ²
t= 2αum+vτ −P
i∈Iλiψi
X¡¶
t0= 2αum+vτ −P
i∈Iλ0iψi.
õ¡ìXµj¶e²µ½µgæ}²{g»²)½µg}½Fm g X¡¨F´M²)Xµg²)ºX} ¡¥º°g¶es ¡¥º}¹¥m»[g»¥²$¶e?²µ²¡FM½;}g ê¥ ²) ezg X¡[zÞ
ktkz¡¶
kt0k´3 g»µ²g½²x.3
1è
µjsx¨erÞ*êXg»
ktk ≤1X¡¶ kt0k ≤1 ¢ ²$Xêcæc }¹m ³»æ}²
k∇fum((λi)i∈I)− ∇fum((λ0i)i∈I)k= 0,
´3»¥ j»Æµg æc X ³1gzgs²Mg»²!sjg²¼²¡F{zÞg»¥²$½¥µX½;}g g X¡è
Ý »¥²$m²xX¡¶ì}m²)´3»¥²¡
ktk>1z¡¶ kt0k ≤1îég»¥²$Xg²
ktk ≤1X¡¶ kt0k>13m ¼ zµ3z¡¶ì´3 T¡z3ê²
gµ²²¶ï)¢ ²g»²¡»æX²
k∇fum((λi)i∈I)− ∇fum((λ0i)i∈I)k2 = X
i∈I
hw∗−w0∗, ψii2
≤ kw∗−w0∗k2X
i∈I
kψik2
≤ M1
ktk −1 2αktk
2
ktk2
≤ M1
4α2(ktk −1)2,
´3»¥²µ²
M1
º} æ}²¡Æ ¡Æ»¥²$½¥µX½;}gr }¡è ²!X g»æX²
ktk = k2αum+v τ −X
i∈I
λ0iψi−X
i∈I
(λi−λ0i)ψik
≤ kt0k+kX
i∈I
(λi−λ0i)ψik
≤ 1 +kX
i∈I
(λi−λ0i)ψik.
c¨¥´M²»æX²
(ktk −1)2≤M2k(λi−λ0i)i∈Ik2,
´3»¥²µ²
M2
º} æ}²¡Æ ¡Æ»¥²$½¥µX½;}gr }¡è
k∇fum((λi)i∈I)− ∇fum((λ0i)i∈I)k2≤ M1M2
4α2 k(λi−λ0i)i∈Ik2,
´3»¥ j»¼²X¡
k∇fum((λi)i∈I)− ∇fum((λ0i)i∈I)k ≤
√M1M2
2α k(λi−λ0i)i∈Ik.
Ý »¥²µ²Þé}µg²}¨cg»¥²!mzg²¼²¡}3XÞ»¥²½¥µg}½Fm g X¡Æ»¥} ¶¥ ¡Æg»z}m²}è
²¡z ³1¡²²¶[mg¹¶e³1»¥²!}m²)´3»¥²µ²êXg»
ktk>1X¡¶ kt0k>1 ¢ ²g»¥²¡»æX²
k∇fum((λi)i∈I)− ∇fum((λ0i)i∈I)k2 = X
i∈I
hw∗−w0∗, ψii2
≤ M1kw∗−w0∗k2
≤ M1
ktk −1
2αktk t−kt0k −1 2αkt0k t0
2
≤ M1
(2αktkkt0k)2
(ktk −1)kt0kt−(kt0k −1)ktkt0
2
≤ M1
(2αktkkt0k)2
ktkkt0k(t−t0)− kt0kt+ktkt0
2
.
c¨¥´M²)¡X ³1Xê¥z ¡
k∇fum((λi)i∈I)− ∇fum((λ0i)i∈I)k ≤
√M1
2α kt−t0k+
√M1
2αktkkt0k
ktkt0− kt0kt .
·¹¥¨¥´M²$zm»æ}²X¨
ktkt0− kt0kt =
ktk(t0−t) + (ktk − kt0k)t
≤ ktkkt0−tk+
ktk − kt0k ktk
≤ 2ktkkt0−tk
c ¡²X¨
kt0−tk ≤p
M2k(λi−λ0i)i∈Ik,
´²)¡X ³ì»æX²
k∇fum((λi)i∈I)− ∇fum((λ0i)i∈I)k ≤ √
M1M2
2α +
√M1M2
αkt0k
k(λi−λ0i)i∈Ik
≤ 3√ M1M2
2α k(λi−λ0i)i∈Ik.
Ý »¥²zê;æX²½¥µX½;}gr }¡,2 ¼6½;XµgX¡Fm ¡²Ú ºX¹zµjz¡Fg²²[g»zm}¼²ÚºXµjX¶e ²¡FêXg²¶ z ºX}µg g»¼ ´3r»
X¡sjz¡Fmg²½âg ù²X¨*¹g²¶â ¡çg»¥²2X º}Xµr»¥¼°XÞ Ý zê¥ ²£¦}¨X¡cæ}²µºX²$ÞéXµm}¼²Æmg²½Íg ù²î=m²²[¡²ócg²g X¡jï.è
Ý }ºX²»¥²µ3´3 g»¸8µX½;}g g X¡¦}¨eg» 3²¡g¹¥µg²xg»z3g»¥²$´3»¥} ²$X º}Xµr»¥¼ }¡cæX²µºX²xg»¥²!¶e²xm µ²¶Æm} ¹e }¡è
´M²æX²µ¨ ¡£Xµj¶e²µ®gj»¥Fm²g»¥²mg²½m ù²6 ¡»¥²g²6X º}Xµr»¥¼´M²6¡¥²²x¶2gÆ»æ}²z¡£²mg ¼g²6zÞLg»¥²ê;²m
½Fgg ê ²)X¡sjz¡F ½j»¥ gù®X¡mX¡Fè
Ý
» MX¡¨}XÞ-}¹¥µg²{ê;²®¶e}¡¥²²óe½²µg ¼²¡FX ³ê;²µ¹¥¡¥¡ ¡¥º°g»¥²)z ºX}µg g»¥¼
ÞéXµ{g²æX²µXTs²½wm ù²}¨e´3»¥²¡2X ?»¥²$z»¥²µ3½XµX¼²g²µXµg²®¥óe²¶Tè
/¼6}µg²²óe ê ²2´³Úgj»}g²[»¥²mg²½g ù²2gÚ¹g²g»²2ÞéXµ¼°¹¥²óe½¥µ²m ¡¥ºg»²2ê}¹¥¡¶
C ºX æX²¡ ¡
¸8µg}½Fm g X¡2ôeè
g»»¥3µg²º}Xµ¶¥¨}ÞéXµ3¼}m{¶e g X¡Xµg ²¨¥z T 3² ²¼6²¡Fꥹe
M2
zµ²®²xXg³g1z¹¥²Xè
õ
¡Æ}µ¶¥²µg²xs ¼zg²
M2
¨¥X¡¥²!z¡¹g²!sjz¡¶¥Xµ¶Æz ºX}µg g»¼ÔÞéXµX¼½¥¹e ¡ºg»¥²$zµºX²xs3² ºX²¡cæX ¹²)XÞ*X¡
X½;²µjg}µî=m²²ßt§á¨e². }¡°©}ïè¬{z ²L´3 g»°g»¥Bµg²xm½;²-g»Bg»¥²z½¥½ zg X¡!XÞeg»¥²
µX¼ ¼zgµró
(hψi, ψji)i,j∈I
g16æX²x.g}µ
(λi)i∈I
µg²xí}¹ µ²MX¡²)µ²X¼½;}gr }¡[z¡¶[}¡¥²$¶e²X¼½;}gr }¡[ ¡Æg»¥²!¶e. }¡zµ³
(ψi)i∈I
è
²µjm»¥º}Xµ ¡2 µj ² Ý »¥²}µg²¼1ï
M2≤
maxi∈I kψik
X
i∈I
kψik
!
. îm¦xô}ï
¡X ³X¨;X{z¡²}m ³[ê²m²²¡ÆÞéµg}¼+îm¦¯Fïz¡¶Úîm¦X¦xï.¨
fum
¶ec²{¡zgmÞé³ÆX¡F³Æm}µm3XÞ*² ½eg s³[½µg}½²µms³}è
õ
¡Æ½zµgg¹¥zµx¨cr{3¡¥X² ½egzè
Ê T×o×LÌÜØFÒmÏLÓ Ï1ÑÌ,×Ð LÏ8ÜÒwÑ &
õ
¡g»¥Mm²x.g X¡-¨}´M²{½¥µ²g²¡FL»¥²®X º}Xµr»¥¼ Xêejz ¡¥²¶´3»²¡»¥²º}µ}¶e ²¡FLêXg²¶X º}Xµr»¥¼ ¹m²x¶g6m} æ}²3g»²
s²½¦®zÞ»¥²z ºXXµ g»¥¼'¶e²µ ê²x¶1 ¡ Ý zê¥ ²°¦® °g ¼6½ ²)½¥µs²g²x¶ºXµjX¶e ²¡F}g²¡F´3 g»Æ}¡sjz¡FL ¼²s²½è
Ý »¥²6mg²½â¦ ®»¥²¡oz¡ {ù´ìX º}Xµr»¥¼Öm} æc ¡¥º1»¥²¶e¹z*XÞ
(Pum) îég»c¹®g»²6¡z¼²XÞ8g»²æ}²µjm X¡ïè
æX²¡
¸8µg}½Fm g X¡Úôe¨?´M²÷F¡´ îåg²²ß ¦x§xá¨Xµxèôeè ¦Xètôe¨?½¥½è*믥¨TX¡¶ Ý »-è-ôeètôeèð¥¨?½¥½è-ð}ð}ï{g»z!r!X¡cæX²µgº}²)Xmc}¡}
g»¥²$ ¼²6s²½ ¡»¥²!µjz¡¥º}²
(0,C2)¨´3»¥²µg² C ºX æX²¡Æ ¡2¸8µX½;}gr }¡ôeè2}µg²æX²µ¨Fg»².ê;²m{g ¼²°mg²½ )
ρ= C1è
²!X g÷F¡´ îåg²²ß ¦x§xáéïM»x¨eÞéXµ
ρ= C1 z¡¶ um∈RN¨¥g»¥²µg²$²ócm3}¡sjz¡F
C1>0 îå´3»¥ j»2¶e²½²¡¶¥
X¡Æg»¥² ¡¥ gz ùxg X¡2íF¹X s³¥ïg¹j»[g»z
fum (λki)i∈I
−fu∗m ≤C1
2C k+ 4,
´3»¥²µ²
(λki)i∈I
g»²)µ²g¹¥ g»²
k
g»
r²µj }¡[XÞ»¥²!z ºX}µg g»¥¼äX¡¶
fu∗m= min
(λi)i∈I∈R+Ifum (λki)i∈I îm¦Fï
Ý »¥²)¡zz ºXXµ g»¥¼Ô{¶e²xgµg ê²x¶ì ¡ Ý Xê¥ ²$ô¥è
õ¡¥ gz ù²
(λ0i)i∈I
¨
u0∈RN z¡¶ ρ= C1è
²½²x{¹¥¡Fg -X¡cæX²µgº}²¡²îé cX½Æ ¡
mï
²½;²z{¹¥¡Fg -}¡Fæ}²µºX²¡²6îé F}½[ ¡
kï
¦}è®X¼½¥¹e²
wk = 2αum−P
i∈Iλkiψi+1τv
ô¥è3rÞ
(kwkk ≤1)¨g² wk = 0
z»¥²µ´3 g²X¨eg²
wk ←a wk¨e´3r» a= k2αwkkwk−kk1
è {½?¶¥²
λk+1
¨
∀i∈I, λk+1i = max 0, λki +ρ(hwk, ψii −1)
¹¥½;¶g²
um+1=wk z¡¶T¨cÞé}µ{z
i∈I¨ λ0i =λk+1i è
Q ô
{ùx´M°æX²µg }¡ìXÞg»¥²$X º}Xµr»¥¼Ö¢
Ý
»¥²s²½¦)XÞg»²X º}Xµr»¥¼ä¶e²xgµg ê²x¶1 ¡
Ý
zê ²¦) gX æX²¶ìêc³1
½¥µg s²g²¶[ºXµjX¶¥ ²¡}3¶e²xg²¡F{´3r»2X¡sjz¡Fmg²½2m ù²}è
õ¡Ú½¥µ}. ²îåz¡¶£ ¡og»²1²óe½;²µ ¼²¡Fj$½¥µ²g²¡Fg²x¶£ ¡çc²x.g X¡Fï.¨´² ¡¥ gz ù²¶
(λ0i)i∈I
z¡¶
u0 z 0è Ý »²
X¡sjz¡F
C ´XM²mg ¼²¶Æ´3r»¸8µg}½Fm g X¡2ô6z¡¶oîm¦xôXï.è Ý »¥ºX æX²¢
C=3q P
i∈Ikψik2 P
i∈Ikψik
(maxi∈Ikψik)
2α . îm¦¤cï
Ê vÌ-Ø}ÑeÌÜ¥ÏLÌ-ÜØcÒsÏLÓ ÏìÑÌ,×Ð 8Ï8ÜÒsÑ &
õ
¡g»¥g²g X¡¨}´²½¥µg²xm²¡F$æX²µg X¡6g»¥²)z ºX}µg g»¥¼ ´3»¥²µ²3»¥²®mg²½¦{zÞ?»¥²®X º}Xµr»¥¼ ¶e²xgµg ê;²¶ ¡
Ý
Xê¥ ²
¦ !gX æX²x¶´3 g»2¬²mg²µgæX º}Xµr»¥¼ î=m²²2ß ¦§xáú¨½è«X¯}ïè
õ
¡g»¥²[X¼¼¹¥¡¥ s³ ¡Fæ}X æX²x¶ ¡ÚX¼½¥ ²óe s³»¥²}µg³}¨
g»¥{z ºX}µg g»¼Ô {z¶ìgê²$}½eg ¼zTÞé}µ{m} æc ¡¥ºg»¥²$½¥µXê ²¼ä´²$Xµg² ¡}²µ²mg²x¶ì ¡è