• Aucun résultat trouvé

A Predual Proximal Point Algorithm solving a Non Negative Basis Pursuit Denoising model

N/A
N/A
Protected

Academic year: 2021

Partager "A Predual Proximal Point Algorithm solving a Non Negative Basis Pursuit Denoising model"

Copied!
22
0
0

Texte intégral

(1)

HAL Id: hal-00133050

https://hal.archives-ouvertes.fr/hal-00133050

Submitted on 23 Feb 2007

HAL

is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire

HAL, est

destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

A Predual Proximal Point Algorithm solving a Non Negative Basis Pursuit Denoising model

François Malgouyres, Tieyong Zeng

To cite this version:

François Malgouyres, Tieyong Zeng. A Predual Proximal Point Algorithm solving a Non Negative

Basis Pursuit Denoising model. International Journal of Computer Vision, Springer Verlag, 2009, 83

(3), pp.294-311. �hal-00133050�

(2)

465879;:=<?>?@BA-CDFE

9;G*HJI25LKMDFGB<

4DFNM5LO;PBQ8O;R;RTS

U$VXWY?Z[V

\*]F^`_-acbaedgfBhjiklmb^`kF_bMkFdgnobprqifs^tls]Fuv_wixp`yz^`kFq{bybfs^rbkl-i|els]}dL~*b_w^`_*€}fs_w€}^tlu$iz‚Xdjp„ƒ\*]}dyxbfs^…bklBb^`u$_

blB_w^ru$a}p`^`|…†X^rk}q3ls]FdLacbfmbu$d‡lsd‡f-ls€Fk}^rk}q}ƒz\*]}dbprqifs^tls]Fu,^`_Bd.b_ˆ†$lsi^`u$a}prd‡u$djklBbkc‚$a}fsiy‰d8^tl*h‡ixkzy‰d‡fsqdj_Blsi3ls]Fd

bh‡ls€FbpŠ_wixp`€}ls^`ik‹i|?ls]}d3u$iz‚}djp„ƒFŒXiu$dd‡Xaed‡fs^`u$djkls_*ixk6^ru!bqxd{baFa}fsi.X^`u!bls^`ixkŽ_w]Fi.nls]cbl^tlLix€Xlsaed‡fw|ifsu$_‘†

|„bfLls]}d3d‡X^`_ˆls^rk}q$bp`qifs^tls]Fu$_jƒ

’“•”2–—˜X™‡™mš…›œ˜zžgš ŸX¡£¢¥¤Š¦x’{¤F§¥¨e©}§zªŽ¦x§¥¨c¤}«X¬®­X¯Š¨F¤F«X¬°¦x§e¨e©F§z±$¯}§

±²³c´Ÿ}µ‡¶Š™¢Š·˜}™mš™M¸8¹¥µj™m¹¥š…ž¨˜z— ºXŸXµ‡š…žg»¥¼¨¥™g½Š˜zµj™m²)µ‡²½¥µ‡²™g²¡Fž‡˜zžgš ŸX¡

¾ ¿?À°ÁÂBËÄÆÅ[ÇLÁÈðÀ

ÉÊmÉ ËÍÌÎ?ÏLÐmÐmÌ-Î;Ñ¥ÒsÏLÓÔÏÓÖÕo×*ØcÒgØÚÙ£Û܊ØcÛÒwÑ

Ý »¥²[¹™m²ÆŸzÞ{ž‡»¥²·M˜}™mš™Ž¸8¹¥µj™m¹¥š…ž‹¡¥ŸXµ‡¼àߤXá3š…¡âš…¼‹˜zº}²‰ãz™mš ºX¡Š˜X—L½¥µ‡Ÿeœ²x™g™gš…¡Šº•š™Ž¡ŠŸ´ä˜Þå˜Xš…µ‡—…³Ú¶e²æX²—…Ÿ}½²x¶Ú›Š²— ¶çŸzÞ

µg²x™m²x˜zµjœj»è Ý Ÿ¼²¡Fžgš ŸX¡£Þé²´'œŸ}¡}ž‡µgš ê¥¹ež‡š…Ÿ}¡Š™)šrž!š™$œŸ}¼¼6Ÿ}¡¥— ³¹Š™g²¶•ÞéŸXµ!œŸ}¼½¥µg²x™g™gš ŸX¡¨?™mŸ}¹¥µjœ²™m²½Š˜zµj˜ž‡š…Ÿ}¡çß ¦‰ëáL˜X¡Š¶

Þ鲘ž‡¹¥µ‡²ì™m²—…²xœ.ž‡š…Ÿ}¡š ¡çœ— ˜}™g™gšr›;œ˜ž‡š…Ÿ}¡âß­áˆè“•˜z¡c³•ž‡»¥²Ÿ}µg²žgšœ˜X—8µg²x™m¹Š—rž!»Š˜‰æ}²1˜z—™mŸ2ê;²²¡²™mž‡˜X꥗ š ™g»¥²¶o™g¹¥½¥½;ŸXµgžgš ¡¥º2ž‡»¥š ™

¼6Ÿe¶e²—=èc“2ŸF™sžMŸzÞ?žg»¥²¼Ô˜zš ¼'˜zž¹¥¡¶e²µj™sžj˜z¡Š¶¥š…¡¥º!žg»¥²®²íF¹¥š æ‰˜X—…²¡Šœ²ê²žs´²²¡žg»Š²®œŸ}¼¼6Ÿ}¡ì·˜X™gš ™8¸8¹¥µj™m¹¥š…ž¼Ÿe¶e²—Bî=™m²²

ꝲ—…Ÿ´ï˜z¡Š¶ìžg»Š²)™g²˜Xµ‡œj»‹ÞéŸ}µMžg»¥²$™g½Š˜zµj™m²x™sžM¶e²œŸX¼½ŸF™mš…žgš ŸX¡îå™g²²}¨c˜X¼ŸX¡¥º6Ÿzž‡»¥²µj™¨;ßð¥¨e«áéï.èŠñžg»Š²µ3˜z¹ež‡»¥ŸXµj™M™m»¥Ÿ´Jžg»Š˜zž

žg»¥²!·˜X™gš™¸8¹¥µj™m¹¥š…ž{¼Ÿe¶e²—Tš™{˜z¡Æ²ò1œš…²¡}ž{´˜‰³žgŸ‹™gš…¼½¥— š…Þé³[˜‹œŸ}¼½¥—…²ó[¶¥˜zž‡˜¶eš™sž‡µgš ê¥¹ež‡š…Ÿ}¡î=™m²²‹ß…¦x­e¨¦xô‰á„ïè

õ¡Æš…ž‡™¼Ÿ}™mž{µg²xœ²¡FžÞéŸXµ‡¼öß«¥¨-¦­‰áˆ¨¥ž‡»¥²!·˜X™gš ™¸8¹Šµ‡™g¹¥š…ž{Þé¹¥¡Šœžgš ŸX¡Š˜X—š ™¶e²›Š¡Š²¶êc³[˜6›Š¡Ššrž‡²°™m¹ŠêŠ™m²ž{ŸzÞ

RN î團z— —…²x¶

¶eš œžgš ŸX¡Š˜Xµg³¥ï

i)iI

˜z¡¶ìžj˜z÷}²™žg»¥²ÞéŸ}µg¼

E(v) = infi)i∈I

P

iIλi

¹¥¡Š¶e²µžg»¥²!œŸX¡Š™mžgµj˜zš ¡Fž‡™

λi≥0,∀i∈I,

˜z¡Š¶

P

iIλiψi=v,

ÞéŸXµ{˜z— —

v∈RNè

Ý

»¥²™mžgµ‡²¡¥ºXžg»‹ŸzÞTž‡»¥š™8Þé¹¥¡œ.žgš ŸX¡˜z—Šš™Lžg»Š˜zžLšržj™L— ²æ}²—;™m²ž‡™L˜Xµg²®™gœ˜z— ²¶æX²µ‡™gš ŸX¡Š™*ŸXÞTžg»¥²)œŸX¡cæ}²óŽ»c¹¥— —ŠŸXÞ

i)iI

î=™m²²

ßtëe¨¦x­‰á„ïè

õ

žMš ™8žg»¥²µg²ÞéŸXµ‡²{½;Ÿ}™‡™mš ê¥— ²3žgŸŽê¥¹¥š — ¶1˜$Þé¹¥¡Šœ.ž‡š…Ÿ}¡Š˜z—

E

ž‡»Š˜žÞ嘉æXŸXµ8žg»¥²)˜z½¥½Š˜Xµgš…žgš ŸX¡ŸXÞ-™m½;²œšr›œ®™sž‡µg¹œ.žg¹Šµg²x™øX˜X¡Š¶

´²{»˜‰æX²{˜$œŸ}¼½¥—…²žg²œŸX¡Fžgµ‡ŸX—ŠŸX¡6žg»¥²x™m²®™sž‡µg¹Šœžg¹¥µ‡²™è

Ý

»Šš ™8Þé¹¥¡Šœ.ž‡š…Ÿ}¡Š˜z—;œ˜X¡Žž‡»¥²¡ìꝲ{¹™m²x¶š…¡‹Ÿ}½ežgš ¼š…ùx˜žgš ŸX¡‹½ŠµgŸ}꥗…²¼‹™

¶e²™gš…º}¡¥²¶ìÞéŸXµ{™g½;²œš…›œ$˜X½¥½¥— š œ˜žgš ŸX¡™è

Ý

»¥²$œŸX¼¼ŸX¡Æ¼Ÿe¶e²—¡˜z¼²¶·˜X™gš ™M¸8¹Šµ‡™g¹¥š…ž3ž‡˜z÷}²™Mž‡»¥²ÞéŸXµ‡¼

ψ)minψ∈DRDkX

ψ∈D

λψψ−vk2+λX

ψ∈D

ψ|, îs¦‰ï

ÞéŸXµ°˜2¶ešœ.ž‡š…Ÿ}¡Š˜zµ‡³

D¨ λ > 0¨-˜2¶¥˜ž‡¹¥¼

v ∈ RN ˜z¡Š¶£ž‡»¥²ì™mž‡˜z¡¶¥˜zµj¶

l2 ¡¥ŸXµ‡¼öŸ}¡

RN¨ k.kè õ žŽœ˜X¡oꝲ1µ‡²´3µ‡š…žmžg²¡

¹¥¡Š¶e²µ3žg»¥²ÞéŸ}µg¼

min

wRNkw−vk2+λE(w), îúôXï

´3»¥²¡

E š ™3¶¥²›Š¡¥²x¶Æ´3šrž‡»[ž‡»¥²!¶ešœ.ž‡š…Ÿ}¡Š˜zµ‡³

D ∪ {−ψ, ψ∈ D}è

ûcüýBüþ‡ûcÿ ! #"%$&(')*%+-,./0# !1!243,,5"!#687-ü:9+);<.=,>!?!"@A:.=*BDC"0&

E

CFGIH>0A:.=*BDC"0&

E

JCFK

(3)

E

™mŸ}¼6²°š…¼½;ŸXµgž‡˜z¡œ²$š ¡™mŸ}¼6²Ž˜z½¥½¥— šœ˜ž‡š…æ}²!œŸ}¡}ž‡²ócž‡™è-îÝ »¥š…¡Š÷˜Xꝟ}¹ež®˜1™gŸX¹Šµ‡œ²™g²½˜zµj˜žgš ŸX¡½¥µ‡ŸXꊗ…²¼ š ¡Fæ}ŸX— æcš…¡¥ºž‡²ócžè

Ý »¥²$—…²žmž‡²µj™3˜zµ‡²˜X—…´˜‰³e™Lꊗ ˜}œj÷1ŸX¡˜6´3»¥šrž‡²$ꊘXœj÷cº}µgŸ}¹¥¡Š¶Tètï

’{¡¥ŸXžg»¥²µš™g™g¹¥²®´3»¥š œj»ì´²®´M˜X¡}ž‡²¶6ž‡Ÿ°š ¼6½ŠµgŸæ}²{š…¡îs¦‰ï8œŸ}¡Šœ²µg¡™žg»Š²)œj»¥Ÿ}š œ²{ŸzÞTž‡»¥²)½Š˜zµj˜z¼²ž‡²µ

λ襟}µL½¥µj˜Xœžgšœ˜X—

˜z½¥½¥— šœ˜ž‡š…Ÿ}¡Š™¨ešrž{š™3˜z— ´M˜‰³e™M½¥µ‡²Þé²µ‡˜X꥗…²®žgŸ1™gŸX— æX²®žg»Š²$¼6Ÿe¶e²—¹¥¡Š¶¥²µžg»Š²ÞéŸXµ‡¼

minψ)ψ∈DRDP

ψ∈Dψ|,

¹Š¡Š¶e²µ{žg»¥²!œŸX¡Š™mžgµj˜zš ¡Fž‡™

kP

ψ∈Dλψψ−vk2≤τ,

ÞéŸXµ1˜½Š˜zµj˜z¼²žg²µ

τ > 0è õ¡Š¶¥²²¶¨ τ œ˜z¡ÍºX²¡Š²µj˜z— —…³Úê;²žg¹¥¡Š²¶˜z¹ež‡ŸX¼‹˜ž‡š œ˜z— —…³}¨˜XœœŸXµj¶eš ¡¥º•ž‡ŸÚ™mŸ}¼6²½¥µ‡²™‡œµ‡š ê²x¶

½¥µg²xœš™mš ŸX¡ÆŸXµ3˜÷c¡¥Ÿ´3¡[¡¥ŸXš™m²— ²æ}²—úè

’{— —Tžg»¥²x™m²$œŸX¡Š™gš ¶¥²µj˜žgš ŸX¡™— ²¶Æ¹Š™Mž‡Ÿ1œŸ}¡Š™mš¶e²µ˜·˜X™gš™¸8¹¥µj™m¹¥š…ž{¼Ÿe¶e²—´3µ‡š…žmžg²¡[¹Š¡Š¶e²µ{žg»¥²ÞéŸ}µg¼

(D)

infi)i∈I

P

iIλi

¹¥¡Š¶e²µžg»¥²!œŸX¡Š™mžgµj˜zš ¡Fž‡™

λi≥0,∀i∈I,

˜z¡Š¶

kv−P

iIλiψik ≤τ,

ÞéŸXµ{˜¶ešœ.žgš ŸX¡˜zµ‡³

D= (ψi)iI

¨

τ >0˜z¡Š¶Æ˜z¡š ¡¥š…žgš˜z—¶¥˜zžg¹¥¼

v∈RNè

Ý »¥²½¥¹¥µ‡½ŸF™m²ŸzÞBžg»Š²$½Š˜z½;²µ3š™MžgŸ1¶e²x™mš ºX¡˜z¡Æ²ò1œš…²¡}ž˜X—…º}ŸXµ‡šrž‡»¥¼'ÞéŸXµ{™gŸX— æcš…¡Šº

(D)è

Ý »¥µgŸ}¹¥ºX»ŠŸX¹ežMžg»¥²$½˜z½;²µx¨e´²´3š —…—-˜}™g™g¹¥¼²)žg»Š˜zž3žg»¥²!¶¥š œžgš ŸX¡Š˜Xµg³‹š™{™g¹Šœj»ìž‡»Š˜ž

∀w∈RN,∃(λi)iI,∀i∈I, λi≥0˜z¡Š¶ w=X

iI

λiψi

ŸXµ3²íF¹¥š æ˜z— ²¡Fžg— ³î„ž‡»¥²$²íF¹¥š æ˜z— ²¡Šœ²š ™¡¥ŸXžžgµ‡š…æcš˜z—˜z¡¶ìµ‡²— š…²x™¨FÞéŸ}µ3š…¡Š™mž‡˜X¡Šœ²}¨eŸX¡[žg»¥²æ˜zµ‡š˜z¡Fž3ŸzÞ-ž‡»¥²Š˜Xµg÷˜X™-²¼¼‹˜

ºXš æX²¡Æš ¡ß ¦©áú¨

Ý

»-èŠôXôeè­¥¨e½Š½è…¦x«X«F»Š˜ž

{w,∀i∈I,hw, ψii ≤1}š™ê;ŸX¹¥¡Š¶¥²¶Tè »¥²¡Æžg»Šš ™3»c³c½;Ÿzžg»Š²™gš ™»¥Ÿ}— ¶Š™¨

E š™{˜6¡¥ŸXµ‡¼è

ÉÊ 8ÌTÑ¥Î/ϋÑ{Ì×$́Ü

õ¡™g²œžgš ŸX¡Úôe¨?´²ê¥¹Šš…—¶£žs´Ÿ˜z— ºXŸ}µgš…žg»¥¼‹™è Ý »Šš ™š™$¶eŸX¡Š²6êc³•™gŸX— æcš…¡ŠºÆ˜[½¥µ‡ŸX꥗ ²¼

(P)´3»ŠŸ}™g²¶¥¹Š˜z—½¥µ‡ŸXꊗ…²¼Öš ™

(D)è Ý »¥²½¥µ‡ŸX꥗ ²¼

(P) š™$™mž‡˜zꊚ…— š…ù²¶žgŸš…¼½¥µ‡ŸæX²œŸ}¡cæX²µ‡ºX²¡Šœ²Ž™m½;²²x¶âî=™m²²‹”e²œ.ž‡š…Ÿ}¡oô¥è…¦˜z¡¶ô¥èô}ï.è

Ý

»¥²¡¨™mŸ}¼²

œ˜z—œ¹Š— ˜zžgš ŸX¡Š™½;²µ‡¼šržj™žgŸ‹º}š…æ}²)˜X¡Š˜z— ³Fžgšœ˜z—?ÞéŸ}µg¼Ž¹¥—˜X™MÞéŸXµ{™gŸX¼²ŸzÞBžg»Š²$¡¥²œ²™‡™g˜Xµg³1œŸX¼½¥¹ežj˜žgš ŸX¡™3Ÿzޞg»¥²°˜X—…º}ŸXµ‡šrž‡»¥¼‹™

îå™g²²®”c²xœ.ž‡š…Ÿ}¡ìôeè­}ï.è

Ý

»¥²³˜z—™gŸ$ºX¹Š˜Xµ‡˜X¡}ž‡²²š…ž‡™LœŸX¡cæX²µgº}²¡Šœ²$îå™g²²®”c²xœ.ž‡š…Ÿ}¡ìôeè¤Fï.è

Ý

´MŸ!æX²µ‡™gš ŸX¡Š™*ŸXÞ;ž‡»¥²˜X—…º}ŸXµ‡šrž‡»¥¼‹™8˜zµ‡²

½¥µgŸ}½ŸF™m²x¶ìš ¡”c²œžgš ŸX¡2ôeèt§6˜z¡Š¶ôeè©¥è

Ý

»¥²³ì˜zµ‡²²˜}™m³‹ž‡Ÿš…¼½¥— ²¼²¡Fžxè

Ý

»¥²¡¨¥™gŸX¼²)²óe½;²µ‡š…¼²¡Fžj™M˜Xµg²)²óe½¥—˜zš ¡¥²x¶[˜X¡Š¶ìœŸX¼¼²¡Fžg²x¶ìš ¡”e²œ.ž‡š…Ÿ}¡Æ­Šè

Ý

»¥²²óe½²µgš ¼²¡Fž‡™˜Xµg²¶e²™‡œµ‡š ê²x¶ìš ¡

”c²œžgš ŸX¡­¥è ¦X¨cžg»Š²)½Šµ‡˜}œ.žgšœ˜X—TœŸX¡cæ}²µ‡ºX²¡œ²ŸXÞ-ž‡»¥²$½¥µ‡ŸX½;Ÿ}™g²¶ì˜X—…º}ŸXµ‡šrž‡»¥¼‹™Lš™{™mžg¹Š¶¥š…²x¶ìš ¡”c²œžgš ŸX¡­¥ètôe¨e˜6꥚…ꊗ…š ŸXº}µ‡˜X½¥»c³

ŸX¡•²óeš ™mžgš ¡¥º[˜X—…º}ŸXµ‡šrž‡»¥¼‹™š™)¼‹˜X¶e²6š…¡o”c²œžgš ŸX¡­¥è­ì˜z¡¶´M²6œŸX¼½Š˜zµ‡²!Ÿ}¹¥µ)˜X—…º}ŸXµ‡šrž‡»¥¼‹™{ž‡Ÿìž‡»¥²6¼˜Xš…¡£²óeš™sž‡š…¡¥º˜z— ºXŸ

µgš…žg»¥¼è

Ý

»¥š™œŸX¼½Š˜Xµgš™mŸ}¡1™m»ŠŸ´{™8ŸX¹Šµ˜z— ºXŸ}µgš…žg»Š¼™®î隠¡ì½Š˜Xµmž‡š œ¹¥—˜zµLŸ}¡¥²ŸXÞTžg»¥²¼1ï8Ÿ}¹ežg½;²µgÞéŸXµ‡¼‹™¨Fêc³ŽÞå˜Xµ¨}žg»Š²®²ócš™mžgš ¡¥º

˜z— ºXŸXµ‡š…žg»¥¼‹™è

Å[ÈÄ[ÈÀ!Ã$Â*ÈjÁ! #"

ÊmÉ $JÛ{×Ð%jÏ8Ü'&%Û®Ðs×BÑ¥ÒsÏLÓ

²œŸ}¡Š™mš¶e²µLž‡»¥²®Ÿ}½ežgš ¼š…ùx˜ž‡š…Ÿ}¡ì½¥µ‡ŸX꥗ ²¼'ê;²— Ÿ´v˜z¡¶1´3š —…—T™g»¥Ÿ´žg»Š˜zžž‡»¥²$œŸ}µgµ‡²™g½Ÿ}¡Š¶eš ¡¥º°¶e¹˜z—?½¥µ‡ŸX꥗ ²¼ ž‡˜X÷X²x™

žg»¥²®ÞéŸXµ‡¼

(D)˜Xꝟæ}²XèF’™š…¡ìžg»¥²®½¥µg²xœ²x¶eš…¡ŠºŽ™g²œ.ž‡š…Ÿ}¡

v ∈RN

š ™Lžg»¥²)š ¡¥šrž‡š ˜X—;¶Š˜žg¹Š¼Æ¨

D= (ψi)iI

š™˜$›Š¡¥š…žg²™m¹¥ê™m²ž

ŸzÞ

RN

î團X—…— ²¶¶ešœ.ž‡š…Ÿ}¡Š˜zµ‡³¥ïM˜z¡Š¶

τ >0è

(P)

minwRNkwk − 1τhw, vi

¹¥¡¶e²µž‡»¥²!œŸ}¡Š™sž‡µ‡˜Xš…¡Fžj™

∀i∈I,hw, ψii ≤1.

Ý

»¥²-˜zº}µ‡˜X¡¥ºXš˜z¡ìŸzÞBžg»¥²$½¥µ‡ŸXꊗ…²¼

(P)š™

L(w,(λi)iI) =kwk − 1

τhw, vi+X

iI

λi(hw, ψii −1).

(4)

’™¹Š™g¹Š˜z—{î=™m²² Ý »-è-ôzð¥è­¥¨?½¥½ÚôzðŠ¦X¨?š ¡âß ¦©‰áéï.¨?ž‡»¥²¹¥¡¥šíF¹¥²‹™mŸ}—…¹ež‡š…Ÿ}¡

w žgŸ (P) š ™$˜X— ™gŸ[žg»¥²6›Šµj™sž$˜zµ‡ºX¹Š¼6²¡Fž)ŸXÞM˜z¡c³

™g˜}¶¥¶e— ²)½;ŸXš ¡Fž

(w,(λi)iI)ŸzÞBžg»Š²ÞéŸXµ‡¼

wminRN max

i)i∈IR+IL(w,(λi)iI),

´3»¥²µ‡²X¨e´M²´3µgš…žg²}¨

R+I ={(λi)iI ∈RI,∀i∈I, λi≥0}.

’{— —-˜z— ŸX¡¥º6ž‡»¥²$½Š˜z½;²µx¨e´M²¶¥²¡¥ŸXžg²

S={(λi)iI ∈R+I,(λi)iI = arg max

i)i∈IR+IL(w,(λi)iI)}. îå­}ï

²Æ÷c¡¥Ÿ´'žg»Š˜zž

S 6= ∅ î=™m²²–Ÿ}µèôzðŠèô¥è…¦}¨-½¥½è8ôFë𥨚…¡,߅¦x©‰áéï!ꥹ¥žœ˜z¡¥¡¥ŸXžŽº}¹Š˜zµj˜z¡Fžg²²‹šržš™Žµ‡²¶¥¹Šœ²x¶ožgŸ˜£™gš…¡ŠºX— ²

²— ²¼²¡Fžè

¬{Ÿzž‡š œ²2žg»˜ž¨

L š™ì˜ç™g˜}¶¥¶e— ²Þé¹¥¡Šœžgš ŸX¡ îåš=è²Xè)¢œŸX¡cæ}²ó⚠¡

w ˜X¡Š¶JœŸ}¡Šœ˜‰æ}²š…¡

i)iI

3»Šš œj»v™‡˜ž‡š ™m›Š²x™‹žg»Š²

»F³c½;Ÿzž‡»¥²™g²™ŸzÞ Ý »-èc­cëcè©¥¨F½¥½èe­X«cëc¨Fš…¡£ß…¦x©‰á8î

L(.,(λi)iI)˜X¡Š¶ −L(w, .)¶¥Ÿ°¡¥ŸXžM»Š˜‰æ}²®˜X¡F³‹¶eš µ‡²œ.ž‡š…Ÿ}¡1ŸzÞµg²xœ²™‡™gš…Ÿ}¡ï.è

”cŸŠ¨eÞéŸ}µ{˜z¡c³

i)iI ∈ S¨ (w,(λi)iI)š ™3˜‹™‡˜X¶¥¶¥—…²½;ŸXš ¡}ž3ŸXޞ‡»¥²ÞéŸXµ‡¼

wminRN max

i)i∈IR+IL(w,(λi)iI) = max

i)i∈IR+I min

wRNL(w,(λi)iI)

= max

i)i∈IR+I min

wRN kwk − hw,1 τv−X

iI

λiψii

!

−X

iI

λi.

š ¡Š˜X—…— ³X¨¥¡ŠŸzžgšœ²)ž‡»Š˜žx¨Š¶e²¡ŠŸzžgš ¡¥º

F(w) =kwk¨¥´M²)»˜‰æX²

wminRN kwk − hw,1 τv−X

iI

λiψii

!

=

−∞ ¨eš…Þ v−P

iIτ λiψi6∈τ ∂F(0) 0 ¨eŸXžg»¥²µg´3š™g²Xè

îé¤cï

’{—™mŸ¨e´²$÷c¡¥Ÿ´ ž‡»Š˜ž

∂F(0) ={w∈RN,kwk ≤1}. îú§Xï

”cŸ‹´²)›Š¡˜z— —…³1÷c¡¥Ÿ´vžg»Š˜zž˜z¡c³

i)iI ∈ S š ™{™gŸX— ¹ež‡š…Ÿ}¡ìž‡Ÿ

maxi)i∈IR+I −P

iIλi

¹Š¡Š¶e²µž‡»¥²!œŸ}¡Š™mžgµj˜zš ¡}ž

kv−P

iIτ λiψik ≤τ,

´3»¥š œj»-¨x¼Ÿe¶e¹¥— Ÿ®˜{žgµ‡š…æcš˜z—F¼°¹¥—…žgš ½¥— š œ˜ž‡š…Ÿ}¡!êc³

τ š ™½¥µ‡²œš ™g²— ³)žg»¥²M½¥µ‡ŸX꥗ ²¼

(D)œŸ}¡Š™gš ¶e²µg²x¶š…¡°žg»¥²M½¥µ‡²œ²¶eš ¡¥º™g²œžgš ŸX¡è

’™$˜œŸ}¡Šœ— ¹Š™gš…Ÿ}¡¨?žg»¥²½¥µ‡ŸXꊗ…²¼

(D) œ˜z¡ê²1™gŸX— æX²x¶êc³•˜z¡c³•˜X—…º}ŸXµ‡šrž‡»¥¼ ™gŸX— æFš ¡¥º

(P) ´3»¥šœj»o˜z—™mŸ½¥µ‡Ÿæcš ¶e²x™®˜

±¹¥»¥¡

Ý

¹œj÷X²µ)æX²xœ.ž‡ŸXµ

i)iI

è Ý

»¥²½;ŸXš ¡Fžš™)žg»˜ž¨Tš ¡£Þå˜Xœ.žx¨T¼Ÿ}™mž˜X—…º}ŸXµ‡šrž‡»¥¼‹™)™gŸX— æcš…¡Šº

(P) ˜X— ™gŸì½¥µ‡Ÿæcš ¶¥²6™g¹Šœj»£˜

i)iI

è

õ

¡$žg»¥²ÞéŸX— — Ÿ´3š…¡¥º¨´M²L´3š — —FŸ}¡¥— ³œŸX¡Š™gš¶e²µB˜®™g¼‹˜z— —XÞå˜X¼6š — ³)ŸXޝ™g¹Šœj»°˜z— ºXŸ}µgš…žg»Š¼™è}îˆñ®¹¥µB¼6ŸXžgš æ˜žgš ŸX¡°ÞéŸXµ*œŸ}¡Š™mš¶e²µgš ¡¥º

žg»¥š™Þå˜z¼š —…³[´3š…— —Tê;²!œ— ²˜zµ{˜zބžg²µ”c²œžgš ŸX¡ôe譎˜X¡Š¶2ôeè¤Fï

Ý

»¥š™MÞå˜z¼š —…³[š ™3¶e²x™gœµgš ê;²¶Æš…¡Æž‡»¥²¡¥²ócž™g²œ.ž‡š…Ÿ}¡è

Ê Ø}Ñe×)ÒmÐgÒTÌ j×&'ÒgÐäÏ1×Ð 8Ï8܊ÒsÑ &'Ø

²$´3µ‡šrž‡²

f((λi)iI) = min

wRNL(w,(λi)iI).

’™6š…¡¶eš œ˜ž‡²¶âš…¡çžg»¥²Æ½¥µ‡²æcš…Ÿ}¹Š™6™m²xœ.žgš ŸX¡-¨

(D) œŸX¡™mš™sžj™°š ¡ç¼‹˜zócš ¼š…ùš…¡Šº

f

Ÿæ}²µ

R+I

è*’®™g™g¹¥¼š ¡¥º•ž‡»Š˜ž´M²[÷c¡¥Ÿ´

»¥Ÿ´Jž‡Ÿ‹²æ˜z— ¹Š˜ž‡²

∇f ˜ž˜X¡c³1—…Ÿeœ˜žgš ŸX¡

i)iI

™g¹Šœj»ìž‡»Š˜ž

f((λi)iI) š™›Š¡¥š…žg²}¨Š´M²œŸX¹¥—¶Æš…¡½¥µ‡š ¡Šœš ½¥— ²˜X½¥½¥— ³[˜X¡F³ ºXµj˜X¶eš ²¡Fž3ꊘX™g²¶Æ˜z— ºXŸ}µgš…žg»Š¼'žgŸ‹˜Xœj»¥š ²æ}²)žg»Š˜zžº}Ÿ}˜X—=襒žs³c½¥šœ˜X—T²ó¥˜z¼½¥— ²š ™Mž‡»¥²{ùx˜‰´M˜6˜z— ºXŸ}µgš…žg»¥¼è

¬{Ÿ´$¨˜ž$²x˜Xœj»•š…žg²µ‡˜zžgš ŸX¡¨?ž‡»¥²1™mžg²½o™gš…ù²6ŸXÞM™g¹Šœj»o˜z¡o˜z— ºXŸXµ‡š…žg»¥¼Ö´3š —…—L»Š˜‰æX²ŽžgŸê;²1™m¹Šœj»£žg»˜ž

f µ‡²¼‹˜zš ¡Š™)›Š¡Ššrž‡² îå™g²²1îé¤cïmïè

Ý

»¥š™´3š…— —µ‡²™g¹¥—rž3š ¡2˜6™g— Ÿ´,˜z¡¶ì¹¥¡™sžj˜z꥗ ²!˜z— ºXŸ}µgš…žg»¥¼è

(5)

²½¥»Šµ‡˜}™m²x¶ìš ¡ŸX¹¥µ3œŸ}¡Fžg²ócžx¨ežg»¥²³‹›Šµj™sžœŸX¡Š™gš¶e²µMžg»Š²$š…¡Fžg²µg¼²x¶eš ˜zžg²½¥µ‡ŸX꥗ ²¼‹™¢

(Pu)

minwRNαkw−uk2+kwk −τ1hw, vi

¹¥¡¶e²µ3ž‡»¥²$œŸ}¡Š™sž‡µ‡˜Xš…¡Fžj™¢

∀i∈I,hw, ψii ≤1,

ÞéŸXµ

α >0˜z¡Š¶ u∈RN

è

Ý

˜X÷Fš ¡¥º

u0∈RN

¨cžg»¥²³ì™m»ŠŸ´Jš…¡[žg»Š²!œŸX¡Fž‡²ócžMŸXÞ-ž‡»¥²š µ3½Š˜z½;²µ$î=™m²²)¸LµgŸ}½ŸF™mš…žgš ŸX¡ôe¨eš ¡£ß ¦.áéïžg»Š˜zžMž‡»¥²$˜z— ºXŸ}µgš…žg»¥¼

um+1=solve(Pum), îå©Fï

´3»¥²µ‡²‰™mŸ}—…æ}²

(Pum) š™ž‡»¥²$¹¥¡¥šíF¹¥²$™mŸ}—…¹ež‡š…Ÿ}¡ìž‡Ÿ

(Pum)¨ŠœŸX¡cæX²µgº}²™LžgŸ6žg»¥²$¹Š¡¥š íF¹¥²!™gŸX— ¹ež‡š…Ÿ}¡ìž‡Ÿ

(P)è

õ¡[Ÿ}¹¥µ½Š˜z½;²µx¨e´²)ºXŸ6ŸX¡Š²™mžg²½ìÞ鹊µmž‡»¥²µ{˜X¡Š¶[˜}¶¥˜z½¥žž‡»¥²š µ3š ¶¥²˜ŽžgŸ6žg»Š²)½ŠµgŸ}꥗…²¼ÔŸzޛŠ¡Š¶eš ¡¥º‹˜™g˜}¶¥¶e— ²®½;ŸXš ¡Fžè Ý Ÿ

¶eŸ1™mŸ¨c´²$´3µ‡šrž‡²

fum((λi)iI) = min

wRNL0(w,(λi)iI, um),

´3šrž‡»

L0(w,(λi)iI, um) =αkw−umk2+kwk − hw,1 τv−X

iI

λiψii −X

iI

λi.

Ý

»¥²3Þå˜z¼š —…³6Ÿzށ˜X—…º}ŸXµ‡šrž‡»¥¼ ´3»¥šœj»‹´M²œŸ}¡Š™mš¶e²µš…¡‹ž‡»¥š™8½Š˜X½²µLš™L¶e²x™gœµgš ê²x¶š…¡

Ý

˜zꊗ…²!¦}èX’v¶¥š ™‡œ¹Š™‡™gš…Ÿ}¡™gš ¼6š —˜zµž‡Ÿ

žg»¥²$Ÿ}¡¥²®ŸXÞ-ž‡»¥²$½¥µ‡²œ²x¶eš ¡¥º6™g²œžgš ŸX¡ÆºX¹Š˜Xµ‡˜X¡Fžg²²x™8ž‡»Š˜žž‡»¥²$™m²xí}¹Š²¡Šœ²

(um)mN

ꥹ¥š —rž{êc³ì™g¹Šœj»Æ˜z¡˜z— ºXŸXµ‡š…žg»¥¼Ô²xí}¹˜z—™

žg»¥²$Ÿ}¡¥²ŸzÞBžg»¥²!™‡œj»¥²¼²‹îå©Fï.è

õ

¡¥š…žgš˜z— š…ù²

u0

²½²x˜ž{¹¥¡Fžgš —-œŸX¡cæX²µgº}²¡Šœ²Žî闠ŸcŸX½Æš…¡

mï

¦}è ™g²˜º}µ‡˜}¶eš ²¡FžMꝘX™g²¶Æ˜z— ºXŸXµ‡š…žg»¥¼'ÞéŸ}µ{™mŸ}—…æcš ¡¥º

mi )iI = arg max

i)i∈IR+Ifum((λi)iI)

ô¥è {½?¶¥˜ž‡²

um+1= arg minwRNL0(w,(λmi )iI, um)è

¦

²¡¥²µ‡˜X—;ÞéŸXµ‡¼äŸzÞBžg»¥²!˜X—…º}ŸXµ‡šrž‡»¥¼‹™è Ý »¥²$º}µ‡˜}¶eš ²¡FžMꝘX™g²¶Æ˜z— ºXŸXµ‡š…žg»¥¼ä™mžgš —…—-¡¥²²x¶¥™žgŸê;²!™m½;²œšr›²¶Tè

¬{Ÿzž‡š œ²!ž‡»Š˜žx¨Tꝲx™mš¶e²Žžg»¥²¶e²œŸX¼½;Ÿ}™gšrž‡š…Ÿ}¡Š™®˜X¡Š¶2µ‡²œŸX¼½ŸF™mš…žgš ŸX¡™¨Šžg»¥²ŸX¡Š—…³2¶eš…ò1œ¹¥—…žs³2š…¡•žg»¥²6š ¼6½Š—…²¼6²¡Fž‡˜ž‡š…Ÿ}¡

Ÿzށž‡»¥²$˜zê;ŸæX²®˜X—…º}ŸXµ‡šrž‡»¥¼ š ™žg»Š²œŸX¼½¥¹ežj˜ž‡š…Ÿ}¡Š™LŸXÞ-ž‡»¥²®º}µ‡˜}¶eš ²¡Fž

∇fum

¨eš…¡Æ™sž‡²½£¦X¨e˜z¡Š¶1žg»¥²)µ‡²™gŸX— ¹ežgš ŸX¡1ŸXށžg»Š²™mžg²½

ôeè

ñ®¹¥µš ¡Fžg²µ‡²™mžÞéŸ}µ{ž‡»¥²Ž˜X—…º}ŸXµ‡šrž‡»¥¼‹™˜zê;ŸæX²ŽœŸX¼²x™3Þ鵇ŸX¼ žg»¥²°Þå˜Xœžžg»˜ž¨?˜X™®´3š —…—Bꝲ6™m»ŠŸ´3¡š…¡žg»¥²Ž¡¥²ócž)™g²œžgš ŸX¡¨

žg»¥ŸF™m²Mžs´MŸœŸX¼½¥¹ežj˜ž‡š…Ÿ}¡Š™*œ˜z¡6ê;²3½²µmÞéŸ}µg¼²¶Ž²ó¥˜}œ.žg— ³Xè™g™g²¡Fžgš˜z— — ³X¨‰žg»Š²{œŸ}™mž*ŸzÞ;žg»¥²²æ˜X—…¹Š˜zžgš ŸX¡6ŸzÞ

∇fum

š ™*Ÿ}¡¥²3¶e²

œŸX¼½;Ÿ}™gšrž‡š…Ÿ}¡ì˜z¡¶‹ŸX¡¥²®µg²xœŸ}¼6½;Ÿ}™gš…žgš ŸX¡1š ¡

i)iI

˜z¡Š¶1žg»¥²)œŸ}™mžLÞéŸ}µMœŸX¼½¥¹ež‡š…¡Šº

arg minwRNL0(w,(λmi )iI, um)

š ™3Ÿ}¡¥²µg²xœŸ}¼6½;Ÿ}™gš…žgš ŸX¡ìš ¡

i)iI

è

“2ŸXµ‡²Ÿæ}²µx¨´M²3´3š…— —™g»¥Ÿ´çžg»Š˜zž

∇fum

š™š ½Š™‡œj»¥š…žgù{˜z¡¶Ž´M²3´3š —…—½¥µgŸæcš¶e²šržj™ -š…½Š™‡œj»¥š…žgù{œŸX¡Š™mž‡˜X¡}ž{îå´3»¥š œj»1œ˜z¡ê;²

œŸX¼½¥¹¥žg²¶¡F¹Š¼6²µgšœ˜X—…— ³¥ï.è

Ý

»¥š™{´3š —…—*ºX¹˜zµj˜z¡Fžg²²žg»¥²6œŸX¡cæ}²µ‡ºX²¡œ²Ÿzޞ‡»¥²Žº}µ‡˜}¶eš ²¡Fž{ꊘX™g²¶•˜z— ºXŸXµ‡š…žg»¥¼‹™{œŸX¡Š™gš ¶¥²µ‡²¶

š…¡1™mžg²½Æ¦}èX·M³$žg»Š²{´M˜‰³}¨´²3´3š — —ŠœŸ}¡Š™mš¶e²µ*žs´Ÿæ˜zµ‡š ˜X¡Fž‡™¢}˜)½¥µ‡Ÿs²xœ.ž‡²¶6ºXµj˜X¶eš ²¡Fž8˜X™‡œ²¡Fž*ŸXÞ?œŸX¡Š™mž‡˜X¡Fž™mžg²½1™mš ù²$îú”Fžg²½

¦ìš™!ž‡»¥²¡ç˜ {ùx˜‰´M˜2˜X—…º}ŸXµ‡šrž‡»¥¼+™gŸX— æcš…¡Šº

(Pum)z¡Š¶˜•¬{²™mžg²µgŸæo’{— ºXŸ}µgš…žg»Š¼ îå´3»¥š œj»çš ™6˜zµ‡ºX¹¥²x¶žgŸ£ê²[ŸX½ež‡š…¼‹˜z—

˜z¼ŸX¡¥ºº}µ‡˜}¶eš…²¡FžMꊘ}™m²x¶[˜X—…º}ŸXµ‡šrž‡»¥¼1ï)îå™g²²ß…¦‰§xረ”c²œžgš ŸX¡2ôeètôXïè

·²ÞéŸXµ‡²X¨ºXŸXš ¡¥º[š…¡FžgŸìžg»¥ŸF™m²6¶e²žj˜zš — ™¨;—…²ž)¹Š™®›Šµj™mž)™mž‡˜ž‡²!ž‡»¥²°ÞéŸ}—…— Ÿ´3š ¡¥ºì½¥µ‡ŸX½;Ÿ}™gš…žgš ŸX¡2´3»¥šœj»•º}¹Š˜zµj˜z¡Fžg²²™ž‡»Š˜žŸX¹Šµ

¶e¹Š˜z—8˜X½¥½¥µ‡Ÿ}˜}œj»£˜Xœžg¹Š˜X—…— ³2½¥µ‡Ÿæcš ¶e²x™˜z¡o˜z½¥½¥µ‡Ÿ‰óeš…¼‹˜zžgš ŸX¡ŸXÞLžg»Š²1˜Xœ.ž‡¹Š˜z—8™gŸX— ¹ež‡š…Ÿ}¡•´M²˜Xµg²6— ŸFŸ}÷cš…¡¥º[ÞéŸXµxè õ ž‡™!½¥µgŸcŸXÞLš ™

ºXš æX²¡Æš ¡’½¥½;²¡Š¶eš…óTè

! #"%$'&)(*&,+.-/&*0%1,&2(

(um)mN

3

0%4 ((λmi )iI)mN

45&60&,48790:"

35;*<

&>=8(

3?

7@(BA,C

=5D (um)mN

1,E0F&.GHI&2(

? E ?

$'&)(*E

<- ? 7E0

w EJA (P)D

K D

limm+inf

i)i∈I∈Sk(λmi −λi)iIk= 0LNM $/&*GO&

LNM

&PGO&,1

3<9<Q?

$

3?

L S 7@( ?$'&RETS

?

79U

3<

(.&

?

EJA (D)D

(6)

š µj™sžx¨?˜}™š™®¹Š™m¹˜z—*´3šrž‡»ž‡»¥²ºXµj˜X¶eš ²¡FžŸXÞ8Þé¹¥¡Šœžgš ŸX¡Š™¶e²›Š¡¥²¶£˜X™)˜ì¼š ¡¥š ¼°¹¥¼¨?¼‹˜z¡c³žg²µg¼‹™)œ˜z¡œ²—™®ŸX¹ež!˜X¡Š¶

´²)›Š¡Š˜X—…— ³ì»˜‰æX²

∇fum((λi)iI) = (hw, ψii −1)iI,

´3»¥²µ‡²

w= arg min

wRNαkw−umk2+kwk − hw,1 τv−X

iI

λiψii. îúëXï

’™3˜œŸ}¡Š™m²xíF¹¥²¡Šœ²X¨c¼Ÿe¶e¹¥— Ÿ˜6¶e²xœŸX¼½;Ÿ}™gšrž‡š…Ÿ}¡[š ¡

i)iI

¨cž‡»¥²$œŸX¼½¥¹¥ž‡˜ž‡š…Ÿ}¡[ŸXÞ

∇fum

˜X¡Š¶ìžg»¥²µ‡²™gŸX— ¹ežgš ŸX¡[ŸzÞ

™sž‡²½ôŽêŸ}š…—™{¶eŸ´3¡[žgŸ6žg»Š²!™g˜X¼6²½¥µ‡ŸXꊗ…²¼ ¢ Ý »¥²µ‡²™gŸX— ¹ežgš ŸX¡ÆŸzÞ!îúëXï.è

²ž3¹Š™3›Šµ‡™mž{™mš ¼½¥— šr›Š²x™žg»Š²$¡¥Ÿzžj˜žgš ŸX¡™3˜z¡Š¶ÆœŸ}¡Š™mš¶e²µž‡»¥²$½¥µ‡ŸX꥗ ²¼

w= arg min

wRNαkw−uk2+kwk+hw, ri,

´3»¥²µ‡²

u˜z¡Š¶ r˜Xµg²š ¡ RN

è

²ž¹Š™8ê;²º}š…¡‹´3š…žg»‹ž‡»¥²™gšrž‡¹Š˜ž‡š…Ÿ}¡‹´3»¥²µ‡²

kwk= 0è}ª®š;²µg²¡}ž‡š ˜zžgš ¡¥ºŠ¨}´²÷F¡ŠŸ´çž‡»Š˜ž

2α(w−u) +r∈∂F(0)¨

´3»¥²µ‡²

F(w) =kwkè ™gš…¡¥ºîú§X逸´²»Š˜‰æ}²

w = 0⇒ kr−2αuk ≤1.

ñ®¡ìž‡»¥²$Ÿzž‡»¥²µ3»Š˜X¡Š¶T¨¥š…Þ*´²$˜X™‡™g¹¥¼²®ž‡»Š˜ž

kwk 6= 0¨e´M²÷F¡ŠŸ´Jžg»˜ž

2α(w−u) + w

kwk+r= 0.

Ý »¥š ™{ºXš æX²™

kwk(2αu−r) = (2αkwk+ 1)w.

îåðFï

Ý

˜X÷Fš ¡¥º6žg»Š²$¡¥ŸXµ‡¼äŸzޞg»¥²!˜Xꝟæ}²®²xíF¹Š˜z— šržs³}¨e´²$Ÿ}êež‡˜Xš…¡

k2αu−rk= 2αkwk+ 1, îå«}ï

´3»¥š œj»º}¹Š˜zµj˜z¡Fžgš ²™Lžg»˜ž

k2αu−rk>1è

’™3˜‹œŸ}¡Šœ— ¹Š™gš…Ÿ}¡¨

w = 0⇔ k2αu−rk ≤1,

˜z¡Š¶Æ´3»¥²¡

w6= 0¨ w œ˜z¡Æꝲ!œŸX¼½¥¹ež‡²¶T¨Š¹Š™mš ¡¥ºî=ð}ï˜z¡¶£î=«}ï.¨˜z¡Š¶[š ™

w=k2αu−rk −1

2αk2αu−rk (2αu−r)

²!œ˜z¡Æµg²½¥»¥µj˜X™g²ž‡»¥š ™˜X™

w=

( 0 ¨eš…Þ k2αu−rk ≤1

k2αurk−1

k2αurk(2αu−r) ¨eŸzžg»Š²µ‡´3š ™g²Xè

’™!˜2œŸX¡Šœ—…¹Š™gš ŸX¡¨Tš ¡žg»¥²[”cžg²½¦‹ŸXޞ‡»¥²1˜z— ºXŸ}µgš…žg»¥¼ ¶e²™‡œµ‡š…ê;²¶š ¡ Ý ˜X꥗…²2¦}¨Tžg»Š²‹ºXµj˜X¶eš ²¡Fž!œ˜X¡£ê;²ìœŸ}¼½¥¹ežg²x¶

´3šrž‡»¢

∇fum((λi)iI) = (hw, ψii −1)iI,

îm¦¯Fï

´3»¥²µ‡²

w=

( 0 ¨ŠšrÞ ktk ≤1

ktk−1

ktk t ¨ŠŸzžg»Š²µ‡´3š ™g²X¨

îm¦X¦‰ï

´3šrž‡»

t= 2αum+v τ −X

iI

λiψi.

“2ŸXµ‡²Ÿæ}²µx¨Xž‡»¥²!™sž‡²½2ôŽŸzÞBžg»¥²!˜X—…º}ŸXµ‡šrž‡»¥¼ÔŸzÞ

Ý

˜X꥗ ²6¦š™{™gŸX— æX²¶ìêc³ì˜z½¥½Š—…³cš ¡¥ºîs¦}¦x

mi )è

9 ?B* B *?! )? BI*,D!

L0B? E .=, w E ?! i)i∈IC ?)5 ?!././?!

B "B

max min E ?,./ B . ∂L∂w0 0"I, H? , B ./ ∂λ∂w

i

BB

EE

B,",*?! ?F

fum((λi)i∈I)C6I?! . E ,?F"B J,",*?! IB E ?0?F ?F8 B C CC "!

(7)

Ý »¥²$œ˜z—œ¹Š—…¹Š™ŸXޞ‡»¥²$½¥µ‡²œ²¶eš ¡¥º‹™m²xœ.ž‡š…Ÿ}¡[½;²µ‡¼šržj™MžgŸ‹½¥µ‡ŸæX²®žg»¥²ÞéŸ}—…— Ÿ´3š ¡¥ºŽµ‡²™g¹¥—…žè

QEG

3

0/C

i)iI 3

0%4

0i)iI

790

RIL

k∇fum((λi)iI)− ∇fum((λ0i)iI)k ≤Ck(λi−λ0i)iIk,

M 7?$

C=3M1M2LM 7?$

M1=X

iI

ik2,

3

04

M2

7@(

?

$'&

<3 GH5&*(

?

&.7H5&.0/F

3<

-/&REJA

?

$/& G 3 U#U

3?

G27 (hψi, ψji)i,jI

D

GOE E A è-²ž

i)iI

˜z¡¶

0i)iI

ê;²$š…¡

RIè ²$»Š˜‰æX²}¨}Þ鵇ŸX¼+îs¦x¯}ïj¨

∇fum((λi)iI)− ∇fum((λ0i)iI) = (hw−w0∗, ψii)iI,

´3šrž‡»

w=

( 0 ¨¥š…Þ ktk ≤1

ktk−1

ktk t ¨¥Ÿzž‡»¥²µ‡´3š™m²}¨

˜X¡Š¶

w0∗=

( 0 ¨¥š…Þ kt0k ≤1

kt0k−1 kt0k t0

¨¥Ÿzž‡»¥²µ‡´3š™m²}¨

´3»¥²µ‡²

t= 2αum+vτ −P

iIλiψi

˜X¡Š¶

t0= 2αum+vτ −P

iIλ0iψi.

õ¡ìŸXµj¶e²µž‡ŸŽ½ŠµgŸæ}²{žg»Š²)½ŠµgŸ}½ŸF™mš…žgš ŸX¡¨F´M²)˜Xµg²)ºXŸ}š…¡¥º°žgŸ¶eš™sž‡š…¡¥º}¹¥š™m»[žg»¥²$¶eš?²µ‡²¡FžM½;Ÿ}™‡™gš…꥗ ²)—…Ÿeœ˜zžgš ŸX¡[ŸzÞ

ktk˜z¡¶

kt0k´3š…žg»µ‡²™g½²xœ.ž3ž‡Ÿ

1è

š µj™sžx¨ešrÞ*ꝟXžg»

ktk ≤1˜X¡Š¶ kt0k ≤1 ¢ ²$ŸXêcæcš…Ÿ}¹Š™m— ³‹»Š˜‰æ}²

k∇fum((λi)iI)− ∇fum((λ0i)iI)k= 0,

´3»¥š œj»Æž‡µgš æcš ˜X—…— ³1™g˜zžgš™s›²™Mžg»Š²!™sžj˜žg²¼²¡Fž{Ÿzޞg»¥²$½¥µ‡ŸX½;Ÿ}™gš…žgš ŸX¡è

Ý »¥²$™m²xœŸX¡¶ìœ˜}™m²)š™´3»¥²¡

ktk>1˜z¡Š¶ kt0k ≤1îéžg»¥²$œ˜X™g²

ktk ≤1˜X¡Š¶ kt0k>1š™3™mš ¼š…—˜zµ3˜z¡¶ì´3š —…—T¡ŠŸzž3ꝲ

žgµ‡²˜ž‡²¶Šï)¢ ²žg»Š²¡»Š˜‰æX²

k∇fum((λi)iI)− ∇fum((λ0i)iI)k2 = X

iI

hw−w0∗, ψii2

≤ kw−w0∗k2X

iI

ik2

≤ M1

ktk −1 2αktk

2

ktk2

≤ M1

2(ktk −1)2,

´3»¥²µ‡²

M1

š ™º}š…æ}²¡Æš…¡Æž‡»¥²$½¥µ‡ŸX½;Ÿ}™gšrž‡š…Ÿ}¡è ²!˜X— ™gŸ»Š˜‰æX²

ktk = k2αum+v τ −X

iI

λ0iψi−X

iI

i−λ0iik

≤ kt0k+kX

iI

i−λ0iik

≤ 1 +kX

iI

i−λ0iik.

”cŸŠ¨¥´M²»Š˜‰æX²

(ktk −1)2≤M2k(λi−λ0i)iIk2,

´3»¥²µ‡²

M2

š ™º}š…æ}²¡Æš…¡Æž‡»¥²$½¥µ‡ŸX½;Ÿ}™gšrž‡š…Ÿ}¡è

(8)

k∇fum((λi)iI)− ∇fum((λ0i)iI)k2≤ M1M2

2 k(λi−λ0i)iIk2,

´3»¥š œj»¼²˜X¡Š™

k∇fum((λi)iI)− ∇fum((λ0i)iI)k ≤

√M1M2

2α k(λi−λ0i)iIk.

Ý »¥²µ‡²ÞéŸ}µg²}¨cžg»¥²!™mž‡˜zžg²¼²¡}ž3ŸXޞ‡»¥²½¥µgŸ}½ŸF™mš…žgš ŸX¡Æ»¥Ÿ}— ¶¥™š ¡Æžg»Š˜zžœ˜}™m²}è

²›Š¡˜z— —…³1¡Š²²¶[ž‡Ÿ™mžg¹¶e³1ž‡»¥²!œ˜}™m²)´3»¥²µ‡²êŸXžg»

ktk>1˜X¡Š¶ kt0k>1 ¢ ²žg»¥²¡»Š˜‰æX²

k∇fum((λi)iI)− ∇fum((λ0i)iI)k2 = X

iI

hw−w0∗, ψii2

≤ M1kw−w0∗k2

≤ M1

ktk −1

2αktk t−kt0k −1 2αkt0k t0

2

≤ M1

(2αktkkt0k)2

(ktk −1)kt0kt−(kt0k −1)ktkt0

2

≤ M1

(2αktkkt0k)2

ktkkt0k(t−t0)− kt0kt+ktkt0

2

.

”cŸŠ¨¥´M²)›Š¡Š˜X—…— ³1ŸX꥞‡˜zš ¡

k∇fum((λi)iI)− ∇fum((λ0i)iI)k ≤

√M1

2α kt−t0k+

√M1

2αktkkt0k

ktkt0− kt0kt .

·¹¥ž¨¥´M²$˜z—™mŸ»Š˜‰æ}²X¨

ktkt0− kt0kt =

ktk(t0−t) + (ktk − kt0k)t

≤ ktkkt0−tk+

ktk − kt0k ktk

≤ 2ktkkt0−tk

”cš…¡œ²X¨

kt0−tk ≤p

M2k(λi−λ0i)iIk,

´²)›Š¡Š˜X—…— ³ì»˜‰æX²

k∇fum((λi)iI)− ∇fum((λ0i)iI)k ≤ √

M1M2

2α +

√M1M2

αkt0k

k(λi−λ0i)iIk

≤ 3√ M1M2

2α k(λi−λ0i)iIk.

Ý »¥²˜zê;ŸæX²½¥µ‡ŸX½;Ÿ}™gšrž‡š…Ÿ}¡,š™2š ¼6½;ŸXµgž‡˜X¡Fž•™mš ¡Šœ²Úš…žºX¹˜zµj˜z¡Fžg²²™[žg»Š˜zž•™mŸ}¼²ÚºXµj˜X¶eš ²¡FžêŠ˜X™g²¶ ˜z— ºXŸ}µgš…žg»Š¼ ´3šrž‡»

œŸX¡™sžj˜z¡Fž™mžg²½â™gš…ù²X¨*¹Š™g²¶âš…¡çžg»¥²2˜X—…º}ŸXµ‡šrž‡»¥¼‹™°ŸXÞ Ý ˜z꥗ ²£¦}¨œŸX¡cæ}²µ‡ºX²™$ÞéŸXµ‹™mŸ}¼²Æ™mžg²½Í™gš…ù²î=™m²²[¡Š²ócž™g²œžgš ŸX¡Š™jï.è

Ý Ÿ}ºX²ž‡»¥²µ3´3š…žg»¸8µ‡ŸX½;Ÿ}™gš…žgš ŸX¡•¦}¨ežg»Šš ™3²¡Š™g¹¥µg²x™žg»Š˜zž3žg»¥²$´3»¥Ÿ}—…²$˜X—…º}ŸXµ‡šrž‡»¥¼ œŸ}¡cæX²µ‡ºX²x™ž‡Ÿžg»¥²!¶e²x™mš µ‡²¶Æ™mŸ}—…¹ež‡š…Ÿ}¡è

Ÿ´M²æX²µ¨š…¡£ŸXµj¶e²µ®žgŸœj»¥ŸF™m²Žžg»¥²™mžg²½™mš ù²6š ¡•ž‡»¥²™g²6˜X—…º}ŸXµ‡šrž‡»¥¼‹™´M²6¡¥²²x¶2žgŸÆ»Š˜‰æ}²Ž˜z¡£²™mžgš ¼‹˜žg²6ŸzÞLžg»¥²ê;²™mž

½ŸF™g™gš…ꊗ…²)œŸX¡™sžj˜z¡Fž š ½Š™‡œj»¥š…žgù®œŸX¡Š™mž‡˜X¡Fžè

Ý

»Šš ™Mœ˜X¡¨}ŸXÞ-œŸ}¹¥µ‡™g²{ê;²®¶eŸ}¡¥²²óe½²µgš ¼²¡Fž‡˜X—…— ³Žê;²µ‡¹¥¡¥¡Šš…¡¥º°žg»¥²)˜z— ºXŸ}µgš…žg»¥¼

ÞéŸXµ{™g²æX²µ‡˜X—T™sž‡²½w™mš ù²}¨e´3»¥²¡2˜X—…—?ž‡»¥²$Ÿzž‡»¥²µ3½Š˜Xµ‡˜X¼²žg²µ‡™˜Xµg²®›¥óe²¶Tè

’/¼6Ÿ}µg²²óeš…ꊗ…²2´˜‰³ÚžgŸœj»ŠŸ}™g²[ž‡»¥²•™mžg²½™gš ù²2š™žgŸÚ¹Š™g²žg»Š²2ÞéŸXµ‡¼°¹¥—˜²óe½¥µ‡²™‡™mš ¡¥ºžg»Š²2ꝟ}¹¥¡Š¶

C ºXš æX²¡š ¡

¸8µgŸ}½ŸF™mš…žgš ŸX¡2ôeè

š…žg»ž‡»¥š™3µg²º}˜Xµ‡¶¥™¨}ÞéŸXµ3¼Ÿ}™mž{¶eš œžgš ŸX¡Š˜Xµgš ²™¨¥˜z— —Tš…ž‡™3²—…²¼6²¡Fž‡™ê¥¹ež

M2

˜zµ‡²®²x˜X™g³‹žgŸ1œ˜z—œ¹¥—˜ž‡²Xè

õ

¡ÆŸ}µ‡¶¥²µžgŸ‹²x™sž‡š…¼‹˜zžg²

M2

¨¥ŸX¡¥²!œ˜z¡¹Š™g²!˜™sžj˜z¡Š¶¥˜Xµ‡¶Æ˜z— ºXŸ}µgš…žg»Š¼ÔÞéŸXµœŸX¼½¥¹ež‡š…¡Šºžg»¥²$—˜zµ‡ºX²x™sž3²š ºX²¡c托X—…¹Š²)ŸXÞ*˜X¡

ŸX½;²µj˜žgŸ}µî=™m²²ßt§‰áˆ¨”e²œ.ž‡š…Ÿ}¡°©}ïè¬{Ÿzž‡š œ²L´3š…žg»°žg»¥š™Bµg²x™m½;²œž-žg»˜žBžg»¥²˜z½¥½Š—…šœ˜zžgš ŸX¡!ŸXÞežg»¥²

µ‡˜X¼ ¼˜zžgµ‡šró

(hψi, ψji)i,jI

žgŸ1˜6æX²xœ.žgŸ}µ

i)iI

µg²xí}¹Šš…µ‡²™MŸX¡Š²)µ‡²œŸX¼½;Ÿ}™gšrž‡š…Ÿ}¡[˜z¡¶[Ÿ}¡¥²$¶e²œŸX¼½;Ÿ}™gšrž‡š…Ÿ}¡[š ¡Æžg»¥²!¶ešœ.ž‡š…Ÿ}¡Š˜zµ‡³

i)iI

è

(9)

²µj™m»¥º}ŸXµ‡š…¡2–š…µjœ— ² Ý »¥²Ÿ}µg²¼1ï

M2

maxiIik

X

iI

ik

!

. îm¦xô}ï

š ¡Š˜X—…— ³X¨;˜X™{œ˜z¡²˜}™mš —…³[ꝲŽ™m²²¡ÆÞéµgŸ}¼+îm¦¯Fï˜z¡Š¶Úîm¦X¦xï.¨

fum

¶eŸc²™{¡ŠŸzž™‡˜žgš™mÞé³Æ˜X¡F³Æ™mŸ}µmž3ŸXÞ*²—…— š ½ežgšœš…žs³[½ŠµgŸ}½²µmžs³}è

õ

¡Æ½˜zµgžgšœ¹¥—˜zµx¨cšrž{š™3¡¥ŸXž²—…— š ½ežgšœzè

Ê T×o×ĹܝØFÒmÏLÓ Ï1ÑÌ,×Ð LÏ8܊ÒwÑ &

õ

¡‹žg»¥š™M™m²xœ.žgš ŸX¡-¨}´M²{½¥µ‡²™g²¡FžLž‡»¥²®˜X—…º}ŸXµ‡šrž‡»¥¼ ŸXêežj˜zš ¡¥²¶‹´3»Š²¡‹ž‡»¥²º}µ‡˜}¶eš…²¡FžLꊘX™g²¶‹˜X—…º}ŸXµ‡šrž‡»¥¼ ¹Š™m²x¶žgŸ6™mŸ}—…æ}²3žg»Š²

™sž‡²½•¦®Ÿzށž‡»¥²˜z— ºXŸXµ‡š…žg»¥¼'¶e²™‡œµ‡š ê²x¶1š ¡ Ý ˜z꥗ ²°¦®š ™˜°™gš ¼6½Š—…²)½¥µ‡Ÿs²œžg²x¶‹ºXµj˜X¶eš ²¡Fž˜}™gœ²¡Fž´3š…žg»ÆœŸ}¡Š™sžj˜z¡FžLž‡š…¼²™sž‡²½è

Ý »¥²6™mžg²½â¦Žš ™®ž‡»¥²¡o˜z¡ {ù˜‰´˜ì˜X—…º}ŸXµ‡šrž‡»¥¼Ö™mŸ}—…æcš ¡¥º1ž‡»¥²¶e¹Š˜z—*ŸXÞ

(Pum) îéžg»c¹Š™®žg»Š²6¡˜z¼²ŽŸXÞ8žg»Š²Žæ}²µj™mš ŸX¡ïè

š æX²¡

¸8µgŸ}½ŸF™mš…žgš ŸX¡Úôe¨?´M²÷F¡ŠŸ´ îå™g²²ß ¦x§xረ–ŸXµxèôeè ¦Xètôe¨?½¥½è*믥¨T˜X¡Š¶ Ý »-è-ôeètôeèð¥¨?½¥½è-ð}ð}ï{žg»Š˜zž!šrž!œŸX¡cæX²µgº}²™)˜X™™mŸcŸ}¡˜}™

žg»¥²$ž‡š…¼²6™sž‡²½š ™š…¡ž‡»¥²!µj˜z¡¥º}²

(0,C2)¨Š´3»¥²µg² C š ™ºXš æX²¡Æš ¡2¸8µ‡ŸX½;Ÿ}™gšrž‡š…Ÿ}¡ôe芓2Ÿ}µg²ŸæX²µ¨Fžg»Š².ê;²™mž{žgš ¼²°™mžg²½ )š ™

ρ= C1è

²!˜X— ™gŸ÷F¡ŠŸ´ îå™g²²ß ¦x§xáéïMž‡»Š˜žx¨eÞéŸXµ

ρ= C1 ˜z¡¶ um∈RN¨¥žg»¥²µg²$²ócš™mž‡™3˜œŸ}¡Š™sžj˜z¡Fž

C1>0 îå´3»¥š œj»2¶e²½²¡Š¶¥™

ŸX¡Æžg»¥²š ¡¥š…žgš˜z— š…ùx˜žgš ŸX¡2íF¹Š˜X—…š…žs³¥ï™g¹Šœj»[žg»Š˜zž

fumki)iI

−fum ≤C1

2C k+ 4,

´3»¥²µ‡²

ki)iI

š™žg»Š²)µ‡²™g¹¥—…ž˜žžg»Š²

k

žg»

šrž‡²µj˜ž‡š…Ÿ}¡[ŸXޞ‡»¥²!˜z— ºXŸ}µgš…žg»¥¼ä˜X¡Š¶

fum= min

i)i∈IR+Ifumki)iI îm¦­Fï

Ý »¥²)›Š¡Š˜z—˜z— ºXŸXµ‡š…žg»¥¼Ôš™{¶e²x™gœµgš ê²x¶ìš ¡ Ý ˜X꥗ ²$ô¥è

õ¡¥š…žgš˜z— š…ù²

0i)iI

¨

u0∈RN ˜z¡Š¶ ρ= C1è

²½²x˜ž{¹¥¡Fžgš —-œŸX¡cæX²µgº}²¡Šœ²Žî闠ŸcŸX½Æš…¡

mï

²½;²˜zž{¹¥¡Fžgš —-œŸ}¡Fæ}²µ‡ºX²¡Šœ²6î闠ŸFŸ}½[š ¡

kï

¦}讖ŸX¼½¥¹ež‡²

wk = 2αum−P

iIλkiψi+1τv

ô¥è3šrÞ

(kwkk ≤1)¨Š™g²ž wk = 0

Ÿzž‡»¥²µ‡´3š ™g²X¨e™g²ž

wk ←a wk¨e´3šrž‡» a= kwkkwk−kk1

­Šè {½?¶¥˜ž‡²

λk+1

¨

∀i∈I, λk+1i = max 0, λki +ρ(hwk, ψii −1)

¹¥½;¶Š˜žg²

um+1=wk ˜z¡Š¶T¨cÞéŸ}µ{˜z— —

i∈I¨ λ0ik+1i è

Q ô

{ùx˜‰´M˜°æX²µ‡™gš…Ÿ}¡ìŸXށžg»¥²$˜X—…º}ŸXµ‡šrž‡»¥¼Ö¢

Ý

»¥²™sž‡²½¦)ŸXށžg»Š²˜X—…º}ŸXµ‡šrž‡»¥¼ä¶e²x™gœµgš ê²x¶1š ¡

Ý

˜zꊗ…²¦)š ™™gŸX— æX²¶ìêc³1˜

½¥µgŸ s²œžg²¶[ºXµj˜X¶¥š…²¡}ž3¶e²x™gœ²¡Fž{´3šrž‡»2œŸX¡™sžj˜z¡Fž™mžg²½2™mš ù²}è

õ¡Ú½¥µ‡˜}œ.ž‡š œ²îå˜z¡¶£š ¡ožg»Š²1²óe½;²µ‡š…¼²¡Fžj™$½¥µ‡²™g²¡Fžg²x¶£š ¡ç”c²xœ.žgš ŸX¡­Fï.¨´²‹š ¡¥š…žgš˜z— š…ù²¶

0i)iI

˜z¡¶

u0 ˜zž 0è Ý »Š²

œŸX¡™sžj˜z¡Fž

C ´˜X™M²™mžgš ¼‹˜ž‡²¶Æ´3šrž‡»¸8µgŸ}½ŸF™mš…žgš ŸX¡2ô6˜z¡Š¶oîm¦xôXï.è Ý »¥š™ºXš æX²™¢

C=3q P

iIik2 P

iIik

(maxiIik)

2α . îm¦¤cï

Ê vÌ-Ø}ÑéܥÏLÌ-܊ØcÒsÏLÓ ÏìÑÌ,×Ð 8Ï8܊ÒsÑ &

õ

¡žg»¥š™™g²œžgš ŸX¡¨}´²½¥µg²x™m²¡Fž˜$æX²µ‡™gš ŸX¡6žg»¥²)˜z— ºXŸ}µgš…žg»¥¼ ´3»¥²µ‡²3ž‡»¥²®™mžg²½¦{ŸzÞ?ž‡»¥²®˜X—…º}ŸXµ‡šrž‡»¥¼ ¶e²x™gœµgš ê;²¶‹š ¡

Ý

˜X꥗ ²

¦‹š ™!™gŸX— æX²x¶•´3š…žg»˜2¬²™mžg²µgŸæ•˜X—…º}ŸXµ‡šrž‡»¥¼ î=™m²²2߅¦‰§xáú¨½è«X¯}ïè

õ

¡žg»¥²[œŸX¼¼Ž¹¥¡¥š…žs³•š ¡Fæ}ŸX— æX²x¶•š ¡ÚœŸX¼½¥— ²óeš…žs³ž‡»¥²Ÿ}µg³}¨

žg»¥š™{˜z— ºXŸ}µgš…žg»Š¼Ôš ™{™‡˜zš¶ìžgŸê²$Ÿ}½ežgš ¼‹˜z—TÞéŸ}µ{™mŸ}—…æcš ¡¥ºŽžg»¥²$½¥µ‡ŸXꊗ…²¼ä´²$˜Xµg²š ¡}ž‡²µ‡²™mžg²x¶ìš ¡è

Références

Documents relatifs

To test whether the vesicular pool of Atat1 promotes the acetyl- ation of -tubulin in MTs, we isolated subcellular fractions from newborn mouse cortices and then assessed

Néanmoins, la dualité des acides (Lewis et Bronsted) est un système dispendieux, dont le recyclage est une opération complexe et par conséquent difficilement applicable à

Cette mutation familiale du gène MME est une substitution d’une base guanine par une base adenine sur le chromosome 3q25.2, ce qui induit un remplacement d’un acide aminé cystéine

En ouvrant cette page avec Netscape composer, vous verrez que le cadre prévu pour accueillir le panoramique a une taille déterminée, choisie par les concepteurs des hyperpaysages

Chaque séance durera deux heures, mais dans la seconde, seule la première heure sera consacrée à l'expérimentation décrite ici ; durant la seconde, les élèves travailleront sur

A time-varying respiratory elastance model is developed with a negative elastic component (E demand ), to describe the driving pressure generated during a patient initiated

The aim of this study was to assess, in three experimental fields representative of the various topoclimatological zones of Luxembourg, the impact of timing of fungicide

Attention to a relation ontology [...] refocuses security discourses to better reflect and appreciate three forms of interconnection that are not sufficiently attended to