Variational Bayesian features selection

"!$#%!'&(*),+- "!$./(102 43156731589

:<;>=,?A@B;>CADE%FGD*H<IJ,KG?MLNFG?M;>EO4DCACADP*DE<L

QR

FG@1=<DKS1H<T1U1U1V

"! #

$&%'$(*)+-,-./012+-3'.&)4%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5% 7

8:9;<=9; ?>?A@BCD= "! E

%'$FG3'H+-0,-I6FG./I2JK%5%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5% L

%NMIO,-)3')PRQO,SOTRI2+-I2,-UV%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5% W

%XNFG./I2JYI2J'I212+-3'.&)D%5%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5% Z

%X%'$[Q,-0)3')PRFG./I2JD%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5% Z

%X%]\A.&TR^".&)I2)+`_bac3'U-I5deFf%5%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%g$h

ij5 "!Ak6l"2!m4 "! "

X%'$nAO,-3oO+-3'.&)"OJ"pcOq&I2U-3oO)GMIO,-)3')P4%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%g$&$

X%'$&%'$[dr_bU-+-I2^s%6%5%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%g$

X%'$&%]Ft_bU-+-I2^u%6%5%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%g$

X%'$&%X]FG./I2JYI2J'I212+-3'.&)4%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%g$2v

wxyez*2>u!!{G!e>m|G9}9 "E

v"%'$Y0^"I2,-~3'U-I2/=J'IO,-)3')PG%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%g$L

v"%:€3'//I2)=F=O,-&.~RFG./I2J'U%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%g$L

#:‚c<yeƒu!? „

7%'$Yq)+-…I2+-3'15/"O+SON%5%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%g$Z

7%'$&%'$[†IO+-0,-I5USOJ'3'I2)12qGO)/G12.&TR^".&)I2)+A)0T‡"I2,%5%5%6%5%5%5%6%5%5%g$Z

7%'$&%]F=F=M4~&I2,-U-0U€nAO,-3oO+-3'.&)"OJpcOq&I2U-3oO)]%5%5%6%5%5%6%5%5%5%6%5%5%g$Z

7%'$&%X‰ˆ6M4/3'U-+SO)12I6‡"I2+*aAI2I2)=12J'0U-+-I2,-UŠ%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5% &h

7%'$&%vŒ‹€‡U-I2,-~&O+-3'.&)GI2)+-,-.&^q%5%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5% $

7%NY^"I2I21S…4ŽcI212.&P&)3'+-3'.&)V%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%

7%XN\A.&)12J'0U-3'.&)]%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5%6%5%5%5%6%5%5% &X

 :€s€

!#"%$'&%()+*,"-

(*)BOc^"O+-+-I2,-),-I212.&P&)3'+-3'.&)6+SOU-/.Oc12I2)+-,SOJ,-.&J'Ie3'U?^JoOq&I2/6‡q10IO+-0,-IAU-I2J'I212+-3'.&)?%YI2J'I212+`_

3')P6TR.&U-+3'TR^".&,-+SO)+20IO+-0,-I2Uc…"OUAO6/.&0‡J'IcP&.OJ43,-I2/0123')PB12.&TR^0+SO+-3'.&)"OJ1S…"O,-P&I2U

O)/G3'TR^,-.~3')P5,-I212.&P&)3'+-3'.&)G,SO+-I-5oI2J'3'TR3')"O+-3')P5+-…I6TR.&U-+e).&3'U-q60IO+-0,-I2U872%

†IO+-0,-IcU-I2J'I212+-3'.&)OJ'P&.&,-3'+-…TRU"‡"I2J'.&)P&U+-.€+*aA.5‡3'P90bOTR3'J'3'I2U3;: J'+-I2,-UAO)/6ac,SO^^"I2,-U

+-…"O+c)I2I2/=12JoOU-U€JoO‡"I2J'U%(*)GTGO)qO^^J'3'1O+-3'.&)U.12JoOU-UcJoO‡"I2J'U€O,-I5).&+€O~&O3'JoO‡J'I 5oI&%P"%

0)JoO‡"I2J'I2/uU-^"I2I21S…V,-I212.&P&)3'+-3'.&)4/"O+SO‡"OU-I75O)/4.&+-…I2,63')/4.&,6OJ'P&.&,-3'+-…TRUcT0U-+5‡"I

0U-I2/?%

(*)u+-…3'U6,-I2^".&,-+BaAI<: ,-U-+612.&)U-3'/I2,=0IO+-0,-IUSOJ'3'I2)12q4TR./I2J^,-.&^".&U-I2/V3')?>'$A@ O)/

>B@C0.&,eTR3'H+-0,-IA‡"OU-I2/R12J'0U-+-I2,-3')PBO)/+-…I2)R^,-.&^".&U-I5O5‡"Oq&I2U-3oO)=0,SOTRI2aA.&,-6‡"OU-I€.&)

~&O,-3oO+-3'.&)"OJ"J'IO,-)3')PB+-…"O+cI2)"O‡J'I2Uc^"O,SOTRI2+-I2,cJ'IO,-)3')PO)/GTR./I2J"J'IO,-)3')P"%

x c

 :€s€

(*)4+-…3'U51S…"O^+-I2,5aAIB12.&)U-3'/I2,6+-…IBTR./I2J?^,-.&^".&U-I2/u3') >'$ @`%c…3'U5TR./I2J?^"I2,-TR3'+-U€+-.

J'IO,-)GU-3'T0J'+SO)I2.&0U-J'qB^"O,SOTRI2+-I2,-U€O)/ 0IO+-0,-I2U€USOJ'3'I2)12q3')=OBTR3'H+-0,-IcTR./I2J*%

% *-#&-!"%$

MI2+U€12.&)U-3'/I2,c+-…I 0.&J'J'.ac3')P6O0U-U-3oO)GFG3'H+-0,-IBFG./I2J43

5 7

!#"%$'&

! 5'() !

7

!#"%$'&

!+*

,-"%$

5

- ()

!.-

7 5%'$7

ac…I2,-I4+-…I 0bO12+-.&,-30/O+-3'.&)m3'U^".&U-U-3'‡J'I=30 aAIuOU-U-0TRIG/3oOP&.&)"OJc12.~&O,-3oO)12I=TGO+-,-3'H%

c…I6TR./I2J"12.&)U-3'U-+-U€. 021 /33 I2,-I2)+c12.&TR^".&)I2)+-U.IO1S…G12.&TR^".&)I2)+A3'UcT0J'+-3'~&O,-3oO+-I

PO0U-U-3oO).&~&I212+-.&,A/3'TRI2)U-3'.&)B3'U54 .6)

!.-

3'Ue+-…I€TR./I2J. 0 +-…I798;:=<R~&I212+-.&,A12.&TR^".&)I2)+

3')G+-…I?>?8@:=<GTR3'H+-0,-I€12.&TR^".&)I2)+%

†IO+-0,-I6U-I2J'I212+-3'.&)G^,-.&‡J'I2TŠ12.&)U-3'U-+-Uc3')G/I2+-I2,-TR3')3')P6….a;,-I2J'I2~&O)+A3'Uc+-…IA7'8@:=<

12.&TR^".&)I2)+%%c…Ic,-I2J'I2~&O)12Ic3'Ue12.&)U-3'/I2,-I2/GOUe+-…Ic1O^"O123'+*qB. 0 /3'U-12,-3'TR3')"O+-Ie‡"I2+*aAI2I2)

/33 I2,-I2)+6TR3'H+-0,-I612.&TR^".&)I2)+-UBOU-U-0TR3')PC 5

- (D -

75+-…IB/3'U-+-,-3'‡0+-3'.&)4. 0 +-…IE7%8F:=<

0IO+-0,-IR,-I2PO,-/J'I2U-U+-…IRTR3'H+-0,-IB12.&TR^".&)I2)+53'+6‡"I2J'.&)P&U6+-."%G(0 +-…IG7H8F:=< 0IO+-0,-I

3'UB3',-,-I2J'I2~&O)+.3'+U63')+-03'+-3'~&I2J'q=,-IOU-.&)"O‡J'IR+-.uOU-U-0TRI

5

- ()

!.-

7EIC 5

- () -

763*%I&%=+-…I

0IO+-0,-IR/3'U-+-,-3'‡0+-3'.&)u3')4+-…I;>J8F:=<uTR3'H+-0,-IB12.&TR^".&)I2)+53'U63'/I2)+-3'1OJA+-.G+-…IR+-.&+SOJ

/3'U-+-,-3'‡0+-3'.&)?%4(*)+-,-./0123')PuOG‡3')"O,-qu~&O,-3oO‡J'IGK

-

+-…"O+B3')/3'1O+-I2UB30 +-…I 0IO+-0,-IR3'U

,-I2J'I2~&O)+ 5K

-

$7A.&,c).&+ 5K

-

Dh 7,.3'+UA^".&U-U-3'‡J'I5+-.ac,-3'+-I5+-…I6TR./I2J"J'3'&I 3

5 75

!#"%$'&

!+*

,

-"%$

5 5

- ()

!.- 7 7MLON5C 5

- (D -7 7

$P

LON 5% 7

‹€‡~3'.&0U-J'qV3')D,-IOJ5/"O+SO4^,-.&‡J'I2TRU3')U-+-IO/D. 0 /I2+-I2,-TR3')3')Pu+-…I4~&OJ'0IG. 0JK}OUGO

‡3')"O,-q4~&O,-3oO‡J'I .3'+U6TR.&,-IB3')+-I2,-I2U-+-3')P4+-.=/I2+-I2,-TR3')I+-…IRQ-USOJ'3'I2)12qTSG. 0 OG12I2,-+SO3')

0IO+-0,-I&%4†.&,5+-…3'U6,-IOU-.&)V3'+U5^".&U-U-3'‡J'IR+-.=12.&)U-3'/I2,UKVOUBO)u…3'//I2)V~&O,-3oO‡J'IBO)/

/I : )IEV

-

XW-5K

-

K$72%c(*+€1O)=‡"IB/I2TR.&)U-+-,SO+-I2/=+-…"O+€0U-3')P+-…3'U5OU-U-0TR^+-3'.&)G+-…I

5 75

!#"%$6&

!@*

,-"%$

5V - 5

- ()

!.- 7

5-$58 V - 7MC 5

- (D -7 7 5%X 7

c…3'U 0.&,-T0JoO+-3'.&)61O)G‡"I5U-I2I2)=OU€O6€3'I2,SO,-1S…3'1OJ?FG3'H+-0,-I6FG./I2Jac3'+-…R+*aA.B…3'//I2)

~&O,-3oO‡J'I2UA+-…"O+c3')/3'1O+-I2Uc+-…I6TR3'H+-0,-Ic12.&TR^".&)I2)+-U€O)/G+-…I10IO+-0,-I6USOJ'3'I2)12q%

% !)%* ! H !

53'~&I2)VO)V0)JoO‡"I2J'I2/m+-,SO3')3')P=U-I2+ 5

$

76ac3'+-… E5

$

*

7,.+-…I

^,-.&‡J'I2TŠ3'UAI2U-+-3'TGO+-3'.&)R. 0r^"O,SOTRI2+-I2,-Uc. 0rTR./I2J %X6P&3'~&I2)R‡q

&

!

)

!.-

D

-

V

-

%

(*) >'$A@ ^"O,SOTRI2+-I2,-UcJ'IO,-)3')P3'UA‡"OU-I2/=.&)=OBF=OH3'T0TM3'&I2J'3'…../R12,-3'+-I2,-3'.&)3

! #"%$!&7('#"

5) ( 7H ! #"%$!&

"%$

7('#"

!#"%$6&

!@*

,-"%$

5V - 5

- ()

!.- 7

5-$O8V

-

7MC 5

- (D -7 7

5%v 7

pAI21O0U-IA. 0 +-…I 0bO12++-…"O++-…IeTR./I2J0U-I2U?…3'//I2)6~&O,-3oO‡J'I2UO)6dH^"I212+SO+-3'.&) _`F=OH3'TR30/O+-3'.&)

OJ'P&.&,-3'+-…TT0U-+A‡"I60U-I2/?%

c…IBdr_bU-+-I2^G12.&)U-3'U-+-U€12.&)U-3'U-+-U€3')G+-…I10.&J'J'.ac3')P5I2U-+-3'TGO+-3'.&)U3

*

!.-

W-5K

-

$

-(+,% > 7 V - 5

- ()

!.-

7 5%7 7

-

!.-

W-5K

-

Dh

- (+,H > 75 5-$8 V - 7MC 5

- (D -7 5% 7

.

!.-

W-5

- (+,% > 7 *

!.-

-

!.-

5%L 7

/ ! W-5(+,H > ( 7H

&

!10

- .

!.-

2 ! & ! 0 - .

!.-

5%W 7

3

!.-

W-5K

-

$

+,% > (47H

*

!.-

.

!.-

/ ! 5%Z 7

4

!.-

W-5K

-

Dh

+,% > (47

/ ! 8 3

!.-

5%'$h 7

! 4

!.-

W-5K

-

;h'(7$58

! 3

!.-

5%'$&$7

c…I6Ft_bU-+-I2^=12.&)U-3'U-+-U€3')R+-…I 0.&J'J'.ac3')P5^"O,SOTRI2+-I2,-UcI2U-+-3'TGO+-3'.&)U3

& ! 2 / !

2 ! / ! 5%'$ 7

5

5)

!.- 7

2 3

!.-

-

2 3

!.-

5%'$X 7

6

5)

!.- 7H

2 3

!.- 5

- 8

5

5)

!.- 7 787

2 3

!.-

5%'$2v 7

5

5D

-

7

2 52 ! 4

!.- 7M

-

2 ! 4

!.-

5%'$7 7

6

5D

-

7H

2 52 ! 4

!.- 7,5

- 8

5

5D

-7 787

2 ! 4

!.-

5%'$ 7

V - 2 ! 3

!.-

2 ! 3

!.-

2 ! 4

!.-

2 ! 3

!.-

9 5%'$L 7

U-I2,-3'.&0Uc^,-.&‡J'I2TK3')0U-3')PU6F=FŠ3'UA+-…"O+A+-…I€)0T‡"I2,A. 0 TR3'H+-0,-IcT0U-+e‡"I€P&3'~&I2)?%

(0 3'+/.I2UA).&+TGO+-1S…B+-…IUQ-,-IOJ0S612J'0U-+-I2,A)0T‡"I2,.^"O,SOTRI2+-I2,I2U-+-3'TGO+-3'.&)6TGOq5U-0 3 I2,

. 0 TGO)q^,-.&‡J'I2TRUAJ'3'&I5.~&I2, : +-+-3')P.&,cJ'.1OJ?TGOH3'TRO€^,-.&‡J'I2TRU% ^".&U-U-3'‡J'I6TR./I2J

U-I2J'I212+-3'.&)=12,-3'+-I2,-3'.&)G3'Uc+-…I6FG3')3'T0TFGI2U-USOP&IBMI2)P&+-… 5F=F=M7

(*+Uc^".&U-U-3'‡J'I€+-.B.&‡+SO3')RO612,-3'+-I2,-3'.&) 0.&, .&3')+e^"O,SOTRI2+-I2,-UcI2U-+-3'TGO+-3'.&)O)/RTR./I2J

U-I2J'I212+-3'.&)?%e(*) >'$A@ 3'+Uc.&‡+SO3')I2/G+-…I10.&J'J'.ac3')P512,-3'+-I2,-3'.&)3

! #"%$

9

987('#"

5)( 7 $

51

4 1 4

4+7 7('#"

9

!#"%$

*

-"%$

7('#" 5& ! V - 7 *

-"%$

7('#"15-$58 V -7 5%'$W 7

ac…I2,-I }O)/mO,-I5)0T‡"I2,e. 0r^"O,SOTRI2+-I2,-Uc3'))

!.- O)/D

-

%(*)R+-…I5^,-.&^".&U-I2/=TR./I2J

%\A,-3'+-I2,-3'.&) %'$W61O)G‡"I5,-I2ac,-3'+-+-I2)uOU3

! #"%$!& 7('#"

5) ( 7 8 A4

-"%$

7('#"

& ! 8 *

-"%$

7('#"15-$58 V - 7%8

A1

*

-"%$

7('#" V

-8

5%'$Z 7

ac…3'1S…R1O)‡"I5U-I2I2)=OUAOBF Q4I2U-+-3'TGO+-Ic/I : )3')PB+-…I 0.&J'J'.ac3')P€3'TR^,-.&^"I2,e^,-3'.&,-UA.&)

& ! O)/V

-3 5&

$

&

7

,

-"%$ &

P

* 7

! 5%&h 7

5V -

7 V

P

7

-

5-$8 V -7 P

7 5%$7

(*)G+-…IBdeF OJ'P&.&,-3'+-…T+-…I50^"/"O+-I 0.&,-T0JoO 0.&,

& ! O)/GV

-

‡"I212.&TRI2U3

& !

$!&5 2 / !

8 A4

h 7

2 !

$!&5 2 / !

8 A4

h 7 5% 7

V -

$!&5 2 ! 3

!.-

8 1

h 7

$!&5 2 ! 3

!.-

8 1

h 7

$!&5 2 ! 4

!.- 8

h 7 5%&X 7

"! #$&%('()"' *,+.- /(021

)=3'TR^".&,-+SO)+A^".&3')+c3')G0U-3')PR0^"/"O+-I 0.&,-T0JoO % O)/ %&XB3'Uc+-…I6^".&U-U-3'‡3'J'3'+*qR. 0

^,-0)3')P5^"O,SOTRI2+-I2,-U%?(*)=0bO12+?30 +-…Ic3')3'+-3oOJ&TR./I2J&3'U3')3'+-3oOJ'30/2I2/5ac3'+-…Oc…0P&IA)0T‡"I2,

. 0 PO0U-U-3oO)U.F=F=MJ'IO,-)3')P€U-….&0J'/6/I2+-I212++-…IA12.&,-,-I212+e)0T‡"I2,. 0 12J'0U-+-I2,-Ue^,-0)3')P

I2H+-,SOPO0U-U-3oO)U%

35O+-0,SOJ'J'quac…I2)

& ! .&,EV

-

P&.4+-. /2I2,-. .A^"O,SOTRI2+-I2,-UB)0T‡"I2,B1S…"O)P&I2UR‡"I21O0U-I

^"O,SOTRI2+-I2,-U,-I2JoO+-3'~&IR+-.412.&TR^".&)I2)+-UJ> .&,=0IO+-0,-I751O)V‡"IG/3'U-1O,-/I2/%Bc3'+BTRIO)U

+-…"O+612,-3'+-I2,-3'.&) %'$WT0U-+€‡"ITR./3: I2/=3')4.&,-/I2,6+-.=12.&)U-3'/I2,6+-…I,-3'P&…+5)0T‡"I2,5. 0

^"O,SOTRI2+-I2,-U%

! #"%$

9

987('#"

5)( 7 $

514

465

144 $ 4 7

+7 7('#"

9

4

!#"%$

*7

-"%$

7('#" 5 & ! V -7

*8

-"%$

7('#" 5-$58 V -7 5%v 7

$

+-0,-I2U 0.&,5ac…3'1S… V

- hC. 4 7

O,-I<0IO+-0,-I2U 0.&,€ac…3'1S… V

-

$ .?O)/ 465RO,-I=0IO+-0,-I2U

0.&,Aac…3'1S…=h

V

-

$&%

(*+Uc).a;^".&U-U-3'‡J'I5+-.BTR./30qBI0"O+-3'.&)U % 6O)/ %&XBOU90.&J'J'.acU3

& !

$!&5 2 / !

8 A4

$ h 7

2 !

$!&5 2 / !

8 A4

$ h 7 5%&7 7

V -

$!&5 2 ! 3

!.- 8R1

4 h 7

$!&5 2 ! 3

!.- 8R1

4 h 7

$!&5 2 ! 4

!.- 8

h 7 5% 7

- 6-'(02' ) 0+

^,-.&‡J'I2T.&0+-J'3')I2/R3')'>'$A@ 3'Ue+-…I5~&I2,-q…"O,-/R^,-0)3')P6‡"I2…"O~3'.&,A3')<: ,-U-+€deFsU-+-I2^%B3')

0bO12+e30 +-…I€3')3'+-3oOJ&12.&TR^".&)I2)+)0T‡"I2,3'U+-..6‡3'P5+-…Ic^"I2)"OJ'+*q6+-I2,-T1O)‡"I€+-..5…"O,-/

O)/12.&TR^".&)I2)+-U€O,-I6^,-0)I2/=.&0+%5.O~&.&3'/R+-…3'U€‡"I2…"O~3'.&,.O0+-….&,-U€^,-.&^".&U-IBO

TR./3: 1O+-3'.&)G+-.G+-…IRdeFOJ'P&.&,-3'+-…T 3ATR3'H+-0,-I612.&TR^".&)I2)+-U6O,-IB0^"/"O+-I2/u3')4+-0,-)U

3')U-+-IO/G. 0r3')^"O,SOJ'J'I2J*%%c…I2qR,-I 0I2,c+-.+-…3'UATR./3: I2/RdeF OJ'P&.&,-3'+-…TKOUc\A.&TR^".&)I2)+

D3'U-I6deF5\;deF'7 5oU-I2I%>'$ @/0.&,A/I2+SO3'J'U872%

€  g

 :€s€

).&+-…I2,RI 123'I2)+acOq 0.&,B/.&3')P4TR./I2JcU-I2J'I212+-3'.&)m12.&)U-3'U-+-UR3')V0U-3')P

5on€p 76+-I21S…)30I2U%=†?3',-U-+O^^J'3'1O+-3'.&)=+-.=PO0U-U-3oO)uTR3'H+-0,-IBTR./I2J'U€acOU

^,-.&^".&U-I2/=3') >XB@`%

€U-3')P6n€pVJ'IO,-)3')P5. 3 I2,-UcO€acOq 0.&,.&^+-3'TR30/23')P .&3')+-J'q5^"O,SOTRI2+-I2,-UAO)/BTR./I2JB

00,-+-…I2,-TR.&,-I€O).&+-…I2,e&I2q=0IO+-0,-I€. 0 n€pVJ'IO,-)3')P53'Ue+-…"O+e3'+)"O+-0,SOJ'J'q6^,-0)I2UAI2H+-,SO

/I2P&,-I2I6. 0+0,-I2I2/.&T4%†.&,cO)GI2H…"O0U-+-3'~&I5,-I2~3'I2a}U-I2I%>vB@

% !#*, +*,"- E+*, !)%*

MI2+U€12.&)U-3'/I2,c+-…I6TR./I2J %XC3

5'( 7

!#"%$'&

!+*

,

-"%$

5V - 5

- ()

!.- 7 V

-0$

C 5

- (D -7 7 5X%'$7

ac…I2,-I

&

!

)

!.-

D

-

V

-

%

MI2+U€I2H^J'3'123'+APO0U-U-3oO)G/3'U-+-,-3'‡0+-3'.&)U3

5

- ()

!.- 7

$

!

6

!.-"

& 58 5

- 8 5

!.- 77

6 7

!.-

7 5X% 7

C 5

- (D - 7

$

!

6

-#"

& 58 5

- 8 5 - 787

6 7

- 7 5X%X 7

O)/G+-…I23',c^,-3'.&,c/3'U-+-,-3'‡0+-3'.&)U3

5( 7

5& 7 5V -7 ,

!.- 56

!.- 7 55

!.- (6

!.-

7 56 -7 55 - (6 -7 5X%v 7

ac…I2,-I

5&

7 4( 5D

7 5X%7 7

5V 7 4( 5$

7 5X% 7

56

!.- 7#5

*

. 7 5X%L 7

55

!.- (6

!.-

7 55 ($

* 6

!.-

7 5X%W 7

56 -

7#5-

*

. 7 5X%Z 7

55 - (6 -

7 55 ($

* 6 -7 5X%'$h 7

ac…I2,-I43'U€O6POTRTGO€/3'U-+-,-3'‡0+-3'.&)GO)/s3'U€OB).&,-TGOJ"/3'U-+-,-3'‡0+-3'.&)?%

.cJ'IO,-)6.&^+-3'TGOJ~&O,-3oO+-3'.&)"OJ‡"Oq&I2U-3oO)5^".&U-+-I2,-3'.&,deFŠOJ'P&.&,-3'+-…TD1O)6‡"IAO^^J'3'I2/?%

"!"! &0

†.&J'J'.ac3')P10.&,-T0JoO€3'TR^J'I2TRI2)+-Ue+-…I6dr_bU-+-I2^3

*

!.- V -

6

$ 7

!.-

" & 58 $ 5A8

5

!.- 7

6

!.- 5A8

5

!.-

77 " & 58 $

!.-

7 5X%'$&$7

-

!.- V

-0$6

$ 7

- " & 58 $ 5A8

5 - 7

6

-

5A8

5 -7 7 " & 58 $

6-

7 5X%'$ 7

ac…I2,-I

7('#"V

-

5$

7H85$

$ $ 7 5X%'$X 7

7('#"V

-0$

5$

$

7H85$

$ $ 7 5X%'$2v 7

7('#"

6

!.-

5

-

!.-

7%8 7('#"

.

!.-

7('#" 5X%'$7 7

7('#"

6 -

5- - 7%8 7('#"

. -

7('#" 5X%'$ 7

6

!.-

-

!.- .

!.-

5X%'$L 7

6 - - - . -

5X%'$W 7

ac…I2,-I}3'Uc+-…I6/3'POTRTRO900)12+-3'.&)?%

.

!.-

*

!.-

-

!.-

5X%'$Z 7

/ !

&

!10

- .

!.-

2 !

& ! 0 - .

!.-

5X%&h 7

3

!.-

*

!.-

.

!.- / !

5X%$7

4

!.-

/ ! 8 3

!.-

5X% 7

! 4

!.-

$58

! 3

!.-

5X%&X 7

ac…I2,-I

7('#"

& ! 5D

!

7%85

!

D 7 5X%v 7

"! + &0

FG./I2J?^"O,SOTRI2+-I2,-U€1O)G‡"I6I2U-+-3'TGO+-I2/G0U-3')P<0.&,-T0JoO %'$ _ %'$L%?‹€^+-3'TGOJ"^"O,SOTRI _

+-I2,€^".&U-+-I2,-3'.&,c1O)G‡"I5I2U-+-3'TGO+-I2/G‡"I21O0U-I6^,-3'.&,c/3'U-+-,-3'‡0+-3'.&)UA‡"I2J'.&)P&Uc+-.12.&) 0PO+-I

0bOTR3'J'q&%

- P ! / !

5X%&7 7

P'- ! 3

!.-

5X% 7

P'-0$

! 4

!.-

5X%&L 7

!.-

3

!.-

5X%&W 7

- ! 4

!.-

5X%&Z 7

(*+Uc).a;^".&U-U-3'‡J'I5+-.I2U-+-3'TGO+-I€^".&U-+-I2,-3'.&,€/3'U-+-,-3'‡0+-3'.&)U3

C 5&

7H 4( 5D 7 5X%X&h 7

C 5V -

7H 4( 5$

- 7 5X%X$7

5X%X 7

ac3'+-…

D ! D

- P !

5X%X&X 7

$ -

$

P'- $

-0$

$

P'-0$

5X%Xv 7

5X%X&7 7

†.&,cTRIO)UA/3'U-+-,-3'‡0+-3'.&)U3

C 55

!.- (6

!.-

7H 5($

!.- ( !.-

6

!.-

7 5X%X 7

C 55 - (6 -

7H 5($

- ( 6-

6 -7 5X%X&L 7

ac…I2,-I

$

!.-

!.- 5

!.-

$

!.-

5X%X&W 7

$ - - 5 - $

-

5X%X&Z 7

!.-

!.-

5X%vh 7

6-

-

5X%v"$7

†.&,c^,-I2123'U-3'.&)G/3'U-+-,-3'‡0+-3'.&)U3

C 56

!.-

7H#5-

!.-

.

!.-

7 5X%v 7

C 56 - 7H#5

-

-8

. -7 5X%vX 7

ac…I2,-I

-

!.-

!.-

6

!.-

!.- 55

!.-

8 $

787

!.-

-

5X%v&v 7

- -

- 6 - - 55 - 8 $ 7 7

- -

5X%v7 7

!.-

!.-

5X%v 7

-

-

5X%vL 7

nAO,-3oO+-3'.&)"OJ?‡"Oq&I2U-3oO)=J'IO,-)3')PG. 3 I2,-UBO).&+-…I2,63'TR^".&,-+SO)+c^".&U-U-3'‡3'J'3'+*q/3cnAO,-3oO+-3'.&)"OJ

‡".&0)/4,-I2^,-I2U-I2)+ROR12,-3'+-I2,-3'.&) 0.&,5TR./I2JU-I2J'I212+-3'.&)?%(*)4P&I2)I2,SOJ4.P&3'~&I2)uO)4.&‡U-I2,-~&O _

+-3'.&)=U-I2+ s…3'//I2)4~&O,-3oO‡J'I2U .?TR./I2J?^"O,SOTRI2+-I2,-U ~&O,-3oO+-3'.&)"OJ?‡".&0)/41O)4‡"I

I2H^,-I2U-U-I2/uOU 5oU-I2I%>v @/0.&,c/I2+SO3'J'U87,3

C 5(U(76C 5 R(-7T7('#"

W-5)

R( 7

W-5 R( 7

8R4 5C 5(U(-7(0(

5( 7 7 5X%vW 7

ac…I2,-I

5( 7e3'Ue^"O,SOTRI2+-I2,-UA^,-3'.&,e/3'U-+-,-3'‡0+-3'.&).TC 5(U(7AO)/GC 5 R(-7eO,-I€,-I2U-^"I21 _

+-3'~&I2J'qG~&O,-3oO+-3'.&)"OJ?^"O,SOTRI2+-I2,-U5^".&U-+-I2,-3'.&,6O)/4~&O,-3oO+-3'.&)"OJ?…3'//I2)4~&O,-3oO‡J'I2U€^".&U-+-I _

,-3'.&,%

dH^,-I2U-U-3'.&)4X%vW61O)G‡"I5,-I2ac,-3'+-+-I2)4OU3

C 5(U(-7MC 5 R(-7T7('#" W-5)( 7 C 5(U(7MC 5 R(-7T7('#" W-5 R( 7

8 C 5(U(-7MC 5 R(-77('#" C 5 R(-7

5X%vZ 7

(*+Uc^".&U-U-3'‡J'I5+-.12.&TR^0+-I€3')G12J'.&U-I10.&,-TK+-…I6+-…,-I2I6+-I2,-TRUc+-…"O+c12.&TR^".&U-I5X%vZ%

†.&,c+-…I1: ,-U-+€+-I2,-T 3

C 5(U(7MC 5 R(-7T7('#" W-5)( 7

I

C 5(U(7

,

C 5

(7 7('#" W-5)

( 7

I

C 5(U(-7MC 5

(7T7('#" W-5)

( 7

I

5X%7&h 7

MI2+Uc).a;ac,-3'+-I5+-…I6…3'//I2)G~&O,-3oO‡J'I2UA/3'U-+-,-3'‡0+-3'.&)GOU3

C 5

(7 C 5" K

$, K -

7 C 5"

7MC 5K $ (" 7

C 5K

- (" 7 5X%7$7

C 5(U(76C 5" K

$, K -

7T7('#"

, -

W-5) - (

-

7

C 5"

7MC 5K $ (" 7

C 5K

- (" 7 -

C 5(U(7T7('#" W-5)

-(" K

-(

7

C 5"

7MC 5K $ (" 7

C 5K

- (" 7 -

7('#" W5)

- (" K -

7

C 5" 7 -

LON C 5K

- (" 7

7('#" W5)

- (" K -

7

C 5" 7 -

5C 5K -

;h'(" 7 7('#" W-5)

- (" K -

;h 7

C 5K -

$T(" 7 7('#" W5)

- (" K -

$7

/ ! - 5" &

5(*

!.-

7

*

!.-

.

!.-

" & 5-

!.- 7 -

!.-

.

!.-

7

C 5(U(7MC 5 R(-7T7('#" W-5 R( 7

C 5(U(7

,

C 5

(7T7('#"

,

W-5

( 7

C 5

( 7

C 5(U(7T7('#" W-5

( 7 C 5

( 7

C 5(U(7 7('#" W-5

( 7

C 5"

7MC 5K $ (" 7

C 5K

- (" 7 C 5(U(7T7('#" OW-5"

7MW-5K $ (" 7

W-5K

- (" 7

C 5"

7MC 5K $ (" 7

C 5K

- (" 7

7('#" W-5" 7 7('#" W5K

$ (" 7

7('#" W5K

- (" 7

C 5"

7,>

7('#" W-5" 7 - OC 5K

-

Dh 7

7('#" W5K -

;h'(" 7 C 5K -

$7

7('#" W-5K -

$T(" 7 @

/ !

>

& ! - ! - . ! - V !.-

-! -

. ! - V $!.-(

@

†.&,c+-…I5+-…3',-/G+-I2,-Ts. 0 X%vZC3

C 5(U(7MC 5 R(-77('#" C 5 R(-7

I

C 5(U(-7

,

C 5

(7T7('#"

,

C 5 (7

I

,

C 5

(7 7('#" C 5 (7

I

C 5"

7MC 5K $ (" 7

C 5K

-("

7T7('#" >C 5"

7MC 5K $ (" 7

C 5K

- (" 7@

C 5"

7,>7('#" C 5" 7 - OW-5K

-

Dh'(" 77('#" W-5K -

;h'(" 7 W-5K

-

$T(" 77('#" W-5K -

$T(" 7 @

/ ! >7('#"

/ ! - ! -

. ! - 7('#"

! -

. ! - -! - .! -

7('#"

-! -

.! - @

]5 } € Š 6 g

%& !%*,H $ !)%*

c…IuO^^,-.O1S…;aAI=12.&)U-3'/I2,-I2/}U-. 0bO,GOU-U-0TRI2UR+-…"O+G.&‡U-I2,-~&O+-3'.&)DJoO‡"I2J'UGO,-I4).&+

O~&O3'JoO‡J'I&%

)qacOq6+-…3'Ue3'Ue).&++-…I€1OU-Ic30 +-…I€+-,SO3')3')P53'UeO5U-0^"I2,-~3'U-I2/R+-,SO3')3')P"%(*)

+-…3'Ue1OU-I€+-…IcTR./I2JaAIc…"O~&IA^,-I2~3'.&0U-J'qB0U-I2/1O)U-+-3'J'J‡"Ic0U-I2/+-.63');0I2,+-…I 0IO+-0,-I

USOJ'3'I2)12q B"30rJoO‡"I2J'U5O,-I5^,-.~3'/I2/=aAI6/.&)%+c)I2I2/=+-.J'IO,-)=TR./I2JU-+-,-012+-0,-I‡"I21O0U-I

12.&TR^".&)I2)+-UB)0T‡"I2,63'UB).ac)?%upAI21O0U-I=. 0 +-…I 0bO12+BaAIR).aK+-…IGPO0U-U-3oO)u+-.

ac…3'1S…=+-…IB+-,SO3')3')PI2J'I2TRI2)+€‡"I2J'.&)P&U€+-. ."+-…I2,-IB3'U€).R)I2I2/ 0.&,€aAI23'P&…+-3')PPO0U-U-3oO)

12.&TR^".&)I2)+-U%

53'~&I2)GOB+-,SO3')3')PBU-I2+ O

$

O)/=O6P&3'~&I2)600)12+-3'.&) " 5

7e+-…"O+€OU-U-3'P&)=O

12JoOU-U€+-.BIO1S…=+-,SO3')3')PBI2J'I2TRI2)+AaAI51O)Gac,-3'+-I5J'3'&I2J'3'…../RJ'3'&I 3

7('#" W-5)( 7H

7('#"

5 (" 5 7 7R

7('#"

, - 5V -

5

- ()

7 5-$%8GV

-7 5

- (D 7 7

5ov"%'$7

ac…I2,-IR)

3')/3'1O+-I2UG^"O,SOTRI2+-I2,-UR. 0 12JoOU-U " 5 7,.€O)/ D;3')/3'1O+-I2UR^"O,SOTRI2+-I2,-U

3')/I2^"I2)/I2)+€‡qR12JoOU-U-I2U%

(*).&+-…I2,eaA.&,-/U+-…Ic.&)J'q5…3'//I2)~&O,-3oO‡J'Ie3')6+-…3'UeTR./I2J&3'U).a 0IO+-0,-IcUSOJ'3'I2)12q%

deF 0.&,-T0JoO1O)m‡"IGU-3'TR^J'q=/I2/012I2/D‡q 0.&,-T0JoOR3')uU-I212+-3'.&) %4OU-U-0TR3')PG+-…"O+

…3'//I2)G~&O,-3oO‡J'I2U + !

O,-I6O12+-0"OJ'J'q).ac)?%

*,$ $ !" "%$,

c…I€TR.&U-+e^".&^0JoO,eTR./I2J3')U-^"I2I21S…=,-I212.&P&)3'+-3'.&)3'UA5F=Fu%Y+SO+-I€^"/;0 O,-I€P&I2)I2,SOJ'J'q

OU-U-0TRI2/4+-.=‡"IPO0U-U-3oO)4/3'U-+-,-3'‡0+-3'.&)U5.&,6TR3'H+-0,-I6. 0 PO0U-U-3oO)4/3'U-+-,-3'‡0+-3'.&)U%(*)

+-…3'Uc1OU-I6O).&+-…I2,c…3'//I2)RU-I2+c. 0r~&O,-3oO‡J'I2UA,-I2^,-I2U-I2)+-I2/4‡qU-+SO+-I5U-I0I2)12I6T0U-+A‡"I

12.&)U-3'/I2,-I2/?%

c…I 0IO+-0,-I6U-I2J'I212+-3'.&) 0,SOTRI2aA.&,-1O)G‡"I50U-I2/4OJ'U-.3')RTR./I2J'3')P6+-…I6U-+SO+-I5^"/;0

3')G+-…I5USOTRI5acOqROUc^,-I2~3'.&0U-J'qR/I : )I2/?%A†.&,c^"O,SOTRI2+-I2,cJ'IO,-)3')PB12JoOU-U-3'1OJ?pcO0T _

uI2J'1S…VOJ'P&.&,-3'+-…Ts1O)u‡"I0U-I2/?%G(0 TR./I2JeU-I2J'I212+-3'.&)uT0U-+5‡"IR/.&)I5F=F1O)u‡"I

J'IO,-)I2/=0U-3')PBn€p;J'IO,-)3')P 5oU-I2I%>vB@72%

]

% G +*,( $

.€+-I2U-+56F=F B0IO+-0,-IAUSOJ'3'I2)12q5TRI2+-…./U.aAIAP&I2)I2,SO+-I2/=$h&h&hA~&I212+-.&,-Ue. 0 /3'TRI2)U-3'.&)

7B0U-3')POXB12.&TR^".&)I2)+6F=Fsac3'+-… 0.&J'J'.ac3')P5TRIO)R~&I212+-.&,-U3

$ " 9

$ >h h h h

$A@

$ " 9

>86$

h 86$

86$

$ @

$ " 9 X >'$

h $ 86$

$A@

O)/G/3oOP&.&)"OJ"12.~&O,-3oO)12I5TGO+-,-3'H%%6F=FsaAI23'P&…U€O,-I6,-I2U-^"I212+-3'~&I2J'q=h%XBh%vO)/Gh%X%

uIR1O)V).&+-3'12IR+-…"O+=0IO+-0,-IR.&)I=O)/u+-…,-I2IG1O)V/3'U-12,-3'TR3')"O+-I‡"I2+*aAI2I2)m+-…,-I2I

PO0U-U-3oO)U. 0IO+-0,-I6vB1O)).&+A/3'U-12,-3'TR3')"O+-I€‡"I2+*aAI2I2) $ BO)/ $RXC.O)/60IO+-0,-I2U€+*aA.

O)/ : ~&IG1O)).&+/3'U-12,-3'TR3')"O+-IRO+OJ'J*%u(*)mO)V3'/IOJcI2H^"I2,-3'TRI2)+-UaAIRU-….&0J'/V…"O~&I

K $ K5$ .K 7 KDhO)/=h K;$&%

(*)U-+-IO/}. 0 0U-3')P 0IO+-0,-I2UG0)"O‡J'I4+-.V/3'U-12,-3'TR3')"O+-IG‡"I2+*aAI2I2)}TR./I2J'U.AU-3'TR^J'q

).&3'U-qR12.&0J'/G‡"IBO//I2/=+-.+-…,-I2IB/33 I2,-I2)+€PO0U-U-3oO)U%uI€,-0)=I2H^"I2,-3'TRI2)+-U€I2~&I2)=3')

).&3'U-qRI2)~3',-.&)TRI2)+A…"O~3')P6USOTRI€,-I2U-0J'+-U%

"!"! 0 &%($&0 1")"02''(/ - 6-'(02' '%602$

(*)4+-…3'U5I2H^"I2,-3'TRI2)+5aAI,-0) 6F=F ac3'+-… 0IO+-0,-IUSOJ'3'I2)12q4OU5/I2U-12,-3'‡"I2/V3')4U-I212+-3'.&)

%'$€1S…"O)P&3')PB+-…I6PO0U-U-3oO)R12.&TR^".&)I2)+c)0T‡"I2, 0,-.&T $5+-.G$h%e†IO+-0,-I6USOJ'3'I2)12q3'U

,-I2^,-I2U-I2)+-I2/u3')6: P&0,-IB7%'$&%

c…I+-…,-I2I/3'U-12,-3'TR3')"O)+90IO+-0,-I2U6P&I2+K Š$ 0.&,6OJ'J?3')3'+-3oOJ?12.&TR^".&)I2)+€~&OJ'0I2U%

‹€)u+-…IB.&+-…I2,6U-3'/I<0IO+-0,-IUSOJ'3'I2)12q 0.&,10IO+-0,-I2U6+*aA.=O)/ : ~&IU-….acU5…0P&I~&O,-3oO _

+-3'.&)u/I2^"I2)/3')P=.&)u+-…IR12.&TR^".&)I2)+5)0T‡"I2,%€I2,-IG12.&TRI2U5+-…IR)I2I2/V. 0): )/3')P4O

+-I21S…)30I6+-…"O+c1O)G/I2+-I2,-TR3')I5+-…I512.&,-,-I212+5)0T‡"I2,A. 0r12.&TR^".&)I2)+-U%

"! +.+02$ % $&) &)"-' 1"!0 )'

F=F=MVTRI2+-…./uO)/4n€pTRI2+-…./=aAI2,-I12.&TR^"O,-I2/4.&)4+-…IBUSOTRIB+SOU-%\A.&)12I2,-)3')P

0IO+-0,-I6USOJ'3'I2)12qG‡".&+-…=TRI2+-…./UcaAI2,-I6U-01212I2U-U00JAOU-U-3'P&)3')PGK

$

XK5AXK$6O)/

K 7 K h%u‹€)m+-…IG.&+-…I2,BU-3'/I=F=F=MD…"O~&IRT01S…uTR.&,-IR/3 120J'+6+-.43'/I2)+-30q

+-…IB12.&,-,-I212+512J'0U-+-I2,5)0T‡"I2,%cpA.&+-…=+-I21S…)30I2U6O12+-0"OJ'J'qRU-0 3 I2,10,-.&TŠJ'.1OJ?TR3')3'TGO

^,-.&‡J'I2TRUB?ac…3'J'I0U-3')P=n€pac3'+-…u/33 I2,-I2)+B3')3'+-3oOJ'30/O+-3'.&)GaAIRaAI2,-IGOJ'acOqU6O‡J'IB+-.

P&I2)I2,SO+-I€U-.&TRIeI2H+-,SO512.&TR^".&)I2)+-U%†0,-+-…I2,-TR.&,-IAn€pu12.&)~&I2,-P&I2UcOJ'acOqU 0bOU-+-I2,e+-…"O)

F=F=M?5OUc3'+AacOU€OJ',-IO/qR.&0+-J'3')I2/R3') >vB@72%

†?3'P&0,-Ic7%c,-I2^,-I2U-I2)+-Uc+-…Ic~&O,-3oO+-3'.&)"OJ&‡".&0)/=00)12+-3'.&)6. 0 +-…Ic3'+-I2,SO+-3'.&)6)0T‡"I2,3

12.&)~&I2,-P&I2)12IG3'UBO1S…3'I2~&I2/mOB0+-I2, 0I2aK3'+-I2,SO+-3'.&)U%=†?3'P&0,-IG7%XR,-I2^,-I2U-I2)+-UR)0T‡"I2,6. 0

U-0,-~3'~3')P12.&TR^".&)I2)+-U90 0)12+-3'.&)G. 0 3'+-I2,SO+-3'.&)G)0T‡"I2,3e…I2,-IBOPO3')=OB0+-I2, 0I2a;3'+-I2,SO _

+-3'.&)Uc12.&)~&I2,-P&I2)12I63'U€O1S…3'I2~&I2/=O)/G12.&,-,-I212+€)0T‡"I2,c. 0r12J'0U-+-I2,€3'U90.&0)/ 5X 72%

†?3'P&0,-IB7%vB,-I2^,-I2U-I2)+5J'.&P _bJ'3'&I2J'3'…../<00)12+-3'.&)G. 0r3'+-I2,SO+-3'.&) 0.&,€F=F=M&deF +-I21S… _

)30I 3B3')4+-…3'UB1OU-IR12.&)~&I2,-P&I2)12IG3'U6U-J'.aAI2,.?‡0+B+-…IRTR.&U-+53'TR^".&,-+SO)+€^,-.&‡J'I2T 3'U

U-….ac)3')=: P&0,-I€7%7€ac…I2,-Ic12.&TR^".&)I2)+)0T‡"I2,3'U 00)12+-3'.&)B. 0 3'+-I2,SO+-3'.&)%BTR.&,-IA+-…"O)

vh&h63'+-I2,SO+-3'.&)GaAI2,-I5)I2I2/I2/4+-.B12.&)~&I2,-P&I&%

‹€‡~3'.&0U-J'qR+-….&U-I6,-I2U-0J'+-U6O,-I6U-….ac)Gac3'+-…=OBU-3')P&J'I53')3'+-3oOJ'30/O+-3'.&)‡0+€0U-3')P/30o_

0I2,-I2)+€3')3'+-3oOJ'30/O+-3'.&)BaAI5~&I2,-3: I2/G+-…I6USOTRI€^,-.&‡J'I2T4%

"! /() '0 60 0202' 1"% &02$

0+-I2,c,-0))3')P<0IO+-0,-I6U-I2J'I212+-3'.&).aAI5…"O~&I5OJ'J 0IO+-0,-I2U€U-.&,-+-I2/=.&)R+-…I6‡"OU-I5. 0 +-…I23',

Q-USOJ'3'I2)12qTS"% U-3'TR^J'IcacOq+-.U-I2I5+-…I6TRIOU-0,-I€. 0r,-I2J'I2~&O)+€O)/R3',-,-I2J'I2~&O)+90IO+-0,-I2U

3'Uc+-…I5ˆ6M4/3'U-+SO)12I6‡"I2+*aAI2I2)=/33 I2,-I2)+€12J'0U-+-I2,€12.&TR^".&)I2)+-U%

ˆ6Mm/3'U-+SO)12I‡"I2+*aAI2I2)V+*aA.GPO0U-U-3oO)4/3'U-+-,-3'‡0+-3'.&)UEC 5(& 7A 5(&%B

5

P%$

75O)/

5(& 7H 5(&%B

5

7A3'UcP&3'~&I2)R‡q/3

1 5C6(0(

7H;h

7H7('#" 5 ( (

( (7 h

7 5

P%$

7 h

7C5

5 8 5 7

P%$

5

5

8 5 7 8 57%'$7

1 2 3 4 5 6 7 8 9 10

0.4 0.5 0.6 0.7 0.8 0.9 1 1.1

gaussian components

feature saliency

feature 1 feature 2 feature 3 feature 4 feature 5

†?3'P&0,-I67%'$ 3e†IO+-0,-I5USOJ'3'I2)12qR~U%e12.&TR^".&)I2)+c)0T‡"I2,B3'+UA).&+c^".&U-U-3'‡J'I6+-./3'U-+-3') _

P&03'U-…G‡"I2+*aAI2I2) 0IO+-0,-I2U5.&)I .+-…,-I2IO)/ 0.&0,€‡"I21O0U-IB+-…I2qG…"O~&I6OJ'TR.&U-+A+-…I6USOTRI

~&OJ'0I5-$7

0 10 20 30 40 50 60 70 0

2 4 6 8 10 12 14 16 18 x 10 ⁶

Iteration number

Variational bound

†?3'P&0,-I67%C3?nAO,-3oO+-3'.&)"OJ"‡".&0)/G~U%)0T‡"I2,A. 0 3'+-I2,SO+-3'.&)

(*)V.&0,61OU-IGIO1S… 0IO+-0,-IG/3'U-+-,-3'‡0+-3'.&)43'UO12+-0"OJ'J'q=,-I2^,-I2U-I2)+-I2/;OUOGPO0U-U-3oO)

TR3'H+-0,-Iac3'+-…5+*aA.A12.&TR^".&)I2)+-U.+-…I : ,-U-+?.&)Ie12J'0U-+-I2,?/I2^"I2)/I2)+eO)/6+-…IeU-I212.&)/6.&)I

12J'0U-+-I2,63')/I2^"I2)/I2)+%ˆ6MV/3'U-+SO)12I1O)4‡"II2U-+-3'TGO+-I2/=)0TRI2,-3'1OJ'J'q ..&,5I2~&I2)+-0"OJ'J'q

O)DO~&I2,SOP&IR^"O3',`_bac3'U-IRˆ6M;/3'U-+SO)12IG1O)m‡"IG0U-I2/ 5o3')+-,-./012I2/m3')>7B@7 BAP&3'~&I2)V+*aA.

6F=F C 5(& 7

2 & 5(&%B

5

P%$

7cO)/

5(& 7

2 ! ! 5(&%B

5 ! %2!

7A+-…I6O~&I2,SOP&I

^"O3',`_bac3'U-I5ˆ6M4/3'U-+SO)12I61O)G‡"I5ac,-3'+-+-I2)4OU3

W1 5C6(0(

7H

! & 1 5C, (0(

! 7 & 7('#"

&

!

57% 7

uI51O)GU-./I : )IBOB^"O3',`_bac3'U-I€ˆ6M4/3'~&I2,-P&I2)12I 3

4

!"

5W1 5 (0(

! 7

W1 5 !

(0(

77 57%X 7

†IO+-0,-I2U€O,-I5^,-.&P&,-I2U-U-3'~&I2J'q,-I2TR.~&I2/.&)R+-…I€‡"OU-I5. 0 +-…I23',AUSOJ'3'I2)12qRO)/RI2H^,-I2U`_

U-3'.&)V7%XR3'U612.&TR^0+-I2/u0U-3')P=+-…IR)I2a 0IO+-0,-IRU-0‡U-I2+%4ŽcI2U-0J'+B3'U6U-….ac)u3') : P&0,-I

7%%

(*)4†?3'P&0,-IB7%C.3'+UcI2~3'/I2)+€+-…"O+€,-I2TR.~3')P6+-…I6J'I2U-U5,-I2J'I2~&O)+90IO+-0,-I2U-5o3*%I&% 0IO _

+-0,-I2UB+-…"O+61O)).&+6/3'U-12,-3'TR3')"O+-I6‡"I2+*aAI2I2)VPO0U-U-3oO)U875J'IO~&I2U60)1S…"O)P&I2/u+-…I^"O3',`_

ac3'U-IRˆ6Mm/3'U-+SO)12IR‡"I2+*aAI2I2)m12J'0U-+-I2,B12.&TR^".&)I2)+-UBac…I2)V,-I2J'I2~&O)+ 0IO+-0,-I2UO,-IR,-I _

TR.~&I2/RU-0//I2)J'qR+-…I5ˆ6M4/3'U-+SO)12I6/I212,-IOU-I&%

"! 02$ &)"-' 02' &$&-

c…I6U-I212.&)/=12,-3'+-I2,-3'.&)G3'Uc‡"OU-I2/G.&)G/"O+SO6I2)+-,-.&^q BJ'I2+Uc/I : )IBOUc3') >'$A@3

0 10 20 30 40 50 60 70 80 90 10 ⁰

10 ¹ 10 ²

Iteration number

Components number

†?3'P&0,-Iu7%XC33€0T‡"I2,R. 0 12.&TR^".&)I2)+-UG~U%K)0T‡"I2,R. 0 3'+-I2,SO+-3'.&) 0.&,R~&O,-3oO+-3'.&)"OJ

‡"Oq&I2U-3oO)RJ'IO,-)3')P'B OH3'Uc3'UAJ'.&PO,-3'+-…TR3'1AU-1OJ'I

/ !

TRIOU-0,-IA+-…I€^,-.&‡"O‡3'J'3'+*q5. 0 +-…Ic.&‡U-I2,-~&O+-3'.&)G?+-.5‡"I2J'.&)P6+-.612J'0U-+-I2, > O)/).&+

+-.€+-…Ic12.&TRTR.&)c/"O+SO€/3'U-+-,-3'‡0+-3'.&)6ac….&U-IA^,-.&‡"O‡3'J'3'+*q€3'U?P&3'~&I2)B‡q

4 !

%?(*)B+-…IA1OU-Ic. 0

.&)J'qB,-I2J'I2~&O)+90IO+-0,-I2U.3'+eU-….&0J'/R‡"I

/ !

$9BO6U-3'TR^J'IcacOqB+-.TRIOU-0,-I€….amP&../

+-…I10IO+-0,-I6U-0‡U-I2+€3'U.12.&)U-3'U-+-U€3')RI2)+-,-.&^q 5/ !

7$ 9 2 2 ! / !

7('#" 5/ ! 72%

% ( I ( "-%*8+*,"-

(*)G+-…3'UcU-I212+-3'.&)GaAI5/I2U-12,-3'‡"IBI2H^"I2,-3'TRI2)+-UcaAI5,-0)G.&)GU-^"I2I21S…4/"O+SO6.&‡+SO3')I2/G‡q+-…I

c(-FG( ;/"O+SO‡"OU-I&%

…0P&IR)0T‡"I2,5. 0 0,-.&)+6I2)/u+-I21S…)30I2U…"O~&I‡"I2I2)V^,-.&^".&U-I2/Vac3'+-…u…3'P&…u,-I _

/0)/"O)12q‡"I2+*aAI2I2)=+-…I2TK‡"I21O0U-I6‡"OU-I2/GOJ'TR.&U-+.&)R+-…I5USOTRIc^,-3')123'^J'I&%%.BU-+-0/q

+-…II 123'I2)12q4. 0 OJ'P&.&,-3'+-…TRUc^,-I2~3'.&0U-J'q=^,-.&^".&U-I2/uaAI+-,-3'I2/4+-.G/I2+-I2,-TR3')I=0IO+-0,-I

USOJ'3'I2)12q4. 0#0.&J'J'.ac3')P<0IO+-0,-IRU-I2+3R$ GF=†?\c\

$

$ .'$ RQeM?Q

$

$

G% 5O+SO 0,-.&T +-…I c(-FG( K/"O+SO‡"OU-I4O,-IG^,-.12I2U-U-I2/}3')V.&,-/I2,R+-.u.&‡+SO3')mOuL&7

12.&TR^".&)I2)+ 0IO+-0,-I2U€~&I212+-.&,%

†IO+-0,-IcUSOJ'3'I2)12qBOJ'P&.&,-3'+-…TRU+5F=F=MGO)/Bn€p 7…"O~&IA‡"I2I2)RO^^J'3'I2/6+-.5+-…I 0IO+-0,-I

U-I2+6ac3'+-…4,-I2U-^"I212+-3'~&I2J'qVOR+-,SO3')3')PRU-I2+6. 0 /3'TRI2)U-3'.&) /.&h=O)/ &h&h/."3')4.&,-/I2,6+-.

U-+-0/qR+-…I6,-.&‡0U-+-)I2U-U5a6%,%+%?+-…I6OTR.&0)+A. 0r/"O+SO%

†?3'P&0,-I2U=7%LC.7%WC.7%ZC.U-….acU 0IO+-0,-I4USOJ'3'I2)12qm.&‡+SO3')I2/D‡qm+-…IuF=F=M 0IO+-0,-I

U-I2J'I212+-3'.&)ROJ'P&.&,-3'+-…T}ac3'+-…,-I2U-^"I212+-3'~&I2J'q /.&h6O)/ &h&h5+-,SO3')3')P5.&‡U-I2,-~&O+-3'.&)%B†?3'P _

0,-I2U67%'$hC.7%'$&$ .7%'$ C.U-….acU 0IO+-0,-IBUSOJ'3'I2)12qR.&‡+SO3')I2/=‡qR+-…IBF=F=M 0IO+-0,-I6U-I2J'I21 _

+-3'.&)GOJ'P&.&,-3'+-…Tac3'+-…G,-I2U-^"I212+-3'~&I2J'q /.&hRO)/ &h&h+-,SO3')3')PB.&‡U-I2,-~&O+-3'.&)%B

‹ 0r12.&0,-U-I6aAI5+-I2U-+-I2/G+-…I5I 1O123'+*qR. 0 +-…I5U-I2J'I212+-I2/ 0IO+-0,-I2U."0U-3')PB,-I2U-^"I212+-3'~&I2J'q

+-…I1: ,-U-+ vO)/=X&ZBTR.&,-Ic,-.&‡0U-+ 0IO+-0,-I2U%

0 5 10 15 20 25 30

−500 0 500 1000 1500 2000 2500 3000 3500 4000 4500

Iteration number

loglikelihood

†?3'P&0,-I67%v 3M.&P&J'3'&I2J'3'…../~U%)0T‡"I2,A. 0 3'+-I2,SO+-3'.&)

/"O+SOBOTR.&0)+  &hˆ &h&hˆ

F=F=M4J'IO,-)3')P 5v<0IO+-0,-I2U87 3 7&Z%X &h%'$L

n€pDJ'IO,-)3')P 5v<0IO+-0,-I2U87 7&L%&X &h% $&%W

F=F=M4J'IO,-)3')P 5X&Z=0IO+-0,-I2U87 3 v"% v"%

n€pDJ'IO,-)3')P 5X&Z=0IO+-0,-I2U87 v"%v v"% &7%L

eO‡J'I67%'$ 3ŽcI212.&P&)3'+-3'.&)R,SO+-I

% "-%(&+*,"-

0+-I2,5,-0))3')PI2H^"I2,-3'TRI2)+-U€.&)=U-q)+-…I2+-3'1O)/GU-^"I2I21S…u/"O+SOaAI61O)=12.&)12J'0/I6+-…"O+

0U-3')PVn€pŠJ'IO,-)3')Pu…"OURTGO)qVO/~&O)+SOP&I2UR12.&TR^"O,-I2/m+-.mF=F=M}J'IO,-)3')P"%}†?3',-U-+

. 0 OJ'J4.n€p12.&)~&I2,-P&I2U 0bOU-+-I2,B+-…"O)uF=F=M#.USO~3')PG12.&TR^0+SO+-3'.&)"OJ?+-3'TRI&%Ec…I2)un€p

U-I2I2T +-.R/I2+-I2,-TR3')I=0IO+-0,-I2U63')4OTR.&,-I6,-.&‡0U-+5acOq B3'+€12.&TRI2U 0,-.&Ts+-…I<0bO12+€+-…"O+

,-I212.&P&)3'+-3'.&)6,SO+-Ie12.&TR3')P 0,-.&T;n€p4U-I2J'I212+-I2/<0IO+-0,-I2U?3'UOJ'acOqU"…3'P&…I2,?+-.€,-I212.&P&)3'+-3'.&)

,SO+-I412.&TR3')P 0,-.&TF=F=M;U-I2J'I212+-I2/ 0IO+-0,-I2U% c…3'UR3'UR^,-.&‡"O‡J'qV/0I=+-.V+-…I 0bO12+

+-…"O+6+-…IR12J'0U-+-I2,-3')P43'U6^,-I2+-+*q4/33 I2,-I2)+=0.&,6+-…IR+*aA.=O^^,-.O1S…?%=†0,-+-…I2,-TR.&,-In€p

J'IO,-)3')PV‡"I2)I : +-U 0.&,-T,-I2P&0JoO,-30/O+-3'.&)mI.3 I212+-U=12.&TR3')P 0,-.&T^,-3'.&,R/3'U-+-,-3'‡0+-3'.&)U%

c…3'U61O)u‡"IU-I2I2)Vac…I2)u~&I2,-q 0I2a+-,SO3')3')PG/"O+SOGO,-I0U-I2/3F=F=Mm‡"OU-I2/uTRI2+-…./

^,-0)I2UcOJ'TR.&U-+?OJ'J12.&TR^".&)I2)+-U.ac…3'J'IAn€pV‡"OU-I2/TRI2+-…./O1S…3'I2~&I2/OGQ-,-I2P&0JoO,-30/2I2/6S

U-.&J'0+-3'.&)R^,-.&‡"O‡J'qR+-…"O)Uc+-.B^,-3'.&,-U%

0 50 100 150 200 250 300 350 400 450 500 10 ⁰

10 ¹ 10 ²

iteration number

component number

†?3'P&0,-I57%7C323€0T‡"I2,e. 0r12.&TR^".&)I2)+-UA~U%)0T‡"I2,e. 0r3'+-I2,SO+-3'.&)<0.&,cF=F=M&deF OJ'P&. _

,-3'+-…T

0 0.5 1 1.5 2 2.5 3 3.5 4

200 400 600 800 1000 1200 1400 1600

Removed features

PKL distance

†?3'P&0,-Iu7%C3VQˆ6M/3'U-+SO)12Iu‡"I2+*aAI2I2)}12J'0U-+-I2,-U=.&‡+SO3')I2/;^,-.&P&,-I2U-U-3'~&I2J'qD,-I2TR.~3')P

0IO+-0,-I2U€.&)G+-…I5‡"OU-I6. 0r+-…I23',cUSOJ'3'I2)12q

0 10 20 30 40 50 60 70 0

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

Feature number

Feature saliency

†?3'P&0,-I€7%LC3?†IO+-0,-I€USOJ'3'I2)12qBac3'+-…RF=F=M=OJ'P&.&,-3'+-…T5o3');0I2,-,-I2/R12.&TR^".&)I2)+-U 7ac3'+-…

&h&h&h6+-,SO3')3')PB~&I212+-.&,-U

0 10 20 30 40 50 60 70

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

Feature number

Feature saliency

†?3'P&0,-I47%WC3=†IO+-0,-I=USOJ'3'I2)12qmac3'+-…DF=F=M}OJ'P&.&,-3'+-…T 5o3');0I2,-,-I2/;12.&TR^".&)I2)+-U &W 7

ac3'+-… &h&h&h&h5+-,SO3')3')PB~&I212+-.&,-U

0 10 20 30 40 50 60 70 0

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

Feature number

Feature saliency

†?3'P&0,-IR7%ZC3†IO+-0,-IRUSOJ'3'I2)12q4ac3'+-…VF=F=M;OJ'P&.&,-3'+-…T5o3');0I2,-,-I2/m12.&TR^".&)I2)+-UR$h&h 7

ac3'+-… &h&h&h&h&h6+-,SO3')3')PB~&I212+-.&,-U

0 10 20 30 40 50 60 70

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

Feature number

Feature saliency

†?3'P&0,-I€7%'$hC3?†IO+-0,-I€USOJ'3'I2)12qBac3'+-…Bn€pDOJ'P&.&,-3'+-…T5o3');0I2,-,-I2/R12.&TR^".&)I2)+-UevW 7?ac3'+-…

&h&h&h6+-,SO3')3')PB~&I212+-.&,-U

0 10 20 30 40 50 60 70 0

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

Feature number

Feature saliency

†?3'P&0,-I€7%'$&$ 3?†IO+-0,-I€USOJ'3'I2)12qBac3'+-…n€pmOJ'P&.&,-3'+-…T5o3');0I2,-,-I2/R12.&TR^".&)I2)+-UA7&h 7ac3'+-…

&h&h&h&h6+-,SO3')3')PB~&I212+-.&,-U

0 10 20 30 40 50 60 70

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

Feature number

Feature saliency

†?3'P&0,-I€7%'$ C3?†IO+-0,-I€USOJ'3'I2)12qBac3'+-…n€pmOJ'P&.&,-3'+-…T5o3');0I2,-,-I2/R12.&TR^".&)I2)+-UAL&7 7ac3'+-…

&h&h&h&h&h6+-,SO3')3')PB~&I212+-.&,-U

>'$ @ †?3'P&0I2,-3',-I2/.VFu%

%AM?OaŠFu%B%.O3')

%eˆ%D†IO+-0,-I2UU-I2J'I212+-3'.&)D3')VTR3'H+-0,-I

‡"OU-I2/G12J'0U-+-I2,-3')P"% . &h&h %

>B@ O3')

%?M?OaFu%.†?3'P&0I2,-I2/.4Fu%R†IO+-0,-IUSOJ'3'I2)12q43')40)U-0^"I2,-~3'U-I2/VJ'IO,-)3')P"%

I21S…)3'1OJ,-I2^".&,-+.FG3'1S…3')PO)RU-+SO+-I50)3'~&I2,-U-3'+*q . &h&h %

>XB@ +-+-3oOUAB% ~&O,-3oO+-3'.&)"OJ‡"Oq&I2U-3oO)<0,SOTRI2aA.&,-=0.&,AP&,SO^…3'1OJ"TR./I2J'U%

# ,.$ C. &h&h&h%

>v @ nAOJ'I2)+-I5†A%0BuI2J'J'I2&I2)Uc\5%nAO,-3oO+-3'.&)"OJ‡"Oq&I2U-3oO)J'IO,-)3')P 0.&,APO0U-U-3oO)TR3'H+-0,-I

TR./I2J'U5O)/u…3'//I2)4TGO,-&.~GTR./I2J'U%EI21S…)3'1OJAŽcI2^".&,-+BŽ€Ž _`h&X _`h&L&ZC.(*)U-+-3'+-0+

d0,-I212.&T . &h&h&X%

>7B@ ‹€TGO,cFu%ˆ%0B\A…I2)Rˆ%0B5OU-I2POacO _&.&…)U-.&)GFu%0BpA,SO)/TGO) % )GI2~&OJ'0"O+-3'.&)R. 0

0U-3')PBT0+-0"OJ3');0.&,-TGO+-3'.&) 0.&,eU-I2J'I212+-3'.&)G. 0 O12.&0U-+-3'1 0IO+-0,-I2Uc,-I2^,-I2U-I2)+SO+-3'.&)=. 0

^….&)I2TRI2U 0.&,cU-^"I2I21S…4,-I212.&P&)3'+-3'.&)?% &h&h %