!""#$%&'$()*+,(-+&+.-&)*#&'$()&#+
/$(012$%&#+3)'(#(45+6(21#+
!"#$%&'()"*'+%),-$.)'+"/0).$0' 1%-0"/)'2&)&$'3/-4$%5-&6
7+++8)'-(29%'$()+
7/' &8$' 9)5&' &:"' ,$/&;%-$5*' &8$' )<";/&' "=' 5,-$/&-=-,' >$59$,-)..6' <$?-,).@' -/="%<)&-"/' 8)5'
$A9"/$/&-)..6' -/,%$)5$?B' 15' <"%$' #$,)<$'
?-5,"4$%$?*' /$:' 9)%)?-C<5' %$D;-%$?' /"4$.' 4",)#;.)%-$5' )/?' &$%<5B' E8-5' ,%$)&$?' /$:' 59$,-).&-$5' )/?' 5;#59$,-).&-$5' "=' 5,-$/&-5&5' )/?' 8$).&8'9%"=$55-"/).5B'E8$6'#$,)<$'5;#,;.&;%$5' :-&8' ?-==$%$/&' .)/C;)C$5B' F"%' -/5&)/,$*' -/' C$/$%).'<$?-,-/$*'¶-?-"9)&8-,·'<$)/5G';/H/":/' ,);5$I':8-.$'-/'/$;%"."C6*'-&'<$)/5G'9%$5;<$?' C$/$&-,B'
:+++;-(<#10+
2;#J59$,-).-0)&-"/' ,";9.$?' :-&8' &8$' -/;/?)&-"/'
"='?)&)'8)5'#$$/'9%"#.$<)&-,B'F-%5&'&8$',;%%$/&' -/=%)5&%;,&;%$' ?"$5' /"&' &)H$' -/&"' ),,";/&' 5$<)/&-,' 5-<-.)%-&-$5'#$&:$$/' &8$5$' 59$,-).&-$5B'' 2$,"/?*' #$,);5$' )' ,"8$%$/&' 5$<)/&-,' -/=%)J 5&%;,&;%$' -5' <-55-/C*' $A9$%&5' -/' &8"5$' =-$.?5' 5&%;CC.$' &"' )?$D;)&$.6' ;/?$%5&)/?' ?-5$)5$' )/?'
?$=-/$'56/?%"<$5B''E8-5'-5'$59$,-)..6'&8$',)5$'-/' /$;%"."C6B' F"%' -/5&)/,$*' -/=$%$/,$5' <)?$' =%"<' /$:' =-/?-/C5' ,";.?' ,8)/C$' &8$' =;/?)<$/&).' XQGHUVWDQGLQJ RI $O]KLHPHU·V GLVHDVH 7KLV LQ
&;%/' )==$,&5' &8$' H-/?5' "=' D;$5&-"/5' %$5$)%,8$%5' /$$?' &"' )5HB' 1??-&-"/)..6*' &8$' ,%-&$%-)' :-&8' :8-,8' &"' ?$=-/$' 56/?%"<$5' -/' K9-.$956' )%$' 5;#L$,&' &"' ,8)/C$B' E8-5' )==$,&5' &8$' )#-.-&6' ="%' ,.-/-,).' %$5$)%,8$%5' &"' .",)&$' 9)&-$/&5' &8)&' =-&'
&8$-%',%-&$%-)B'7/'"&8$%':"%?5*'&8-5')..',%$)&$5')/' -/$==-,-$/&'5,$/)%-"':8$%$'&""'<;,8'-/="%<)&-"/'
#;-.?5' ;9' )/?' H$$9-/C' ;9' :-&8' &8$' .-&$%)&;%$' 9%"4$5' ?-==-,;.&B' E8;5*' ;/?$%5&)/?-/C' "=' &8$'
?-5$)5$' -5' -/,"<9.$&$*' :8-,8' &8$/' )?4$%5$.6' DIIHFWV D UHVHDUFKHU·V DELOLW\ WR XQLTXHO\
%$5$)%,8' )/' ;/)/5:$%$?' D;$5&-"/' )/?M"%' &"' .",)&$'&8$'%-C8&'5;#L$,&5'="%',.-/-,).'%$5$)%,8B'
=+++/&%>4-(9)2+
E$,8/-D;$5' -/' -/="%<)&-"/' %$&%-$4).' .-H$'
<),8-/$' .$)%/-/C' 8)4$' #$$/' 9%"4$/' &"' #$'
$==$,&-4$' )&' ,.;5&$%-/C' )/?' ,.)55-=6-/C' ?)&)B'' N":$4$%*' :-&8";&' 59$,-=-,' "#L$,&-4$5' "%' %;.$5' 9$%&-/$/&' &"' &8$' ?"<)-/*' &8$' ;5$' "=' <),8-/$' .$)%/-/C' )."/$' 8)5' %;/' -/&"' 4)%-";5' .-<-&)&-"/5' -/' <$?-,-/$B' O/&"."C-$5' :8-,8' 59$,-=6' 8":' ,"/,$9&5' )%$' %$9%$5$/&$?' )%$' )&&$<9&-/C' &"' 5$<)/&-,)..6' 5&)/?)%?-0$' 8":' -/="%<)&-"/' -5' 8)/?.$?')/?'9%"4-?$'%;.$5'="%'&8$',)&$C"%-0)&-"/'
"=' &$%<5' )/?' ?$=-/-/C' &8$-%' %$.)&-"/58-95B' P6' ,"//$,&-/C',"/,$9&5')/?'%$.)&-"/58-95'&"'59$,-=-,' -/5&)/,$5' )/?' -/="%<)&-"/*' )' H/":.$?C$#)5$' -5' -/5&)/&-)&$?' ;5-/C' &8$' "/&"."C6' )5' -&5' 5,8$<)B'' Q8-.$'4)%-";5'#-"."C-,).')/?'<$?-,).'"/&"."C-$5'
$A-5&*'=-/?-/C'&8$',"%%$,&'<)99-/C',"<#-/)&-"/5'
&"' )/5:$%' ,.-/-,).' D;$5&-"/5' -5' 5&-..' )' <)L"%' ,8)..$/C$B'
'
!
?+ ;-("(*&#+
7/' )/' $=="%&' &"' 5".4$' &8-5' ?-.$<<)' "/' 5$4$%).'
=%"/&5*' &8-5' :"%H' 9%"9"5$5' )' &%)/5.)&-"/).'
#-"<$?-,).' "/&"."C6' ="%' 8;<)/' ?-5$)5$B' !)&8$%'
&8)/',.)55-=6-/C':8$%$')'?-5$)5$'/)<$'=-&5'-/')' 8-$%)%,86' >.-H$' <"5&' ?-5$)5$' "/&"."C-$5@*' -&' 9%"4-?$5' )' %"#;5&' "/&"."C-,' -/=%)5&%;,&;%$' :-&8' :8-,8'&"'8$.9'?$=-/$')/6'59$,-=-,'?-5$)5$')/?'-&5' 9%"C%$55-"/'&8%";C8'4)%-";5'5&)&$5'&8)&'?$4$."9'
&8%";C8'&-<$B'1??-&-"/)..6*'-&'?"$5'&8-5'=%"<'&8$' 9$%59$,&-4$'"=')'#)5-,'5,-$/&-5&'&"'<$?-,).'?",&"%'
&"')',.-/-,).'%$5$)%,8$%B'E8;5'-&'9"&$/&-)..6')-?5' ,&%2,QWHUQDWLRQDO&RQIHUHQFHRQ%LRPHGLFDO2QWRORJLHVā%XIIDOR1<86$
'RFWRUDO 3RVW'RFWRUDO&RQVRUWLXP-XO\
!"#$%&'()*+(!*%),$-).#&/!().*)',$().$!&()/0#&$%0$
*)0%&1(!*%)$0&%1$2#)3"$!%$2#./*.#$().$2(345$
!" #$%%&'(")%*+&,(-"
6)$ %)#$ -/#$ 3(/#,$ 7(&!$ %0$ !"#$ %)!%8%'9$ */$ 2#*)'$
-/#.$ %)$ ($ 3%&7-/$ !%$ !&(*)$ ().$ !#/!$ ($ 1(3"*)#$
8#(&)*)'$ (8'%&*!"1$ !"(!$ %')*+#/$ ().$
/#1()!*3(889$ !('/$ /#)!#)3#/$ *)$ /3*#)!*0*3$ ().$
PHGLFDO WH[W DERXW $O]KHLPHU·V 'LVHDVH 7KH 7-&7%/#$ %0$ !"*/$ */$ !%$ 2-*8.$ ()$ (8'%&*!"1$ 0%&$ ($
/9/!#1$ !"(!$ (-!%1(!*3(889$ -7.(!#/$ *!/$ %:)$
4)%:8#.'#2(/#5$ 6!$ 3()$ /3()$ /#)!#)3#/$ ().$
(-!%1(!*3(889$ 38(//*09$ *)0%&1(!*%)$ (2%-!$ ($
.*/#(/#$ ().$ !"-/$ -7.(!#$ !"(!$ *)0%&1(!*%)$ *)$ ($
4)%:8#.'#2(/#5$ ;"#$ '&%:*)'$ 4)%:8#.'#2(/#$ */$
!"#)$-/#.$(/$!"#$!&(*)*)'$().$!#/!*)'$3%&7-/$().$
"#87/$ !%$0-&!"#&$�*)#$ !"#$(8'%&*!"1$0%&$0-!-&#$
/3()/5$ ;"#$ 4)%:8#.'#2(/#$ (8/%$ /#&<#/$ (/$ ($
/#1()!*3(889$ /#(&3"(28#$ .(!(2(/#$ !"(!$ 3()$ 2#$
0*8!#&#.$ 0%&$ *)0%&1(!*%)$ !"(!$ ()/:#&/$ ($ /7#3*0*3$
=-#/!*%)$%&$"#87/$/%1#%)#$!%$2#!!#&$-).#&/!().$
!"#$.*/#(/#$%&$!"#$.*!*%)$!"(!$0-!-&#$&#/#(&3"$
1-/!$!(4#5$$$
6)$ ()%!"#&$ -/#$ 3(/#,$ !"#$ !#&1/$ ().$
(!*%)/"*7/$ 7&#/#)!$ *)$ !"#$ %)!%8%'9$ *!/#80$ (&#$
3-&&#)!89$ 2#*)'$ #>78%&#.$ *)$ !"#$ .#0*)*!*%)$ %0$
?7*8#7!*3$/#*+-&#/$().$/9).&%1#/5$;"*/$*/$!%$2#$
-/#.$:*!"$38*)*3(8$.(!($*)$*@2@$0%&$!"#$7-&7%/#$%0$
*.#)!*09*)'$ /-2A#3!/$ 0%&$ 38*)*3(8$ /!-.*#/$ ().$
!&*(8/5$6)0%&1(!*%)$'(!"#&#.$(!$!"*/$/!('#$:*88$2#$
1*)#.,$ /#1()!*3(889$ !(''#.,$ ().$ (..#.$ !%$ !"#$
4)%:8#.'#2(/#5$$;"*/$:*88$(..$!%$!"#$3%&7-/$-/#.$
!%$ !"#$ 1(3"*)#$ 8#(&)*)'$ 1%.#8$ ().$ "%7#0-889$
&#/-8!$*)$1%&#$(33-&(!#$!(''*)'$:"*3"$:*88$8#(.$
!%$2#!!#&$-).#&/!().*)'5$
." /&(0*1-"
B/$ ($ 0*&/!$ /!#7$ !%:(&./$ 7&%<*)'$ !"*/,$ #00%&!/$ !%$
(-!%1(!*3(889$7%7-8(!#$*)/!()3#/$:#&#$7-&/-#.5$
;"#$ %)!%8%'9$ :(/$ -/#.$ *)$ ($ 1(3"*)#$ 8#(&)*)'$
38(//*0*#&$!%$/#1()!*3(889$!('$/#)!#)3#/$(-!%1(!C
*3(8895$ 6)$ !"*/$ 7&%A#3!,$ %<#&$ DEEE$ .*/#(/#/$ :#&#$
1()-(889$ &#<*#:#.$ ().$ /#1()!*3(889$ !(''#.5$
F(!#'%&*#/$ !"(!$ .#0*)#$ .*/#(/#$ *)$ !"#$ %)!%8%'9$
:#&#$ 3"%/#)$ !%$ 2#$ !"#$ /#1()!*3$ !('/G$ ?!*%8%'9,$
?7*.#1*%8%'9,$ F8*)*3(8,$ H*(')%/*/$ I;#/!/J,$
K&#<#)!*%),$ ;&#(!1#)!,$ ().$ K&%')%/*/5$ L%&$ !"#$
7-&7%/#$%0$!"*/$#>7#&*1#)!,$/#)!#)3#/$7#&!(*)*)'$
WR$O]KHLPHU·VGLVHDVHLQ+DUULVRQ·VDQG&HFLO·V 7H[WERRNV RI ,QWHUQDO 0HGLFLQH DQG 5REELQ·V K(!"%8%'9$:#&#$1()-(889$3-&(!#.$().$!(''#.$!%$
7&%.-3#$($3%&7-/5$B$7&%'&(1$:(/$3&#(!#.$!%$.%$($
DE>DE$ 3&%//$ <(8*.(!*%)$ %0$ !"#$ 3%&7-/$ -/*)'$
M-77%&!$N#3!%&$O(3"*)#$().$P%'*/!*3$Q#'&#//*%)$
38(//*0*#&/$*)$R?SB$!%$!#/!$().$!&(*)$($1%.#8$0%&$
(-!%1(!*3$38(//*0*3(!*%)5$$
2" 3&-$4(-"
;"#$ #>7#&*1#)!$ */$ %)'%*)'$ ().$ &#/-8!/$
7*1*)(&95$ K*/*%),$ (88,$ ().$ 0C1#(/-&#$ %0$
!"#$1%.#8$*).*3(!#$"*'"$7*/*%)$ITUCDEEVJ$().$
8%:$(88$IWC@EVJ$:"*3"$(.<#&/#89$(00#3!/$!"#$0C 1#(/-$;"#$8%:$(88$3()$2#$*17&%<#.$29$!"#$
%<(8$ %0$ /!%7$ :%&./,$ /!#11*)',$ (..*)'$ 1%&#$
!(''#.$ /#)!#)3#/$ !%$ !"#$ 3%&7-/5$ K#&"(7/$ (3!*<#$
8#(&)*)',$ %&$ *)38-.*)'$ "-1()$ 0##.2(34$ *)$ !"#$
7&%3#//,$1(9$*17&%<#$&#/-8!/5$B88$%0$!"#/#$3()$2#$
(!!#17!#.$ !%$ 1(>*1*+#$ 0C1#(/-$ X*<#)$ !"(!$
38*)*3(8$ !#>!$ !#)./$ !%$ 0%3-/$ %)$ .*/3-//*)'$
#7*.#1*%8%'9,$ 38*)*3(8$ /*')/$ ().$ /917!%1/,$
.*(')%/!*3$ !#/!/$ ().$ 7&%3#.-&#/,$ ().$ 7&%')%/*/$
%0$.*/#(/#$1%&#$!"()$#!*%8%'9,$*!$*/$)%!$/-&7&*/*)'$
!"(!$#!*%8%'9$"(.$!"#$8%:#/!$7*/*%)5$;"*/$1(9$
2#$ *17&%<#.$ 0-&!"#&$ 29$ (..*)'$ 1%&#$ 2(/*3$
/3*#)3#$!#>!$*)!%$!"#$3%&7-/5$
5" #*',4$-6*'"
;"#$ "*'"$ 7*/*%)$ *).*3(!#/$ !"(!$ :"*8#$ 1-3"$
:%&4$/!*88$)##./$!%$2#$.%)#$!%$*17&%<#$(88,$!"#$
-/#$%0$8#(&)*)'$(8'%&*!"1/$!%$(-!%1(!*3(889$!('$
%)!%8%'9$!#&1/$*/$($<*(28#$7&%3#//5$;"*/$7&%<*.#/$
!"#$1#()/$!%$0%&1(8*+#$($.*00*3-8!$7&%28#1$!"(!$
)##./$0-&!"#&$!#/!*)'5$;"#$)#>!$/!#7$*/$!%$#>7().$
!"#$ -/#$ %0$ !"#$ %!"#&$ /#1()!*3$ !#&1/$ ().$ !%$
.#!#&1*)#$*0$!"#$!(''#.$/#)!#)3#/$0&%1$!"#/#$(&#$
(28#$ !%$ 2#$ /#(&3"#.$ 0%&$ ()/:#&/$ !%$ 2*%1#.*3(8$
=-#/!*%)/5
$
!"#$%$&'( !)#*+,#$%$&'( -%#.#/0%( 1#0&.$2#2( 34+5+."#$.( 64+0",+."( 34$&.$2#2(
789( :;( 789( :;( 789( :;( 789( :;( 789( :;( 789( :;( 789( :;(
Precision <=>( <?>( @A>( @<>( @<>( @<>( @B>( @C>( CDD>( @@>( @@>( @C>( @B>( @@>(
Recall BD>( BD>( CC>( CC>( CE>( CC>( BC>( BC>( F>( F>( =>( <>( CB>( CB>(
F-measure EB>( EB>( C@>( BD>( BB>( BD>( EF>( EA>( <>( @>( CB>( CF>( BB>( BB>(