! "
! #
! $
%&'( !
)! '(
*#
! +!* #
%,-+
")$%
+ " +.!/ +
" ##
*
+ 0$ 1 + 2 %) '%
.,%345 6!7
8 5 9
6+ 88
8 5 88
# 8
: 3 8:
; 7, !3 8< :8 2* 8=
: 89
:: 8
:; ;8 #! ' = ;88 ' = ;8 > ;8: ' # 9
; ! :? ; 8 4##! :8
; + ! :
; : 5
:<
; ; + ! :@
;: :=
<8 4A ;8
< '7 ;
!
@8 ;<
@ 4# ;@
@ 8 '# * ;@
@ 5A * <:
@ : + # <;
=8 <=
= +! <9
=: B# <9
=; @?
" #$
+8 7 @:
+88 * @:
+8 # C @:
+8: 5 @;
+8; 5# @<
+8< 4 @@
+8@ 5! @=
+8= 5* @=
+8> 2 @=
+ BD 1 @>
+ 8 7 @>
+ + @>
+ : 7 * @9
+: D * =?
+:8 2C =?
+: 5 =8
+:; 3' =
+; +# =:
+< +# ' =;
+<8 6' =;
+< +# =@
+@ 2 $%&'( =@
+@8 =@
+@ ) '( ==
+= 7 >?
+=8 4E >?
+= # >?
+=: 5 # >?
+> $ ! >8
+>8 ! >8
+> ! >
+9 ',# ><
# #
!
!#"
1 #
!
# D # !
!
+ F <G
! !
3
C!
" 1 ! !
1
! + *
!
5
!
$
'( !$ %F=GD
'( 5 +
* !
F=G!!1 *D
+# +@ !
"F>?G
+ ! 5
+
! #
"
F G + + !
44'
" !F<9G + F8=G
, 6#
!
+ *
) +F;9 :G!
* ! F><G *
4)
+
!
,:
; ! + ' #
7 ;8 H 5 1 ! 7
; " '( +
7;: !
+ 1
< )!@
+'(!
!+
!+
# !
+ F;9<= :; G"F ;G
7 8!
+ !
! +7
!
!
! #
88
# + !
! !
!!
!D *
!
44' !1
*F@<GD
#$ % % &' (% 7
!
!
×
8
! ! ,
"
×
×
× ×
D
!! " #
$ %&' #$
"
0 !# 88
! #
!
2* 88
)
"
! ! E
!
*! #
# #,
!
! A #
* 1 # # !
1
F ;G
% %&' (%
*!
!
' 1
#
!! 2* 88 "
3
F >G
% %& ) *(%
!
! !
+
7 : ;"
!
E !E
) F@=G
#
+! ! !
! F88 =:G" ,
! ! # ! C!
F= G F ;;G C #
# + + F G
+ !! I!
=#
! +
*
)
B## # #
#7 8 !
! ! !
*#7
* ! 7 : !
1 7 ;
"!
F:GF ?G1 ,
E 0 F=G
7 7<
! ! +F :;9; G
)
8
!"
0 ##
# ! " !
# ! J +
A ! F;9G
!
#!
( )
# 7
* !
#
!
,!A
F ?G ! ! ,
!
# *
# !
#
* ! % .K ! !
F<:G !
* F=;G
1 # F8?G F89GD C *
# !
×
:
!3
2* +>88 * 3
+>8 41 !!#
×
×
;
×
2)
E!
0
0!
! ' !!
E 8:
' ,' !! ! *
$ 7C
×
#
! ,'
F8?G !
F:@G
,' !
×
F<9G 44'
#
F@?=: @=G # F89G
!F@?@=G
88 8
#
#
<
@
0! * ;
!
: !
F=:>>G3#
+ A!
F ?G
×
×
=
*
×
×
" F8?G
F ?G*
)! #
!
# # F ?G
!
! F=:GE
!
×
+ ! F<;G
F;8G #
' !
#
F ;; G ! ! 8 D !
# C
6 8
!C!
+ ! ! $ C
! "
Ü
>
+ !
(
F ;G #
F ?G
;
Ü
Ü
7# #
Ü
:
Ü
1 ! >
!# 3 +,
3
"!
>
*
%% & +, (%
$
Ü
9
+>8= ,
0 ! # '
!F 8 ?G !
4#F ;G',#F;G H#2,
+9: C #
Ü
;
*
+# +9 ! !
F ?G + %
F 8GE! !
',#!
Ü
!
"
+ , #3 F;=G
*
3 #
Ü
!
Ü
# ! C
Ü
Ü
8?
Ü
#
Ü
Ü
#
Ü
1 !1
,
Ü
Ü
'
!
!' 1 !
1 ! H
!
Ü
F <G
! 1
'
+ +
+ '
! !
1
Ü
Ü
! #
Ü
×
# <
F<?G
#
!# #
F;@G!
##
×
#! 1
' F;@G
!"
* ,'
" ! ,
' "1 +
+1 ! ! F;>G
!
#
3 9 A!E
!
!
# + F@9G
* F=?G 3
#$ !
(
%-' %.'
Ü
$
#E!
$
Ü
$
$
Ü
$
# $
# ! # #
Ü
Ü
$
$
Ü
! ,
Ü
'
Ü
!
F>?G
Ü
88
!!
7 ; H ! 88
!A D !
E
+
! 1 !
!
1 1 88
$
$
A 8!
F=?G A
E 7; 5
+ ! F@;G 1 !
,
* F>;G !!1 "
!!A %
!#
%
%
!
&
F@;G !
' %
* 6 F@;G
! '( !
F=G 0 ,
'
#
F=<G !
ÜÝ
8
ÜÝ
* !8
ÜÝ
:
ÜÝ
!
;
ÜÝ
! $
F=<G !
ÜÝ
* $
F=G
E
" # + *
1 7
*#
!D
! !
7 :8 * :
1 !
6.7 7
7 :: )!
6.7 7:;
! * 3
!
3
*
! .
' 3"
*
:88
:8
:8:
:8;
+ "
2*
:8<
:8@
:8=
! !!
1 "
*
:8>
!
+# +=: +
C
+# += #
)! * '
.
/
$ '
'
F=>G
*
1 ! , ! 1
F>=G
!
+!
1 F=@G !
6.7
!
F=@G !
#
'! !
1
!
. 3
* *
!C
C!
!
1
%% &- * (%
'
: 8
:
! +# + 8
!"
: :
)
0)
* 12 12
#,
*A
: ;
* " 7L
F==G
. :
! : : !
#
,
: ;1 '
"
: <
# #!*
#$ %%&+ (% 3
.
*
ÜÝ
ÜÝ
Ü
Ý
!
1 !! *
#$ %%&! (% ',
! !
ÜÝ
!
"
"
"
"
"
"
"
"
"
"
: @
!
!
: =
!# !
: 8
%%&+ (%
ÜÝ
% *
ÜÝ
1 "
ÜÝ
ÜÝ
Ü
Ý
Ü
Ý
Ü
Ý
! !
3"
"
! #
$
! #
$
H
&
#
&
$
&
"
"
"
ÜÝ
#
$
Ü
#
Ý
$
"
"
"
ÜÝ
"
"
Ü
"
"
Ý
7,"
"
"
"
$
ÜÝ
!
7;: # !
$! +
: <
, %% &+ . (% 1
!&' ()("
! +#+ #
*!5+
F=>=9G ' 5+ #
#
'#:8@ :8<
4
, %
"
::8
%
!%
1 !
%
::8
, %
*
# %
%
'#
5+ !
1 !
#
J
F @ =G
#*
*!E
0
!
#
$
%
#
$
#
$
%
#
$
2*+8<!
D 2* +8=
#
$
7
#D
* ! #
5+
E
+!
#" ! F @G
F:=<<=G #
F=G! 1
+!*
.
*7:8
) !
*
!C &
C!
+
* MN
MN C
*
"
:;8
&
&
:;
%
:;:
*
%% &- * / 0 (% #
!(*("
&
:;;
&
:;<
! +# +:8 #
+# +:
%%& / (%
&
&
&
&
+
, &
&
!(*(" * &
6
C
, &
"
# F:=G
%%&) (%
' !(-."
!(*-" &
/
&
/
'!(-0"
+#+::
. !F=>:<<<@@ G )
: < 7 : #
'"
&
:;@
$!!2*: * :;;
#$ %% &1 (% 3
.
'
*
Ü
Ý
Ü
Ý
'
Ü
Ü
'
Ý
Ý
+!!
&
&
2* : : : @ : = :;@
F=G *! #!
F8<G !
2* :;; 2*
: *
" !$ % F=G +
F<<G F=G"
!
,%%&2 3
(% 1
#2
!(*3" &
! +#+@8
:;:D
! 6.7 ' 3
C
#!
F=GC !
ÜÝ
'
'
'
:;=
1
F=G !
1 !
* 2* :
E' '
: ;!
!
" # 7
@
+ 3 :;< F<<G
C #
!
5+
,
7;8!
' #
#
B#
!#!'
+ !! +#
+>
7; !5 '
B# 1 ! *
!
B#
)!
'( F=G '
+ '( +#+@
7 ;:
!
+
!! " # ! $!%
!" " #
!
! '
+ ! F9G
'
!
)3
#
' (
;88
2* +>8: +>8; +# +> +
F@=G +#+:;
% % &) (%
' (
(
)
&
*
+
;8
&
!(**"
#!;88"
"
"
"
"
"
"
"
"
;8:
"
"
"
"
;8;
"
"
"
"
;8<
!!# ,
1
"
"
"
"
"
"
"
"
"
"
"
"
"
"
"
"
"
"
"
"
"
"
"
"
"
"
!"
#
+
F=G
3
"
"
"
1 +
#!$
$
*
#
#
ÜÝ
#
" !
"
Ü
,
Ü
!
Ý
,
Ý
!
Ü
Ý
,
,
ÜÝ
!!
Ü
Ý
ÜÝ
)!
Ü
* ##*
'#(#
ÜÝ
ÜÝ
Ü
Ý
(
' '# (#
*!*F <G !!
ÜÝ
Ü
Ý
(
(
(
!
'
#
(
#
Ü
Ý (
;8@
! +# *
#
F=G ;88:
!*1 ))##
)
)
# 1 )
)
*
-
"
"
$
*
-
$
*
Ü
Ü )
,
Ü
!
Ü
ÜÝ
ÜÝ
)
)
,
,
ÜÝ
!!
Ü
Ý
+*
ÜÝ
Æ
Ü
Ü
Ü
))
,
,
Ü Æ
!!
-
Ü
*
!
ÜÝ
))
;8=
Ü
)
;8>
Ü
))
;89
H *
ÜÝ
))
Ü )
Ý
)
;88?
Ü
))
Ü )
Ü )
;888
Ý
) )
Ý )
Ý
)
;88
H * !* ' ,
))
!;88 +#
+<8 '
' (
"
"
"
"
"
"
;88:
!#!
' (
Ü
Ý
(
;88;
+# +< # #
;8@ # # # 0
' ;88; #
!!
& # !! %
! #
;88: $ !5
F>? :8G
1 ! '
!
Ü
5 !
Ü
!!
!
,
! ; 8
!
)
; 8
5
!!
%% & "4 (%
%2
2 2
)
Ü
Ü
1 /
*
&
&
)
&
)
*
)
)
)
)
1
)
#!
4567899
3
8
$
7 ;8 ;8:
ÜÝ
!5
Ü
Ý
ÜÝ
! ! 1
# ' ;88:
*
#
#
#
# ;8=,;89
#"
ÜÝ
))
;
Ü )
#
; :
Ü
))
; ;
$
$
!
$
$
* #
Ü )
Ü
,
!
$
"
Ü
))
-
"
*
ÜÝ
))
ÜÝ
,
,
!!
$
$
"
)!; 8
,
!$
"
$
"
$
; <
$ * !
B!
"
"
"
"
*
*
# $!!
!*
; <
$
$
* '
#
#
$
$
$
$
$
7 ;88:$
$
$
$
) 1 ;88:
;8< ! ! ! ;8 :;: !
+#+:;!#
'# (#
(
)
&#
*
+
; @
#
&
#
#
#
#
'
#
#
#
#
; =
#
#
%
#
#
#
#
; >
#
#
.
#
#
#
#
; 9
; > #
# 6 !
* #
#
# &#
% !
!
%%&!5 (%
+
+# +=8 !
&#
; > *1
&
"
&
; 8?
#
#
#
#
$
#
#
#
"
"
#
#
#
* ; < 2*
#
#
'
#
#
#
#
; 88
*
&#
1 !
#*
6.7; 88 *
"
"
H * :8< *
# :8=!; 88
#
#
%
#
#
#
#
; 8
+#+ :
%%&! / 06
(%
!*)-)" #
#
; 8:
#
#
; 8;
' /
!; 8:!
: : 1 C
!
,
: : ! ,
; 8:
C
H
,
1
!! !
: :
! 1 : :
/
0
1
; 8<
!
; 8:
. ! ' 3 !
6.7 1
1
1
2
&#
&#
*
'## : <
#$ %% & (% 3
(
Ü Ý
!#
! *
,
H
* ! !!
:;; ;88 ;8 ! +# +:;
"
(
2
2
2
2
)
"
"
"
"
"
"
"
"
"
"
"
"
"
"
"
"
"
"
"
"
"
"
*
3
3
3
3
+
"
"
"
"
"
"
!
%%& +' 4 (%
ÜÝ
: ;
Ü
Ý
;
* ; 8? !
!
#
. !*
!A#
#
,
! + A!* * %
%"
"%
"%
&
" "%
"%
*
% * '
%
%
%
%
#
#
% % 6
'
; 8@
!
Õ
Ö ÜÝ
#
#
'
#
#
#
#
%
%
%
%
%
%
%
%
%
%
%
%
' ; 8@
; 8?
! %% 7*! *
% &
&
"%
; 8=
%
&
&
%
; 8>
; >! !
% %
%
%
% %
%
%
%
%
%
%
(
2
2
2
)
"
"
*
3
3
3
+
%
#
"
"
#
#
#
!
2*; ;; 8=
; 8>
I! ! F=?G 7
; + # !
E
*!
!
% !
$ % F=G 1 +D
7:;'(
; > ! !
EF=G *!
!! F=G"+#+@
'(
!
&
&
!
&
; 89
! :;@ 7 # &#
; 9 ;
#
#
#
#
; ?
; 9
#
&
#
#
#
#
#
#
; 8
&
&#
# &
C
; : &
&
&
; 89 + ! ! ; 8
D 3
:;<*
#; ?D
!! ; >
:;=
'( F=G # ; ?
#
#
#
#
#
! '( # '(
! +D 7@
! & &
!
3 *
,
C
Ü Ü
*
! E
* !
F=+# +:G $%,
! 3
,
!C2*,
C
%
% ;:8
!
"C
A!6.7 ,
: ;
!
!
Ü Ü
&
%
%
,
#1
#!
!
# : !;:81 ,
%(
! *
1 ! ! C
"
: : : 7 :
: < '
%
;:
, (=>
"#
'#
$!
! ,2* ; ;
%
%
;::
%
%
%
&
*
&
(
C *
);::*!
%
%
,
) !
C
!
F= +# + G ) !
%
%
;::
%
%
#
7 #!1
+8 >
%
%
;:;
+ !
%
%
%
;::
%
%
%
%
%
%
%
%
%
%
%
%
(
)
%
%
*
+
%
%
%
%
/ Þ
Þ
/ >
%&1 ! ;:;*
%
%
#
%
%
%
%
%
%
7 # ! 1
*
%
%
%
%
%
%
%
%
#
%
%
;::
%
%
;:8
I! ;:: 3 2,
+>88 7 +> !
F ;G '
3C
7;8
!
Ü
Ü Ü
! 1 7; ;::"
%
%
!
!
+ 7
D A #,
'"
# # 7 8
F=G ,
!
'(
' () !
1 #
#;: #*
;:: ) !
#! ! !
)!*#
" ! '#
! A!!!#
' #
!
#" !
# -
! " !
! ,
! # F:;G
1 7( F=G
!
0 !
# '
! A!
;: 7
%
! !!
%
<88
!
!! ;::
!
!
#
I!!
-
D !
Ü
)' #!
F=G 1 !
.-
'(
#!
'
!
' $ *
# #
!/ / 1
' * F::G +
# F< G !
!.!/ F=G
3
#7 8 +O
0
0
- - -
C #7 !A,
!! 1 C
*7
*
!
/ !
5 @
! /
J*!#
3 #
7 ) 1
* & < 8
( <
,! *
&
C < !
! F::< G )! "
# "!
"
"
+ ! ! F<G
1 ! #
! %
'
'
!
% '
E
)! F::G .7
B& C
7F9?G
!
3
#
'( +
7 C * # #
7 8 + 1
# D !
7@8 B#*#
! !
6 +%##
'( )! *! #
!
+ !
+* F;G# +
#$ % % & (% 3
+
+
&
+
+
&
+
+ !
, % %&" (%
4
!"
#2
4
,
*!3 ! #+
! 8
+ ("
# ! 7
F=G
,' !
# +
# @8
'(,
F<G*
! #'
1 (" ( E ! ,
H * *
!
F=G )+ F:<G % F8>G # #
F<>G +
! # *!
! !
@8D 7 : % #
*
!
@8 '( +
) @ 8#
% +
' 6$)
@ 8
#
M N !
!! )7
< ! 0
EF=G! % *
'($%
! F=G
, I!! )
E
% !!
,' #
%
& # '
+ # @8
+ # #
# ' 6$) @ 8 3
%
%
0 1 2 3 0
0.5 1 1.5 2 2.5 3
Est. z Est. y
Amari divergence
0 1 2 3
0 0.5 1 1.5 2 2.5 3
Est. z Est. y
Kernel mutual information
0 1 2 3
0 0.5 1 1.5 2 2.5 3
Est. z Est. y
Kernel covariance
0 1 2 3
0 0.5 1 1.5 2 2.5 3
Est. z Est. y
Kernel generalised variance
) @ 8D D + D
$ D $ D
8???
# # #
%
"
"
# +
#
#
M#N
+
'
'(
@8D 3 +
3 2*
7 & :20)
2 # :??
H ,8 ?
7 & <20) @??
4# @??
# # ,8=?
7!# ' ,8><
7!# ' ,?=<
7!# ' ,?<?
C +! # ' ,?<=
+! # ' ,? 9
+! # ' ,? ?
7!# ;' ,?98
7!# ;' ,?:;
7!# ;' ,?;?
+! # ;' ,?@=
1 +! # ;' ,?<9
+! # ;' ,?>
#
,## * !,#!
@8 6
<@ @ 8? ;
@: !" '(!
3'
!
##!!#
!
'(
E 3 '
! 3 !
# # D
5 ! A!
! ! #
;' !#!"
0 #,#!
@8 6 @;
' '( * # 3
! * # 0
'( *
'( @
E @: '(
#
+ ) @
8, # + !
! !
, !
% E
! A
! )!##
<? D +
! 3 !
'!! '
!
@D++8??# <@ @83!1' 1 '(' 1
* )%#' 3'(' 3 ++!",,,!,+",,""" ++,",++!#$",",! %##!,!+!+++ &,+,+!"! ++,!%$# +!#'#,#'#,, #"#+"#"##"##"##"##"# ",&%""","+,+ ,"%"#++!"!,, C,!",#!#,,!,, !!","!"!!"""%"" +++,+,+,,+(!! "!,!,,!"!#&#! !!"!"+"+%'#!! !#%(,!!"#%##&#%#!", ,,""!!"#(# 1+!!+!+'!,"+ ,!$$!,,+,"+!"" $$$#!$$"%&(#%%#$&!%'"%'%%
@:D++8??# 8?; @831!' 1 '(' 1
* )%#' 3'(' 3 +%$"!!+!!," "!"!!!"!,#(# !&!, +"!#$"+,","++" "+","" ,!#!! +!!!!!!! !++%%#!! ,+!&!,+,+!+"+! C+!,% ""!!!,,,# ""","%"%, !!,$!$ ,",!,+# ,,+!+!,","!$'&"!, !++,""" 1"!!!+,%%#+ #(#!""" &#"(#$!"$$!$#%%$%#
@;D#!! @8)'#)'(
!
(
!!%"+ 6)%#'( <?8???!,!,+++"%#"!+ 8???8???"!"!,#%"#% ;8???8??!+!"!""%!+!+ ;;???8??!,+!,"+#& >???<?",,,+,!"( >;???<?+",,+%" 8@<???<,,+""+""
0 20 40 60 80 100 0
0.1 0.2 0.3 0.4 0.5 0.6 0.7
Run index
Amari divergence
0 10 20 30 40 50
0 0.02 0.04 0.06 0.08 0.1 0.12
Run index
Amari divergence
Jade KMI(Gauss) KGV
Jade KMI(Gauss) KGV
) @ D + # !
8?? <?# ! 5
@;
& ( ' !
#E
@8 ! +
!# 8
1 !!!
1 6 ) @ : '
+ F;@G
'(
+
+ *!
! !
+#%
!! ,
+# !
'(
F=G
,
) @ : ! '(
+ % # #
0 #E ,' !
#!
Ü
!!
2 D
* 2 * ,' 2 , ,' 2 3
6 ) @ ; + '(
