COST FUNCTION

(1)

! "#$%&'(##*)

+ ,-./0 123405567/ 8050.249 :0;.2<-07<=>? > @.A5B8050.249CDEE F49GHI:26J0C

80K L.7MCNO EPPEDBPEQQC RF=

S T

6HH.-0<<0 R76J0256<UCVEE F<.<0 F<200<C F.H0-CW8 VPQEDCRF=

X YZ: [,8F>C8GK3\02 ]9.G5500 ^CD_`aV L02H67CY02-.7U

bU.77CH037Acd2050.249e.<<e43-C/322d\6HH.-0<<0e0KGCMH.G5df25<e/-KeK0

326/67.HHU ;GAH6590K 67

W22CYe.7K ZGHH02Cg he iN0G2.HN0<\32M5j<264M53k <90<2.K0lC

F;267/02CDVVae

mnopqrspt

>90 437J02/0740 3k A.4MB;23;./.<637 H0.2767/ 65 .7.HUI0K

53 .5 <3 0u;H.67 43--37 ;9073-0737 3A502J0K AU ;2.4<6<637025e Z.7U

G7K0562.AH0 A09.J6325 3k A.4M;23; 4.7 A0 .J36K0K \6<9 <264M5 <9.< .20

2.20HU 0u;350K 67 50263G5 <049764.H ;GAH64.<6375e>965 ;.;02 /6J05 53-0

3k <9350 <264M5C.7K 3v0250u;H.7.<63753k \9U <90U \32Me

Z

.7U .G<9325 9.J0 5G//05<0K <9.< 50437KB32K02 3;<6-6I.<637 -0<93K5

.20.KJ.7<./03G5k3270G2.H70<<2.6767/e,<65593\7<9.<-35<i4H.5564.Hl

50437KB32K02 -0<93K5.20 6-;2.4<64.H k32 H.2/0 70G2.H 70<\32M5e = k0\

-0<93K5.20 ;23;350K <9.< K3 73<9.J0<9050 H6-6<.<6375e

w xyz{|}~z|y

$ # # # # '$

$ ## $# ## ! '$ $

##! $$ ##$

$$ ! $ ' $

$#'$$$'!$!$

#$# $ ! $ $$ ! $ $ $ '

#$#!! '$##

'# !!!!$$!$!#

# ! ' $

$$ '# !$!!'!!$$$

' $# $$ $ $

!$$$ $$$ !$' #$$# $!%!

%# $ ! $ # #

$ #! !$ #$

# ## $ $!%! !$ ! #

# $$

{yy y} y{z|y

$# $ # '

$$$#$'!$ ¡¢£¤¥¦§¨¡©¤¢ ª¤¡ ¥£¥ «¤¦¬¢©

(2)

±² $¶%!´ $$##! ·$'#

$ $$ ¸ $ ¹² º »° ¼²³¯°±²³´µµ $$

!$'¼

²

!$! ±

²

!

!!' $$$ ¹½¾¿ÀÁ° ´µ$

$ ¹² $ Â $##! $

Ã

°±³¼µ³ÄÄÄÄ°±Å³¼ÅµÆ$#$$#'# $$$

! # ´ $ ¹½¾¿ÀÁ° ´µ

$$ $ $ ## $ # $

$ $$ #! #! ' $!

$ $ $! ' $ $ $#$

!$· $##!$ $ $ # $!$

$ ( Ç! ÈÉ

¹² º

®

Ê

°¼² Ë¯°±²³´µµ ³ ¹½¾¿ÀÁ º

®

Ì Í

²Î

¹²

COST FUNCTION

LEARNING MACHINE Parameters

Output E0, E1,....Ep Error

Desired Output D0, D1,...Dp

Input M(Z,W)

Z0, Z1,... Zp W

ÏÐÑtÒt

Y2.K607<BA.50K H0.2767/-.49670e

$$$!$$$$

$ $ $$ $ ' $! ·

!$ Ó$ '# ¤¥¤ ¡ª£Ô¤ $ !

$ $ # $$ $ $# $

!#µ

!$! # # $ $! ' $

$ $ $#$ $ Â

' #!Ç $$$$ $

' $ $#$ ##! ## ©¤¦©

$#$ $ #! # ## !Õ '$ $ !

'$!Õ$$#!È$! $$#! #$$#

(3)

$$$!

#$#$#

$ $ !! $ $#

!$

Ç# # Õ$ #! $$ # ' %

$ ° $$ $$ ##! È# &$

(µ Ö×Ø×® Ù

Ç$# #$$'$! !$ #%

$É'$ ! °$ Ö®ÊÙµ'$$ $

!##$$'#! $$!Õ$

!$!$ $

$' !$$È# '$ $#'$

$ !$! $ $## '$

! $ ! ## Ú '$ $ $## '$

$ #! !# ! #

## #$#! $$ !$$$ !

$ $ $ ## ' # '$ $

$'!$$'$ ###

$ '$ ! #

' $ ° # $ #µ

# '# $ '

! $ $ $ $$

° $ µ ! $ $$! $ $! !

# $ # !#

°!# $#µ ! $ $# '

#$##Ç ! !# #$$$

$!! !#$#$!$'##

### $ $#! $#

$ $$ #$ ' '

! $

Û Üzy}{} ÝÞß{|ßz|y

¸# $ ! #$$ $ # $!

#$$# #%# !%! # $

#$ # $ !%'$! # !$

$#$ ###!!%'$!

#$$# $!#$#$ àÁ º

áÁ°´Á³àÁâ

µàÁ $ $ !#´Á

$ '#$ !# ° $'$ ´µ! àÁâ

$

!#Ó$ ° $ ## $ $!#Ó$ µ

àã $!# $ ±² # !

¹² $ à

Á

$ # !$ ¹² $

(4)

ä

¹²

ä´Á º

ä

á

ä´

° ´Á³àÁâ

µ

ä¹

²

äàÁ

ä

¹²

äàÁâ

º

ä

á

äà

° ´Á³àÁâ

µ

ä

¹²

äàÁ

°®µ

åæ

åç

° ´Á³àÁâ

µ $ è' á $ ´ #!

°´Á³àÁâ

µ ! åæ

åé

° ´Á³àÁâ

µ $ è' á $ à

è' $ # !$

## $ $ ## $ ' $

#! !#$ $ ! # ê # ® ##

#!$$ $ ##$ '

! !$ $ $ '%

!##%##$$#$'$$

!#$ #! #$ ##$ °$µ

! %$ $! $ ° $µÉ

ëÁ º´ÁàÁâ

°Êµ

àÁ ºá°ëÁµ °ìµ

´Á $ $' #$$!$ àÁâ

!

' $ $ !$ àÁ á $ #$

$! $ ëÁ $ !

$$ ¦¦¡ª £¥íî¦© # ï

¸# # ' #$$#'

$ '!É

ä

¹²

äð À

Á ºñò

°ð À

Á µ

ä

¹²

äó À

Á

°×µ

ä

¹²

äô Àõ

Á ºó

õ

Áâ

ä

¹²

äð À

Á

° öµ

ä

¹²

äó÷

Áâ

º

Í

À ô

À

÷

Á ä¹

²

äð À

Á

Ä °øµ

' $ #$ ' É

ä¹²

äë

Á

º áò° ëÁµ ä¹²

äà

Á

°ùµ

ä¹²

ä

´Á

ºàÁâ

ä¹²

ä

ëÁ

°úµ

ä¹²

äàÁâ

º ´û

Á ä¹²

äëÁ

Ä °üµ

$#$ # °µ ! $ $ $ %

! !$ # ´ $ # !·$! $ ##$É

´°ýµº ´°ý Ë

®µ Ëþ

ä¹

ä´

Ä °®Øµ

(5)

$#$ $ $ $# $ ( $$! !$ $

'#

þ

!$

þ

$ !# $

$ $ $$ $ °$! !

µ $ $ ÿ ! $%ÿ !$ !$'! #

¸ þ $ ! ## ' !$$$! #

#

{z {Þ

'$# ## ##! $

$ $ $ ## %! % ! !$#

## !Â Ú $ $ #

°®µ## !$# °Êµ$$

°ìµ $ ##$$ !$$$ '

$ # $ ! ! $# #

#$!$'!$!(!#!

#·$$ ## ' # $$

¸ °®Øµ $ # $$

!$ ! ¡¤ ¡¤ !$ $ ! $

' #$ '! $'$!!'$

!! ¸## $ $$ °#µ #

©£¥ª¤#

Ã

±

½

³¼

½

Æ $ $ °!#µ $

ý

¸ ¤©¦£«¡¦¤!$ ! '$!

¹

½

#! $ !!É

´°ý

®µº ´°ýµËþ ä¹

½

ä

´

Ä °®®µ

$$$!$$$$#

!!¸$$##$$ $

' !$ Ç$ # $ ## ! !

'$ ' ## $$É

® Ç$# $ $## «î!¬ $ ' #

Ê

Ç$# #$ $#$ ' $#$

ì Ç$# ' $! $

Ç$#$$ «î!¬$'###

#!!!$$$$$$# $$!

$# $ $ $ ®ØØØ $ !# $! ®Ø

!# $ $ ®ØØ $#$ ¸ ! ## ®ØØØ

$ $ $ $# $ ! '$! ·$

$ ®ØØ $ ' ! !$ $ $# '$ $

(6)

$$ ! ## $ ## $ ®Ø $ ®ØØ%#

$ #$ # !$

' $## #$$ $ $# #

#$$## $ Â"Â ## °##µ

$$$!!'

# $# %#

Ç$# #$ $#$ '$#$'$ $

!$ÿ# $$## ## ## !Õ%

!$#$ #$ #

## !$ '$ $ ## #!

$$ # $ $ !$ $# $

· '$ $$'# ! ## $ $

' !$! $#! $$ Ö®öìØÙ

Ç$# $ #$ $# ' !#! $%

$ !$# #$

! !$' $ !## °! !

$µ # !$ ! ! ## $

$$'# # ! # ! # # $## $#

' # $ !! ! ' '! $#$

$ ## $# #$ $ %# # #

! # ° $ '# $ ×ùµ# ## $ ! #!

! $#$

$ !$$$#$## $$

$!$ ' #É

® !$ ## !$!

Ê (#$ °·!µ#%

' #

ì # #$$ !$ !

$ $#

$ !$ $ $ $ $$ #

!$$$ $$#!'###$

$ ## $!

$##$ ! Ú$ $

Ú$ !! ! $ $$ !$

Ú$ ! ## $ #

# þ

ÖÊúÊùøÙ Ç ! ! Ú$

!$ ° #µ# !'$ Ö®ì

ìØìøìöÙ $ $ # # $!# # $

þ $ %

ý

³ °®Êµ

ý

$'$$! !

%

$ $ $

' $

(7)

$## ' $ ! $ $ $ !$ (&## !$$$$

! ! $ ÖÊöÙ ! Öì®Ù !$$$$ $ # '#$

!! $ ' $! $

#! $##'$ $ $!# $ ! #

ÈÕ# $ # $$# $!$

$ $ '

ÿ #$ '# $ ! ' #$$

# $'$ # #

' $ $ !

¸ ! ' $ $ '# $ $! !

!$ $! # $$ Ç! ! !$ $! #

' $ ·$ ! ' #$ $ $

$ # #

$!$' !$$$#$$##

! ! ## !# # ! $$'$

$ $# $

' ( )*+,

ÿ$ # $$ $ ! $# $

!$'# $ $# $ $ #

$$ ÿ $ #$ # $$ # $ !

$ $ # ' $ $ $#

$ $#

!# #$ $ ! $ $# $ $$$ #$

¢£-¤ ¤¥¦ #$$$ $ #$ '# $ #$$ ##

$ ## $#

¸$·! #

$$ '!#

$$$!¸ #!$$$'

#! ' ! $ $ #

$$$ $$#$' #

####$¸$$$#

$ ## ! $ $#! $ #

¸ ! !$ ''#

$ ##! ¤«í¬¡©£Ô£¥ ©!¬¤«¤

.

)*+, / 0*++ 1+ .

® Ç2 $ $ $$$ #$

°#µ'# $ #$$

Ê 3$ #$ ! # %

# #$ ! $##

+>9032K0267 \9649 /2.K607<5.205G--0K67A.<49 -.UA0.v04<0KAU 23G7K3v02232

6k <902065. 56/76f4.7<2.7/0 3k /2.K607<J.HG05e

(8)

#$ '$ $ $ #

#$!Õ#$$'!$'# #¦¬£©

¦¤!¬¥£4î¤ ¡ííª£¤¢ ¦ ¢¡¦¡ !¥¦¡£¥£¥ î¦ª£¤ © !¡¥ ¨¤ ¢£©¡©¦ î© '$ #$

! # $ $#! ' $! #

!$ '##'#'$

# $ÂÂ

5 6+7 1,

$$##$ '#%

$$#$ $$$!$##$

$$ #!$#!!'

# 8ó

8 $ °$#µ! ! ó

$

°$$ ° öµ! °®Øµµ ## $

$##!$ $! !##

' $ $ ° $°8µµ ¸$ $# $ $ # ## !$

## $ ¦¤¦¬¤ $ $

! # ! $ ' $ ! $

$#

' # $ ## $ #

$ ## '$ !$ #

! ! $ $# ! # $ ! $ $

$ $ $ #$ $ $ $#!

' #! ## #$ $ î¦íî¦©

! ' #$ '$ $ $ $

# Ö®üÙ $ '# ' !!$$! ' ! $

$! $!# !$$$

$ !$$$ $! ##$

$ $ # $ $! $ !$'! '

' #$ $#! $ ## ' $»À

»À º

®

Ì Å

Í

²Î

°9

²

À µ

Ä °®ìµ

Ì $'#$»À $ :

½;

'#! 9

²

À

$ :

½;

¶

½;

# Ç# $!$

#'$ #$ '# $!

!$ # # $#! ' !

$! $! $! '# ® $

!

$# ## $ $ # $ $

$ $ #$$ $ $ $ $

' '# $# #$$ $ $ ! $ #$$

$'# # $$

(9)

® '# $ $#!'#$

Ê Ç# '#$ $ $ ' $

ì '#$ $#! ' #! $$'#

' $ $ ! $# $ $#

#¸ $ Õ' !# #

$ !# $ $! $# Ê $

#! $ $$'# $# # ô

$

ô

! $ !$

'#$!! °$$ $$!#µ #!

$$$# ' $#$#$ !'#

3# #$$ ° #$ $ "% $µ

'$! ª£¥¤¡ #$ $ Ö®ØÙ

$ ## !! ° $ #µ

#$ !!$ $##$!$

$#$ °9 ºÊ9

µ$$

# #$ ´ º= Ë°®>Êµ´

= $ $$! $

# $ !$ ° $ Êµ( #$#$$'$##

Õ # $# Ê% $ Õ# # ®%

'# !## $ ## !$

$

ì $$ $$ $ $ $$ °®µ

$ $ $ $ °Êµ!# $ ! °ìµ# %

$

z ₁ z ₂

y

ω ₁ ω ₂

ω ₂

ω ₁

Lines of constant E

Ï ÐÑt?t

@670.2HU K0;07K07<67;G<5e

(10)

Mean Cancellation

KL- Expansion

Covariance Equalization

ÏÐÑt@t

> 2.75k32-.<637 3k 67;G<5e

< +

ÿ# $ # $ #

'#$$$ $$!

$##$$$$#

$ AB $ ! $ #$ $!! #$

ñ°óµ º ®>°®

C âD

µ ! '# ñ°óµ º °óµ $

× Ç!$ $' °$×'µ

!$$$$#! '#!#'$

## ! $ ° £¥ íî¦© #µ

#$ $ $ $$ #$

$ $ #$$ ! $ $ $ $

+

® Ç $!$ $ $ '# $

$!!#$

Ê ¸ !! $! Ö®üÙ $É ñ

°óµ

º ®Äù®öü E

* óF

Ç

$ $$ ## $ %

' ##$ ' $! $!

ì Ç$$##!!$###ñ

°ó

µº

°ó

µ

G ó

$ $ ! Ú $$

(11)

-6 -4 -2 2 4 6 0.2

0.4 0.6 0.8 1

-3 -2 -1 1 2 3

-1.5 -1 -0.5 0.5 1 1.5

(a) (b)

Ï ÐÑtHtI

.JN3<2043--07K0Kj<905<.7K.2K H3/65<64 kG74<637CK

IL JM DN

I

DOPQRJe

I AJ

S

U;02A3H64 <.7/07<CK

IL

JM DT PD^V <.79 ES

X LFe

(12)

U¬¤¥ î©¤¢ U£¦¬ ¦ ¡¥©V «¤¢ £¥ íî¦© °$ $!$$$µ

$ ## #$ ' #$ ® '$ Õ $!

$ # ® $ $# #$ $! $ $

°µ ñ°A®µ º A® °'µ $! ! $ ó º ® ! °µ

Õ $ #$ ®

# '#$ $ $ $!$ $

$ ' ¤ WÚ $ $ $! !

# $## $ $ $ $!$

$ $ #$ Ú ¸!! $## #

$! $$ # ! Ú $

X . < Y

#$$'#$#$##' °

Ã%

®®Æµ%

$! $ $$ #$'$ #

$!Ó$ $$$$ $# !'$

$$'#$$#$$## !

$ #$ $ $$'# #$ # ' ! $%

##¸$ $#$ ° ! !!µ! #!

##$$!!$#$#$

$!$$ !$ ##! ' %

##$## $!! ° $ $!!!

$!µ! ! #$ ¸$ $# $

' $

Ç! $ $ $ ! %

!## ##$ !$ '!

#$$ $ !## $ $#! ' Ú! ' %

# $ ' $$'# #$

$#$!##$#$$%

!!#$$$ ! #$$

! $ # ! $# $

$ !$ $$'# !Õ ' # !

# #$

¸ $# $ '#$ $ $ #$ '

$! $#$$ '

$ ! $ $! # #

$!Ç #$ $!!

$! $ '$ ! #

$ $! $ $ $ $! ×' $

! $ $! ! A® $!

' #$ # #$$ '#$

<

$#$ $!!

$! $ $ ! $ $

S= <\65<67/ <02- 65 . 5-.HH H670.2 <02- .KK0K <3 <90 73K0 3G<;G<C 0e/e

K JM<.79 JOZ e

(13)

$ #$ $ $ Õ

$$ $ $#! ' $ !# ' $ $%

! $#! $ #$###

$! ## $ $# $## !$ # $#

$ $## !$ ## #$ ' $## !

$ $!Ó$ # ! °®µ

!$ # # ! ! °Êµ

####'!##

¸ $ $ ! ' $#

$!!#$'%

!$' $ ! $!! !

°\µ # ® $ $ ! # ' #

$ $ !$'! # ' $!! ! #$ ®

$ !! #·$ ! $ ' !!

$! $!#$

$!! ! \] º ®¸$$ $ ðÀ #!

® $!! ! $ ! $ ## '

\]^ º _

`

Í

õ ô

Àõa

b c

Ä °®×µ

$ $\]^ #®$$#!'!#

! !$' ! $!! ! '

\d ºe â

c

°®öµ

e $ ' $

17 f

¸$$ É

® $ $' #! !

Ê $! ×' $ ' $!

$$#! ' !# ! !$' °µ

! $!! !

\d ºe â

c

°®øµ

e $ % °' $! £¥¦ !µ

g .

$ #$ ##%#! ! ° !$'! $ üÊµ $%

!# # þ( $$ °$ %

#µ' $! # ##!·$#

(14)

$##$ ! $ ##$ ## $!

!'# $!$$

$$ ! %# # '$ Ú$

##

! $ $# #'# # $ # !%

#

þÀ

¸ ##%

#!!$'$! $!!$$!$'!

$ ü® #$ $ $ ## $

# $$!

! $$$

$###!!!#$#

#! $'#$!$$#

$ # #$$#! ##'# #$ ° $

Ê®µ$ $ $ # $

$!!$ $ $ ##$

$ ## $## #$ # '

$$##'!$$$!!##$$#$$$

$ # # # !Õ $

°$ $ ü®µ

$! $ $! $ $ %!# # $ ° ÿÿµ

Ö×ÊÙ ## $ ÖÊØÙ # $#! ' #

$ ' $ $ '$

!$ $ %%#$$!! $

)h7 ,

i

$ #

i

# $$#! '# $

' $

i

$ # #$ $#! ## ' #

#$

$ #!É

0++ (

jô

°ý

®µº þ

ä

¹½k

äô l

jô

°ýµ³

$$! $$$#$#'$!$

$ $$ # !$ $ #! #

Õ # # !$ # Ö×ìÙ °l !$

$ µ$' #! ##

#$ ' ! $$!' $$ $!

$ $

(15)

m (! ÖüÙ Ç ÖìúÙ ( # ÖÊúÙ $! #$

##! # $ °$ #$ Ö®øÙµ$#$#

$! ' $ !$ # '$!

$$ ## $ # ! #É °®µ

$##$#$$ °$È°Êùµµ$$#$##

$! $##$ # ! °Êµ #' $

ô°ýµ ## !

$$ °$ È°Êùµ öµ n! $

!$#$! ' $ %

!$# $$ ! ' ! °

#' $É$ öµ'

º o ä

¹

äôp

>qo ä

¹

äôp q³

q q !$ r ! ·

s º oû ä

¹

äôp º qo

ä¹

äôp q

! È

$ !$# $

!$ $!$ '$! ##

° !#$$ ÖÊúÙµ

ô°ý

®µº ô°ý

®µ Ëþ½

ä¹½

äô

³ °®ùµ

°ý

®µº °®

Ë

8µ°ýµ

8

ä

¹½

äô

³ ° Ø t8 t®µ °®úµ

þ°ý

®µº þ°ýµ

u

þ°ýµ°vq°ý

®µqËþ°ýµµ³ °®üµ

8 #$ # $ u³v $$ ! $ $! $

# '# ## # ! åw

å d

ÿ $ $ #$ $ $ ! $! %

# $# !!# È°®úµÉ

!!

$#$$#

°$È°®üµµ# ##$$#É

°# !$ sµ !$ ' $$ ! #$

#$# ° # !#$ $ ÖÊúÙµ

x y

z + {

¸# $ $$$ $ !$ '$! ! !$ ! $!$

$ $ ° #$µ ' $!¸ #$ !#

'$$ ° &µ °$ ÖùÊøöìÊÙµ & $ ! !%

!$#! È#!!$'

(16)

ÏÐÑt|t

.;;23u6-.<0HU370 K6-075637.H<3\.2K5<90-676-G- ~ .7K 6<65./33K .;;23u6-.B

<637 3k<90-676-G-06/07J.HG0 K6204<637 3k <90

S 0556.7e

!!$!$ #!'#

$ ! $

°óµ º

Í

À

Î ôÀ

Ë

®

Ê\

À qó

ËÀq

³

À °\Àµ$ °$!! !µ:% $$$$

# $ $!! $ ! $## ! '

' ! !$ ° $µ ! $$! #$

! $ ! !$ & $

n# $!# $ $ $# &

$ # $## ## $ $ ' !

'$ # ' $ & $ #$ ' $ '$$

$ !# $ $! $ # $ $ #

'# !! $!## &$'

!$! ## !$# $$ '$ $

!! $$ &$ °# !$#µ

#$! $!$ ° !$#µ # #$

|y{y | {}yz yz

X

<

$$$'!$$!#

' !$ ! ! !$

' $

´°ý

®µº´°ýµ Ëþ

¹° ´µ

´

Ä °ÊØµ

(17)

#! # # Õ$ ! #

$! ø ##$$ # ' $# !Õ $$ þ

´ $$ ## !%

$ $ $ ! # # þ

²

½ $ ' #

## ´ÀÁ $# $

°$ø°µ'µ þ $ $## þ

²

½ $$ ## ' $##!

####$$

þ

$ '

þ

²

½ ! Ê þ

²

½

## $## ! ´ÀÁ ' ## ## ° ø°µµ

þ

$ $ þ

²

½ ° ø°µ!µ $$ $ $ #

!$ ´ÀÁ ' $#$

E(ω)

ω

η > η _opt

ω _min E(ω)

ω

η < η _opt

ω _min a)

c)

E(ω)

ω

η = η _opt

ω _min

E(ω)

ω

η > 2 η _opt

ω _min b)

d)

E(ω)

ω

η = η _opt

ω

∆ω dE/dω

ω _c ω _min

dE(ω _c ) dω

I 6J

I 66J

ÏÐÑtt

Y2.K607

<K05407<k32 K6v0207<H0.2767/2.<05e

$ # # # þ

²

½ $ $ $!

$ ® %!$¸$$ ¹ ' ! ' !

þ

²

½ ' !! ' $ ! ¹ # $$ '

´É

¹° ´µº ¹° ´µ

°´

Ë

´µ

¹° ´µ

´

®

Ê

° ´ Ë

´

µ

¹°´µ

´

ÄÄÄ³ °Ê®µ

$ $! wç

ç

w

ç

çÎç

¹ $ ! $!

! ! $ $ ! ! $ $ Õ

' $!$ $ ´ $

¹° ´µ

´ º

¹° ´µ

´

° ´ Ë

´µ

¹°´µ

´

Ä °ÊÊµ

(18)

´ÀÁ º ´

Ë

¹° ´µ

´

â

¹° ´µ

´

Ä °Êìµ

$ ! °ÊØµ !

$

þ

²

½ º

¹° ´µ

´

â

Ä °Ê×µ

3$ $'$ $$#$##$! ø°µ

' #$ ! ¹ $ ´ Ç ¹ $

! ! $ $# $ # # %

! åwç

åç

´

ä

¹

>ä

´ $$#$#$

# ! $ ! $ $!! $# #

ä

¹>

ä

´ º ä

¹° ´µ>

ä

´ Ë

Ø

´Ë´ÀÁ

Ä °Êöµ

Ç# ´ÀÁ $ °Êìµ

# # $ $$ $ þ

²

½

#$

# ' $! $ ! $ °#$ $ %

ø°µ!µ

þ

¿D º Êþ

²

½Ä °Êøµ

¹ $ # ! ! $ °Ê®µ

$# ! °Êìµ $ # $ $

## $ # $ þ

²

½

$## ' $

## !$$ ! þ

²

½ $ ' !# '$

$! °Ê×µ $ â

$ ##! $$ $ %

$ '

Àõ

ä

¹

ä

´À ä

´õ

°Êùµ

® :³ ê ! ê # # ' $

$$¹ !$$#$$

¹ !$#$$$ ù$

!$·! $#$$

$$$ ¹ # $! !

)*+, #$ $ ° (Çµ # $# #

#

¹°´µº

®

ÊÌ Å

Í

²Î

² Ë

Í

À ôÀó

²

À

°Êúµ

(19)

Eigenvectors of H

ω _min,1 ω _min,2

ν ₁ ν ₂

ω ₁ ω ₂

P E

I .J

I AJ

ÏÐÑtt

@67053k 4375<.7< e

Ì $ ' $ $$ $ $ $

'$ $ $

º

®

Ì Í

² ó²ó²û

Ä °Êüµ

$ # $ #$ $ $!

$ # $! ! $ $ ú

x ₁ x ₂

ÏÐÑtt

[32 <90 @ZF .H/326<9-C <90 06/07J04<325 .7K 06/07J.HG05 3k -0.5G20 <90

5;20.K 3k <90 67;G<567 67;G<5;.40e

n$ $# # $ '# ##!$$

þ

' #$ $$ # $## !$¹ °$##

#$ µ þ

$ # $ ## ! #

$ !$ °# #$ µ $ $ $## # $

! ¹'$ '

¹° ´µ ¹°´ÀÁµ

®

Ê

° ´ Ë

´ÀÁµû

ç

^¡

° ´ Ë

´ÀÁµÄ ° ìØµ

(20)

´°ý®µº ´°ýµ Ëþ

ä¹°ýµ

ä

´

° ì®µ

º ´°ýµ Ëþ

ç

^¡

° ´°ýµ Ë

´ÀÁµÄ ° ìÊµ

Ç' ´ÀÁ ' $!$$

° ´°ý

®µ Ë

´ÀÁµº °¢

Ëþ

°´ÀÁµµ° ´°ýµ Ë

´ÀÁµÄ ° ììµ

°¢

Ëþ

°´ÀÁµµ$ $ #$$$

° $ #$ ## ! #$$ ®µ !

##

!$ $ # $ # $ !## !%

# $ # !Õ !$ $ $ $#

!$ #! ! $ $ $

$ $#! ! $$ $ #

'$! $! # $ #!

$$ $ $ !#!$#

!$ °$ù'µ$ $$!#

$$ !$$$! #

£ ' $

¤

º ££û ° ì×µ

¤

$ !# ! £

û

£ º ¢ $ ' $

¹°´µ¹°´ÀÁµ

®

Ê ¥

° ´ Ë´ÀÁµû£û¦

¥

£

ç

^¡

£û¦Ö£°´ Ë´ÀÁµÙÄ

° ìöµ

( !$ º £°´ Ë ´ÀÁµ $#$ '

¹°µ ¹°Øµ

®

Ê

û¤ ° ìøµ

! $! ! '$

°ý

®µº °¢ Ëþ¤µ°ýµÄ ° ìùµ

ÿ ¢ Ëþ¤

$ !# !# $ ® Ëþ§À

$

##

® Ëþ§

À

t ® þ

t

¨

^

## :$! ©£¥ª¤

$# # ## $ $

þ

t Ê

§

¿D

° ìúµ

! ! !

§

¿D $ #$ #

$$

þ

²

½ º

®

§

¿D

Ä ° ìüµ

(21)

ÀÁ $ # $## ¿D ## ' $# #

§

ÀÁ !$#!'

©

§

¿D

>§

ÀÁ $ $ !$'# $ $## # $! $

$$'#

$ ! ' #! ! $

°ìùµ$$$ ## ÿ !! ® %!$# $

$ # !! $ $

# :

½;

À

$ þ

²

½ªÀ º

¨

^

X ' )*+,

6/« ®Ø !$#$ $ ®ØØ #$ !

$$!$'!#$$$!°%Ø×%Øúµ! ° Ø×Øúµ#$

Øú×!ØØìø$###

Ê

$ ®

Ê

$ ! ® '$ °$ ° üµµ $ (Ç

# ' ! ®® !$#$ · !

! # $ # $ þ º ®Ä ö !

Ê

ö ÿ

# ° $ Èìúµ þ¿D º Ê>§¿D º Ê>Äú× º

Ê

Äìú ## $!$

$ $ ! þ º

Ê Äö

ω 1

ω 0

ω 2

χ ₀ y

χ ₁

ÏÐÑt¬t

F6-;H0 H670.270<\32Me

−1.4−1.2 −1 −0.8−0.6−0.4−0.2 0 0.2 0.4 0.6 0.8 1 1.2 1.4

−1.4

−1.2

−1

−0.8

−0.6

−0.4

−0.2 0 0.2 0.4 0.6 0.8 1 1.2 1.4

ÏÐÑtÒt

>\3 4H.5505 K2.\7 k23- /.G556.7 K65<26B

AG<6375407<020K .<

I

BEe`CBEe aJ .7K

I Ee`CEeaJe

®Ê $$ $ # $ $$ $! ' !

# # þ

ºØÄÊ$$! $·

$ $ ' ! $ # $ ! $

$! $ $ #! $ ¸

$ $# !! $ ®ØØ $$ $$ #

(22)

Weight space

−1 −0.8−0.6−0.4−0.2 0 0.2 0.4 0.6 0.8 1 0

0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2

Log MSE (dB)

0 1 2 3 4 5 6 7 8 9 10

−20

−15

−10

−5 0

epochs

Weight space

−1 −0.8−0.6−0.4−0.2 0 0.2 0.4 0.6 0.8 1 0

0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2

Log MSE (dB)

0 1 2 3 4 5 6 7 8 9 10

−20

−15

−10

−5 0

epochs

I .J

I AJ

ÏÐÑtÒÒt T0

6/9< <2.®04<32U .7K 02232 4G2J0 KG267/ H0.2767/ k32

I

.J ¯ M DT^ .7K

I AJ

¯M_T ^e

(23)

!

Weight space

−1 −0.8−0.6−0.4−0.2 0 0.2 0.4 0.6 0.8 1 0

0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2

Log MSE (dB)

0 1 2 3 4 5 6 7 8 9 10

−20

−15

−10

−5 0

epochs

batch

ÏÐÑtÒ?t

T06/9< <2.®04<32U .7K 02232

4G2J0 KG267/ 5<349.5<64 H0.2767/ k32 ¯ M

ET _e

Log MSE (dB)

0 1 2 3 4 5 6 7 8 9 10

−20

−15

−10

−5 0

Weight space

−2 −1.6 −1.2 −0.8 −0.4 0 0.4 0.8 1.2 1.6 2 2.4

−1.4

−1.2

−1

−0.8

−0.6

−0.4

−0.2 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2

epochs

ÏÐÑtÒ@t

T06/9< <2.®04<32605 .7K 022325

k32 DBDBD 70<\32M <2.670K G567/ 5<349.5B

<64 H0.2767/e

0 6/« ®× $$ $# #%

#$ ® ®!!! ® !Ê$

! Ê '$$ $ ñ

°ó

µ º ®Ä ù®°°Ê>ì µó

µ

$ $ ®Ø #$ Ê #$$$ #$$$ $$ !$%

'! $!!! Ø×#$$ ®$ %®! #$$

Ê

$

®#$ %®#$$ ®!

® #$$

Ê

®ì $$

$$· #

(24)

ω 1

ω 0

ω 2

ω 3

χ y

ÏÐÑtÒHt

>90 -676-.H -GH<6H.U0270<\32Me

X 5 1,

<

+

)

<

+

y

$ $#$ $ $ ·$ $# $

!$$$! #

° + + , °

$ ' $ '#$

$ ¤ W ª¡ ¤#$ $ ! '## '#

$$## '$ $!$! $## $$

## ' $# $# $ $# $$ $

' $' $

$# # $ $$ ° $ $'%

!µ # # $ #! $ °##

úµ$ # $! # !Õ !$

$ ## #! '! $# #¸! $

!É

6+7 , °

'#$ #! $ ## $

$#' ## $$'# !$

#! '#$$##$ $ ' !

!$° ù$$ù'µ$!$

!#! #! $ # !

#$ ## É

± , °

ÿ $$ '#$ ' !#!

$$ $ $ !# ! $ #$ #

! $ $ $ ! $ '$ !$ !

$ ' $ ù' ¸ 3 $$ ! !$

!$ $! $$ $

# °# $ $! #µ

(25)

!$ É

{ , /

² |y} |{}{ |ßz³z|y ³z´|}

####'Ú!ÿ·!$$%

ÿ'(!! $%ÿ °Çµ! °$#$

Ö®®ì×ìöÙµ

[ 6/ +

!$! ÿ ! # $ # $#$

$ ö®¸$$ !#$$ ¹ °$È°Ê®µµ$!!

ø°µ!##$È°Ê®µ%°Êìµ

jô

º þ

ä

¹

äô

â

ä

¹

äô º

þ

°ô

µ â

ä¹

äô

³ °×Øµ

þ

$ ' $ Ø t þ

t ® $ ¹ $

# ! $ ' $$ $

$ !$ #! '$

n$## $ ! $ ##$!

# $## !! ! $$ ¸

$## $#$$#ÖÊüÙ

$##$!$ $# $ µ º£

¤

c ô

°$ ®ö!

È° ì×µµÇ$$$È°×Øµ'$##$$$

##### $'$ '#É °µ$

ÿ # $! $ ! °'µ ! $# !

!$ ! ! $$ ° $ ®öµ Ö®üÙ

Çÿ # $ $ %

$ ! ! °# ! !$µ $ $

# $$ $ $ $

$ Õ! ' $$ $# ! $

!'$ $ ê ¶ê $$ $ ' $!

! ! $ ·°ê*µ $ ! $ #

'#$Ç $ # %!

$ $$ $ $ ! °

$ $ È#$ $ $ Ú

$ !$ ! !!µÿ # ## !

$ $$ «î©¦ ¨¤$! $ $$ #%

# $ $ # $ ! $ $$

ÿ # $ # $ $'# # # %

# $ ! $$!# $$!

#$$ !$$$! ##

(26)

ω Λ Θ′ _-½ ΘΛ -½

U

Network

input output

ω ω _Network

input output

Θ Λ -½

U

Newton Algorithm here ... ....is like Gradient Descent there

ÏÐÑtÒ|t

FM0<49 3k <90 \96<0767/ ;23;02<6053k<90N0\<37 .H/326<9-e

[ ' .

¸

¹

$# $ · ! É °®µ

$ ·°êµ ! °Êµ !$Ó $ $$ ## °ìµ $

! !$ !$ ## $# $# !

$$ °×µ $$ # $ ! $# ° öµ $

# ' #

!$$®ø¸$$ !$!

! # # $ ! °# $µ

Ç'$# $#! ! ! # ! !$

$ ! ' # $ # ° · !µ '$

# $ ! ## $# $# $

# !$ !$ º

÷

» $ $

º

÷

º Ë¼¹°ô

÷ µ

v

÷ º

÷ â

³ °×®µ

v

÷

'!! #!&$ Öì×Ù

(27)

first descent

direction gradients

conjugate direction

ÏÐÑ tÒt

FM0<49 3k 437 ®G/.<0 /2.K607<K6204<637567 . _: 022325G2k.40e

v

÷ º

¼

¹

°ô

÷ µû

¼

¹

°ô

÷ µ

¼

¹°ô

÷ â

µ

û

¼

¹°ô

÷ â

µ

°×Êµ

3# ! &'

v

÷ º

°¼

¹

°ô

÷ µ

Ë¼

¹

°ô

÷ â

µµû

¼

¹

°ô

÷ µ

¼

¹

°ô

÷ â

µ

û

¼

¹

°ô

÷ â

µ

Ä °×ìµ

!$º

÷ ! º

÷ â

!! $ ·

ºû

÷

º

÷ â

º Ø³

· !$ # !$ $ !

$$ ° $®ùµ½'$$

ρ _κ−1 ρ _κ ω κ

ÏÐÑtÒt

FM0<49 3k 437 ®G/.<0 /2.K607<K6204<637567 . _: 022325G2k.40e

!#$!#!ê '#$

(28)

! &'Ó$ $$ '$ · ! °×®µ #$ '

! $ $ $ #

$ ' #! # $$$ #%#

'#$ !$! # !!

! # #$ ' #

ÖìüÙ%$$ ! ! # #! '#$

$ ! ## # ! !! °#$$µ '#$ $$

' $ $ ¸# $ ' ! ! %

'$ ÖÊöÙ!$!·!!$$

$ ' ! °# ! $ $ # $

!µ

[ 5 ¾¿6/ Àz¹Á

$%ÿ ° Çµ! °®µ # $ $

$ $$ °Êµ $ ·°ê µ # ° ìµ $ # $ ! °×µ

$ # ' #

$! $ $$$ $ ! !#

$ ! ' # $ ! ¸#%

## $ ' !$'! $ ##$É °®µ $ $ ! ¯ $

$¯ º¢ °Êµ $ ! $ $

º°ýµº ¯

°ýµ¼

¹

°ô

°ýµµ³

°ìµ#$$! #º $!$

ý

ô°ýµ ºô°ýË®µËþ°ýµº°ýµÄ

## °×µ $ $ $$ $ !! !

ÿ # $%ÿ #!$!

$ $$$# $%ÿ# $!%#%#!'%

Ç °Çµ!!#$$$$

$

¯°ýµº ¯°ý Ë

®µ ®

Â û¯

Â

8

û

Â

88û

8

û

Â Ë

8

Â û¯

¯

Â 8û

8

û

Â

³ °××µ

$''$ ' $! ## ê ¶® $

Â º

¼

¹

°ô

°ýµµ Ë¼

¹

°ô

°ý Ë

®µµ

8 ºô°ýµ Ë

ô°ý Ë

®µÄ °×öµ

¸# $ ! ' # $ # ·°ê µ $## %

! $ ê ¶ê $ # $ # # $##

$ %!! $$ &# $ $ $

!$$ °$ ÖìÙµ

(29)

$$%ÿ ! ' (! # °®µ $ $ è'

°Êµ#!$!'# °ìµ#

·° ê*µ ! °×µ $ # $! #$$

$ $$%ÿ # $ # ÿ #

$$ $ ! ' $ è' ° $ #$ $ ùÊ

!$$$µ

jô

º Ã

Í

² ä

ñ

°ô

³ ó

² µ

äô ûä

ñ

°ô

³ ó

² µ

äô Ä â

¼

¹

°ô

µÄ °×øµ

' (!!$# $$%ÿ '' $

#

l

$ '#$#$

$##

jô

º Ã

Í

² ä

ñ

°ô

³ ó

² µ

äô û

ä

ñ

°ô

³ ó

² µ

äô

l¢

Ä â

¼

¹

°ô

µ³ °×ùµ

¢ !$ $$ ÿ ! $ #!

!$ $ $# !#$ $ "##'%

'# $! $##! ÿ# ! °$ Ö®××

Ê Ùµ

Å {Þ z| |³ß~z z´ Æy y|{³z|y y

³~zÇ{ yz|{Þ

##!$$$$#$!###$$

' °µ !Õ! °'µ $è'

° $$%ÿ ! '%(! #µ °µ

!# $$ ! ° !µ ' ' ! $$ !

$$ $%##$

## ## $$ ! '$

#! ! #$ !Â'! $$ ÖöúÙ

g z ±È

»% # $$

÷

º ä°¼

¹

°ô

µµ

äô

÷

$

¼

¹

°ô

8

Â

÷ µ

Ë¼

¹

°ô

µ

8

³

Â

÷

º °Ø³Ø³Ø³ÄÄÄ³®³ÄÄÄ³Øµ $ $ ! # ® %

$ $ ' #! $# É °®µ #

! '##! ! '! $$ °Êµ¸!! 8

»% ! ! ! ## °ìµ $' '

$#$ !!!' 8 #$ $ $

$# $$ ' # $ $ $ $#! '

(30)

°¿0 h

+

¸$$ $! $

¹°ôµº

®

Ê Í

²

°

²

Ëñ°ô³ó

² µµû°

²

Ëñ°ô³ó

²

µµ °×úµ

! $

ä¹°ôµ

äô º

Ë

Í

²

°

² Ë

ñ°ô³ó

² µµû

äñ°ô³ó

² µ

äô

°×üµ

! $$ ##$ $

°ô

µº

Í

² ä

ñ

°ô

³ ó

² µ

äô ûä

ñ

°ô

³ ó

² µ

äô

Í

²

°

² Ë

ñ

°ô

³ ó

² µµû

ä

ñ

°ô

³ ó

² µ

äôäô

Ä °öØµ

¸ $# $$ $ $ è'

$ $$%! !$Éê ¶·

°ôµ$

Í

²

äñ°ô³ó

² µ

äô û

äñ°ô³ó

² µ

äô

³ °ö®µ

$! È° öØµ$!!$$#$$

$ # $ ô¸ $ $ !#

#! »% # è'É ## $ °®µ

! °Êµ$$ Ø!#

»% ® °ìµ ' $ $ ! ! $

#!

g 5 «,,

$$!#%#$$ $# '#$êÀ $

ê $ !ê $ · º á°´³àµÿ $$

ä ¹>ä· $ ê

¶ê

$ $ !

$

ä ¹

ä

´ º

ä·

ä

´ ûä ¹

ä

· ä·

ä

´

ä¹

ä

· ä ·

ä

´

Ä °öÊµ

!$! È° öÊµ!$#$$$

$$$%!¸ ! $ ! ##'

!# $ åÊw

åËÊ É

ä

¹

äô

À º

Í

÷ ä

¹

äÌ

÷

äÌ

÷

äôÀ

Ä °öìµ

¸ $# ! ' ! ' ê

À

$ ê

À

ä ¹>äó

(31)

!$ !#$$ ##

Ö®ú×®üÙ $ $$! # $ #

ÌÀ

º ñ

°ð

Àµº ñ°Î

õ ôÀ

óõ

µ °$ ®ú $!# µn$

$$%ÿ ° ! ñ

òò

°ð

µµ'É

ä

¹

äð

÷ º

ä

¹

äÌ

÷

°ñò

°ð

÷

µµ ³ °ö×µ

ä ¹

äô

÷ À

º ä ¹

äð

÷ ó

À

°ööµ

!

ä ¹

äó

À Í

÷ ä ¹

äð

÷ ô

÷ À

Ä °öøµ

ñ ' $$ # $ $ ®ú & %

$ '

ä ¹

äô

÷ À

º ä ¹

äð

÷

°óÀ Ë

ô

÷ À

µ

°öùµ

!

ä

¹

äó

À º

Í

÷ ä

¹

äð

÷

°óÀ Ë

ô

÷ À

µ

Ä °öúµ

$ !# $! !$ ' $ %

$ #$ # $ $ $$## $ $ #

'$$ $! ! $ $

$! ! $$ $ $ #! # '

! ! °$ ÖÊ® Ùµ

||ω− x || ² y

x

f( )

ω x x ω

y z

1/2

ÏÐÑtÒt

L.4M;23;./.<67/<90K6./37.H

S

0556.7j56/-36K5

I

H0k<J.7K 8L[5

I 26/9<Je

(32)

!$$$$$$$$!#$#

!$ $#$ $!$

U£¦¬î¦ '# $$ $#

!Õ! ### $ $ ' Ï

Ï

$

®

u

ä¹

äô

°ô

uÏµ

Ë ä¹

äô

°ô µ

³ °öüµ

$ # ! $ ° ô ! ô

uÏ $#µ

' !#! ' °u $ $## $µ

$ ! ' #! # ! %

# ' ! ! $

Ï°ý

®µº

Ï°ýµ

qÏ°ýµq

³ ° øØµ

Ï°ýµ ## #$ ! qÏ°ýµq

$! # ÖÊì®×®ØÙ Ç #$ ÖììÙ

! °®µ !$ $ !Õ$ ! °Êµ $ $##

Ð yÇ | z´ Æy y ³~zÑÇ{ yz|{Þ

$$ !$! $$$$#Ú

$$ !$$$ ! !#$

# ## # !$' $$ #$

# $! ÊØÉ $## #$ ! $

'# $$'$ ÖÊìÊÊÙ

i

% $ $$ ÖÊÊÙ

i

! $ $! !$ # #

i

# ' $ '#$

# $ $ # !$' !

& ! ÊØ ## $ ! $! #$ ° $

®üµ! '$ ' $ ! #

#$' ú###!$' °$ÊØµ

$ # '$ ' #$ ! $##$ #

$ ! # '# ¸ # $!$

' !Õ $ ##$!# $! É #

! %$## $! # $

!$ $## $ ! Ú # # $

¸ # $ $$ #%# $ $

$! ' #$

Ê

® # $ $

$$ $ ' Ú $ # ' $

(33)

0 100 200 300 400 500 600 700 800

−6

−5.5

−5

−4.5

−4

−3.5

−3

−2.5

−2

−1.5

−1

−0.5 0

Eigenvalue order

10 Log Eigenvalue

the ratio between the 1st and the 11th eigenvalues is 8

ÏÐÑtÒ¬t

6/07J.HG05;04<2G- 67 .`H.U0259.20K \06/9<570<\32M

I

_^ÒÓD_aÓÒ`ÓDEJ

<2.670K 37 Q_E 9.7K\26<<07 K6/6<5e

#$ # $ Õ$ # $! ! ! !

# $# # # #$ ! $ °$ $##µ

# #$#¸ $$ !Õ$## $

$ $!# $$ ## °$ #$ $

ø

Ô ßßÇy Ü|y} Õ{}{ Öz´|} z| Ö~zÇ{

×

z|{Þ

$ $ # $! ! $

#$#$$$$$$$'

# #$$#$! ! !$$$ ## $$ %

° $$ %ÿ '%(! ! Çµ # #

$## $ ! ' ! $ $## $

$ ! $! $ ($ $! ! !$ °·%

! Ç µ #%$ ! ' $!

$$ ! ( $ !$$$! $# # #

' # ## ! $$

! !$ $ ! ' # #$$ '#$ $##

'#$ #%#! $ # %

# '#$ $ · ! ° 3#%&'

(34)

0 2 4 6 8 10 12 14 16 0

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Eigenvalue magnitude

Number of Eigenvalues

Big killers

ÏÐÑt?t

6/07J.HG05;04<2G- 67 .`H.U0259.20K \06/9<570<\32M

I

_^ÒÓD_aÓÒ`ÓDEJ

<2.670K 37 Q_E 9.7K\26<<07 K6/6<5e

ÏÐÑt?Òt ZG

H<6H.U020K.2496<04<G20j<9050437KK026J.<6J0653k<075-.HH0267H3\02H.U025e

(35)

$ $ '$ # · ! # ! %

!! '#$ ' ! # Ö®ùÊöì® Ù ¸ ·

! °##! $#! µ $$ $É # $

! $ #! ' ® ' (! # ÖÊ×Ù

Ø ° 0h +

' $$ $ ' (! # !

$ !# $$ $ $!

! $ $$ $! !

' '! ' $ $ #$ $ ù¸$

$$$ $$ $ !!#

# $

þ

÷

À º Ù

oå

Ê w

å d

Ê

Ú

^

p l

³ ° ø®µ

Ù

!$#'# #! o åÊw

å d

Ê

Ú

^

p

$ $

!# $! ! $

ô

÷ À

l

$ þ

÷ À

'# $$!!$$##

$ Ú $ $ $ ! $

o ä ¹

äô

÷ À

p

ÁÛd º °®ËÜµo ä ¹

äô

÷ À

p

Ý

Ü ä ¹²

äô

÷ À

³ ° øÊµ

Ü $ $## $ !$ $

' $! $! !$ ' !

$'$ $ Ç # $## # !

' $! $ÿ !!# $ #

' $ #'# ! $ # $ # ' # '

$$ ## ! $$! #

ÊÊ ! Êì $$$!#%

' (! ! ° ø®µ # !Õ $$ #%

$'$#$ ÊÊ $Ú$

Êì ! $## # $

Ø ' .

+, ,, )Þ Í

## $ # #Â½%

$$ $$ $# &'

$ ×ù #$ !! ! $##$

$$ ° $$µ

°$#$ ÖÊúÙµ

(36)

Weight space

−1 −0.8 −0.6 −0.4 −0.2 0 0.2 0.4 0.6 0.8 1 0

0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2

Log MSE (dB)

0 1 2 3 4 5 6 7 8 9 10

−20

−15

−10

−5 0

Hessian largest eigenvalue:

λ = 0.84 _max

η = 2.38 _max

epochs

Learning rates:

η0 = 0.12 η1 = 0.03 η2 = 0.02

Maximum admissible Learning rate (batch):

ÏÐÑt??t

F<349.5<64 K6./37.H @0J07A 02/BZ

.2ßG.2K<.H/326<9-e :.<.50<k23- _ Y

.G5B

56.75 \6<9 DEE 0u.-;H05e>90 70<\32M 9.5370 H670.2G76<C_ 67;G<5.7K D3G<;G<C6e0e

<9200 ;.2.-0<025

I

_\06/9<5CDA6.5Je

(37)

Weight space

−1 −0.8 −0.6 −0.4 −0.2 0 0.2 0.4 0.6 0.8 1 0

0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2

Log MSE (dB)

0 1 2 3 4 5 6 7 8 9 10

−20

−15

−10

−5 0

Hessian largest eigenvalue:

λ = 0.84 _max

η = 2.38 _max

epochs

Learning rates:

Maximum admissible Learning rate (batch):

η0 = 0.76 η1 = 0.18 η2 = 0.12

ÏÐÑt?@t

F<349.5<64 K6./37.H @0J07A 02/BZ

.2ßG.2K<.H/326<9-e :.<.50<k23- _ Y

.G5B

56.75 \6<9 DEE 0u.-;H05e>90 70<\32M 9.5370 H670.2G76<C_ 67;G<5.7K D3G<;G<C6e0e

<9200 ;.2.-0<025

I

_\06/9<5CDA6.5Je

(38)

! # Ï

ÏÁÛd º Ï

Ý

q ÏÝ

q

³

#### # ° #

$µ ! qÏÝ

q## $! # Ö®×®ØÙ

< )*, ¸ ! $ $ $## %

'$ !#$ #! #

ÏÁÛd º

®

u

ä¹

äô

°ô

u ÏÝ

qÏ

Ý

q

µ Ë

ä¹

äô

°ôµ

³ ° øìµ

u

$$##$$!$!

! '! $$ $

á

.

+, â

## # $ $ %

' #$# $$ $

ÏÁÛd º °®

ËÜ

µÏ

®

u

ä¹²

äô

°ô

u Ï

Ý

q ÏÝ

q

µ Ë

ä¹

äô

°ôµ Ä ° ø×µ

$ #Â$É

® ! $ $ # Ï

Ê $ $! !$! ! ! '!

$ $ ! ! !$ ã

°ô

µ $!

ì u äåæç

è

äåæç è

$ !!! ô

× ! ! '! $ $ ! '!

! !$ ã°ôòµ $!

ö !Õ ®>u°ã°ô

ò µ

Ë

ã°ôµµ $ ! !

$!!

ø # °Êµ%°øµ# $'#$'#$# $'! Ï

ù # # $ $

þ

²

½ º

®

q Ïq Ä

Ê×$##$'

$$#!

$ ! # $ !

Ú$ ° $ #$ !! µ $

®ØØ $$ ! !

# # $ ! $ #$

'$ Ú$ $$ $##

(39)

0 50 100 150 200 250 300 350 400 0

10 20 30 40 50 60 70 80

Number of pattern presentations

eigenvalue

γ=0.1 γ=0.03

γ=0.01

γ=0.003

Ï ÐÑt?Ht

J3HG<637 3k <90 06/07J.HG0 .5 . kG74<637 3k <90 7G-A02 3k ;.<<027 ;20507B

<.<6375 k32 . 59.20K \06/9< 70<\32M \6<9 ^ H.U025C Ò`ÒQa 437704<6375 .7K D_Pa k200

;.2.-0<025e>90<2.6767/ 50<437565<53k DEEE 9.7K\26<<07 K6/6<5e

(40)

! ' $ # $ ! ' ## %

!!# ' !!$$ $ ®°$

!! # µ#$ $ $!# $ #$

!''$$ !$ !!

# $ #

0 0.250.50.75 1 1.251.51.75 2 2.252.52.75 3 3.253.53.75 4 0

0.5 1 1.5 2 2.5

LEARNING RATE

PREDICTED OPTIMAL LEARNING RATE

MEAN SQUARED ERROR

1 epoch 2 epochs 3 epochs 4 epochs 5 epochs

ÏÐÑt?|t

Z0.7 5ßG.20K 02232 .5 . kG74<637 3k <90 2.<63 A0<\007 H0.2767/ 2.<0 .7K

;20K64<0K 3;<6-.H H0.2767/ 2.<0 k32 . kGHHU 437704<0K 70<\32M

I

Pa` ÓQE ÓDEJe >90

<2.6767/ 50<437565<53k QEE9.7K\26<<07 K6/6<5e

(41)

0 0.25 0.5 0.75 1 1.25 1.5 1.75 2 2.25 2.5 2.75 3 0

0.5 1 1.5 2 2.5

LEARNING RATE

PREDICTED OPTIMAL LEARNING RATE

MEAN SQUARED ERROR

1 epoch 2 epochs 3 epochs 4 epochs 5 epochs

ÏÐÑt?t

Z0.7 5ßG.20K 02232 .5 . kG74<637 3k <90 2.<63 A0<\007 H0.2767/ 2.<0 .7K

;20K64<0K 3;<6-.H H0.2767/ 2.<0 k32 . 59.20K \06/9< 70<\32M \6<9 ^ H.U025

I DE_` Ó

D^Òa ÓQV_ Ó`EE ÓDEE ÓDEJC Ò`ÒQa

I

H34.HJ 437704<6375 .7K D_Pa k200 ;.2.-0<025

I

59.20K \06/9<5Je>90<2.6767/ 50< 437565<53k DEEE9.7K\26<<07 K6/6<5e

(42)

¸! !$ ! '

#%# # '# #! ## $$É

i

$2 #$

i

'#$ ' $'

i

# '# $!! ! ®

i

$$'#!# '#$

i

$! $ ×

i

$ #$ $!##

®! %®

i

#$ ! #$ $$'! ' ®ø

! ! $#! '! $ ##$É

i

$$#° !!$#$µ!!!

! $ $ #$$$ $$ ! #

$ $$ !# ' (! !

i

$ $ # $ $ $$$ ·

!

#$$# $!%!!$ # #$ ## $# $$

%# !$ $$! !$ #%# #

$## $ $ #$$## ' ##

!$!(# !$$# $!!

«/+m m "%&(###!#

$ ¸¸ ! ÿÇ

ê

{y

De Fe=-.26e N0G2.H H0.2767/ 67 5<2G4<G20K ;.2.-0<02 5;.405 ë 7.<G2.H260-.776.7

/2.K607<e ,7 Z649.0H ]e Z3I02CZ649.0H ,eO32K.7C .7K >93-.5 10<5490C 0K6<325C

ìíîïðñòóôð õòö÷ïøùðúû÷üïýôûð þ÷ûñòóóôðÿ óýòüó

CJ3HG-0VC;./0 D_Pe>90Z,>

12055C DVVPe

_e Fe =-.26e N.<G2.H /2.K607< \32M5 04607<HU 67 H0.2767/e

õòö÷ïø ûüöýïýôûð C

DE

I

_Jj_^D_PÒC DVVae

Qe 8eL.<<6<6e[625<B.7K 50437KB32K02-0<93K5k32H0.2767/jL0<\007 5<00;05<K05407<

.7K 70\<375-0<93Ke

õòö÷ïø ûüöýïýôûð

C`jD`D DÒÒC DVV_e

`e FeL04M02 .7K e@0]G7e ,-;23J67/ <90 437J02/0740 3k A.4MA23;./.<637 H0.2767/

\6<9 50437K 3K02 -0<93 K5e ,7 :.J6K >3G20<IMUC Y03v20U

S

67<37C .7K >0220740

F0®73\5M6C0K6<325C

þ÷ûñòò íôðÿó ûú ýò ûððò ñýôûðôóý ûíòøó öüüò÷ ñûûø C

;./05 _VQPe@.\20740 2HA.G- =55346.<05CDVaVe

^e ]eZeL6593;e

õòö÷ïøõòýû÷óúû÷þïýýò÷ð ò ñûÿðôýôûð

e]H.207K37 12055CWuk32KC

DVV^e

Òe @eL3<<3GeW7H670.H/326<9-5.7K5<349.5<64.;;23u6-.<6375e,7:.J6KF..KC0K6<32C

ðøôðò ò ï÷ðôðÿ ôð õòö÷ïø õòýû÷ó û÷óû ïý ýò õòýûð ùðóýôýöýò C

].-A26K/0C DVVae>90N0\<37 ,75<6<G<0 F02605C].-A26K/0 R76J0256<U 12055e

COST FUNCTION

COST FUNCTION

LEARNING MACHINE Parameters

Output E0, E1,....Ep Error

Desired Output D0, D1,...Dp

Input M(Z,W)

Z0, Z1,... Zp W

z 1 z 2

y

ω 1 ω 2

ω 2

ω 1

Lines of constant E

Mean Cancellation

KL- Expansion

Covariance Equalization

-6 -4 -2 2 4 6 0.2

0.4 0.6 0.8 1

-3 -2 -1 1 2 3

-1.5 -1 -0.5 0.5 1 1.5

(a) (b)

E(ω)

ω

η > η opt

ω min E(ω)

ω

η < η opt

ω min a)

c)

E(ω)

ω

η = η opt

ω min

E(ω)

ω

η > 2 η opt

ω min b)

d)

E(ω)

ω

η = η opt

ω

∆ω dE/dω

ω c ω min

ω c ω min

dE(ω c ) dω

Eigenvectors of H

ω min,1 ω min,2

ν 1 ν 2

ω 1 ω 2

P E

x 1 x 2

ω 1

ω 0

ω 2

χ 0 y

χ 1

−1.4−1.2 −1 −0.8−0.6−0.4−0.2 0 0.2 0.4 0.6 0.8 1 1.2 1.4

−1.4

−1.2

−1

−0.8

−0.6

−0.4

−0.2 0 0.2 0.4 0.6 0.8 1 1.2 1.4

Weight space

−1 −0.8−0.6−0.4−0.2 0 0.2 0.4 0.6 0.8 1 0

0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2

Log MSE (dB)

0 1 2 3 4 5 6 7 8 9 10

−20

−15

−10

−5 0

epochs

Weight space

−1 −0.8−0.6−0.4−0.2 0 0.2 0.4 0.6 0.8 1 0

0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2

Log MSE (dB)

0 1 2 3 4 5 6 7 8 9 10

z ₁ z ₂

ω ₁ ω ₂

ω ₂

ω ₁

η > η _opt

ω _min E(ω)

η < η _opt

ω _min a)

η = η _opt

ω _min

η > 2 η _opt

ω _min b)

η = η _opt

ω _c ω _min

ω _c ω _min

dE(ω _c ) dω

ω _min,1 ω _min,2

ν ₁ ν ₂

ω ₁ ω ₂

x ₁ x ₂

χ ₀ y

χ ₁

ω Λ Θ′ _-½ ΘΛ -½

ω ω _Network

ρ _κ−1 ρ _κ ω κ

||ω− x || ² y