cell Axon body Dendrites

! ! ""#$

% &

###

! " #

$ %&' ()

** &+

, %

-./)'

./

( &

%*0 )1 2

3 ++) 2

" *) 2

+)

.'&

4 5 .'& !

! 6+) $

$ %*7" 1

.'&+)5 1

.'&*0 1

+) %*&* #

* *' #

*'

6*'

! ( '5)'&

$ &./)'

./ $

)'8 " #

&+* )'8 9 2

- *1& 8 "

( '5)' - *1&

:6

1 +:6

! 9(56

! : ' *)

! :- * ' *) $

! :0 ;8 *)

$ %*+6/( ' " :6

9

6 5)'& !2

<( - !

+" 9 !

%*1 !

%*&, !

,= >:, 6 !!

./)' !$

,= >: 6 !$

9 *:6 !

%* ,6 !

!#

./ * !#

! %* ?8 &'.&6 ) $

! "# $ %

! %* $

! %*'' $

! %*'' *) $#

! %*@9') $#

! '' (5 2

! A ( '5)'

! ('

! ( '5)'(

! 5?.'&* ,

!! %*?6/6 !

!! ./)'

!$ 5/+)

!$ +) %+" 9 2

!$ 9

! %*( &5

!

! %*5 5

! ./' )9 !

! 1 !

!! 9 $

!$ 9)1 ) $

! 6*

! ? 5

! ' '.1 #2

! 6*) #

! 3 (' #

! " * #

! 50 #

!# "6 B.9 #!

% &

$ %*% *( '5)' #

$ '5 #

$ %&' ./' ) ##

$ 5)' " ##

$ )'5)' " 22

$ ?8 5)' " 22

$ '5 22

$ ,= >: /*6 2

$ )') 1 2

$ 9 2

$ 5)' 8 " 2

$! 6 '56 2!

$! :6 2!

$! 1&C) 2

$$ ( &6 ) 2

$ 6 /+./' 2

$ ./)' 2#

$ %*( &5 2

$ - *,& 2

$ ' $ $ %''* 6 $! 9 $$ ! $# ( 6

$# 6 /+0 $# " + $# %*8)*;6* *.6 *) $# %*-? ' *) $2 5 &'&( 9)+*() # 48 ./)' ' " * * ? (5 ) 1 +) 6/ ) %*" *) $ ! %*( &1 ) ! ./)' 2

$ ( 6 ))9 . 2

$ %*" 6 B. 2

$ 5)' 5 ) %* ?D 1 )) ! 1)' +*. $ 0 1

./)'

(5" !

./)' !

9 !

9 !

- *1& !

. & +- *1& !

! 9 , !!

! 9,6"(''/ ) !$

! 5)' *6"( !#

$ " 9 , $2

$ , /59) $2

$ +? +5 $

$ ' +5 $

5?D $

''D6* $

5 $

5 & $

) $!

# 5

*&" +($

#

# 7(5

# %*" 7

# 7

# %*5+71 ) & !

# 7( ',& $

# ( ',&

# %*D )/9

# 7( ', &

# )

# 7./'&( (

# ./'&( (

# 7./'&( (

# )

#! 5 5 &

#! 75 5 & $

#! )

#$ 5 #

(

D #!

) #!

+ #!

"*+ #$

%* (+D #$

! %* #$

$ " 1' #$

#$

6 #

%' #

#

6 ' & #

! & #

$ #

. . #

, '( (

##

( 1 ##

1 22

' , -&& ." /

5 %*@9') 2

+* *'E&*

* + FG

*)+'

* )'+

)'

! * )'+ & '')

$ )+*')* * *

%* )' * +) ' ) * *

)* +) '* * &

% * *?&)' ')?

) E/'&)E) &* / )* *'?

+* *) '& )&'++)&/) '

*)?*+)) *''**'&+ )

*)' )+

*+* *'&*06

)*'+ /' ) * /'&)

*+ * * )*) '+ + )'/ )*)

')

<* +*)/' * *) ) +

)* * Æ& & *)* E *)+/*

)) *?* ))' * +* )H

* ** Æ* *'&')**&* *

' Æ

cell Axon body Dendrites

incoming axon synapse

Flow of information through the neuron

, H )'

* * ) & B *) /' ? &

* ' )&+* %* /' *& ')' +

FGH **/' * ** * *

+ ** * * %*+ + ) '

* ) )* *F ) + * *G* *

) B *+ * *

, * * * '' + *) +)

' %*&)& H

+) ' +?H & +

E*

)+&** &)&*+

+ +)&& * '

+) 'I/ H B '))*

)J'* )E

-*+;;&E' E & &* ' *

)'') & *+'* ')) *&

* * / + * * & 5* *

&* &

%* )* * * '+) * + * *& 'E )E )'

' '

- * *+ + * '' * *

)* * )

)' * , +) &*&'

.*&''* + ) /+)* *

+ *' *J?*) ) *

&'* * +) ) +)*/ %* +)

* ) * * * & * )) + *

)'* *& ' )+ +* ) '+) +

½

Incoming data

w1 w2

w3 w4

y Output

, H %* %* * ) * &' Æ ) +) +

' ' * ) ' * *&

* + *' *** H * )*

F *+) + + G / )) **

* &E +) ' +)'+* + *

* &' ** * K Æ * *

Æ * * : + ) - * + *

-&) * * , %* ''

&* '0*&':Æ )& *1 %*+

* '+* &

LF

GLF1 0 GLF1

0G FG

< )&+' *' +)) * * ' ) )

+FG * & + +F0GL0 * + * *

' E * ' : K )& / &J + * *

E* ':K )& * &

5 , "

L

L

L

L *

+ E+FGE*8 F**G+ * *

FGL

+2

2 +2

FG

+* '0LF

GLFEEEG %** +* 120

L

LMNMNMF?GNML &L+FGL 8 +* '

FEEE2GE** MNMNMF?GN2ML?&L+F?GL2

%*+** /)& )'' %*'

+ )+)*)'+ )&+* )'

' *? *+ )'' ')

)&**) E*&' *)**

- + ) * &* ,

* E*+ 'F* 'E0G *+)*+?

* '' *** * * * *

*'& %*) & ** & +) **

H )&K &

%*) H

An Artificial Neural Network

Inputs

Outputs

Input Neurons

Hidden

Neurons Output

Neurons weights

, H &' + &+

&+ *

)** &* +*)

+

- * )

-*'))**& ?

) <* * * ' * ) * *

* * * * * - * * *

%** *

)** &' Æ H *

* *Æ & ** *&'' +)

%* ) &'+ H

&" (3 ** &' + E ' * * '

* * ' * * ' %* '

''+*** **'

- * )' * * * * * * * * *

* +*E)**J +E*E*

* * * K +) * * * * *

* * ** ) & * + +

' **)F ) G ' %* *)*)

' * * %* * +*

*' /)'+'

*&" (3 ** &'+ E&' * ** '

%* B +? F * +G ' )

* ' %&' & * )&) +) + &

* ' *

4 (3 *+?&**H ' * *

* ' '' * + & * + *

' * + *' ))

+ * * * * ) & + ' + *

' ' + '

, )& ')E * + + * * ' ' )&

E* '+ )'''&+*

** + * * *

+* )'B * * * +

+ ' * '* * '+* ''&

, )* + * ' J * ) /'

5*'! * * ' )*

! "#$ %&

%*)+'' * * & 8

)'& ' + ' &'+ ') * * *

5 &(3 + ''&' /

+ B&E ' + ' F & 'G ' *

E * : '' ** *

* F)) G ' %* ?

))& %&' &* * F+ ''

++G' * ' < ) )*

:

'(6 3 & /)' + * &' + K

) +) + & & Æ *) &

***?*)' &

&3 & Æ *)+ ' ) ')

+)' ) ') *% )() * *))

*+)+ E *& ' )F

G %* &'+ * * *

*P?*: * ') * *)&

& ' ) * *' ))+ &

+')

# 3 &/)'+* *'*)' +)'+7*H

* ' *+ ')'*J

E ) +&++* * )' '*)'

. &3 %*)&* ***'+'

' )'+) +* +) ' J+/)'E

) )' )& * * + * +) & ' /

' / ' +* ))'' + *

) +&

&&03 0 /)'+ '')'' E

''/ )*)'' *+ ' ''/ )&*

** **)'' *

3 - )& ' ' * ' ' * *

)F ) G' E* *)F ) G'

5 3 %* )& H + ' /)' +) ) E

*+ ' +*,% .E ' */F+G)'

'(3 , /)' * )) + ) F E & ?

'G * 'F G **'FG

' ( ( # )

%** &+ #*65* ( ** )'

? ' + '+) ' ' *

) E D ) % ' + *

+ ? +) ' E & * #!2 * *

)') +*' %*)* ''+*

)* , 9 * * )* E * *

'+) )''

8E )''* * )* '+ ?

') #$# 6 & (' E P(':E * *

& ) * * + * ) * ) * * ?

%*+*) +* ))&+ * &

@9 ')F5*' !G .* )+ *) :2*

4* 8'E '*& E & ' + ' * *&*

'+' )' '' * #$*&K*9)?

*E65*(1(0' '+ * **

) &6 &('

* + "

%* )'* 9 * *''

*&'F* ) ' G*)&' Æ & *

*

< * ) )'F, G'+)

* 1 F G 9 @9 - * * '

?*B +* '* * %*

&F G

< '+ ? ' *+ * 'E *+

*+++*E' *+ **

*

% *E*')F2G+** **

*

%*(A%.9)&+)*+'* *'*

*''' '*

%* ,..1,9-91.9 ) ' * * & * ' ' *

'

L

FG

%*&L +2E&L? + 2

%* -.08%580.9** *

*+)

L

NF

G

FG

'FG?FG'+ &

"* L2! L2 L2 2

' ' '

? ?

? ?

? ? ?

%H %*+*1'

BIAS First Input

Input Second

Output Neuron weight1

weight2 weight0

, H %* )'

Q9)&R' %*,..1,9-91.9&L2!N2N2L!

&L* * *)**-.08%580.9*

) ' * %*,..1,9-91.9& L2!N2?2 L2

&L

L?-.08%580.9

L

N2FGL2!2L2

L

N2FGL22L2

L

N2FGFGL2N2L2#

' * %*,..1,9-91.9&L2?2N2#L

&L

L?-.08%580.9

L

N2FGL22L2

L

N2FGFGL2N2L2

L

N2FGL2#2L2

' * %*,..1,9-91.9&L2?2?2L?2#

&L?

L? %*+*-.08%580.9*

! ' %*,..1,9-91.9&L2?2N2 L2! %*

&L

L? -.08%580.9

L

N2FGL22L2

L

N2FGFGL2N2L2!

L

N2FGL22L2!

$ +*' *'F& G

-* +& * **')+*

N

N L

2 A L

L

L

2! N2! 2L2 F!G

X1 X2

, !H %* F2E2G F2E2G*' &

-1.5 -1 -0.5 0 0.5 1 1.5

-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1

convergence

first second third fourth

, $H %* + * + * * * '+) *

)'' * )) &*

* * & ' +

L2E * 2!

L 2

L 2 * *

' F2E2G ) & *' F2E2G * * ,

! * )' + * *H +* *

*** J * **) **

- * +

N

N

L2 , $ * &

'& E&B &* & &*+*

*'&

9'*/)' * K +* * F EG

9'+*9' F EG

./' ) * K E F EG

&'? &'? &' ? &'? &'? &'?

"*F)G ! 2$ 2

- *FG 2 2! 2 ! 2

%H %** *+ / +&'+

! 1*@9 &*& )' F !G

$ )' +&* * % %*

** 'E0EB

FE EG * 'FB G

FE !E2G * '

FE 2$E2!G * '

FE E2G * '?FB G

FE E!G * '?

FE 2E2G * '?

* * *'* )

1 & ' F E

G

1 )&' ')* *''* )'

* ++*')*)*) F $G

* *'E E( &+) %*&* *

' +( ' 5)'& F(5G

% #

( & **&+) -*' &+* *

*''*' &+* * &*''2

* ' 2

+* )+B& &* **''E *'?

&+ )*''

FGL

* *)+* * *)*'' 6 *)

+' %*+

FGL

*8 *+ + **+'

FGL

! L

*7 *+'+ 7

-* + *+E88E8%E%8%%E**' &

+8

FGL

* +):' & /E**' &+* *'' +

*) ?/ *E*' &+ 8

FFGGL

- * ' &+)EEFG %* +

*)H

-7 +)'+!'&

-'+)'+!'&

* * ' &

FGL

!

* & +* * *) &'

- * ' &+ **'' FG

**

FGL

FG

FG

+ 'E *

FGLFGFG

< * * *'' /)' + * 7 + ' * *

FG L

FG L

* * & *''

F !"GL

F !"GL

%* '

-) ) *) +) * * &

& ** * & *

@

2 2 2

&

%* *) + @F* +@

+<G F

G* *) + < F

G

*) ) &*)+/' ) *))'?

) 5 * /' ) "*)

@*)+* %*@*2E 8@

) -+ * + *' )

* * * + + +) * + ) * S2ET %*

/' )*

@ 2

( &, 2! 2! 2!

* +*

@E*)+*

+F/GL(F@L/G +F

G +F

G +F

G +F

G

**F

G) +&

F

G 2

F

GL

%* / * * + ' & *

+ ) * )+ + H ) */'

* *) * + /' & +

* /& -) *'* K* ** *

** *+* , *

&E ) + *' &+ ' * *

+*++* )*H

½

-0.3 -0.2 -0.1 0 0.1 0.2 0.3 A Probability Distribution

, H ' &

FG 2

FGLE * *))

%*' & *& E )'& *

%*E*' &* / *

F GL

FG

-&FG*' & &+ F(1,G+*

- + */' ++ +)

.F+F@GG * %* )' /' * ) ,

E*

#

LF$GL

F

G

,/)' /' )**/')+*E

#FGL2!2N2!N2!L2N2!N2!L

* * **/'U , E*

#

LF$GL

FG

*)

./' ' * .F@N<GL.F@GN.F<G

%* + *)+' *

+)*/'+*B+* K+*@?+)*)H

% + * & **

%

LF$

GSF$GT

* * +) + ? '***

F '' ' * ) * B

+)*)G * + /' )E*

%

L2!F2G

N2!FG

N2!FG

L2!

) @ )& + ' & &+

FGL

%

' /'

F#G

%

' & & + E+F/G) +&

FGL %*+# *)

+* %*+% * +* "+

% &' J) +% &' %*

) &)) *) -) ) *

F#%

GJ 0 & & * ') ,

& )) ' +) %*K+& #%

* ,

%* ) F2EGJ* )& * *

* ' & + ) * ' ) + *

)

-+* + )* ) +*

0 + ) * ***) *

* ?*' ) )/ )) * * * )FG

+ * + * ' * * * *

+ * * +) J * **)

* ) )* * * **

) * * ) /E**/&E

* *' + %*& K * */+

* ' */+*))

, ) )&

B )+)+ *)+* *&*

L

FG

L

FG L 2L

FG 2

FG 2

FG + 2

FGL

FGN

FG

!

F GL

FG

FG

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

-4 -2 0 2 4

Various means

exp(-x*x) exp(-(x-3)*(x-3)) exp(-(x+2)*(x+2))

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

-4 -2 0 2 4

Various variances

exp(-x*x) exp(-x*x/4) exp(-x*x/0.4)

, H %*' )**K+ K+#J*)+ K

$

F

G L

FG

F

G L

FG

F

G L

FG

FGL

F

G L

FGL

F

G L

FGL

#

F

GL

FGL

2

F

G L

F

GL

FGL

F

G L

F

GL

FGL

%**) )'+ *)&) %*&+ &

)& &)*) '*

- * + &)+

!

* ) + * +) + ) + * ' &

+ * *'' 8 * B +& * ' * * +

&&)**+ & 8 * +)

E

*

*' &* *

%* ' * + * * & F*' &G

*''E)* + * *** *' &*'' +

'8*)* ? * )% J

*'+ **7 + 'E * )?

**!

- * + *''F ' & G ** +)

+) 2 FG L2 ) &* * ' &+ 2E *

* +) B &***''

+ *)E& +) %*E + E

(F8GL2!* +) *8

( L

L

L

* * )' ** ** +)

* * * **'' - * ' + E (F88G L

* +) **88

( L

L

L

L

L

+* E(F888GL

* +) +)*

( L

L

L

L

L

* ) +) +)* &

+ 2 J + *

- )

* & + & +

** ? /' )E* +) *8

(FGL

2!L2

* * /' )E

(FGL

2!L2$

** /')E

(FGL

2!L2#

* * * * +) ) E *& *

)'' * +) ) *

"

A +) E * '& F & +) G+ +

L

%* E* '& * +) /' +) *'' *

* /' *)+ ' ) * ) +)

+)*

%* + E*' E* * ' &+

2! *'& *

L FG(FGNF)G(F)G

L

L

L

L

* * */'? + *+

/' )

/)' *? +) H ) *

** ' "*' &+** F

G

%**'&+**

L

$

$

$

$

L

* + * * + B ' &E L

L * )

& + &* * * B ' & + %* H

* ) & +&) B&'

.'& & 2 2F$G

2

7- 80&( .

5 * "* &

K * * *+ %*

F* G L

L

F G L

L

%** +) *' *

(F* G L

L2

(F G L

L2

%**'&F &/' +) *' G

L

L F

N

G

F

F2GN

F2GG

L 2

**/' )H *$

F* G L

L

F G L

$

L

%** +) *' *

(F* G L

L2$

(F G L

L2

%**'&

L

L F

N

G

F

F2$GN

F2GG

L 2

*' '& *)' +*/'*

' +) *'

" * &H *

F* G L

F G L

%** +) *' *

(F* G L

L2#

(F G L

L22!

@

2 2 2

&

%H %* +@ <

%**'&

L

L F

N

G

F

F2#GN

F22!GG

L 2$

# $ % "

, ' + ) @ <E + F+G * ' &+ @ *

< *+

E*'&+* H

F$,GL

F+GF+G

) &E * '&F B ) &

/ + &GH

F$,GL

F+GF+G

%* )& ) * ' & ) * *) + *

' &E*

F$,G L

F+GF$, L+G

L

F+G

F+GF+G

L

F+GF+G

-* '& *+ +)

F$,GLF$GNF,$G FG

)) ' +* * , !2

7- 80&(

-' &)* ' & * %

- * * ) + @ F* + @ + <G

F

G* * ) + < F

G - *

*

F$G L

L F

N

N

G

L

) &EF,G L

* '& &

F$,G L

F, LGF$, LG

L

F

GN

F

G

F

GN

F222G

L

N

N

N

2

L

) &**F,$GL

% 8F@E<G

F$,G L

F+GF+G

L F

N

$

$ N

L

& ' !

%*) +) ) @< &F@E<G

* ** + / ) & * E * *

+) * * & /

(FJG L FGFG FG

(FJG L FGFG FG

(FJG L FGNFGFG FG

+*&))&+*B E* ) *) +)

/&

,*/)' E*) +) @<

(FJG L FGFG

L F

G

L

%* * * * ) +) @ *

%* * ' & *)/ )) ' + / &

+* ) +)

))&E* + * * H

*+ &*) +) **+ &E

** * +)

8E * * * ) +) * *

)

*+)/ ))' & &22V) +) (FJGLFG

( )

- )& '&? ) ) * K K ' ?

& %* ) )) )* * 7 " 1 * *

) ) '&

9 '&

-F.GL

FG FG

.FG

LF FG

.FG

G F!G

**+)+ * Æ &+) * * B*

* ' +* + + &)E

*' )F8K)G +* +)* * B

* + 'E Æ - + ** *

**+*F* * *8F'GG + 8F'GN-F.G

9 '&**+ '' H

&? J * E & ) Æ & * )

*' &

)) -F.G L-F. G * * ) *

)

80&(

" /' ) * * * ' )2 "

**' & +) 'F2GL2!E'FGL2!G**

'F2GL2!E'FGL2! %*

-F.G L

N

L 2

%* )+*'& +)* *

-F.G L

N

L 22!

* " ! %

%'* E* +

/F$GL

FGFG F$G

* *''+*) @,/)' + )

+)&2E* &+

+)22*E

* K '&

/F$GL

L FG

%* &'' E +*F* *'G *

:'&

+*)/ * * *)* '&

+ K '&**)+ &

-E *E)+ * * ' *' +

* ' *** '+* K '&

) * *) +) ' '

B &)*K +*

"

")' * * **'& %* ) *

+) )&' ' * * &O'&

* -) *') )&+ )

8& ' * &H

- * * K '&+) / &

/FGL

FGFG FG

*' & &+ +F/G+* **F/G )/ ))E*

FGL F#G

F#G

FGL%

L F2G

* # *)+* %

%* )'& * * + +FG '' ' & & +?

J * * + * - * * *

* '& + F'G * 0 %* )

&O +) 0 * &*)' U

* ' ) ') F)/ ) * '&G -

' * *' ) ') " ) ' *

**)/ ))+

FGFG N0

FGN0

F#G

FG

L

FGFGN0

FGN0

F#G

FG

*0

0

*") ' %* )/ )) * ** +

* *'*+ +F/G ; *

2 L FGN0

N0

F#G

FG L N0

N0

F#G

FG L /'FN0 N0 F#G

G FG

* B #2

/'FN0

N0

F#G

G L

F#G

/'FN0

N0

F#G

G L %

* * B *0

0

* *

0

L F'%

G

0

L

%

* * B

FGL

'%

/'F F#G

%

G FG

* ' & & + + 0 -* * *

'&+*0

/FGL

N F'%

G FG

))&E**

%*0 * **'&+ H

+/&*) * %

+/ 0 )

E *

/FG /FG FG

%* '&+ 0 ) &) & -

* * +*

)& "(# (

" *&*K + :' '

8 & * +)/ ' ' F * *'G

* *''/ )&H *' &+ * *'&

+ &)/ ) * +) *'* ' +*

*)/ ) *) +) '0 '

8* ** * )/ ) * +

*&)

# + , +

5 * , -* '* * * *

) + ' * ' & )' *

&

* *+* )&) +) &+ -

**) +* E )'&)*&)

LF

GN1 F!G

%*')&)))' )*&

+F!GH )*

¾

Inputs

weights

Noise output

y

v x

x x 1

2

n

, H '* *)+* ' '

&

*'+*E&E 0 ) * %

*' ;)0 ) * %

* *&+* '

F1

GL2+ F$G

*) +) '' &

(F0JGL/FG/F0G FG

* * )'& * * +) * ' * ' * /'

+) *') *'&O & *'** '

* ) & * * * )

/F0GL/F1G %*+

(F0JGL/FG/F1G FG

*0 )' E*

/FG L

NF'%

G

/F1G L

NF'%

G

*%

' %

%** +) *'* ' &

(F0JG L /FG/F1G

L

NF'%

G

NF'%

G

L

%

%

%*

* ?? +* A& * +

* )'* ) * +*' )/ )

* +) * ' * 'E )F * 0 )'

* &*'G * +*' -* &

* * ) J * +* * K *

Inputs and noise

Outputs weights

x v

x v

x v

y w

w

w 1

1 2

2

2

n n

n 1

, H * K * ' *+ ) &* *

#

8 * )' + ' J ) ))& **

, * * * ' & ) */' * * + *

* * ) * * ') * ) *K

+ ** * -***

" )*))' * +* * *

*)' ) *'* ' *

L

F

N1

G

L

N

1

L

N2

**)) 2 ;)0 * &

%

L

F

1

2G

F2

G2

L

1

F2

G2

L

%

*'&+* * ) &

/F2GL

N'%

F

G

F#G

*) +) '' &

(F0JGL

F

%

%

F

G

G F2G

) )* * *) +* )

)/ )

* Æ )& *) + *

* & *K+* *) 6

Inputs

weights

y x

x x 1

2

n

y 1

2 Noise

v 2 v 1

Noise

output s

, !H %')' &&)* +) ' *

'

# '

5 ** , ! .*': &

LF

GN1

FG

- * ) )' ' & * )

0 E*& '

/F1GL/F1

1

GL/F1

GN/F1

GLNF'%

G FG

* ' * ' * ) ' 0 *

* ' "* ) /9%*

*LF

GL

L

"

"

"

"

FG

* "

LF

G +*';)E*) *

+*'* *K? ) *

"

L %

N%

"

L"

L %

%

2

"

L %

N%

* %

L * +* ' * 2

*

Æ +*' *+ * *

+"

E *+* F1

1

GL2

*+) 0 *'&

/F GLNF'F* GG FG

*) +) &

(F0JGL F F* G

%

G F!G

: &* * ' * E %

)/ ) )

+) ))/ )

F* G L "

"

"

"

L %

N%

F%

N%

GN%

%

F2

G F$G

" + %

E * * ) B F$G

' + %

%* %

F K G ) )/ )

* )E %

N%

* * & )/ ) * + *

'& + ** *E* & )/ )

* +) * * * '

1 " +%

)E** ))) )' *

K)/ ) * *'' *

Æ *)'

%*+ E '&**' ?

*** & K +) * '+)* +)

&&** ** * ** + *&)E '&

*& *'H &** & )* +)

* ''

5&* / )+' ** * )

% $ -&$ #

, &*) /* +*) '& &*

*) ** *)&F& G K - *

L0 FG

0 *

'&/* * * ) & * ' *

) **' ' )

'

)') & + * * ) & +& ' * * /

) * ')&) ** + + *

' )E * * * )' B

+?+*'

' * )' + ( ' 5)' & * * )

* * * * )/ ) * : + ) &+

%* * * * + ) + * :

? * ) * F* ( ' 5)' G *

* * * +)+*) ? * *

+ * ' * ( ' 5)' E '+)

) & * * )' & * + )* F

+) G *'

E ** *

+) * ' *)*

+*? ) /E'*

LSF

FGGF

FGGT

,;?)E* ) / B )' ) /

E + * + * * * * + * ' :

) /E5E** * ) **'* )+ '

* +* * *'* **

%*E + *

+ *F ' 'G * F'

* GE*/+ ** E

' )/ )&*'* **

First Principal Component

Data Cloud

X1 X2

, $H %* * +) * (5 *

/*' ')' * * )+* *

*' * +&(5)**

* *' ' )'E */

*E -* && &* +) )&

B 0 E ?+?*)* * )

) +) * * %*(5' )+)'

* * )* +) * * ' ))

' * , $H ***' + )

* 'J *+ B * ' /& +

& E ** / Q

' ' )'R %* / ' * ' & '

* * ' )' +* +) *

** ++ ' * 0

0

0

+'

* '&*3 E*+ +)

*)'

L

0

FG

(5)* &H

%* ) * * ( ' 5)' &

)' ** ' ')' *

* O +) * -* (5''?

*+ *

)*/' & ( '5)'

) & *&'+

! # ./&$

, 7*9 E'*+$ )O &#? E*

$ +* * 2/'+* * * *' ) %**

** ): * % %*''

* )?*' &)FO2G

%H ))*

O , (5 (5 %* (5

22 ?22 22!

* 22 ?22! 22!#

22 ?22$ 22

22 ?22 22

22 ?22 ?22

* 22 ?22 ?22

22 ?22$2 ?2$

+/ 22 222 ?2!!

22 22 ?22$$

+ 22$ 222 ?2

22 ?222# ?22$

22! 22 ?22#

22$! 22$ 222!

* 22!# 22$ 22

; 22!# 22$ 22

22 22 22

) 2$ ?2 2$$

) ) 2 ?22 ?2!

2 2 2$#

2$ ?2 2

2 2 ?22

* 2 2 ?22

* 2!# 22#$ 2

) 2 2$ 2$

+* 2$ ?2 2

* 2! ?2# ?2!

2! 2!# 22

I& 2 ?2$ ?22#

) 22 ?2# 2$

%H %* ( ' 5)' + * ' : ) / &

* *&+) *) +* ) '

%**( '5)'+* ) /+*+%

&* *+*) & & **

+) *) + ) '+* **+ *

*'+& 2

%* ( ' 5)' ) & +& ) &' +H )

E** J)**)J)*)*

%* ( ' 5)' )' * H * ' &

)'*)E) )EE+*E*EI& )

E **)'&' ? +*

I& ) *'&' ) &I&* ) *

* * ) * & '&' ? +

)

%* %* ( ' 5)' ) ) & K * * +) *

?*E** K ; I ))

'

** )' * ; *

* * ' ' * * ) * '

) &E * Q R Q* R & ' *& &

* +) *

' ./

- *' * & -* * ' &+

W F8 G

5*' &+

FG

FG *

FG %*+*

FG *

5** (F8GL(FGN(F8G?(F 8G

%* H (FGL(FGN(FG ?(FG

' +)

FG -* *' &* '

FG 0 * ' * *' &* '

FG + * !

)E* *' &* ' W

%* ' & +

+ & E

+ & 6

+&

08+&&)E* *' &*&

W

! + , * ) + * ) ) @ + *

'' '

8)* +) & *&*2 )&W "'F/E&G

&

@ H< 2

2 O O

2 O ,

FG 8F@G8F<G

FG 8F@X<G 8F<X@G

FG 8F@E<G

FG 8F<G?8F<X@G

FG F@J<G

F+G 1D1 )+*

+ I '' ** "@ *)+I 'B

, *'&8F@G <)&*+ /' +H

"

L

"

"

"

L

"

F"G

&$ 0

%* ) + ' ' * *

) ' +*?*'+& +) * **)

)' A' & & +)+8

* * ''&18 *H

Æ

* * 8 * &) * +

'*)+* * * *+ * %*&

+* ** *'**+* ) +*

- *'*' , E* &

L

FG

Y

L 4

FG

* * )* ) 8

*'+) E

*+

'E

* * +)

4 * & )

* *)&* * ) * * )* )&* +

)&E** *+* *) * ''

* *+

' F? G+ *&)

L F

G FG

Y

L 4

FG

Output Neurons Input

Neurons

weights

, H &* *& )'8

+)+ EFGJ * 8

.B FG .B FGE *8

Y

L 4

L 4

F!G

+4* )EY * &*

Y

Y L

* *EY2 B F$G

7 FG '7 FG FG

*!

* Æ '' *

+

)+ * ' 7 FG *) /+ * ) ) +) **

B F!G* K B FGE)' *

'' &* 4* * * -

*

7L

FG

%* + * +) * )'* * + * * *

' * '' +* ' * ) /

* +

-" ! - . /

* ** *''* %* ' +

FY5GL2 )+* K B

5 L2

8E ) Æ& * * )' 8 * * )

) * *+ * *E* * *H *'

+ '? * '+ &F.B G * * '

* * F.B G " /) )*) & * 8 :

&H

9* ) /* 0 *' 0 +

0L00

*E) '& *0&+ ) '& B ) '&

**&0 %** +0 *?& ) K

5 '?)**8 '

E1

J* +

* *

&EE

2LFY

GLF

GLF

GL

*

*9 * ) /+* * *''+ E41L2

* ) /E9E &)) E' ) ? ) /

? *+) **1

)* 2

) E6E * * *?;F ' G %*

* * & * ?; F * )

/ G %** / /' 79/ * /' H + *

*''; )*+)* * *)+);

+E * )E* * +* * )'8

) &* ' *

- + * ) & + ) * * + * *

8 )' K

1 ( 2# 0

E +* '**+ *8

E* &+* * * ' )

* + * '*E * * ' * :

' & ) E) ) ** + * *&B

+ * * * * * & *J * '

)* * -***' H

1

L 1

N:1

1

L

1

1

*' & * * **) ) E *

'' ) +

) +

' * ** *&* * +*

) 5&) + * * + * '*+*

)

*)+ +) * * * * & )

* ' & ' ** *)* )'+*:

' 8E * ' * * ) '+) ? ?

&' &* * *+)*)) ** '

8E * * + & ) ) * +

& * * * * * * ' *

* ' ' + & +* )'

+)+ *&'&#$&0+*+)H

L4

F#G

* * * F*

L 2G *' *

L4F

G

A ) &' + ) * )'& + )' 8 E *

* ) * 4'1L1 %* 1 * + *

) /+* ' *'

-*

)*)

0 ') '* B * * *&

+* E **

L4

F2G

**&) &* ')

+

L4

FG

**&) &*')

%*E* + )&*+

*& * * E***+!&

* +* K & *&) *+& '

* +*'*

½

% $ -&$ 1 ( 2#

6 67&*' & + * + & ) 8

%*& 6 ' 5

5

%*&6 ' 5 * +&

1 FGL'1FG7F1 G1 FG

**& * * &*'++ +* *E7F1 GE

* *E 1 FGE *) %* & ) + ) * * )

*+*+* * '' * ;+* * +* *)

*8 +

5 &B +*+)

1 FGL'1FG6F1 G

**& * * &*'++ +* *E6F1 G E

EE F* * +

G

%*&'*

8 * & & 6 ' 5 E &' +

8 E** * '

%* ' ) ' + *' ' + * ) /+ *

'

8& 5 +* *

* /)')

A 5 E* &/' * *') *&'

+* &+ ?8 FG

+' ) F

G/ E * 5

*

))&*E 5 K **+) )' ''

+ * * ' '' 6 ' 5 E *E )

** * &)E ** *' &+

L

L1

0

*1

*+ *

0 *+ ' E

1

0L1

08

* **+ 8 **

%* )/ ) * * * 2 %*E + 1

* *

** **( '5)'E* )/ )&

) +) * + E**/E

!E * * * + * * +)

EB ** +)/ ) +) +***&)

0 * * ' * * ( ' 5)'E *

*& & * * %* )

% 'B * ' * E*

+ /)'+) * -* ' *

) ** )* ?Q* )R ? ' + '+) (5 ?

) +) +) * ) ) +

* -E*E& *( '5)'+)'E

* )* * * *;

* )+)' E B *)'(5 * *

(5+* %*' O )*& ' &

)' + )'

&E(5 &+ & 8E E

+** )' +) * *

+ + )J * E*)'(5 * *

*) +* ' (5'

* )

8E)'+++* *( '5)'B *

2 ) E ' E * *

+)** ) %* '

+ : E/)'+*??K

' & &+

- )* * *& ** )+' ( '

5)' - ))'/* * +B * J

*)' ' )'+&'

3 4

%* )+ ) ' *#2* * 8 %*

) )':

'')* */*' ')'+)* ' 8

'* *)* ' *+*

L

8 *8E**E

Y

L4F

G

* * & 6 ' 5 F

L 7FG G

*' ' +* ' ) / %* *&)*

* )K +)

* *)

8E * & * F* ' *

G+* Æ )'&*+*

*)FG( '5)'J *(5E*)

) * * * * * ' ' )'*

&B*E/)'+* * * */

# 0 ! +12 + '

+*) * )&

L

FG

)'8 *)

FNG L

FGN4FG

FG

FNG L

FGN4FG

FG

F

FGN4FG

FGG

+4 &)E /'*B ' 4

FNGL

FGN4FGF

FGFG

FGGN9F4

G FG

**)E9F4

G)* * ) *B* *'+

4* * +4

%*+:''/ ) * )'8 +

&/' )

5 %- 4

- +*)''(5) + **')

+:)&

& +12 - 3

%* * '+ &*( '

5)' -* ' * & &

*' &* +& ' ( '

5)'E* /+' +*

%*+: ' *)' )'+ %**'

*+* * 8&' * *& **

* +*( '5)'J* **

*) + * ( ' 5)' ' - * '

'&* *( ' ' %*

Y

L4F

G FG

* ***+* * +*( ' '

% + &' +) /' ) * % %* *

% +) * ! ' * +; ))0 E *

:

E

: /E )' ' * %

<* * * )' * *+* *+ &

;)

%*+E * + * ' : ) / ) +) *

'E

E * ) +)

%*+ * *

& +& * ' ' F ** ' ' 'G %*

* **? ) ''

* ' ' )'* &* * %* & + *

* ' ' ' ! %*+ ) /' *

+) *

E * **: %*F5

5G

***'+& * 2* *'+ * *

+ %*+* * +) *) + * ' F * *

* * + * G %* '' F-G * * * '

) & &*

¾

, %* ,* , +*

?!$! ?#!$ $ 22!# ?2$!

$$ !# $ ?2!# ?$2

?$!$# 2# $ ?!$ ?2#22

!#2$ $$# ?2$ ? 2$$!#

?!$! $! ?$2$! ! 222#!#

2$ ?#! !2$ ?$#! 22#

?## ?22!2$$ ?!## ?2$# ?2!!$

?! ?# ?22$! #!! !

2#2# 2#!# ?!# 2!# #

$2 ?2#!2 ?2!# 2!! 2!##!$

$! ?22 ?# ?!2$! ?22#!

?! !$ ?! $$

2 ?#$## $2 222## 2$

#$ 2 22!! ?22!!

?#$ 2 2 ?$$ $$

2#! ?2#! ?22!$ ?2$ ?

?2 ?2#!$# 2#! !2 ?$#

$$$ 2$ ?## 2#2$# ?2!

?2$# 2# $!2! # ?22

! ?!22$ ? !# 2!

%H .*)'* ' ' .*'

*&*& )

- -

/2 /2) /2% /2/ /2)/ /2

/2% /2 /2// /2 /2/ /2)%

?22! /2%) /2) /2/ /2 ?222

222 222 22$ ?222 222 222

?222 222# 222! 2222 2222 ?222

5

5 5

5

2// 2222 2222 2/// 2222 2222

2222 2/// 2222 2222 2/// 2222

2222 2222 2/// 2222 2222 2///

%H 9+) * ) *' +) %*+

) /'*+)* +F/5*'GE* *+)

: ' *) * * * &) * ' ' '

* * *+) *) + * ' - * 2 *

+

- -

2/// ?22$ ?222 2/ ?222 ?222

22$ /2 ?22 222 2/// 222

222 22 2/// 222 ?222 /2

?222 ?222 22$ ?222 222 ?222

222 222 222 222 ?222 2222

5

5 5

5

2// 2222 2222 2 2222 2222

2222 2/// 2222 2222 2/// 2222

2222 2222 2/// 2222 2222 /2/

%H 9+)* F+G+)F *G

*)**' ' +* ' ) / %*

*)***** B& *

+ * ) )' * ) * * )'&

*) * ' * %* +

++''

%*) + * *) * &*( ' ' + *

* *)

& +12 - 3

%* * + *) * * * ( ' 5)'+ *

' ##E * )'+ &))& * *

&' + * *( ' 5)' %* *)

&*B

L

*8?&' * *&) * *

Y

L4

F

8

G

. * 8

8

8

* * *&'' 8

F * * & B &G * ' ' + * *

' %* E * ' )/ )& ' * ' '

E ' * ) * * %**

*&'' 8

)' ** ' *

+***/*+* E

*** * *' ' *

+* %* *)& 6 6&: +6 '

5 * 7F

GL8

%)' * * :- * '

*)E ' * /' ) * * *) %* *

%J*+ +)* + F/5*'GE* *+):

- * ' *)

5&* )* * ( ' - * *

& -2 4 . 3

*' K *)F* ***Q0 ;8 *)RG

* * * ( ' 5)' 8 &))& * &

)+* H

Y

L4F

G F!G

** K* : ' *) **&

) + * * *

* ) + * :

: *) ' '' + : *) &

Y

L4FS

T

G F$G

- * * ) )' * + * ? ( ' 5)'

*+E *+ * '+) *B +

B ' **

Y

L4F

G FG

* *

Y

L4FS

T

G FG

+*

8E * * &))& * * & *

( ' 5)'E * * /'+ B *+

P: *

* +

& & + ) & : *

(5))+I ** *

! "( )4/ % $ 3 4

" *'8 )* *)' *+6/' '

? * * + * )/ ))) + +) '

'' * ) * " *

* B '+) ' ' )'& *: '

**" :) ) ?&)E ' )*?

)J *''* * +) * * ** &* ' &

* *)/ )&'* +) %** E) */'E

& )'' E & * K + .* Q' + *

& +) ?* & ) R 8 B * ' *

( '5)'&

" : * , .* &)' ? ) &+?

.* &+)* '+)*

*' &)* ' *+* %* +*' &

* * ' *' +** &+ ?

+ '+)' +*' & &0

) &+ * * * & )

+) * * * & +) *

+* &+) &* *&E * *&

%*8?&'

Y LF FGGF FGGN

Environment = input neurons

Layer 1 neurons

Layer 2 neurons

Layer 3 neurons

, H " :)

*

' * ') + ) * + * *E" *

) * *? ' * * /

&

*

L

6 67&* * " :) 5 E

Y

L

FG

FGF

FGG

*

FG+ +E *) '& *& +

%*+E E* * ) '+*' '

* F

"

G+* ')

*K+*) +E* *

*

**' ' *'

* ** * 8E* + * *) / E E

) & +* ) / %*) E E

)/ ) +) +***&)

" **+&E* ) E'

? ? * * ' ' )& ' + *' ?

& ?

?* *'' )& + &

* / *' )& /+ ))) %*&**'

+ * * ' ) '*** ' & ) I?

&/'

' 5

9 )' * )+' E &E + '?

. .

. .

. ..

. ..

. .

. .

. . .A .P

.B

X Y

. .

. .

.

.

. .

. .

..

.

. .

.. .

. .

.

.

.

. .

Q

R r

, H %* ) ) & * " B )* %* *

E"

E ) ) &*%" B)*

+ * *+ B E)* %* &+ *

* * &+)'

%* ) +)& H F@E<G ' + ) * *

$ *

, * 9 ) )*'+E

FGLF,$LG F#G

+)+' E0

L

%*)*++) *' )+ *"F )+G B6** *

) ) *. *+&* )+&*

'E0 ,)&E +*+ E+E* * )+ *'

+E 'E0E* )+& &) )

L)

F

F0

GG

F2G

* )+* ' * + +* * )&)*& *

* )+& +FG*' E0E+F&E0G

, + +/E*L3NE**+* )E

+E **+*+) * *) )

L)

F

3

G

,*)'' , E* ' * * *) ) *)

+* **(9+)&?*? EL3N

8E ) ) * E ) )' * & * &?

* * /? & %* + ' ?

* *E + /)'E * * * ' * * *

' +) +* ** &+ +* '?

) %*+E*' ) ** *) ) * E"E * *) )

** +) * ' E FG * &E + *

) +* /&E '* *)J**

)++*) + %*E *+)

* * ) )

L)

"

L)

F

3

G

N3

%* *?%" B)* +* )'

&* ? &

E %" & * " ***

*+)+* &

* ' % 3"

@ ** * * %" ') &'+) 6 5)?

'& + *H * * * + )/ ))

+* ) )) *)& *&/

K *) ' & * '0 %*+

+)*') H * 1**) )

L )

F1 0NG

1

'0

L )

F1 0

NG

1

L )

1

41N1

8F0GN

1

1

**L

0

0

E* ) /+*F0GL

0

E*

)+* EE

L2E)*

* 1NF0G01L2 FG

*0L

* *&''+*+)

1 0NL2

E /' +* B *L1 8F0G * *

!101L2 FG

* 0 L

* 5 * ) / L*F00

G ,) *

*& + *) ) +

A ) * B * ** & *( ' 5)?

' +: E ** &* )( '

5)' +*

/)'+* ' E* * +%*

+* *+65 *)'' +) * *

/& 5&* *)*+

,* * %E' +)& +)&*F*/

& ' G B + * ) & * * %*

* * * * * * * K & &

* */& +)F2E22!G 5&*+&+*

'&&* '' +*)+ *

*+ * +) * *' ** * * E

* + *) * *' +' * *

1 1 ,

/N&L2 222/N222&L

/ N& L #2/N2&L

/N& L2 /N&L

/ N& L /N&L V &

/ N& L !#/N$2&L V /

%H 1 **' +) * &

+) F2E22!G

* 6 % 1

3 ! /

%*)*) *& + ( ' 5)' B *

* * 4

2

4

4

L ' E / *B ))*

* &''/ ) *( ' 5)'*

)

8+)* ; *+

*/' ) 1 K * * ? )

+) * * E ) '& * & )

* +* E */ +* 222 *

+ **+& ' ))

*& ) +* )*

%**&+( '5)' ) &'' **0

)' ) * ? 0 ) & * )+

)'+) +) +)2H 5*A / E

&' & FG 1 7* * *) * * ' ) +

'?0 +) +) %*5NN + *

H

!"#

$

%&

'&

!(&

)&

%)&%*&%++# +) #&

) ,#-&

!( ) .&

' ) .!(+#.!( + #.!( + #.!(+#.&

+'.!"&

/

%* + * * F*) +*

& * )G +) * !E

E

* *+* ++*') <* *+ *

/S2TL )6F2EGJ

/STL )6F2E$GJ

**+)*++? *''

& 8E)& * &'*+

%* * * *E * &

E ) )* * &

* +) * I +

* * +) + * ) ) * 8

?8

+ ' E * * +) * *

+) * )E* & * 'F(FJG2G

?8 ' %* * *

' *) +) '****+*

* K %**:'E*&

* + %** ) '* *' K +

'*) E* ) + *)*

K * ' + ) ?8 ) )

* * &'+ &))+*)&

))+ K& %* )F, G &

Y

L4

%*+E + &

* *&** **)

* **K

Feedforward weights

Anti-Hebb weights Inputs

Outputs

, H ?8 - *

* * ) & Q ?

8 R

M

x x’ = x + Mx = Fx

, H %* &)6+*&,

* * + * &) ) ?8 *

*& ) & +? ) E ' -* * '

*E*F

GL2

FF

G2GLFFY

G2G FG

* * ' * * ' *

' *

* * ' ( ' 5)' ) ) / + + *

(5)*F+:9G ?8 **'

- ) &* )+(5 ?8 H * )+ ?

8 + +'+)( ' 5)'

& E* *+)* +*'+' ' %*E*

)*'+) +*:'

,*E +) * )E * * )/ ) ) +

+) ' +' )+' +***&)

- & ?+ +) ?+ + * ) * &)E

)' + +) )& ' ) +) +

"( # +

%*+ + )*)+*)* )+)' ?

+ )+ +) )'&*

)

&)''&7** + )

+)E*)+)+* *F+* )')G *?Q&R

F, G 8 * '0* *+ &*+

*E6.*)+6 ' ?8 H

3

L 4

¼

¼

*0

¼

L 0N$0

¼

¼

" !!

x

x

y

y 1

2

1

2

Inputs w ₁₂ Outputs

w ₂₁

, H ,= >:, 6

%*+0

¼

L F$G

0L#0 FG

Q &) F(G

&/ R 7* **E + &

*B+0* +*) /6E*+,&

' ) /* **' 0

¼

''*;** ,

* ;) / , )'' * F* + * '

* * )'' 2G *'' & *0 %* & ' 0

'* * &+ +*+ 0

+7 83 + 4

,= > * )& )E + * * ) ?8

* & 8E /) * *& /)'+ & ?8

%* ) * )) & , * ?8

*'

%*B * * &) *

L

N

*

Y

L4

+L+

) /)E*

L 0N7

E L F7 G

0

%*+ *&)+) E%E+) * '0 *'

&

L0LF7 G

0 FG

*) /-)&)) *&?;? ) +

& 'E ' * )E

5 L

2

2

FG

* % &

)LF(5G

L

L

F!G

* ) '* ) /

!

L

%

2%

%

2%

%

%

F$G

*2 * Æ * ) /+&

9 0*!

LF

GLF)0F)0G

GL)!

)

%*

!

L

F

G

%

N2%

%

N

%

2%

%

F

NGNF%

N%

G

2%

%

F

NGNF%

N%

G

%

N2%

%

N%

FG

%* ?8 * B ) * * * * )

L

L 2 * * B B F* * &

G

" * ' * *)+ /* *) * %

L

%

L% %** ))2%

N%

N2%

)*

B B

2

NN2L2 FG

* **;

L

N

2

2

F#G

,= > +**** ' * *'

# 3

5 * ** ) /

!

L

2#!

2#!

F2G

* * & * * %* & & *

*)

L F2!G

L F2GN

L F2GN

*F2EG ) *;)

-*,= >: *)* ** *?2!

%* '* & , H ** * * '

& ?* * ' +

)* *' +

?

* * '' *'

# 56 72 - '

,= >+*)& * ' * *

Y

L4F

G

* * ) /+)

Y5 L4F(

G FG

* * &) /

%* **'F*K? ?8

G**/' +*' B * +

*'' &+*))+ +) *'&

+*' *)

%*

Y

L4F8

G

*8

L2+L+ %*+8 + E ) * *'

" !

-15 -10 -5 0 5 10 15 20 25

-15 -10 -5 0 5 10 15 20 25

Input values

"before.dat"

-6 -4 -2 0 2 4 6 8

-6 -4 -2 0 2 4 6

Output values

"after.dat"

, H %* * *& %*'*

Inputs x

Hebb weights

Anti-Hebb weights

, !H %* * +) * ' & * ' & 8 J

)* * ' & K * ** *

& ?8

x x x x x ₅

4 2 3 1

1

2

z z

, $H %* +

5 (3 4

**) 8 ?8 * /

*' ')'+ */)' * , !

9 **) * **++ * *

)'8 *) +* &

8 +*&'

. * +* * * ' ' )'+ * ' 8

*' & ' * ** * &

?8 *'+*' ) &*( '

)' + * ' & * + +) * '

%* * ' * ' ')' %**

)' /*)/ )) +) +)*)

' **'F* ***' '

)'GJ *')/ )&** ' ')'

"( + 4

%* + * , $ %* ' * + *

J '' ** * * ' * ))

'** + * ' **

&* +'*' +' )'8

F ' * *+) *G * *

*( '5)'+* '

%* * +*

:

L

FG

FNG

FG

:

FG

Y

L 4

:

FNG FG

*

FG * +*

' )

%* /' * &E ) '' + * * ) %*

+* *)+*' ?8 -

*+) +) '/';J& *K

+* E*** B :

' *)

FG FG

Y

L 4

FNG:

L 4F

FG

:

G:

L 4F

:

:

:

G F!G

**''* )FG + )' &

%* +) +* F!G /&* +* '

*)E.B FG %*)' * 5*'

+) +

## 8

* ) * + E * * '

*Q%*RH * */ +

* * * * * * *) %* +*

* ) * ) + &)H * *+ *

+)* E;E*)) E&E) *

+) *)) E&E * E; %* & )' - *+

*'' ) * * * & K * '&

+)**F *)G

L 0;< F$G

< L 7L70 FG

:7 L 4

<

FG

:;

L 4 <

F#G

** + *;

7))) &&

***

* * +7; '* &

)'8 %*+/' ) * * K

+++ * * %

## ,

%* ) Æ& * * * ) * * * ''

* : ' *) ? & * '+ * ' ' )' *

) D- 6

- - D

2/// ?22$ ?222 /2) ?22 ?222 2/ ?22 ?22

22$ /2 ?22 ?22# 2/ 22 ?22 /2% 22

222 22 2/// 22 ?22 2/) 222 ?22 /2%

?222 ?222 22$ ?22 ?22 22 ?222 ?22 22

222 222 222 22# ?222 ?22 222 2222 222

%H 9+) * F+G *&)) *E-+*D

-+) *D- 6F/G

5 '

%* * * :) *+) *

+ %* +F** * *( ' 5)'E

% G +) * + *)H * &) * ?

J * * ' ' )' *

* ' & * B& * - *

* *+ * ' ' )'E *

*) ' ')' ' &

%** * %*+E* &))& *

) ) J * * * : *

B * +/)* )? *+ *' +*

*'&+?B * **) &

* '

,+)* ' &/ (5 H

&( ?* *&' + J*

)' * * J * B ' +&

)

? & '+) /&*) *J

&)) '+) /&*) *

( ( ?* &* +) * * +)

J ) & **)) * **&

&((( ? * ' * ' + * *'' &

* J ) & **))

(

8E*'* + * * *

' +* +' +) ' -' *)

* * * * )* ' + * * + - ) *

& * * & K +* **

*))

%*&'+ * &

<

¼

L 70

< L <

¼

*<

¼

0 0;<

:7 L

0<

:; L 0<

' ' ' ' '!

/2 2 222 2222 222

/2// 2 222! 2222 222

22! /2 222 2222 2222

/2/ 2 222 2222 222

%H ! 'E **)&'+ '' &

* <

¼

* + * + * * +)

* * *) /+ **

-*+? +) *) %)**

** ) *&&))&H

*E * *' KJ

* E K + + * ( '

5)'

-* *?'*' H

%* + ++)*)) *

%* +* * '*

%* + *)) +) *

-* * ))' &)'/ *+E &B F3

G ?

E *) *)+ ,* '

)'8

*'* )'+&))& +& **

( '5)'***'+(5 -*** *

+Æ *( '5)' *

)+ *&))&F &* *+K

** &)) ) * KG

="7

%* &))& * * * &H

* +) )& / & * & * : '

/ F' &G * * F &G * J *

*'' * / ) * * %*' ' 5*'

)* * * &'

/ )* * * +E ' +

*+)/ & * & **+)'

+ & ? * * + *E * E

E**+ H

) * * + * 1

L

N

1

L

N

E * *

* + * : ) / %* *

** +*'ENL2 ++*)EE

E * ) ; F +) * ) G *

E* * **** *'*( '

5)' *) * 'E *

+ * * ) ( ' 5)' '' /) /)'

* % * * ' * + ) *) &' +

' & * * D- ' * *

1 ! D

, (5 /2) /2) 2222 ?222 ?222 !#

(5 ?222$ 222 /2% /2% /2%

%* (5 /2) /2) ?222 222! 22

,*(5 22 ?222 /2)% /2 /2

, +*(5 222 ?222 /2 /2 /2%/ 2!

%H ( '5)'+* '

222! 2222 /2% /2%% /2%

/2 /2) 222 2222 2222

/2 /2% 222 2222 2222

/2% /2/ 222 2222 2222

%H !? ' *+*'

( '5)' ** *)&Q2R*''+) )

%+* *:' E+) *( '5)?

' * % ' *H * * *

*' * * * * ) *)

' + * ) / + * * * ?

2!E2E2$#E2E2 2E2E2E2$E2$'*'+* ( '

5)' %* *''J * *( ' 5)'

*)F& */ G

)' +* *' * &

)' +)** %**

' * * ) + +)* '

+E * * *! ' F ** *

* ) G %** %

* * * + * ( ' 5)' * *

E* +* *+*( '5)' %*

** &'+ * *? *

%* +)+ +) / )&+ )' +**''

* *Q/R+)*QR+) *Q)R %*

&'+ ?' *'' 8E

* &'+?' ?' + %* +) )

K ) H + * &'* )

* **/ E)*( '5)'' '

-***+*+ * E

%* * ' * + Q)* R? * * *

&&)* )* * )

* ) * & & )* + *

' '+ * * *E* ' *

* **) '

.

*' ) &* &))&

)+* %* ) + + K )'

' * * ** ) F) * * )

+) & *'+ +) +G

%* K ) * K K*+

D -

2/// 222$ ?222 2/// 222$ ?222

?2222 2/// 22 ?2222 2/// 22

22 22 2/// 22 22 2///

2222 ?222 222 2222 ?222 222

?222 ?222 ?222 ?222 ?222 ?222

%!H 9 +*1 K 1 6J *) ** *

* '+ +) ';)

0 *

) *) )E * :' K

*+ )+* ' %** + +

'* ) ' )) &* %*+E

) * ' * + 'E * '

?) ' * * ' * * * * + B

+0L0F2G L 0 F2G

< L 50 FG

0FG L 0FG"

FG:

FG

Y1

FG L 4FG:

FG0

FG FG

Y"

FG L 4FG:

FG0

FG FG

* "

FG * + *+ * "

* ) ? *

' %*'F &.B FGE FGFGG '+*

%* ' * + +) *

K )F'*'' * '*& * * * ) E

'*'' *Æ &+) +* G %* ' *

*+*F+G *( '5)'E*+

* ( ' 5)' ./' ) +)

* ! ' % ! ) * K +

*E* ) *)&'+' & 5&

* ' ' )' * + & * * *

K* )' ) *) +* ' *

' ' -** E* ) ) ?

&' * * ?&' %*

/ *

)/ )))+ +) * * ++*' F?G */

* +)

8>"( ?(

: *)*E

Y

L4

F

G

&++* E **' & &

L

-*** *) &.B 2?