Error rate

! "

!

"

# $% &

'

#

(

$) )

# # $ $

$ $

% $

* ) + ,

-

! $ $

$

,

. 


,! $

/ 0 $

/ *

/ & 1 2 3

/ , ) ) $ ) 4

) $ 5

/ 6 ) 2 $ 1 $

/ $

/ $ 7!

/ 8 ) $ $

/ 9 ) 2.

/ , $ $

/ ,! $

:

4

/ ; $ $ 2

/ ε 1 ! <δ

/ ) ! & $ $ ! Ĥ

/ = >& < Ĥ> ? ε>&> @ A <δ

"

4

/ B ) 1 C

3

'

4

/ B

) 1

C 3

(

4

/ B

) 1

C 3

4

/ B

) 1

C 3

C

4

/ B

) 1

C 3

-

4

/ B ) 1

C 3

4

!" # $%"& !%" % " '

!"%# ( ) )" #

) * % " ) ( )% +

) * ,( *% *) % %! %!- ( % $ )%% !%"

, ) % .

* /* ) % 0 " '" %

* , ) " '0 !" 1, ) 2 )) " # '

)% 3) (0 ( ' ( ", 32 " # )

B D E $

"

E $

* 0F

$ ! 7 G

B G ) 4 H

'

E $

* 0F

$ ! 7 G

B G ) 4 H

(

E $

* 0F

$ ! 7 G

B G ) 4 H

4"%* 3 #2 ) ) # 0 ( 2 *) ) % % * 5 ) #% )6

# ) ( #%, ) %! # #%"

%"& # ) ( #%, ) %!

) #

7 " ( )% 2" ( *) ) 2% )

8 9

% (%,) , ) %

) " ( ): ; : " %"

4" 1, )

8 9

22 ); *,"" ) ( * % #%(

)% ); ) ) )0 ) " ', " ) # ) "

; % ) # ) ( ); ;% (%,)

, < ( ) # )%"

8 9

; ""%" %! #%( *%#2,) (

!"%# ); 1, * %! 3 #2

%" *; 3 #2 ); )" #0 );

*), #%( # & 2" ( *) % < (

% % ); 3 #2 ))" <,) : ,

= 9

!

" # $

%&&&&& %&&&&&&&& %&&&&&& '

; *%## ( *" ) *%## 2 " ) ( , / .

)" ' ); * % ),#2 * / " % ); !%"# " )%" ( ) 0 , ' ); /" ) > );%, ( 3 #2 !%" ) ) '0

)" ' % )%) %! > # % 3 #2 0 ( ) ) ' " % # % 3 #2

# .

:"

, .

; * 2

4 #

$ 22 .

) $ $

$ 2 * !

) $ 4

# 1

:'

4

/ .

/ 1 !I

E ! E%% !H

/ + $ + ! J

/ ! 2

* 2 ) 4

* #

/ !

#

/ K) ) 5

0 L* + !

:(

posterior = likelihood ⇥ prior evidence

P (C|x) = P (x|C)P (C) P (x)

P (C|x) / Y

x_i2x

P (x_i|C)P (C)

C = arg max

C

P (C|x)

Attribute 1 Attribute 2 Attribute 3 Attribute 4 Attribute 5

Output h_w~(~x_i) w1

w2

w3

w4

w⁵

/ M .

/ , E ⟨x !⟩

/ ỹ N _w x N σ w x

/ σ 4 N % O ^<4 σʹNσ 4 <σ 4

/ I K w N ∑ ! <ỹ

/ ;, w^O N w < η∇K x

/ ∇K N < ! <ỹ ỹ <ỹ

/ w^O N w O η ! <ỹ ỹ <ỹ x

:

,

/ $ 2 )

/ * )

/ 2

/ ; $! ) * $)

/ 4 )

/ 4 N $ * )

/ 0 1 $ 2 4 1 2

* ) 2 P !

/ 2 > Q

:C

✅

❌

✅ ❌

#2 %! )" # %,'; !%" " %2) # ( * % ) # ) # " ) %! ) " ) !"%# 2" /3 %! )" #

=;%% #2 ? < ( % ) ) ) * 2" * 2

; )% 32 ( !

9 ) 3_> < ); #% ) !%"# ) ))" <,) 0
 3_@ ); *% ( #% ) !%"# ) %

% !!( ' <%, (. 2 ) ! 53_>6 : 53_@6 A ε =

rR² ln(1/δ) 2n

9

"

, .

; * 2

4 1 )

) $ $ $

2 * ! ) $ 4

* ) 1 ) !

!NR 4

"

4

/ G

/ $ !

E ! E%% !H

Attribute 1 Attribute 2 Attribute 3 Attribute 4 Attribute 5

Output h_w~(~x_i) w1

w2

w3

w4

w⁵ / M

/ , E ⟨x !⟩

/ ỹ N w x N w x

/ I K w N ∑ ! <ỹ

/ ;, wS N w < η∇K x

/ ∇K N < ! <ỹ

/ wS N w O η ! <ỹ x

"

9

/ ) ) $

/ $ N * * ) 


$ 2 * P !

/ ; N $) $ $ $ * * !

":

σ =

qX

( ˜yⁱ − yⁱ)²/(N − 1)

9)

/ E * ! $

* 4 4 $


$ ) $ $

/ 9) E 2< $ $)

$ * ) *

/ G )2. E

/ G $

/ 4 $ )

/ $ $

""

E.g: x = [4,−1,1,2]

ˆf (x) = X

R_l2S(xi)

✓_lyˆ_l,

$ * $ 9)

/ 9) E 2 )

/ 9) $ E $

/ 9) $

/ B $ * H 2 $ 2 )

* 4

/ B * !

/ , 2 ) ) * ) * $

"'

H $ #H KH ; H T $ * $ 9) 2 , HT # M< D,, U :

# , 2

"(

, .

; * ) V)

⟨4 4 W 4 ⟩ ) ) 2

$ ) $

$ 4̂ _O I

>4̂ _O − 4 O >

"

) )

/ $

/ 2

E E%%111H H

x_t -

Estimator

- Alarm-

Change Detector

Estimation-

Memory -

6

6?

/ # $

* ) 2 $

/ ) $ $

1 4

/ # $ ) 2

/ ) N 2 % !

)

/ $ < 22 1 $

) $ * $

2

"C

#) ) * )

/ 1 2 ) $ $ 22 2 I

/ ! ) )

/ E $ $ 2 $ *

/ N N 4 < O ε < *

/ 2 A X N

"-

Number of examples processed (time)

Error rate

concept drift

pmin + s

min

Drift level

Warning level

0 5000

0 0.8

new window

#

/ $ 1 $ 1

/ 0) ! E


1 1 $ 1

/ 2 A 1 * 


1 $ 


) 1 $ 1

/ 2 A $ 2 * 


) ) 1 $ 2 $

'

K ; H $ ;H # H 9 $ ) E YM 1 , 2 , ZH + S "

# < $ 6 ,

/ $ 1 $ 1 $ 1

/ D )2. $

/ 9 G $ ! 2 & 22$

/ 2 2 1 ) $ 1 < 


1 ) ! 2

/ ) $ O B !

/ ) 2 


$ ) 2 ) 1 $ 1

'

;H &) MH H , E Y <# , ZH D,, U

& 22$ $ *

/ 9 2 V) ! ) !

/ 0 $ 2 1 $ 1 2

/ )2. G ! !

/ <2 $ O 1

) 2 ) 1 ,B 0

/ D $ 1 $ 1 1 


Y < ! Z

'

H + 2 9H ; * $[E Y $ * <2 M 2 * * , Z , -

H + 2 9H ; * $[E YM 2 <# , 1 $ * B $ 1 ZH , U

,B 0

':

,B 0

'"

,B 0

''

,B 0

'(

$ * 9 $

/ B ! 9 $ 3

/ 22< < 2

/ ; $ 2 9 $ )

; & X + 2 X 9 $ KX + $$ K X G X

2 +X & ;X $ H

M H

/ + $ 9 $ ! +

'

$ * 9 $

H ) ) *

H 9 $ ! ) 2 2 ) 2

:H 8 & 22$

"H $ 2 $ 1 $

'H G ) $ 2 $$

(H ! $ $

'C

<G00

!"" # $ %

&'

( ' # )  

6 G M  +

& & G B E

#,   (E  - <:

'-

<# )

/ D # ) ) # 


) ! ) )

/ $ 


) 2 27

/ , ⟨x⟩ $ $

/ # ) 2 ) * 


0E ) 2 


M PE ) 2 * ) 2 $ H P 


PE ) 2 V) $ * ) 2 $ H P

/ ! ) $ !

* #

' +

(

F 9 ) 9 G M * !E Y+ 9#&E 2. , # ) $ 2 6 ! M , ZH ; , J-(

/ ) < % ) <

/ ) ,

/ # , 2 ,

/ * M

/ V)

/ V) ;

/ 9 $ !

(

B J 4 3

(

, #OO

'

E%% ) 1 < H ) H % , <# %

6

(

+ ,

#&

E%% < P H

;H , H + 2 E Y E $* $ * ! ZH K M9 "

= =

6

-

) G $

$

0H D ) ;H , H + 2 H ) $ E Y6& E 6 & 22$ Z ( + , # 2 (

D )

/ D 2G 2 $) $

2 ) < ) < ) ! H

C

44

,

C

E%% ) 1 < % ) H % ,

) !

/ ) 2) 2 . $ 4 ) 1

) 2 \ $ )

/ E * !

/ * $ < )

/ E%% H H1 G H H I%

/ E 2 2 + ,

/ * $ < ) ) ]

/ E%% H ) H H

C:

#

/ O

/ ) ) $ ) )

/ 2

/ 2 )

/ E $ * 2

C"