Classification Error Minimization

4.3.2.1 Learning Vector Quantization

.GCTPKPI XGEVQT SWCPVK\CVKQP .83 KU QPG QH VJG RKQPGGT 00DCUGF RCVVGTP ENCUUK ſGTU = ? 1TKIKPCNN[ KV YCU FGXGNQRGF KP VJG HTCOGYQTM QH C UGNHQTICPK\KPI HGCVWTG OCR VJCV UKOWNCVGF VJG RJ[UKQNQIKECN TGRTGUGPVCVKQP QH OGOQT[ *QYGXGT KVU DGJCXKQTCN RTKPEKRNG KU UKORNG CPF ECP DG EQPUKFGTGF CP CFCRVKXG VTCKPKPI QH TGHGTGPEG XGEVQTU GCEJ QH YJKEJ DCUKECNN[ TGRTGUGPVU C ENCUU OQFGN KP C RTGUGV FKUVCPEG URCEG 5GXGTCN XGTUKQPU QH .83 JCXG DGGP RTQRQUGF +P VJG URGGEJ TGEQIPKVKQP ſGNF VJG UGE QPF XGTUKQP QH .83 KG .83 JCU DGGP VJG OQUV GZVGPUKXGN[ CRRNKGF =? +P CFFK VKQP VJG FKHHGTGPEGU COQPI VJG XCTKQWU .83ŏU CTG KPUKIPKſECPV HTQO VJG XKGYRQKPV QH FKUETKOKPCVKXG VTCKPKPI HQTOCNKUO 6JGTGHQTG JGTG YG UWOOCTK\G VJG VTCKPKPI RTKP EKRNG QH .83 CPF FKUEWUU KV HTQO VJG NQUU UGNGEVKQP XKGYRQKPV QH VJG FKUETKOKPCVKXG VTCKPKPI

# ENCUUKſGT VQ DG VTCKPGF YKVJ .83 CUUWOGU CP KPRWV VQ DG C UVCVKE XGEVQT CPF CNUQ CUUWOGU GCEJ ENCUU VQ DG OQFGNGF D[ OWNVKRNG TGHGTGPEG XGEVQTU GCEJ DGKPI KP VJG UCOG XGEVQT URCEG CU VJG KPRWV +P VJG ENCUUKſECVKQP UVCIG CP WPMPQYP KPRWV XGEVQT KU ENCUUKſGF CU VJG ENCUU QH VJG TGHGTGPEG XGEVQT VJCV JCU VJG UOCNNGUV FKUVCPEG VQ VJCV KPRWV XGEVQT 6JKU ENCUUKſECVKQP UEJGOG OGCPU RCTVKVKQPKPI VJG XGEVQT URCEG KPVQ TG IKQPU FGſPGF D[ KPFKXKFWCN TGHGTGPEG XGEVQTU QT KP QVJGT YQTFU XGEVQT SWCPVK\CVKQP QH VJG QTKIKPCN XGEVQT URCEG .83 VTCKPKPI CFLWUVU VJG TGHGTGPEG XGEVQTU UQ VJCV GCEJ KPRWV XGEVQT JCU C TGHGTGPEG XGEVQT QH VJG TKIJV ENCUU CU KVU ENQUGUV TGHGTGPEG XGEVQT /QTG RTGEKUGN[ .83 VTCKPKPI KU UWOOCTK\GF CU HQNNQYU (QT C IKXGP VTCKPKPI KPRWV XGEVQT^ÜQH VJTGG EQPFKVKQPU OWUV DG OGV HQT VTCKPKPI VQ QEEWT VJG PGCTGUV ENCUU OWUV DG KPEQTTGEV VJG PGZVPGCTGUV ENCUU OWUV DG EQTTGEV CPF VJG VTCKP KPI XGEVQT OWUV HCNN KPUKFG C UOCNN U[OOGVTKE YKPFQY FGſPGF CTQWPF VJG OKFRNCPG QH VJG TGHGTGPEG XGEVQTU ^¾DGKPI CP KPEQTTGEV ENCUU CPF^¾ DGKPI VJG EQTTGEV ENCUU +H VJGUG EQPFKVKQPU CTG OGV VJG KPEQTTGEV TGHGTGPEG XGEVQT KU OQXGF

HWTVJGT CYC[ HTQO VJG KPRWV YJKNG VJG EQTTGEV TGHGTGPEG XGEVQT KU OQXGF ENQUGT CE EQTFKPI VQ

 Ü Ö

Ö

Ö

Ü Ö

YJGTGOGCPU VJG UVCVWU QH KVU EQTTGURQPFKPI XGEVQT CV VKOG KPFGZ CPFKU C OQPQVQPKECNN[ FGETGCUKPI UOCNN XCNWG HWPEVKQP QH VJG VKOG KPFGZ

1PG OC[ PQVKEG JGTG VJCV VJG CFLWUVOGPV TWNG QH .83 KU UKOKNCT VQ VJG VTCKPKPI TWNG FGſPGF D[ VJG RTQDCDKNKUVKE FGUEGPV VJGQTGO #EVWCNN[ KV YCU FGOQPUVTCVGF VJCV .83 YCU C JGWTKUVKE CPF OQFKſGF XGTUKQP QH )2& VTCKPKPI WUKPI VJG UOQQVJGF ENCU UKſECVKQP GTTQT EQWPV NQUU KG YJKNG NGVVKPIIQ VQ^½YKVJ UQOG OQFKſECVKQP KP VJG FGſPKVKQP QH VJG OKUENCUUKſECVKQP OGCUWTG HQT C OWNVKRNG TGHGTGPEG FKUVCPEG ENCUUKſGT =? 5GG =? CPF =? HQT FGVCKNU +P UJQTV .83 KU CP 00OQVKXCVGF FKUETKOKPCVKXG VTCKPKPI OGVJQF VJCV CKOU CV VJG OKPKOK\CVKQP QH VJG UOQQVJGF ENCU UKſECVKQP GTTQT EQWPV NQUU

4.3.2.2 Shift-tolerant LVQ Classifier

+P VJG UKORNGUV ECUG CP .83VTCKPGF FKUVCPEG ENCUUKſGT KU CRRNKGF VQ C UVCVKE HGCVWTG XGEVQT YJKEJ KU ECNEWNCVGF HQT GXGT[ VKOG YKPFQY RQUKVKQP QXGT C F[PCOKE KPRWV URGGEJ RCVVGTP (QT GXGT[ HGCVWTG XGEVQT .83 VTCKPKPI KU GZGEWVGF CPF VJG ENCUUKſ ECVKQP WUKPI VJG VTCKPGF TGHGTGPEG XGEVQTU KU RGTHQTOGF *QYGXGT KPFKXKFWCN HGCVWTG XGEVQTU CTG QHVGP KPUWHſEKGPV HQT CEJKGXKPI EQTTGEV URGGEJ RCVVGTP ENCUUKſECVKQP CV C OGCPKPIHWN URGGEJ WPKV NGXGN UWEJ CU RJQPGOG QT YQTF 6Q EQRG YKVJ VJKU KPUWHſ EKGPE[ .83 YKVJ C UJKHVVQNGTCPV CTEJKVGEVWTG YCU ſTUV CRRNKGF VQ RJQPGOG RCVVGTP ENCUUKſECVKQP =?

(KIWTG KNNWUVTCVGU VJG CTEJKVGEVWTG QH C UJKHVVQNGTCPV .83 56.83 U[UVGO HQT ENCUUKH[KPI VJTGG RJQPGOG ENCUUGU +V KU CUUWOGF JGTG VJCV CP KPRWV URGGEJ RCVVGTP KU C RTKQTK UGIOGPVGF CPF NCDGNGF YKVJ KVU EQTTGURQPFKPI EQTTGEV RJQPGOG ENCUU +P VJG ENCUUKſGT GCEJ ENCUU KU CUUKIPGF C PWODGT QH TGHGTGPEG XGEVQTU 6JG .83 VTCKPKPI RTQEGFWTG KU CRRNKGF VQ URGGEJ HGCVWTG XGEVQT RCVVGTPU VJCV CTG UVGRRGF VJTQWIJ KP VKOG (QT GXGT[ HGCVWTG XGEVQT RQUKVKQP VJG ENCUUKſECVKQP FGEKUKQP KU GXCNWCVGF D[

WUKPI VJG RJQPGOG NCDGN CPF TGHGTGPEG XGEVQTU CTG CFLWUVGF CEEQTFKPI VQ VJG .83 VTCKPKPI TWNG +P VJG ENCUUKſECVKQP UVCIG HQT CP WPMPQYP KPRWV C UNKIJVN[ FKHHGTGPV RTQEGFWTG VJCP UKORN[ ſPFKPI VJG ENQUGUV XGEVQT VQ VJG KPRWV KU GORNQ[GF 6JG UJKHV VQNGTCPV CTEJKVGEVWTG RTQFWEGU UGXGTCN ENQUGUV TGHGTGPEG XGEVQTU QPG HQT GCEJ YKPFQY RQUKVKQP 6JG RTQEGFWTG ECP DG UWOOCTK\GF CU HQNNQYU HQT GCEJ YKPFQY RQUKVKQP CPF HQT GCEJ ENCUU VJG ENCUUKſGT ECNEWNCVGU VJG FKUVCPEG DGVYGGP VJG KPRWV XGEVQT CPF VJG ENQUGUV TGHGTGPEG XGEVQT YKVJKP QPG ENCUU HTQO VJKU FKUVCPEG OGCUWTG GCEJ ENCUU KU CUUKIPGF CP CEVKXCVKQP XCNWG VJCV KU JKIJ HQT UOCNN FKUVCPEGU NQY HQT NCTIG FKUVCPEGU CHVGT VJG YKPFQY JCU DGGP UJKHVGF QXGT VJG GPVKTG KPRWV RCVVGTP VJG CEVKXCVKQPU ECNEWNCVGF CV GCEJ YKPFQY RQUKVKQP CTG UWOOGF HQT GCEJ ENCUU VJG ENCUU YKVJ VJG JKIJGUV QXGTCNN CEVKXCVKQP KU EJQUGP CU VJG GPEQFGF ENCUU

'ZRGTKOGPVCN GXCNWCVKQPU QH VJG 56.83 ENCUUKſGT CTG TGRQTVGF KP FGVCKN KP =?

EUHIHUHQFHYHFWRUV JUHIHUHQFHYHFWRUV

$FWLYDWLRQV RYHUWLPH

/94 WUDLQLQJ

GUHIHUHQFHYHFWRUV E

GJ

EGJ )LQDODFFXPXODWHG

DFWLYDWLRQ

VKLIWLQJRYHU LQSXW

VKLIWLQJRYHU LQSXW LQSXWIHDWXUH

YHFWRUVHTXHQFH

FIGURE 4.1

Architecture of shift-tolerant LVQ classifier [20].

4.3.2.3 LVQ/HMM Hybrid Classifier

6JG UJKHVVQNGTCPV CTEJKVGEVWTG KU WUGHWN HQT CNNGXKCVKPI VJG NKOKVCVKQP QH VJG QTKIKPCN .83VTCKPGF RCVVGTP ENCUUKſGT YJKEJ KU UWKVGF QPN[ HQT UVCVKE XGEVQT RCVVGTPU *QY GXGT VJG WUWCN IQCN QH URGGEJ RCVVGTP TGEQIPKVKQP KU VQ GPEQFG C PCVWTCNNGPIVJ URGGEJ KPRWV VQ KVU EQTTGURQPFKPI YQTF QT UGPVGPEG YQTF UGSWGPEG ENCUU 1DXKQWUN[ VJG UJKHVVQNGTCPV CTEJKVGEVWTG KU KPUWHſEKGPV HQT CEJKGXKPI VJKU V[RG QH IQCN

# UVTCKIJVHQTYCTF UQNWVKQP KU VQ EQODKPG .83 CPF *// 6TCFKVKQPCNN[ *// JCU DGGP VTCKPGF KP VJG RTQDCDKNKV[ HWPEVKQP GUVKOCVKQP CRRTQCEJ YJGTG VJG ENCUUKſECVKQP RQYGT KU WUWCNN[ RQQTGT VJCP VJG FKUETKOKPCVKXG VTCKPKPI 6JWU C J[DTKF QH .83 CPF

*// KU C PCVWTCN CPF RTQOKUKPI EJQKEG .83 KU CP GODQFKOGPV QH FKUETKOKPCVKXG VTCKPKPI

6JGTG CTG VYQ V[RGU QH *// FKUETGVG *// JCXKPI C EQFGDQQM HQT FGCNKPI YKVJ CP KPRWV CU CP QDUGTXCVKQP QH VJG OWNVKPQOKCN FKUVTKDWVKQP CPF EQPVKPWQWU *//

FGCNKPI YKVJ CP KPRWV CU CP QDUGTXCVKQP QH C EQPVKPWQWU RTQDCDKNKV[ HWPEVKQP UWEJ CU VJG )CWUUKCP RTQDCDKNKV[ HWPEVKQP $GECWUG VJG EQFGDQQM KU GSWKXCNGPV VQ C RQQN QH TGHGTGPEG XGEVQTU VJG .83*// J[DTKF PCVWTCNN[ WUGU VJG FKUETGVG *// HQT KVU KORNGOGPVCVKQP =?

(KIWTG KNNWUVTCVGU CP .83*// J[DTKF URGGEJ RCVVGTP ENCUUKſGT 6JG U[UVGO EQPUKUVU QH C EQFGDQQM CPF C UVCVG VTCPUKVKQP /CTMQX EJCKP 6JG EQFGDQQM EQPVCKPU C PWODGT QH RCKTU QH EQFGU U[ODQNU CPF EQFG XGEVQTU 6JG EQFG XGEVQTU CTG UGV KP VJG UCOG XGEVQT URCEG CU CP KPRWV HGCVWTG XGEVQT CPF VJG[ CTG WUGF VQ GPEQFG VJG

6SHHFK &ODVV

/94WUDLQHG FRGHYHFWRUV 'LVFUHWH+00

FIGURE 4.2

Block diagram of LVQ/HMM hybrid classifier.

KPRWV VQ VJG EQFG JCXKPI VJG ENQUGUV EQFG XGEVQT VQ VJG KPRWV 6JG /CTMQX EJCKP OQFWNG VJGP VTGCVU VJG UGNGEVGF EQFG CU CP QDUGTXCVKQP QH VJG FKUETGVG OWNVKPQOKCN RTQDCDKNKV[ OQFGN .83 CNIQTKVJOU CTG CRRNKGF VQ VJG FGUKIP QH VJG EQFG XGEVQTU YJKNG VJG EQFG XGEVQTU CTG EQPXGPVKQPCNN[ FGVGTOKPGF D[ WUKPI ENWUVGTKPI OGVJQFU UWEJ CU VJGOGCPU OGVJQF

# UVCPFCTF FGUKIP QDLGEVKXG QH EQPXGPVKQPCN ENWUVGTKPI OGVJQFU KU VQ OKPKOK\G VJG CXGTCIG FKUVQTVKQP DGVYGGP VJG EQFG XGEVQTU CPF VTCKPKPI KPRWV XGEVQTU 6JKU FG UKIP FQGU PQV PGEGUUCTKN[ KPETGCUG VJG FKUETKOKPCVKXG RQYGT QH VJG EQFGDQQM +H EQFG XGEVQTU EQPVCKP FKUETKOKPCVKXG KPHQTOCVKQP VJCV KU WUGHWN HQT VJG ENCUUKſECVKQP QH RJQPGOG WPKVU QT UWDRJQPGOKE WPKVU VJG RQUVGPF *// OQFWNG ECP HWPFCOGP VCNN[ OCMG OQTG CEEWTCVG ENCUUKſECVKQP FGEKUKQPU HQT VJG GPVKTG KPRWV WVVGTCPEG YQTF QT YQTF UGSWGPEG RCVVGTP +P =? .83*// YCU KORNGOGPVGF D[ WUKPI .83 CPF KVU JKIJ FKUETKOKPCVKXG RQYGT YCU UWEEGUUHWNN[ FGOQPUVTCVGF

4.3.2.4 HMM/LVQ Hybrid Classifier

&KUETKOKPCVKXG RQYGT UJQWNF DG KPEQTRQTCVGF KP C UVCIG VJCV KU CU ENQUG CU RQUUKDNG VQ VJG ſPCN ENCUUKſECVKQP FGEKUKQP QH C TGEQIPK\GT 1DXKQWUN[ C RJQPGOG ENCUUKſGT UJQWNF JCXG JKIJ FKUETKOKPCVKXG RQYGT HQT RJQPGOG ENCUUKſECVKQP C YQTF ENCUUKſGT UJQWNF JCXG JKIJ FKUETKOKPCVKXG RQYGT HQT YQTF ENCUUKſECVKQP CPF C YQTF UGSWGPEG ENCUUKſGT UJQWNF JCXG JKIJ FKUETKOKPCVKXG RQYGT HQT YQTF UGSWGPEG ENCUUKſECVKQP +P NKIJV QH VJKU VJG .83*// ENCUUKſGT KU KPUWHſEKGPV HQT OCMKPI VJG DGUV WUG QH VJG

/94WUDLQHG UHIHUHQFHYHFWRUV

6SHHFK

+00EDVHGVHJPHQWDWLRQ 7LPHQRUPDOL]DWLRQEDVHGRQ WKHDYHUDJLQJZLWKLQRQHVWDWH

&RPSDULVRQ

&ODVV

& & &0

FIGURE 4.3

Block diagram of HMM/LVQ hybrid classifier.

.83ŏU FKUETKOKPCVKXG ECRCDKNKV[ 6JKU EQPEGTP UWIIGUVU C TGXGTUCN QH VJG J[DTKF KFGC KG *//.83 =?

(KIWTG KNNWUVTCVGU CP *//.83 J[DTKF ENCUUKſGT *// KU WUGF JGTG VQ PQTOCN K\G VJG PQPNKPGCT VGORQTCN UVTWEVWTG QH URGGEJ KPRWVU CPF CP .83VTCKPGF FKUVCPEG ENCUUKſGT YQTMU CU C U[UVGO QH ENCUUKH[KPI C FWTCVKQPPQTOCNK\GF KPRWV RCVVGTP 6JG U[UVGO KPENWFGU C UGV QHUVCVG *//U QPG *// RGT URGGEJ WPKV VQ DG ENCUUKſGF GI YQTF ENCUU KP CFFKVKQP VQ VJG .83 ENCUUKſGT 4GHGTGPEG XGEVQTU QH VJG .83 ENCUUKſGT CTG UGV KP VJG XGEVQT URCEG QH VJG FWTCVKQPPQTOCNK\GF KPRWV RCVVGTPU 6JG VTCKPKPI RTQEGFWTG QH VJG U[UVGO KU FKXKFGF KPVQ VJG HQNNQYKPI VYQ UWDUGSWGPV RTQEGFWTGU VGORQTCN PQTOCNK\CVKQP CPF .83 VTCKPKPI QH TGHGTGPEG XGEVQTU 6JG OGEJCPKUO QH VGORQTCN PQTOCNK\CVKQP KU CU HQNNQYU *//U CTG VTCKPGF KP C TGIWNCT OCPPGT WUWCNN[ DCUGF QP VJG /.' OGVJQF HQT VJGKT EQTTGURQPFKPI ENCUUGU GCEJ *// OCMGU UVCVGDCUGF UGIOGPVCVKQP D[ WUKPI VJG 8KVGTDK UGIOGPVCVKQP VJG CXGTCIG XGEVQT KU ECNEWNCVGF QXGT VJG HGCVWTG XGEVQTU CUUKIPGF VQ QPG UVCVG UQ VJCV KP VJG ECUG QHUVCVG *// CP KPRWV FKOGPUKQPCN XGEVQT UGSWGPEG KU OCRRGF VQ CPFKOGPUKQPCN XGEVQT RTGEKUGN[OCVTKZ CPF CUUWOG VJCV ENCUU *//U CTG CXCKNCDNG # VKOGPQTOCNK\GF XGEVQT KU CUUKIPGF C ENCUU

NCDGN QH VJG *// WUGF HQT KVU IGPGTCVKQP 6JGP VKOGPQTOCNK\GF XGEVQTU CTG IGPGTCVGF GCEJ VTGCVGF CU C FKHHGTGPV ENCUU VQMGP .83 VTCKPKPI GURGEKCNN[ .83 KP

=? FGUKIPU TGHGTGPEG XGEVQTU UQ VJCV VJG ENCUUKſGT ECP EQTTGEVN[ ENCUUKH[ CNN QH VJG IGPGTCVGF VQMGPU

+P VJG ENCUUKſECVKQP UVCIG HQT CP WPMPQYP KPRWV VJG KPRWV KU ſTUV EQPXGTVGF VQ VQMGPU GCEJ NCDGNGF CU C FKHHGTGPV ENCUU 6JGP HQT GXGT[ VQMGP VJG PGCTGUV TGHGT GPEG XGEVQT KU UGNGEVGF CPF VJG FKUVCPEG DGVYGGP VJG PGCTGUV XGEVQT CPF VJG VQMGP KU ECNEWNCVGF $GECWUG VQMGPU CTG IGPGTCVGF JGTG FKUVCPEG XCNWGU CTG ECNEW NCVGF (KPCNN[ C ENCUUKſECVKQP FGEKUKQP KU OCFG HQT VJG KPRWV URGGEJ RCVVGTP D[ WUKPI C YGKIJVGF UWO QH VJG FKUVCPEG XCNWGU

6JG JKIJ FKUETKOKPCVKXG RQYGT QH VJKU J[DTKF ENCUUKſGT YCU UJQYP KP C EQPHWUCDNG

#OGTKECP 'TJ[OG RJQPGOG TGEQIPKVKQP VCUM =?