Examples of Embodiment

4.4.2.1 Multi-codebook Classifier Designed with GPD

1PG QH VJG OQUV UVTCKIJVHQTYCTF GODQFKOGPVU QH ECUG D KP (KIWTG YCU FGXGN QRGF KP =? +P VJKU TGRQTV VJG )&2 VTCKPKPI YCU CRRNKGF VQ RTQVQV[RG TGHGTGPEG XGEVQT DCUGF FKUVCPEG ENCUUKſGTU YJKEJ CTG DCUKECNN[ VJG UCOG CU CP .83 ENCUUKſGT +P CP GZRGTKOGPVCN VCUM QH ENCUUKH[KPI ENCUU #OGTKECP 'TJ[OG URGGEJ UCORNGU KV YCU UJQYP VJCV VJG WUG QH OWNVKRNG EQFGDQQMU GCEJ FGUKIPGF UGRCTCVGN[ YKVJ )2&

EQWNF UWEEGUUHWNN[ KPETGCUG VJG ENCUUKſECVKQP CEEWTCE[ QH VJG DCUGNKPG UKPING )2&

VTCKPGF EQFGDQQM ENCUUKſGT VJG CEEWTCE[ QH VJG DCUGNKPG U[UVGO KG YCU KP ETGCUGF VQ YJKEJ YCU COQPI VJG JKIJGUV UEQTGU QP VJG 'TJ[OG FCVC UGV *GTG GCEJ QH VJG OWNVKRNG EQFGDQQMU KU QH VJG UCOG UK\G CU VJG EQFGDQQM QH VJG DCUGNKPG UKPING EQFGDQQM U[UVGO

+P =? CPQVJGT GHHGEV QH VJG FGEKUKQP HWUKQP YCU FGOQPUVTCVGF (KIWTG UJQYU ENCUUKſECVKQP CEEWTCE[ UEQTGU CU C HWPEVKQP QH VJG PWODGT QH RTQVQV[RGU RGT ENCUU CPF EQFGDQQM *GTG VJG VQVCN PWODGT QH RTQVQV[RGU RGT ENCUU YCU MGRV EQPUVCPV DWV VJG PWODGT CUUKIPGF RGT EQFGDQQM YCU EJCPIGF (QT GZCORNG YKVJ VJG VQVCN QH RTQVQV[RGU RGT ENCUU QPG EQWNF JCXG EQFGDQQMU YKVJ RTQVQV[RGU RGT ENCUU QT EQFGDQQMU YKVJ RGT ENCUU 6JG EWTXG KP VJG ſIWTG ENGCTN[ UJQYU VJCV VJGTG KU C DCNCPEG DGVYGGP VJG ſPGITCKPGF DQWPFCT[ GUVKOCVKQP QH OCP[ RTQVQV[RGU RGT EQFGDQQM CPF VJG EQCTUGITCKPGF CXGTCIKPI YKVJ OCP[ EQFGDQQMU QH HGYGT RTQVQ V[RGU UWIIGUVKPI VJG WVKNKV[ QH CXGTCIKPI UEJGOG WPFGT C RTCEVKECN EQPFKVKQP YJGTG

2TQVQV[RGU%NCUU%QFGDQQM

4GEQIPKVKQPCEEWTCE[

FIGURE 4.9

Relation between recognition accuracy and the number of prototypes per class and codebook [3].

CXCKNCDNG U[UVGO TGUQWTEGU UWEJ CU RTQVQV[RGU CTG NKOKVGF

4.4.2.2 Multi-class Classification Based on Support Vector Machine

)GPGTCNN[ ENCUUKſECVKQP KP C JKIJFKOGPUKQPCN XGEVQT URCEG KU GCUKGT VJCP KP C NQY FKOGPUKQPCN XGEVQT URCEG $[ HQEWUKPI QP VJKU IGPGTCN PCVWTG QH ENCUUKſECVKQP VJG UWRRQTV XGEVQT OCEJKPG 58/ JCU DGGP CVVTCEVKPI OWEJ TGUGCTEJ KPVGTGUV TGEGPVN[

#U UJQYP KP VJG HQNNQYKPI RCTCITCRJU 58/DCUGF OWNVKENCUU ENCUUKſECVKQP ECP DG EQPUKFGTGF C V[RG QH GODQFKOGPV QH ECUG D

6JG RWTRQUG QH 58/DCUGF ENCUUKſECVKQP KU VQ EQPXGTV C IKXGP VCUM QH ENCUUKH[KPI UCORNGU KP UQOG QTKIKPCNN[ NQYFKOGPUKQPCN XGEVQT URCEG VQ C VCUM QH ENCUUKH[KPI VJG UCORNGU KP C JKIJFKOGPUKQPCN XGEVQT URCEG VJTQWIJ C PQPNKPGCT UCORNG RTQLGEVKQP RGTHQTOGF D[ C PGWTCN PGVYQTMŏU MGTPGN HWPEVKQP 6JG RTQLGEVGF UCORNGU CTG VJGP GP EQFGF CU QPG QH VYQ ENCUUGU D[ WUKPI C NKPGCT FKUETKOKPCPV HWPEVKQP JCXKPI VJG NCTIGUV OCTIKP KP C VYQENCUU DQWPFCT[ TGIKQP 6JWU VJKU CRRTQCEJ KU PCVWTCNN[ GZRGEVGF VQ RQUUGUU VYQ V[RGU QH TQDWUV RTQRGTVKGU QPG DCUGF QP VJG NCTIGOCTIKP ENCUUKſECVKQP KP C JKIJFKOGPUKQPCN XGEVQT URCEG CPF VJG QVJGT DCUGF QP VJG HWUKQP QH VYQENCUU ENCUUKſECVKQP FGEKUKQPU HQT C OWNVKENCUU VCUM UGVVKPI +V YQWNF UGGO VJCV VJG ſTUV V[RG QH TQDWUVPGUU QTKIKPCVGU CU C OGCPU VQ EKTEWOXGPV QWVNKGT UCORNGU VJCV VGPF VQ DG OKUENCUUKſGF CPF VJG UGEQPF QTKIKPCVGU HTQO VJG KPETGCUGF UVCVKUVKECN UVCDKNKV[ KP UGVVKPI ENCUU DQWPFCTKGU

#U KVU PCOG KORNKGU 58/ KU C OGVJQF HQT ENCUUKH[KPI ſZGFFKOGPUKQPCN UVCVKE XGEVQT RCVVGTPU 'ZVGPUKQP QH VJKU OGVJQFQNQI[ VQ VJG ENCUUKſECVKQP QH F[PCOKE RCVVGTPU KU

UVKNN CP QPIQKPI TGUGCTEJ VQRKE CPF VJGTGHQTG CRRNKECVKQPU QH 58/ VQ URGGEJ RCVVGTP TGEQIPKVKQP CTG PQV [GV VJCV OCVWTG +P VJG HQNNQYKPI RCTCITCRJ YG KPVTQFWEG QPG TGEGPV CRRNKECVKQP GZCORNG QH 58/ ENCUUKſGTU KP =?

6JG VCUM VGUVGF KP =? YCU ENCUUKſECVKQP QH RJQPGOG UGIOGPVU VJCV YGTG TGRTGUGPVGF CU UVCVKE HGCVWTG XGEVQTU YJQUG EQORQPGPVU YGTG HQTOCPV CEQWUVKE TGUQPCPEG HTG SWGPE[ XCNWGU QT CXGTCIG EGRUVTCN EQGHſEKGPVU 58/ YCU CRRNKGF VQ VJGUG UVCVKE XGEVQT RCVVGTPU $GECWUG VJG 58/ HQTOCNKUO QTKIKPCNN[ CUUWOGU VJG PWODGT QH ENCUUGU VQ DG VYQ VJGTG CTG VYQ RQUUKDNG EQODKPCVQTKCN HQTOCVKQPU QH ENCUUKſECVKQP VJG őQPG XU QPGŒ HQTOCVKQP CPF VJG őQPG XU CNNŒ HQTOCVKQP +P VJG QPG XU QPG HQTOCVKQP CP 58/DCUGF UWDENCUUKſGT YCU FGUKIPGF HQT GXGT[ RCKT QH VYQ FKHHGTGPV ENCUUGU #P WPMPQYP VGUV UCORNG YCU RTGENCUUKſGF D[ CNN QH VJG FGUKIPGF UWDENCUUKſGTU CPF YCU VJGP ſPCNN[ ENCUUKſGF YKVJ C XQVKPI UEJGOG QXGT VJG UWD ENCUUKſGTU *GTG VJG XQVKPI UEJGOG KU GSWKXCNGPV VQ CXGTCIKPI QXGT RTGFGEKUKQPU +P VJG QPG XU CNN HQTOCVKQP CP 58/DCUGF UWDENCUUKſGT YCU FGUKIPGF HQT GXGT[

RCKT QH C VCTIGV ENCUU CPF TGOCKPKPI ENCUUGU # VGUV UCORNG YCU RTGENCUUKſGF D[ CNN QH VJG UWDENCUUKſGTU CPF VJGP ſPCNN[ GPEQFGF VQ VJG ENCUU JCXKPI VJG NCTIGUV FKUVCPEG HTQO VJG UGRCTCVKPI J[RGTRNCPG +V UJQWNF DG PQVGF VJCV VJKU UGEQPF UEJGOG FQGU PQV KPENWFG VJG GHHGEV QH VJG CXGTCIKPI 6JGUG VYQ V[RGU QH 58/DCUGF ENCUUKſGTU YGTG EQORCTGF VQ C EQPXGPVKQPCN )CWUUKCP OKZVWTG ENCUUKſGT CPF VJG UWRGTKQTKV[ QH VJG QPG XU QPG HQTOCVKQP WUKPI 58/ YCU FGOQPUVTCVGF

6JG CDQXG QPG XU QPG HQTOCVKQP KPEQTRQTCVGF D[ VJG XQVKPI UEJGOG KU C V[RKECN HTCOGYQTM QH FGEKUKQP HWUKQP *QYGXGT KV KU PQV VTKXKCN VQ UJQY VJG UWRGTKQTKV[ QH VJG HTCOGYQTM VJGQTGVKECNN[ #P KORQTVCPV QPIQKPI TGUGCTEJ KUUWG KU JQY VQ CRRN[ VJG 58/DCUGF VYQENCUU ENCUUKſGT VQ OWNVKENCUU URGGEJ RCVVGTP ENCUUKſECVKQP VCUMU

4.4.2.3 Decision Fusion Using Different Classifiers

+P VJG GODQFKOGPVU QH VJG RTGXKQWU UWDUGEVKQPU C UKPING V[RG QH ENCUUKſGT UVTWE VWTG YCU GORNQ[GF (QT GZCORNG CNN QH VJG UWDENCUUKſGTU KP 5GEVKQP CTG RTQVQV[RGDCUGF FKUVCPEG ENCUUKſGTU CPF CNN VJQUG KP 5GEVKQP CTG 58/DCUGF ENCUUKſGTU # FKHHGTGPV V[RG QH ENCUUKſGT EQWNF TGRTGUGPV C FKHHGTGPV V[RG QH ENCUU DQWPFCT[ CEEQTFKPIN[ ENCUUKſECVKQP FGEKUKQPU +P NKIJV QH VJKU CPQVJGT V[RG QH GO DQFKOGPV QH ECUG D KP(KIWTG KG QPG EQODKPKPI FKHHGTGPV V[RGU QH ENCUUKſGTU UWEJ CU *// CPF PGWTCN PGVYQTM JCU DGGP VGUVGF KP CP KORQTVCPV UWDCTGC QH URGGEJ RCVVGTP TGEQIPKVKQP KG URGCMGT TGEQIPKVKQP GI =?

+P =? VJTGG V[RGU QH ENCUUKſGTU YGTG WUGF CP *//DCUGF U[UVGO C &2DCUGF FKUVCPEG ENCUUKſGT CPF C PGWTCN VTGG PGVYQTM U[UVGO YJKEJ KU C JKGTCTEJKECN ENCU UKſGT VJCV WUGU C VTGG CTEJKVGEVWTG VQ KORNGOGPV C UGSWGPVKCN NKPGCT FGEKUKQP UVTCV GI[ 6JTQWIJ EQORTGJGPUKXG GZRGTKOGPVCN GXCNWCVKQPU C DCUKE VGPFGPE[ YCU FGOQP UVTCVGF VJG NCTIGT VJG PWODGT QH UWDENCUUKſGTU KU VJG OQTG CEEWTCVG VJG ſPCN HWUGF ENCUUKſECVKQP FGEKUKQPU CTG #P QXGTXKGY QH VJG FGEKUKQP HWUKQP CRRTQCEJ VQ URGCMGT TGEQIPKVKQP ECP DG HQWPF KP VJG NKVGTCVWTG GI UGG =?

Typical block diagrams of the MSTDNN-based audio-visual speech recognition [7].

4.4.2.4 Decision Fusion Using Multi-modal Classifiers

6JG EQPVTKDWVKQP OGEJCPKUO QH VJG FGEKUKQP HWUKQP ECUG E QH (KIWTG KU DCUK ECNN[ FKHHGTGPV HTQO VJCV QH VJG RTGXKQWU VYQ ECUGU KG C CPF D +P ECUG E VJG FGEKUKQP EQODKPCVKQP KU RGTHQTOGF KP FKHHGTGPV HGCVWTG URCEGU CPF VJWU KVU TGUWNVKPI GHHGEV KU PQV VJG UCOG CU VJG CXGTCIG EQORWVCVKQP KP C UKPING HGCVWTG URCEG +P VJKU OWNVKHGCVWTG ECUG VJG UWDENCUUKſGTU GCEJ FGUKIPGF QXGT C FKHHGTGPV HGCVWTG UGV CTG GZRGEVGF VQ OWVWCNN[ EQORGPUCVG VJG YGCMPGUU QH VJGKT EQORGVKPI UWDENCUUKſGTU YJKNG VJG UWDENCUUKſGTU KP ECUGU C CPF D CTG GZRGEVGF VQ RCTVKEKRCVG VJG CXGTCIKPI QRGTCVKQP KP QTFGT VQ TGFWEG VJG UVCVKUVKECN XCTKCPEG QH VJG KPFKXKFWCN RTGFGEKUKQPU

#OQPI VJG OCP[ RQUUKDKNKVKGU QH VJG FGEKUKQP HWUKQP WUKPI FKHHGTGPV V[RGU QH HGCVWTGU VJG WUG QH C XKUWCN HCEG KOCIG CU YGNN CU KVU EQTTGURQPFKPI CEQWUVKE URGGEJ UKIPCN JCU DGGP TCRKFN[ ITQYKPI CU CP GOGTIKPI TGUGCTEJ VQRKE 2GTHGEV TGEQIPKVKQP QH URGGEJ UKIPCNU KU GUUGPVKCNN[ FKHſEWNV FWG VQ UGXGTCN TGCUQPU UWEJ CU VJG KPEQORNGVGPGUU QH CTVKEWNCVKQP CPF CEQWUVKE FKUVQTVKQP QXGT URGGEJ VTCPUOKUUKQP EJCPPGNU 'XGP HQT JW OCPU JGCTKPI QXGT C VGNGRJQPG KU WUWCNN[ OQTG FKHſEWNV VJCP JGCTKPI KP HCEGVQHCEG EQOOWPKECVKQP RTQDCDN[ FWG VQ VJG NCEM QH HCEG KPHQTOCVKQP +P VJG HQNNQYKPI YG KPVTQFWEG VYQ TGEGPV GZCORNGU QH CWFKQXKUWCN URGGEJ TGEQIPKVKQP VJCV WUGU NKR UJCRG KPHQTOCVKQP KP CFFKVKQP VQ VJG UVCPFCTF QDUGTXCVKQP QH C URGGEJ UKIPCN = ?

$XGLR+00

9LVXDO+00

6WUHDP ZHLJKWV

$XGLR IHDWXUHV

9LVXDO IHDWXUHV

$XGLROLNHOLKRRG

9LVXDOOLNHOLKRRG

&ODVV LQGH[

FIGURE 4.11

Block diagram of the twofold-HMM-based audio-visual speech recognition [21].

+P =? /56&00 ENCUUKſGTU YGTG WUGF VQ ENCUUKH[ CP KPRWV UVTGCO VJCV EQPUKUVGF QH CP CEQWUVKE URGGEJ UKIPCN CPF KVU EQTTGURQPFKPI XKUWCN NKR UJCRG KOCIG UKIPCN $CUGF QP VJG UVTWEVWTCN ƀGZKDKNKV[ QH /56&00 VJGTG CTG UGXGTCN RQUUKDKNKVKGU QH UKIPCN EQODK PCVKQP 6JTGG V[RGU QH EQODKPCVKQP KNNWUVTCVGF KP(KIWTG YGTG CEVWCNN[ GZCO KPGF C FCVC HWUKQP QH EQODKPKPI CWFKQXKUWCN FCVC QP VJG XKUGOGRJQPGOG NC[GT D FCVC HWUKQP QH EQODKPKPI CWFKQXKUWCN FCVC QP JKFFGP NC[GT CPF E FCVC HWUKQP QH EQODKPKPI CWFKQXKUWCN FCVC QP VJG KPRWV NC[GT #OQPI VJGUG KP RTKPEKRNG VJG UVTWE VWTG QH C KU VJG DGUV UWKVGF HQT KPFGRGPFGPV FGUKIP QH VJG VYQ UWDENCUUKſGTU GCEJ HQT C FKHHGTGPV V[RG QH OQFCN FCVC +PFGRGPFGPE[ JGTG CNNQYU QPG VQ ECTGHWNN[ VTCKP GCEJ UWDENCUUKſGT TGƀGEVKPI VJG PCVWTG QH GCEJ OQFCN FCVC KP KVU EQTTGURQPFKPI FGUKIP QH VJG UWDENCUUKſGT %QORTGJGPUKXG GZRGTKOGPVCN GXCNWCVKQPU ENGCTN[ FGOQPUVTCVGF VJG GHHGEV QH VJG FCVC HWUKQP QXGT VJG OWNVKOQFCN FCVC UVTGCO URGEKCNN[ VJG CRRTQCEJ QH WUKPI VJG V[RG C PGVYQTM

+P =? KP RNCEG QH VJG UQECNNGF PGWTCN PGVYQTMU *//ŏU YGTG WUGF CU UWDENCUUKſGTU QPG HQT VJG CEQWUVKE URGGEJ UVTGCO CPF QPG HQT VJG XKUWCN NKR UJCRG UVTGCO +V UJQWNF DG TGECNNGF VJCV *// ECP DG FGſPGF CU C V[RG QH 00 U[UVGO 6JG DNQEM FKCITCO QH VJG ENCUUKſGT WUGF KU KNNWUVTCVGF KP(KIWTG &GUKIP MG[U KP VJKU FCVC HWUKQP UEJGOG CTG VJG UGNGEVKQPU QH FGUKIP OGVJQFU HQT VJG CWFKQ *// VJG XKUWCN *//

CPF VJG UVTGCO YGKIJV VJCV KU WUGF HQT EQODKPKPI VJG QWVRWVU QH VJG VYQ FKHHGTGPV OQFCN *// UWDENCUUKſGTU # EQPXGPVKQPCN UGNGEVKQP QH VJG FGUKIP OGVJQFU HQT VJG CWFKQXKUWCN *// UWDENCUUKſGTU KU VJG /.' OGVJQF CPF CP KOOGFKCVG TGCUQPCDNG UGNGEVKQP HQT VJG UVTGCO YGKIJV KU VJG )2& OGVJQF WUKPI VJG ENCUUKſECVKQP GTTQT NQUU 6JTQWIJ GZRGTKOGPVCN GXCNWCVKQPU KP C URGCMGTKPFGRGPFGPV KUQNCVGF YQTF TGEQIPK VKQP VCUM VJG CWVJQTU FGOQPUVTCVGF VJCV WUKPI )2& VTCKPKPI HQT CNN VJTGG VTCKPCDNG OQFWNGU KG VJG CWFKQ *// UWDENCUUKſGT VJG XKUWCN *// UWDENCUUKſGT CPF VJG UVTGCO YGKIJV CEJKGXGF C UKIPKſECPV GTTQT TGFWEVKQP WR VQ QXGT VJG ENCUUKſGT

KP YJKEJ VYQ UWDENCUUKſGTU YGTG VTCKPGF YKVJ VJG /.' OGVJQF