Variable selection for model-based clustering using the integrated complete-data likelihood

HAL Id: hal-01108878

https://hal.archives-ouvertes.fr/hal-01108878v2

Preprint submitted on 26 Jan 2015

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Variable selection for model-based clustering using the integrated complete-data likelihood

Matthieu Marbac, Mohammed Sedki

To cite this version:

Matthieu Marbac, Mohammed Sedki. Variable selection for model-based clustering using the inte-

grated complete-data likelihood. 2015. �hal-01108878v2�

❱❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥ ❢♦r ♠♦❞❡❧✲❜❛s❡❞ ❝❧✉st❡r✐♥❣

✉s✐♥❣ t❤❡ ✐♥t❡❣r❛t❡❞ ❝♦♠♣❧❡t❡✲❞❛t❛ ❧✐❦❡❧✐❤♦♦❞

▼❛tt❤✐❡✉ ▼❛r❜❛❝

■◆❙❊❘▼✱ ❈❊❙P✱ ❯✶✶✽✶

▼♦❤❛♠♠❡❞ ❙❡❞❦✐ ❛♥❞

❯♥✐✈❡r✐st② P❛r✐s ❙✉❞ ❛♥❞ ■◆❙❊❘▼✱ ❈❊❙P✱ ❯✶✶✽✶

❏❛♥✉❛r② ✷✻✱ ✷✵✶✺

❆❜str❛❝t

❱❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥ ✐♥ ❝❧✉st❡r ❛♥❛❧②s✐s ✐s ✐♠♣♦rt❛♥t ②❡t ❝❤❛❧❧❡♥❣✐♥❣✳ ■t ❝❛♥ ❜❡

❛❝❤✐❡✈❡❞ ❜② r❡❣✉❧❛r✐③❛t✐♦♥ ♠❡t❤♦❞s✱ ✇❤✐❝❤ r❡❛❧✐③❡ ❛ tr❛❞❡✲♦✛ ❜❡t✇❡❡♥ t❤❡ ❝❧✉st❡r✐♥❣

❛❝❝✉r❛❝② ❛♥❞ t❤❡ ♥✉♠❜❡r ♦❢ s❡❧❡❝t❡❞ ✈❛r✐❛❜❧❡s ❜② ✉s✐♥❣ ❛ ❧❛ss♦✲t②♣❡ ♣❡♥❛❧t②✳ ❍♦✇✲

❡✈❡r✱ t❤❡ ❝❛❧✐❜r❛t✐♦♥ ♦❢ t❤❡ ♣❡♥❛❧t② t❡r♠ ❝❛♥ s✉✛❡r ❢r♦♠ ❝r✐t✐❝✐s♠s✳ ▼♦❞❡❧ s❡❧❡❝t✐♦♥

♠❡t❤♦❞s ❛r❡ ❛♥ ❡✣❝✐❡♥t ❛❧t❡r♥❛t✐✈❡✱ ②❡t t❤❡② r❡q✉✐r❡ ❛ ❞✐✣❝✉❧t ♦♣t✐♠✐③❛t✐♦♥ ♦❢ ❛♥

✐♥❢♦r♠❛t✐♦♥ ❝r✐t❡r✐♦♥ ✇❤✐❝❤ ✐♥✈♦❧✈❡s ❝♦♠❜✐♥❛t♦r✐❛❧ ♣r♦❜❧❡♠s✳ ❋✐rst✱ ♠♦st ♦❢ t❤❡s❡ ♦♣✲

t✐♠✐③❛t✐♦♥ ❛❧❣♦r✐t❤♠s ❛r❡ ❜❛s❡❞ ♦♥ ❛ s✉❜♦♣t✐♠❛❧ ♣r♦❝❡❞✉r❡ ✭❡✳❣✳ st❡♣✇✐s❡ ♠❡t❤♦❞✮✳

❙❡❝♦♥❞✱ t❤❡ ❛❧❣♦r✐t❤♠s ❛r❡ ♦❢t❡♥ ❣r❡❡❞② ❜❡❝❛✉s❡ t❤❡② ♥❡❡❞ ♠✉❧t✐♣❧❡ ❝❛❧❧s ♦❢ ❊▼ ❛❧❣♦✲

r✐t❤♠s✳ ❍❡r❡ ✇❡ ♣r♦♣♦s❡ t♦ ✉s❡ ❛ ♥❡✇ ✐♥❢♦r♠❛t✐♦♥ ❝r✐t❡r✐♦♥ ❜❛s❡❞ ♦♥ t❤❡ ✐♥t❡❣r❛t❡❞

❝♦♠♣❧❡t❡✲❞❛t❛ ❧✐❦❡❧✐❤♦♦❞✳ ■t ❞♦❡s ♥♦t r❡q✉✐r❡ ❛♥② ❡st✐♠❛t❡ ❛♥❞ ✐ts ♠❛①✐♠✐③❛t✐♦♥ ✐s s✐♠♣❧❡ ❛♥❞ ❝♦♠♣✉t❛t✐♦♥❛❧❧② ❡✣❝✐❡♥t✳ ❚❤❡ ♦r✐❣✐♥❛❧ ❝♦♥tr✐❜✉t✐♦♥ ♦❢ ♦✉r ❛♣♣r♦❛❝❤ ✐s t♦

♣❡r❢♦r♠ t❤❡ ♠♦❞❡❧ s❡❧❡❝t✐♦♥ ✇✐t❤♦✉t r❡q✉✐r✐♥❣ ❛♥② ♣❛r❛♠❡t❡r ❡st✐♠❛t✐♦♥✳ ❚❤❡♥✱ ♣❛✲

r❛♠❡t❡r ✐♥❢❡r❡♥❝❡ ✐s ♥❡❡❞❡❞ ♦♥❧② ❢♦r t❤❡ ✉♥✐q✉❡ s❡❧❡❝t❡❞ ♠♦❞❡❧✳ ❚❤✐s ❛♣♣r♦❛❝❤ ✐s ✉s❡❞

❢♦r t❤❡ ✈❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥ ♦❢ ❛ ●❛✉ss✐❛♥ ♠✐①t✉r❡ ♠♦❞❡❧ ✇✐t❤ ❝♦♥❞✐t✐♦♥❛❧ ✐♥❞❡♣❡♥❞❡♥❝❡

❛ss✉♠♣t✐♦♥✳ ❚❤❡ ♥✉♠❡r✐❝❛❧ ❡①♣❡r✐♠❡♥ts ♦♥ s✐♠✉❧❛t❡❞ ❛♥❞ ❜❡♥❝❤♠❛r❦ ❞❛t❛s❡ts s❤♦✇

t❤❛t t❤❡ ♣r♦♣♦s❡❞ ♠❡t❤♦❞ ♦❢t❡♥ ♦✉t♣❡r❢♦r♠s t✇♦ ❝❧❛ss✐❝❛❧ ❛♣♣r♦❛❝❤❡s ❢♦r ✈❛r✐❛❜❧❡

s❡❧❡❝t✐♦♥✳

❑❡②✇♦r❞s✿ ●❛✉ss✐❛♥ ♠✐①t✉r❡ ♠♦❞❡❧❀ ■♥❢♦r♠❛t✐♦♥ ❝r✐t❡r✐❛❀ ■♥t❡❣r❛t❡❞ ❝♦♠♣❧❡t❡✲❞❛t❛ ❧✐❦❡❧✐✲

❤♦♦❞❀ ▼♦❞❡❧✲❜❛s❡❞ ❝❧✉st❡r✐♥❣❀ ❱❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥✳

✶

✶ ■♥tr♦❞✉❝t✐♦♥

❈❧✉st❡r✐♥❣ ❛❧❧♦✇s ✉s t♦ s✉♠♠❛r✐③❡ ❧❛r❣❡ ❞❛t❛s❡ts ❜② ❣r♦✉♣✐♥❣ ✐♥❞✐✈✐❞✉❛❧s ✐♥t♦ ❢❡✇ ❝❤❛r❛❝✲

t❡r✐st✐❝ ❝❧❛ss❡s✳ ■t ❛✐♠s t♦ ❞✐s❝♦✈❡r ❛♥ ❛ ♣r✐♦r✐ ✉♥❦♥♦✇♥ ♣❛rt✐t✐♦♥ ❛♠♦♥❣ t❤❡ ✐♥❞✐✈✐❞✉❛❧s✳

■♥ ♠❛♥② ❝❛s❡s✱ t❤✐s ♣❛rt✐t✐♦♥ ♠❛② ❜❡ ❜❡st ❡①♣❧❛✐♥❡❞ ❜② ♦♥❧② ❛ s✉❜s❡t ♦❢ t❤❡ ♦❜s❡r✈❡❞ ✈❛r✐✲

❛❜❧❡s✳ ❙♦✱ ❜② ♣❡r❢♦r♠✐♥❣ t❤❡ ✈❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥ ✐♥ t❤❡ ❝❧✉st❡r ❛♥❛❧②s✐s✱ ❜♦t❤ ♠♦❞❡❧ ✜tt✐♥❣

❛♥❞ r❡s✉❧t ✐♥t❡r♣r❡t❛t✐♦♥ ❛r❡ ❢❛❝✐❧✐t❛t❡❞✳ ■♥❞❡❡❞✱ ❢♦r ❛ ✜①❡❞ s❛♠♣❧❡ s✐③❡✱ ❛ ✈❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥

♠❡t❤♦❞ ❝❛♥ ♣r♦✈✐❞❡ ❛ ♠♦r❡ ❛❝❝✉r❛t❡ ✐❞❡♥t✐✜❝❛t✐♦♥ ♦❢ t❤❡ ❝❧❛ss❡s✳ ▼♦r❡♦✈❡r✱ s✉❝❤ ♠❡t❤♦❞s

❜r✐♥❣ ♦✉t t❤❡ ✈❛r✐❛❜❧❡s ✇❤✐❝❤ ❛r❡ ❞✐s❝r✐♠✐♥❛t✐✈❡✳

❘❡❣✉❧❛r✐③❛t✐♦♥ ♠❡t❤♦❞s ❝❛♥ ❜❡ ✉s❡❞ t♦ ❛❝❤✐❡✈❡ ✈❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥ ✐♥ ❝❧✉st❡r✐♥❣✳ ❖♥❡ ❝❛♥

❝✐t❡ t❤❡ ❛♣♣r♦❛❝❤❡s ♦❢ ❋r✐❡❞♠❛♥✱ ❏✳❍✳ ❛♥❞ ▼❡✉❧♠❛♥✱ ❏✳❏✳ ✭✷✵✵✹✮ ♦r P❛♥✱ ❲✳ ❛♥❞ ❙❤❡♥✱ ❳✳

✭✷✵✵✼✮✳ ❘❡❝❡♥t❧②✱ t❤❡s❡ ♠❡t❤♦❞s ❤❛✈❡ ❜❡❡♥ ♦✉t♣❡r❢♦r♠❡❞ ❜② t❤❡ s♣❛rs❡ ❑✲♠❡❛♥s ♣r♦♣♦s❡❞

❜② ❲✐tt❡♥ ❛♥❞ ❚✐❜s❤✐r❛♥✐ ✭✷✵✶✵✮✳ ■t ✉s❡s ❛ ❧❛ss♦✲t②♣❡ ♣❡♥❛❧t② t♦ s❡❧❡❝t t❤❡ s❡t ♦❢ ✈❛r✐❛❜❧❡s r❡❧❡✈❛♥t t♦ ❝❧✉st❡r✐♥❣✳ ❙✐♥❝❡ ✐t r❡q✉✐r❡s s♠❛❧❧ ❝♦♠♣✉t❛t✐♦♥❛❧ t✐♠❡s✱ ✐t ❝❛♥ ♠❛♥❛❣❡ ❤✐❣❤✲

❞✐♠❡♥s✐♦♥❛❧ ❞❛t❛s❡ts✳ ❍♦✇❡✈❡r✱ ❧✐❦❡ t❤❡ ❝❧❛ss✐❝❛❧ ❑✲♠❡❛♥s✱ ✐t ♠❛❦❡s ❤✐❞❞❡♥ ❛ss✉♠♣t✐♦♥s

♦♥ t❤❡ ❞❛t❛ ❞✐str✐❜✉t✐♦♥ ✭●♦✈❛❡rt✱ ✷✵✵✾✮✳ ▼♦r❡♦✈❡r✱ t❤❡ s❡❧❡❝t✐♦♥ ♦❢ t❤❡ ♥✉♠❜❡r ♦❢ ❝❧❛ss❡s

✐s ❛ ❞✐✣❝✉❧t ✐ss✉❡ s✐♥❝❡ ♣r♦❜❛❜✐❧✐st✐❝ t♦♦❧s ❛r❡ ♥♦t ❛✈❛✐❧❛❜❧❡✳ ❋✐♥❛❧❧②✱ ✐ts r❡s✉❧ts ❛r❡ s❡♥s✐t✐✈❡

t♦ str✉❝t✉r❡ ♦❢ t❤❡ ♣❡♥❛❧t② t❡r♠✳

▼♦❞❡❧ s❡❧❡❝t✐♦♥ ❛♣♣r♦❛❝❤❡s ❝❛♥ ❜❡ ✉s❡❞ t♦ ❝❛rr② ♦✉t t❤❡ ✈❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥ ✐♥ ❛ ♣r♦❜❛✲

❜✐❧✐st✐❝ ❢r❛♠❡✇♦r❦✳ ❚❛❞❡ss❡✱ ▼✳●✳ ❛♥❞ ❙❤❛✱ ◆✳ ❛♥❞ ❱❛♥♥✉❝❝✐✱ ▼✳ ✭✷✵✵✺✮ ❝♦♥s✐❞❡r t✇♦ t②♣❡s

♦❢ ✈❛r✐❛❜❧❡s✿ t❤❡ s❡t ♦❢ t❤❡ r❡❧❡✈❛♥t ✈❛r✐❛❜❧❡s ❛♥❞ t❤❡ s❡t ♦❢ t❤❡ ✐rr❡❧❡✈❛♥t ✈❛r✐❛❜❧❡s ✇❤✐❝❤

❛r❡ ✐♥❞❡♣❡♥❞❡♥t ♦❢ t❤❡ r❡❧❡✈❛♥t ♦♥❡s✳ ❚❤✐s ♠❡t❤♦❞ ❤❛s ❜❡❡♥ ❡①t❡♥❞❡❞ ❜② ❘❛❢t❡r② ❛♥❞ ❉❡❛♥

✭✷✵✵✻✮ ❜② ✉s✐♥❣ ❛ ❣r❡❡❞② s❡❛r❝❤ ❛❧❣♦r✐t❤♠ t♦ ✜♥❞ t❤❡ s❡t ♦❢ r❡❧❡✈❛♥t ✈❛r✐❛❜❧❡s✳ ❖❜✈✐♦✉s❧②✱

t❤✐s ❛❧❣♦r✐t❤♠ ✜♥❞s ♦♥❧② ❛ ❧♦❝❛❧ ♦♣t✐♠✉♠ ✐♥ t❤❡ s♣❛❝❡ ♦❢ ♠♦❞❡❧s✳ ■t ✐s ❢❡❛s✐❜❧❡ ❢♦r q✉✐t❡

❧❛r❣❡ ❞❛t❛s❡ts ❜❡❝❛✉s❡ ♦❢ ✐ts ♠♦❞❡r❛t❡ ❝♦♠♣✉t✐♥❣ t✐♠❡✳ ❙t✐❧❧✱ t❤✐s ♠❡t❤♦❞ r❡♠❛✐♥s t✐♠❡

❝♦♥s✉♠✐♥❣ s✐♥❝❡ t❤❡ ♠♦❞❡❧ ❝♦♠♣❛r✐s♦♥s ❛r❡ ♣❡r❢♦r♠❡❞ ❜② ✉s✐♥❣ t❤❡ ❇■❈ ❝r✐t❡r✐♦♥ ✭❙❝❤✇❛r③✱

✶✾✼✽✮✳ ❚❤❡r❡❢♦r❡✱ t❤❡ ♠❛①✐♠✉♠ ❧✐❦❡❧✐❤♦♦❞ ❡st✐♠❛t❡ ✐s ❝♦♠♣✉t❡❞ ❢♦r ❡❛❝❤ ♦❢ t❤❡ ❝♦♠♣❡t✐♥❣

♠♦❞❡❧s✳ ❚❤❡s❡ ❡st✐♠❛t❡s ❛r❡ ♠❛✐♥❧② ✐♥str✉♠❡♥t❛❧ s✐♥❝❡ t❤❡ ♣r❛❝t✐t✐♦♥❡r ✐♥t❡r♣r❡ts ♦♥❧② t❤❡

❡st✐♠❛t❡ r❡❧❛t❡❞ t♦ t❤❡ ❜❡st ♠♦❞❡❧✳

■♥ t❤✐s ♣❛♣❡r✱ ✇❡ ♣r♦♣♦s❡ ❛ ♥❡✇ ✐♥❢♦r♠❛t✐♦♥ ❝r✐t❡r✐♦♥✱ ♥❛♠❡❞ ▼■❈▲ ❝r✐t❡r✐♦♥ ✭▼❛①✐✲

♠✉♠ ■♥t❡❣r❛t❡❞ ❈♦♠♣❧❡t❡✲❞❛t❛ ▲✐❦❡❧✐❤♦♦❞✮✱ ❢♦r ✈❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥ ✐♥ ♠♦❞❡❧✲❜❛s❡❞ ❝❧✉st❡r✲

✐♥❣✳ ❚❤✐s ❝r✐t❡r✐♦♥ ✐s s✐♠✐❧❛r t♦ t❤❡ ■❈▲ ❝r✐t❡r✐♦♥ ✭❇✐❡r♥❛❝❦✐✱ ❈✳ ❛♥❞ ❈❡❧❡✉①✱ ●✳ ❛♥❞ ●♦✈❛❡rt✱

●✳✱ ✷✵✶✵✮✱ ❛♥❞ ✐t ✐♥❤❡r✐ts ✐ts ♠❛✐♥ ♣r♦♣❡rt✐❡s✳ ❍♦✇❡✈❡r✱ t❤❡s❡ t✇♦ ❝r✐t❡r✐❛ ❡✈❛❧✉❛t❡ t❤❡ ✐♥✲

✷

t❡❣r❛t❡❞ ❝♦♠♣❧❡t❡✲❞❛t❛ ❧✐❦❡❧✐❤♦♦❞ ❛t t✇♦ ❞✐✛❡r❡♥t ♣❛rt✐t✐♦♥s✳ ❚❤❡ ▼■❈▲ ❝r✐t❡r✐♦♥ ✉s❡s t❤❡

♣❛rt✐t✐♦♥ ♠❛①✐♠✐③✐♥❣ t❤✐s ❢✉♥❝t✐♦♥✱ ✇❤✐❧❡ t❤❡ ■❈▲ ❝r✐t❡r✐♦♥ ✉s❡s t❤❡ ♣❛rt✐t✐♦♥ ♣r♦✈✐❞❡❞ ❜②

❛ ▼❆P r✉❧❡ ❛ss♦❝✐❛t❡❞ t♦ t❤❡ ♠❛①✐♠✉♠ ❧✐❦❡❧✐❤♦♦❞ ❡st✐♠❛t❡✳

■♥ t❤✐s ❛rt✐❝❧❡✱ ✇❡ ❢♦❝✉s ♦♥ ✈❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥ ❢♦r ❛ ●❛✉ss✐❛♥ ♠✐①t✉r❡ ♠♦❞❡❧ ✇✐t❤ ❛

❝♦♥❞✐t✐♦♥❛❧ ✐♥❞❡♣❡♥❞❡♥❝❡ ❛ss✉♠♣t✐♦♥✱ ❜✉t t❤❡ ♠❡t❤♦❞ ❝❛♥ ❜❡ ❡①t❡♥❞❡❞ t♦ ♠♦r❡ ❣❡♥❡r❛❧

♠✐①t✉r❡ ♠♦❞❡❧s✳ ◆♦t❡ t❤❛t t❤✐s ♠♦❞❡❧ ✐s ✉s❡❢✉❧ ❡s♣❡❝✐❛❧❧② ✇❤❡♥ t❤❡ ♥✉♠❜❡r ♦❢ ✈❛r✐❛❜❧❡s ✐s

❧❛r❣❡ ✭❍❛♥❞ ❛♥❞ ❑❡♠✐♥❣✱ ✷✵✵✶✮✳ ❚❤❡ ▼■❈▲ ❝r✐t❡r✐♦♥ t❛❦❡s ❛❞✈❛♥t❛❣❡ ♦❢ t❤❡ ❝❧♦s❡❞ ❢♦r♠

♦❢ t❤❡ ✐♥t❡❣r❛t❡❞ ❝♦♠♣❧❡t❡✲❞❛t❛ ❧✐❦❡❧✐❤♦♦❞ ✇❤❡♥ t❤❡ ♣r✐♦rs ❛r❡ ❝♦♥❥✉❣❛t❡❞✳ ❚❤❡ ♠♦❞❡❧

s❡❧❡❝t✐♦♥ ✐s ❝❛rr✐❡❞ ♦✉t ❜② ❛ s✐♠♣❧❡ ❛♥❞ ❢❛st ♣r♦❝❡❞✉r❡ ❜❛s❡❞ ♦♥ ❛❧t❡r♥❛t✐✈❡ ♠❛①✐♠✐③❛t✐♦♥s✱

✇❤✐❝❤ ♣r♦✈✐❞❡s t❤❡ ♠♦❞❡❧ ♠❛①✐♠✐③✐♥❣ t❤❡ ▼■❈▲ ❝r✐t❡r✐♦♥✳

❚❤❡ ♣r♦♣♦s❡❞ ♠❡t❤♦❞ ❛♥❞ t❤❡ ♠❡t❤♦❞s ♦❢ ❲✐tt❡♥ ❛♥❞ ❚✐❜s❤✐r❛♥✐ ✭✷✵✶✵✮✱ ❛♥❞ ♦❢ ❘❛❢t❡r②

❛♥❞ ❉❡❛♥ ✭✷✵✵✻✮ ❛r❡ ❝♦♠♣❛r❡❞ ♦♥ s✐♠✉❧❛t❡❞ ❛♥❞ ♦♥ ❝❤❛❧❧❡♥❣✐♥❣ r❡❛❧ ❞❛t❛s❡ts✳ ❲❡ s❤♦✇

t❤❛t t❤❡ ♣r♦♣♦s❡❞ ♠❡t❤♦❞ ♦✉t♣❡r❢♦r♠s ❜♦t❤ ♦t❤❡r ♠❡t❤♦❞s ✐♥ t❡r♠s ♦❢ ♠♦❞❡❧ s❡❧❡❝t✐♦♥ ❛♥❞

♣❛rt✐t✐♦♥✐♥❣ ❛❝❝✉r❛❝②✳ ■t ♦❢t❡♥ ♣r♦✈✐❞❡s ❛ ♠♦❞❡❧ ✇✐t❤ ❛ ❜❡tt❡r ✈❛❧✉❡ ♦❢ t❤❡ ❇■❈ ❝r✐t❡r✐♦♥

t❤❛♥ t❤❡ ❛❧❣♦r✐t❤♠ ♦❢ ❘❛❢t❡r② ❛♥❞ ❉❡❛♥ ✭✷✵✵✻✮✱ ❛❧t❤♦✉❣❤ ✐t ❞♦❡s ♥♦t ❞✐r❡❝t❧② ♦♣t✐♠✐③❡ t❤✐s

❝r✐t❡r✐♦♥✳ ❋✐♥❛❧❧②✱ ✇❡ s❤♦✇ t❤❛t t❤❡ ♣r♦♣♦s❡❞ ♠❡t❤♦❞ ❝❛♥ ♠❛♥❛❣❡ ❞❛t❛s❡ts ✇✐t❤ ❛ ❧❛r❣❡

♥✉♠❜❡r ♦❢ ✈❛r✐❛❜❧❡s ❛♥❞ ❛ ♠♦❞❡r❛t❡❧② ❧❛r❣❡ ♥✉♠❜❡r ♦❢ ✐♥❞✐✈✐❞✉❛❧s✳

❚❤❡ ♣❛♣❡r ✐s ♦r❣❛♥✐③❡❞ ❛s ❢♦❧❧♦✇s✳ ❙❡❝t✐♦♥ ✷ ❜r✐❡✢② r❡✈✐❡✇s t❤❡ ❢r❛♠❡✇♦r❦ ♦❢ ✈❛r✐❛❜❧❡

s❡❧❡❝t✐♦♥ ❢♦r t❤❡ ●❛✉ss✐❛♥ ♠✐①t✉r❡ ♠♦❞❡❧✳ ❆ ♣r❡s❡♥t❛t✐♦♥ ♦❢ t❤❡ ✐♥t❡❣r❛t❡❞ ❝♦♠♣❧❡t❡✲❞❛t❛

❧✐❦❡❧✐❤♦♦❞ ✐s ❞♦♥❡ ✐♥ ❙❡❝t✐♦♥ ✸ ❜❡❢♦r❡ ✐♥tr♦❞✉❝✐♥❣ t❤❡ ▼■❈▲ ❝r✐t❡r✐♦♥✳ ❙❡❝t✐♦♥ ✹ ✐s ❞❡✈♦t❡❞

t♦ t❤❡ ✐♥❢❡r❡♥❝❡ ❜❛s❡❞ ♦♥ t❤❡ ▼■❈▲ ❝r✐t❡r✐♦♥✳ ❙❡❝t✐♦♥ ✺ ✐❧❧✉str❛t❡s t❤❡ r♦❜✉st♥❡ss ♣r♦♣❡rt✐❡s

♦❢ t❤❡ ▼■❈▲ ❝r✐t❡r✐♦♥ ❛♥❞ ❝♦♠♣❛r❡s t❤❡ t❤r❡❡ ♠❡t❤♦❞s ♦❢ ✈❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥ ♦♥ s✐♠✉❧❛t❡❞

❞❛t❛✳ ❙❡❝t✐♦♥ ✻ ❝♦♠♣❛r❡s t❤❡ t❤r❡❡ ♠❡t❤♦❞s ♦❢ ✈❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥ ♦♥ ❝❤❛❧❧❡♥❣✐♥❣ ❞❛t❛s❡ts✳

❚❤❡ ❛❞✈❛♥t❛❣❡s ❛♥❞ ❧✐♠✐t❛t✐♦♥s ♦❢ t❤❡ ♠❡t❤♦❞ ❛r❡ ❞✐s❝✉ss❡❞ ✐♥ ❙❡❝t✐♦♥ ✼✳

✷ ❱❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥ ❢♦r ●❛✉ss✐❛♥ ♠✐①t✉r❡ ♠♦❞❡❧

✷✳✶ ▼✐①t✉r❡ ♠♦❞❡❧ ♦❢ ●❛✉ss✐❛♥ ❞✐str✐❜✉t✐♦♥s

❉❛t❛ t♦ ❛♥❛❧②s❡ ❛r❡ n ♦❜s❡r✈❛t✐♦♥s x = (x

₁

, . . . , x

_n

) ✱ ✇❤❡r❡ ♦❜❥❡❝t x

_i

= (x

_i1

, . . . , x

_id

) ✐s

❞❡s❝r✐❜❡❞ ❜② d ❝♦♥t✐♥✉♦✉s ✈❛r✐❛❜❧❡s ❞❡✜♥❡❞ ♦♥ R

^d

✳ ❖❜s❡r✈❛t✐♦♥s ❛r❡ ❛ss✉♠❡❞ t♦ ❛r✐s❡

✐♥❞❡♣❡♥❞❡♥t❧② ❢r♦♠ ❛ ●❛✉ss✐❛♥ ♠✐①t✉r❡ ♠♦❞❡❧ ✇✐t❤ g ❝♦♠♣♦♥❡♥ts✱ ❛ss✉♠✐♥❣ ❝♦♥❞✐t✐♦♥❛❧

✸

✐♥❞❡♣❡♥❞❡♥❝❡ ❜❡t✇❡❡♥ ✈❛r✐❛❜❧❡s✳ ❚❤❡r❡❢♦r❡✱ t❤❡ ♠♦❞❡❧ ❞❡♥s✐t② ✐s

f(x

i

|m, θ) = X

g

k=1

π

k

Y

d j=1

φ(x

ij

|µ

_kj

, σ

²_kj

), ✭✶✮

✇❤❡r❡ m s♣❡❝✐✜❡s t❤❡ ♠♦❞❡❧✱ θ = ( µ , σ , π ) ✐s t❤❡ ✇❤♦❧❡ ♣❛r❛♠❡t❡r ✈❡❝t♦r✱ π = (π

1

, . . . , π

g

)

✐s t❤❡ ✈❡❝t♦r ♦❢ ♠✐①✐♥❣ ♣r♦♣♦rt✐♦♥ ❞❡✜♥❡❞ ♦♥ t❤❡ s✐♠♣❧❡① ♦❢ s✐③❡ g✱ µ = (µ

kj

; k = 1, . . . , g; j = 1, . . . , d) ✱ σ = (σ

_kj

; k = 1, . . . , g; j = 1, . . . , d) ✱ ❛♥❞ φ(.|µ

_kj

, σ

_kj²

) ✐s t❤❡ ❞❡♥s✐t② ♦❢ ❛ ✉♥✐✈❛r✐❛t❡

●❛✉ss✐❛♥ ❞✐str✐❜✉t✐♦♥ ✇✐t❤ ♠❡❛♥ µ

kj

❛♥❞ ✈❛r✐❛♥❝❡ σ

_kj²

✳

❆ ✈❛r✐❛❜❧❡ ✐s s❛✐❞ t♦ ❜❡ ✐rr❡❧❡✈❛♥t t♦ t❤❡ ❝❧✉st❡r✐♥❣ ✐❢ ✐ts ♦♥❡✲❞✐♠❡♥s✐♦♥❛❧ ♠❛r❣✐♥❛❧

❞✐str✐❜✉t✐♦♥s ❛r❡ ❡q✉❛❧ ❜❡t✇❡❡♥ ❝❧❛ss❡s✳ ❚❤✉s✱ ❜② ✐♥tr♦❞✉❝✐♥❣ ω

j

s✉❝❤ t❤❛t ω

j

= 1 ✐❢

✈❛r✐❛❜❧❡ j ✐s ✐rr❡❧❡✈❛♥t ❛♥❞ ω

j

= 0 ♦t❤❡r✇✐s❡✱ t❤❡ ❢♦❧❧♦✇✐♥❣ ❡q✉❛❧✐t✐❡s ❤♦❧❞✿

∀j ∈ {j

^′

: ω

j^′

= 1}, µ

_1j

= . . . = µ

gj

❛♥❞ σ

1j

= . . . = σ

gj

. ✭✷✮

❚❤✉s✱ ❛ ♠♦❞❡❧ m = (g, ω) ✐s ❞❡✜♥❡❞ ❜② ❛ ♥✉♠❜❡r ♦❢ ❝♦♠♣♦♥❡♥ts g ❛♥❞ t❤❡ ❜✐♥❛r② ✈❡❝t♦r ω = (ω

_j

; j = 1, . . . , d) ✇❤✐❝❤ ❡♥❝♦❞❡s ✇❤❡t❤❡r ❡❛❝❤ ♦❢ d ♣♦ss✐❜❧❡ ✈❛r✐❛❜❧❡s ❛r❡ r❡❧❡✈❛♥t t♦

t❤❡ ❝❧✉st❡r✐♥❣✳

✷✳✷ ▼♦❞❡❧ s❡❧❡❝t✐♦♥ ❜❛s❡❞ ♦♥ t❤❡ ✐♥t❡❣r❛t❡❞ ❧✐❦❡❧✐❤♦♦❞

▼♦❞❡❧ s❡❧❡❝t✐♦♥ ❣❡♥❡r❛❧❧② ❛✐♠s t♦ ✜♥❞ t❤❡ ♠♦❞❡❧ m ˆ ✇❤✐❝❤ ♦❜t❛✐♥s t❤❡ ❤✐❣❤❡st ♣♦st❡r✐♦r

♣r♦❜❛❜✐❧✐t② ❛♠♦♥❣ ❛ ❝♦❧❧❡❝t✐♦♥ ♦❢ ❝♦♠♣❡t✐♥❣ ♠♦❞❡❧s M ✳ ❙♦✱

ˆ

m = arg max

m∈M

p(m| x ). ✭✸✮

❚❤✐s ♠♦❞❡❧ s❡❧❡❝t✐♦♥ ❛♣♣r♦❛❝❤ ✐s ❝♦♥s✐st❡♥t s✐♥❝❡ m ˆ ❝♦♥✈❡r❣❡s ✐♥ ♣r♦❜❛❜✐❧✐t② t♦ t❤❡ tr✉❡

♠♦❞❡❧ m

⁽⁰⁾

❛s ❧♦♥❣ ❛s t❤❡ tr✉❡ ♠♦❞❡❧ ❜❡❧♦♥❣s t♦ t❤❡ ♠♦❞❡❧ s♣❛❝❡ ✭✐✳❡✳ ✐❢ m

⁽⁰⁾

∈ M ✮✳

❇② ❛ss✉♠✐♥❣ ✉♥✐❢♦r♠✐t② ❢♦r t❤❡ ♣r✐♦r ❞✐str✐❜✉t✐♦♥ ♦❢ m ✱ m ˆ ♠❛①✐♠✐③❡s t❤❡ ✐♥t❡❣r❛t❡❞

❧✐❦❡❧✐❤♦♦❞ ❞❡✜♥❡❞ ❜②

ˆ

m = arg max

m∈M

p( x |m) ✇✐t❤ p( x |m) = Z

Θm

p( x |m, θ)p(θ|m)dθ, ✭✹✮

✇❤❡r❡ Θ

_m

✐s t❤❡ ♣❛r❛♠❡t❡r s♣❛❝❡ ♦❢ ♠♦❞❡❧ m ✱ p( x |m, θ) = Q

n

i=1

f (x

i

|m, θ) ✐s t❤❡ ❧✐❦❡✲

❧✐❤♦♦❞ ❢✉♥❝t✐♦♥ ❛♥❞ p(θ|m) ✐s t❤❡ ♣r✐♦r ❞✐str✐❜✉t✐♦♥ ♦❢ t❤❡ ♣❛r❛♠❡t❡rs✳ ❲❡ ❛ss✉♠❡ ✐♥❞❡✲

✹

♣❡♥❞❡♥❝❡ ❜❡t✇❡❡♥ t❤❡ ♣r✐♦r✱ s♦

p(θ|m) = p(π|m) Y

d j=1

p(σ

²_•j

, µ

_•j

|m), ✭✺✮

✇❤❡r❡ σ

²_•j

= (σ

_kj²

; k = 1, . . . , g) ❛♥❞ µ

²_•j

= (µ

²_kj

; k = 1, . . . , g) ✱ ❛♥❞

p(σ

²_•j

, µ

_•j

|m) = Y

^g

k=1

p(σ

²_kj

|m)p(µ

_kj

|m, σ

²_kj

)

1−ωj

p(σ

²_1j

|m)p(µ

_1j

|m, σ

_1j²

)

ωj

. ✭✻✮

❲❡ ✉s❡ ❝♦♥❥✉❣❛t❡ ♣r✐♦r ❞✐str✐❜✉t✐♦♥s✱ t❤✉s π|m ❢♦❧❧♦✇s ❛ ❉✐r✐❝❤❧❡t ❞✐str✐❜✉t✐♦♥ D

g

(

¹₂

, . . . ,

¹₂

)

✇❤✐❝❤ ✐s t❤❡ ❏❡✛r❡②s ♥♦♥ ✐♥❢♦r♠❛t✐✈❡ ♣r✐♦r ✭❘♦❜❡rt✱ ✷✵✵✼✮✳ ▼♦r❡♦✈❡r✱ σ

_kj²

|m ❢♦❧❧♦✇s ❛♥

■♥✈❡rs❡✲●❛♠♠❛ ❞✐str✐❜✉t✐♦♥ IG(α

j

/2, β

_j²

/2) ❛♥❞ µ

kj

|m, σ

_kj²

❢♦❧❧♦✇s ❛ ●❛✉ss✐❛♥ ❞✐str✐❜✉t✐♦♥

N (λ

_j

, σ

_kj²

/δ

_j

) ✱ ✇❤❡r❡ (α

_j

, β

_j

, λ

_j

, δ

_j

) ❛r❡ ❤②♣❡r✲♣❛r❛♠❡t❡rs✳

❯♥❢♦rt✉♥❛t❡❧②✱ t❤❡ ✐♥t❡❣r❛t❡❞ ❧✐❦❡❧✐❤♦♦❞ ✐s ✐♥tr❛❝t❛❜❧❡✳ ❍♦✇❡✈❡r✱ ♠❛♥② ♠❡t❤♦❞s ♣❡r♠✐t t♦ ❛♣♣r♦①✐♠❛t❡ ✐ts ✈❛❧✉❡ ✭❋r✐❡❧✱ ◆✳ ❛♥❞ ❲②s❡✱ ❏✳✱ ✷✵✶✷✮✳ ❚❤❡ ♠♦st ♣♦♣✉❧❛r ❛♣♣r♦❛❝❤

❝♦♥s✐sts ✐♥ ✉s✐♥❣ t❤❡ ❇■❈ ❝r✐t❡r✐♦♥ ✭❙❝❤✇❛r③✱ ✶✾✼✽✮✱ ✇❤✐❝❤ ❛♣♣r♦①✐♠❛t❡s t❤❡ ❧♦❣❛r✐t❤♠

♦❢ t❤❡ ✐♥t❡❣r❛t❡❞ ❧✐❦❡❧✐❤♦♦❞ ❜② ▲❛♣❧❛❝❡ ❛♣♣r♦①✐♠❛t✐♦♥ ❛♥❞ r❡q✉✐r❡s ♠❛①✐♠✉♠ ❧✐❦❡❧✐❤♦♦❞

❡st✐♠❛t✐♦♥✳ ❚❤❡ ❇■❈ ❝r✐t❡r✐♦♥ ✐s ✇r✐tt❡♥ ❛s

❇■❈(m) = ln p( x |m, θ ˆ

m

) − ν

m

2 ln n, ✭✼✮

✇❤❡r❡ ˆ θ

m

✐s t❤❡ ♠❛①✐♠✉♠ ❧✐❦❡❧✐❤♦♦❞ ❡st✐♠❛t❡ r❡❧❛t❡❞ t♦ ♠♦❞❡❧ m ✇❤❡♥ ν

m

✐s t❤❡ ♥✉♠❜❡r

♦❢ ♣❛r❛♠❡t❡rs r❡q✉✐r❡❞ ❜② m ✳

❋♦r ❛ ✜①❡❞ ✈❛❧✉❡ ♦❢ g ✱ t❤❡ ✈❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥ ✐♥ ❝❧✉st❡r✐♥❣ ♥❡❝❡ss✐t❛t❡s t❤❡ ❝♦♠♣❛r✐s♦♥ ♦❢

2

^d

♠♦❞❡❧s✳ ❚❤❡r❡❢♦r❡✱ ❛♥ ❡①❤❛✉st✐✈❡ ❛♣♣r♦❛❝❤ ✇❤✐❝❤ ❛♣♣r♦①✐♠❛t❡s t❤❡ ✐♥t❡❣r❛t❡❞ ❧✐❦❡❧✐❤♦♦❞

❢♦r ❡❛❝❤ ❝♦♠♣❡t✐♥❣ ♠♦❞❡❧ ✐s ♥♦t ♣♦ss✐❜❧❡✳ ■♥st❡❛❞✱ ❘❛❢t❡r② ❛♥❞ ❉❡❛♥ ✭✷✵✵✻✮ ❝❛rr② ♦✉t t❤❡

♠♦❞❡❧ s❡❧❡❝t✐♦♥ ❜② ❞❡t❡r♠✐♥✐st✐❝ ❛❧❣♦r✐t❤♠s ✭❧✐❦❡ ❛ ❢♦r✇❛r❞ ♠❡t❤♦❞✮ ✇❤✐❝❤ ❛r❡ s✉❜♦♣t✐♠❛❧✳

▼♦r❡♦✈❡r✱ t❤❡② ❛r❡ t✐♠❡ ❝♦♥s✉♠✐♥❣ ✇❤❡♥ t❤❡ ♥✉♠❜❡r ♦❢ ✈❛r✐❛❜❧❡s ✐s ❧❛r❣❡✱ ❜❡❝❛✉s❡ t❤❡②

✐♥✈♦❧✈❡ ♠❛♥② ♣❛r❛♠❡t❡r ❡st✐♠❛t✐♦♥s ❢♦r t❤❡✐r ♠♦❞❡❧ ❝♦♠♣❛r✐s♦♥s✳

❆❧❧ ♠❛①✐♠✉♠ ❧✐❦❡❧✐❤♦♦❞ ❡st✐♠❛t❡s ❛r❡ ♠❛✐♥❧② ✐♥str✉♠❡♥t❛❧✿ t❤❡② ❛r❡ ♦♥❧② ✉s❡❞ ❢♦r

❝♦♠♣✉t✐♥❣ t❤❡ ❇■❈ ❝r✐t❡r✐♦♥✱ ✇✐t❤ t❤❡ ❡①❝❡♣t✐♦♥ ♦❢ t❤❡ ❡st✐♠❛t❡s r❡❧❛t❡❞ t♦ t❤❡ s❡❧❡❝t❡❞

♠♦❞❡❧ m ˆ ✇❤✐❝❤ ❛r❡ ✐♥t❡r♣r❡t❡❞ ❜② t❤❡ ♣r❛❝t✐t✐♦♥❡r✳ ❚❤❡r❡❢♦r❡✱ ✇❡ ✐♥tr♦❞✉❝❡ ❛ ♥❡✇ ❝r✐t❡r✐♦♥

❢♦r ♠♦❞❡❧ s❡❧❡❝t✐♦♥ ✇❤✐❝❤ ❞♦❡s ♥♦t r❡q✉✐r❡ ♣❛r❛♠❡t❡r ❡st✐♠❛t❡s✳

✺

✸ ▼♦❞❡❧ s❡❧❡❝t✐♦♥ ❜❛s❡❞ ♦♥ t❤❡ ✐♥t❡❣r❛t❡❞ ❝♦♠♣❧❡t❡✲

❞❛t❛ ❧✐❦❡❧✐❤♦♦❞

✸✳✶ ❚❤❡ ✐♥t❡❣r❛t❡❞ ❝♦♠♣❧❡t❡✲❞❛t❛ ❧✐❦❡❧✐❤♦♦❞

❆ ♣❛rt✐t✐♦♥ ✐s ❣✐✈❡♥ ❜② t❤❡ ✈❡❝t♦r z = (z

1

, . . . , z

_n

) ✇❤❡r❡ z

_i

= (z

i1

, . . . , z

ig

) ✐♥❞✐❝❛t❡s t❤❡

❝❧❛ss ❧❛❜❡❧ ♦❢ ✈❡❝t♦r i ✱ ✐✳❡✳ z

ik

= 1 ✐❢ x

_i

❛r✐s❡s ❢r♦♠ ❝♦♠♣♦♥❡♥t k ❛♥❞ z

ik

= 0 ♦t❤❡r✇✐s❡✳

■♥ ❝❧✉st❡r ❛♥❛❧②s✐s✱ z ✐s ❛ ♠✐ss✐♥❣ ✈❛❧✉❡✳ ❚❤✉s✱ t❤❡ ❧✐❦❡❧✐❤♦♦❞ ❢✉♥❝t✐♦♥ ❝♦♠♣✉t❡❞ ♦♥ t❤❡

❝♦♠♣❧❡t❡✲❞❛t❛ ✭♦❜s❡r✈❡❞ ❛♥❞ ❧❛t❡♥t✮✱ ❝❛❧❧❡❞ ❝♦♠♣❧❡t❡✲❞❛t❛ ❧✐❦❡❧✐❤♦♦❞ ❢✉♥❝t✐♦♥✱ ✐s ✐♥tr♦❞✉❝❡❞✳

■t ✐s ❞❡✜♥❡❞ ❜②

p( x , z |m, θ) = Y

n i=1

Y

g k=1

π

k

Y

d j=1

φ(x

ij

|µ

_kj

, σ

_kj²

)

zik

. ✭✽✮

❚❤❡ ✐♥t❡❣r❛t❡❞ ❝♦♠♣❧❡t❡✲❞❛t❛ ❧✐❦❡❧✐❤♦♦❞ ✐s

p( x , z |m) = Z

Θm

p( x , z |m, θ)p(θ|m)dθ. ✭✾✮

❙✐♥❝❡ ❝♦♥❥✉❣❛t❡ ♣r✐♦r ❞✐str✐❜✉t✐♦♥s ❛r❡ ✉s❡❞✱ t❤❡ ✐♥t❡❣r❛t❡❞ ❝♦♠♣❧❡t❡✲❞❛t❛ ❧✐❦❡❧✐❤♦♦❞ ❤❛s t❤❡ ❢♦❧❧♦✇✐♥❣ ❝❧♦s❡❞ ❢♦r♠

p( x , z |m) = p( z |g) Y

d j=1

p( x

_•j

|g, ω

_j

, z ) ✭✶✵✮

✇❤❡r❡ x

_•j

= (x

ij

; i = 1, . . . , n) ✳ ▼♦r❡ s♣❡❝✐✜❝❛❧❧②✱

p( z |g) = Γ(

^g₂

) Γ(

¹₂

)

^g

Q

g

k=1

Γ(n

k

+

¹₂

)

Γ(n +

^g₂

) , ✭✶✶✮

✇❤❡r❡ n

k

= P

n

i=1

z

ik

✱ ❛♥❞

p( x

_•j

|g, ω

_j

, z ) =

 

 

 



1 π

n/2 Γ _n+αj

2

Γ

(

^αj2

)

β^αj_j s^αj_j ⁺ⁿ

q

δj

n+δj

✐❢ ω

j

= 1 Q

g

k=1 1 π

nk/2 Γ _nk+αj

2

Γ

(

^αj2

)

β^αj_j s^αj_jk^+nk

q

_δ

j

nk+δj

✐❢ ω

j

= 0,

✭✶✷✮

✇❤❡r❡ s

²_j

= β

_j²

+ P

n

i=1

(x

_ij

− ¯ ①

j

)

²

+

^{(λj−¯①j)2}

(δ_j⁻¹+(n+δj)⁻¹)

✱ ¯ ①

j

=

_n¹

P

n

i=1

x

_ij

✱ s

²_jk

= β

_j²

+ P

n

i=1

z

_ik

(x

_ij

−

① ¯

jk

)

²

+

_(δ−1^{(λj−¯①jk)2}

j +(nk+δj)⁻¹)

❛♥❞ ¯ ①

jk

=

_n¹

k

P

n

i=1

z

ik

x

ij

✳ ❋♦r j ✇✐t❤ ω

j

= 1✱ ✇❡ ❣❡t p( x

_•j

|g, ω

_j

, z ) = p( x

_•j

|g, ω

j

) s✐♥❝❡ t❤❡ ♣❛rt✐t✐♦♥ ❞♦❡s ♥♦t ✐♠♣❛❝t t❤❡ ✈❛❧✉❡ ♦❢ t❤❡ ✐♥t❡❣r❛❧✳

✻

✸✳✷ ❚❤❡ ■❈▲ ❝r✐t❡r✐♦♥

❚❤❡ ■❈▲ ❝r✐t❡r✐♦♥ ✭❇✐❡r♥❛❝❦✐✱ ❈✳ ❛♥❞ ❈❡❧❡✉①✱ ●✳ ❛♥❞ ●♦✈❛❡rt✱ ●✳✱ ✷✵✶✵✮ ❝❛rr✐❡s ♦✉t t❤❡

♠♦❞❡❧ s❡❧❡❝t✐♦♥ ❜② ❢♦❝✉s✐♥❣ ♦♥ t❤❡ ❣♦❛❧ ♦❢ ❝❧✉st❡r✐♥❣✳ ■t ❢❛✈♦rs ❛ ♠♦❞❡❧ ♣r♦✈✐❞✐♥❣ ❛ ♣❛rt✐t✐♦♥

✇✐t❤ ❛ str♦♥❣ ❡✈✐❞❡♥❝❡ s✐♥❝❡ ✐t ♠❛❦❡s ❛ tr❛❞❡✲♦✛ ❜❡t✇❡❡♥ t❤❡ ♠♦❞❡❧ ❡✈✐❞❡♥❝❡ ❛♥❞ t❤❡

♣❛rt✐t✐♦♥✐♥❣ ❡✈✐❞❡♥❝❡✳ ❚❤❡ ■❈▲ ❝r✐t❡r✐♦♥ ✐s ❞❡✜♥❡❞ ❜②

■❈▲(m) = ln p( x , z ˆ |m), ✭✶✸✮

✇❤❡r❡ ˆ z ✐s t❤❡ ♣❛rt✐t✐♦♥ ❣✐✈❡♥ ❜② t❤❡ ▼❆P r✉❧❡ ❡✈❛❧✉❛t❡❞ ❛t t❤❡ ♠❛①✐♠✉♠ ❧✐❦❡❧✐❤♦♦❞

❡st✐♠❛t❡ θ ˆ ✱ ✐✳❡

ˆ z

ik

=

 



1 ✐❢ k = arg max

_k′=1,...,g

ˆ π

k^′

Q

d

j=1

φ(x

ij

|ˆ µ

k^′j

, σ ˆ

_k²′j

)

0 ♦t❤❡r✇✐s❡✳ ✭✶✹✮

❲❤❡♥ t❤❡ ♠♦❞❡❧ ❛t ❤❛♥❞ ✐s ♥♦t t❤❡ ♠♦❞❡❧ ✉s❡❞ ✐♥ t❤❡ s❛♠♣❧✐♥❣ s❝❤❡♠❡✱ t❤❡ ■❈▲ ❝r✐t❡r✐♦♥

✐♥❤❡r✐ts r♦❜✉st♥❡ss ❢r♦♠ t❤✐s tr❛❞❡✲♦✛ ✇❤✐❧❡ t❤❡ ❇■❈ ❝r✐t❡r✐♦♥ t❡♥❞s t♦ ♦✈❡r❡st✐♠❛t❡ t❤❡

♥✉♠❜❡r ♦❢ ❝♦♠♣♦♥❡♥ts✳ ❚❤✐s ♣❤❡♥♦♠❡♥♦♥ ✐s ✐❧❧✉str❛t❡❞ ✐♥ ❙❡❝t✐♦♥ ✺✳✶ ❜② ♦✉r ♥✉♠❡r✐❝❛❧

❡①♣❡r✐♠❡♥ts✳

❆❧t❤♦✉❣❤ t❤❡ ■❈▲ ❝r✐t❡r✐♦♥ ❤❛s ❛ ❝❧♦s❡❞ ❢♦r♠✱ ✐t r❡q✉✐r❡s t❤❡ ♠❛①✐♠✉♠ ❧✐❦❡❧✐❤♦♦❞ ❡s✲

t✐♠❛t❡s t♦ ❞❡✜♥❡ t❤❡ ♣❛rt✐t✐♦♥ z ˆ ✳ ❚❤❡ t✐♠❡ ❞❡✈♦t❡❞ t♦ ♣❛r❛♠❡t❡r ❡st✐♠❛t✐♦♥ ❝❛♥ ❜❡❝♦♠❡

❝♦♠♣✉t❛t✐♦♥❛❧❧② ♣r♦❤✐❜✐t✐✈❡✳ ❚❤❡r❡❢♦r❡✱ ✐♥ t❤✐s ✇♦r❦✱ ✇❡ ✐♥tr♦❞✉❝❡ ❛ ♥❡✇ ❝r✐t❡r✐♦♥ ❛✈♦✐❞✐♥❣

t❤✐s ❞r❛✇❜❛❝❦✳

✸✳✸ ❚❤❡ ▼■❈▲ ❝r✐t❡r✐♦♥

❲❡ ♣r♦♣♦s❡ ❛ ♥❡✇ ✐♥❢♦r♠❛t✐♦♥ ❝r✐t❡r✐♦♥ ❢♦r ♠♦❞❡❧ s❡❧❡❝t✐♦♥✱ ♥❛♠❡❞ ▼■❈▲ ❝r✐t❡r✐♦♥ ✭▼❛①✲

✐♠✉♠ ■♥t❡❣r❛t❡❞ ❈♦♠♣❧❡t❡✲❞❛t❛ ▲✐❦❡❧✐❤♦♦❞✮✳ ❚❤✐s ❝r✐t❡r✐♦♥ ❝♦rr❡s♣♦♥❞s t♦ t❤❡ ❧❛r❣❡st

✈❛❧✉❡ ♦❢ t❤❡ ✐♥t❡❣r❛t❡❞ ❝♦♠♣❧❡t❡✲❞❛t❛ ❧✐❦❡❧✐❤♦♦❞ ❛♠♦♥❣ ❛❧❧ t❤❡ ♣♦ss✐❜❧❡ ♣❛rt✐t✐♦♥s✳ ❚❤✉s✱

t❤❡ ▼■❈▲ ❝r✐t❡r✐♦♥ ✐s ❞❡✜♥❡❞ ❜②

▼■❈▲(m) = ln p( x , ③

^⋆

|m) ✇✐t❤ ③

^⋆

= arg max

z

ln p( x , z |m). ✭✶✺✮

❖❜✈✐♦✉s❧②✱ t❤✐s ❝r✐t❡r✐♦♥ ✐s s✐♠✐❧❛r t♦ t❤❡ ■❈▲ ❝r✐t❡r✐♦♥ ❛♥❞ ✐♥❤❡r✐ts ✐ts ♠❛✐♥ ♣r♦♣❡rt✐❡s✳

■♥ ♣❛rt✐❝✉❧❛r✱ ✐t ✐s ❧❡ss s❡♥s✐t✐✈❡ t♦ ♠♦❞❡❧ ♠✐ss♣❡❝✐✜❝❛t✐♦♥ t❤❛♥ t❤❡ ❇■❈ ❝r✐t❡r✐♦♥✳ ❯♥❧✐❦❡

✼

t❤❡ ■❈▲ ❛♥❞ t❤❡ ❇■❈ ❝r✐t❡r✐❛✱ ✐t ❞♦❡s ♥♦t r❡q✉✐r❡ t❤❡ ♠❛①✐♠✉♠ ❧✐❦❡❧✐❤♦♦❞ ❡st✐♠❛t❡s ❛♥❞

❜❡♥❡✜ts ❢r♦♠ t❤❡ ❢❛❝t t❤❛t ③

^⋆

✐s ❡❛s✐❧② ❛❝❝❡ss✐❜❧❡✳ ❆♠♦♥❣ t❤❡ ♠♦❞❡❧s ✐♥ ❝♦♠♣❡t✐t✐♦♥✱ t❤❡

s❡❧❡❝t❡❞ ♠♦❞❡❧ ♠❛①✐♠✐③❡s t❤❡ ▼■❈▲ ❝r✐t❡r✐♦♥ ❛♥❞ ✐s ❞❡♥♦t❡❞ ❜② m

^⋆

✇✐t❤

m

^⋆

= arg max

m∈M

▼■❈▲( m ). ✭✶✻✮

❚❤❡ s❡❧❡❝t❡❞ ♠♦❞❡❧ m

^⋆

✐s ❝♦♥s✐st❡♥t ✇❤❡♥ t❤❡ ❝❧❛ss ♥✉♠❜❡r ✐s ❦♥♦✇♥✱ s❡❡ t❤❡ ♣r♦♦❢ ✐♥

❆♣♣❡♥❞✐① ❆✳ ◆❡✈❡rt❤❡❧❡ss✱ ❧✐❦❡ t❤❡ ■❈▲ ❝r✐t❡r✐♦♥✱ t❤❡ ▼■❈▲ ❝r✐t❡r✐♦♥ ❧❛❝❦s ❝♦♥s✐st❡♥❝② t♦

s❡❧❡❝t t❤❡ ❝❧❛ss ♥✉♠❜❡r ✐❢ t❤❡ ❝❧❛ss ♦✈❡r❧❛♣ ✐s t♦♦ str♦♥❣✳ ❍♦✇❡✈❡r✱ ♥✉♠❡r✐❝❛❧ ❡①♣❡r✐♠❡♥ts s❤♦✇ ✐ts ❣♦♦❞ ❜❡❤❛✈✐♦✉r t♦ ❛❧s♦ s❡❧❡❝t t❤❡ r✐❣❤t ♥✉♠❜❡r ♦❢ ❝♦♠♣♦♥❡♥ts ✭s❡❡ ❙❡❝t✐♦♥ ✺✳✶✮✳

✹ ▼♦❞❡❧ s❡❧❡❝t✐♦♥ ❛♥❞ ♣❛r❛♠❡t❡r ❡st✐♠❛t✐♦♥

❚❤❡ ♥✉♠❜❡r ♦❢ ❝♦♠♣♦♥❡♥ts ♦❢ t❤❡ ❝♦♠♣❡t✐♥❣ ♠♦❞❡❧s ✐s ✉s✉❛❧❧② ❜♦✉♥❞❡❞ ❜② ❛ ✈❛❧✉❡ g

max

✳

❙♦✱ t❤❡ s♣❛❝❡ ♦❢ t❤❡ ♠♦❞❡❧s ✐s ✇r✐tt❡♥ ❛s M =

m = (g, ω) : g ∈ {1, . . . , g

_max

} ❛♥❞ ω ∈ {0, 1}

^d

. ✭✶✼✮

❲❡ ❞❡♥♦t❡ ❜② M

_g

t❤❡ r❡str✐❝t✐♦♥ ♦❢ M t♦ t❤❡ s✉❜s❡t ♦❢ t❤❡ ♠♦❞❡❧s ❤❛✈✐♥❣ g ❝❧❛ss❡s✳ ❚❤❡

♠♦❞❡❧ m

^⋆_g

♠❛①✐♠✐③❡s t❤❡ ▼■❈▲ ❝r✐t❡r✐♦♥ ❛♠♦♥❣ t❤❡ ♠♦❞❡❧s ❜❡❧♦♥❣✐♥❣ t♦ M

_g

✳ ❚❤❡r❡❢♦r❡✱

m

^⋆_g

= arg max

m∈Mg

▼■❈▲ (m) ✇✐t❤ M

g

= {(g, ω) : ω ∈ {0, 1}

^d

}. ✭✶✽✮

❚❤✉s✱ m

^⋆_g

❞❡✜♥❡s t❤❡ ❜❡st ✈❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥ ❛❝❝♦r❞✐♥❣ t♦ t❤❡ ▼■❈▲ ❝r✐t❡r✐♦♥ ❢♦r ❛ ✜①❡❞

✈❛❧✉❡ ♦❢ g ✳ ❖❜✈✐♦✉s❧②✱

m

^⋆

= arg max

g=1,...,gmax

▼■❈▲( m

^⋆_g

). ✭✶✾✮

❚❤❡ ❡st✐♠❛t✐♦♥ ♦❢ m

^⋆_g

✐s ❝❛rr✐❡❞ ♦✉t ❜② t❤❡ ❛❧❣♦r✐t❤♠ ♣r❡s❡♥t❡❞ ✐♥ t❤❡ ❢♦❧❧♦✇✐♥❣✳ ❲❡ ♦❜t❛✐♥

m

^⋆

❜② r✉♥♥✐♥❣ t❤✐s ❛❧❣♦r✐t❤♠ ✇✐t❤ g ❝❤♦s❡♥ ❢r♦♠ ♦♥❡ t♦ g

_max

✳

✹✳✶ ❆❧❣♦r✐t❤♠ ❢♦r ▼■❈▲✲❜❛s❡❞ ♠♦❞❡❧ s❡❧❡❝t✐♦♥

❆♥ ✐t❡r❛t✐✈❡ ❛❧❣♦r✐t❤♠ ✐s ✉s❡❞ t♦ ✜♥❞ m

^⋆_g

❢♦r ❛♥② g ✐♥ {1, . . . , g

_max

} ✳ ❙t❛rt✐♥❣ ❢r♦♠ t❤❡

✐♥✐t✐❛❧ ♣♦✐♥t ( z

^[0]

, m

^[0]

) ✇✐t❤ m

^[0]

∈ M

g

✱ ✐t ❛❧t❡r♥❛t❡s ❜❡t✇❡❡♥ t✇♦ ♦♣t✐♠✐③❛t✐♦♥s ♦❢ t❤❡

✐♥t❡❣r❛t❡❞ ❝♦♠♣❧❡t❡✲❞❛t❛ ❧✐❦❡❧✐❤♦♦❞✿ ♦♣t✐♠✐③❛t✐♦♥ ♦♥ z ✱ ❣✐✈❡♥ ( x , m) ✱ ❛♥❞ ♠❛①✐♠✐③❛t✐♦♥

✽

♦♥ m ❣✐✈❡♥ ( x , z ) ✳ ❚❤✉s✱ ✐ts ✐t❡r❛t✐♦♥ [r] ✐s ✇r✐tt❡♥ ❛s P❛rt✐t✐♦♥ st❡♣✿ ✜① z

^[r]

s✉❝❤ t❤❛t

ln p( x , z

^[r]

|m

^[r]

) ≥ ln p( x , z

^[r−1]

|m

^[r]

).

▼♦❞❡❧ st❡♣✿ ✜① m

^[r+1]

= arg max

m∈Mg

ln p( x , z

^[r]

|m ) s✉❝❤ t❤❛t

m

^[r+1]

= (g, ω

^[r+1]

) ✇✐t❤ ω

_j^[r+1]

= arg max

ωj∈{0,1}

p( x

_•j

|g, ω

j

, z

^[r]

).

❚❤❡ ♣❛rt✐t✐♦♥ st❡♣ ✐s ♣❡r❢♦r♠❡❞ ❜② ❛♥ ✐t❡r❛t✐✈❡ ♠❡t❤♦❞✳ ❊❛❝❤ ✐t❡r❛t✐♦♥ ❝♦♥s✐sts ✐♥

s❛♠♣❧✐♥❣ ✉♥✐❢♦r♠❧② ❛♥ ✐♥❞✐✈✐❞✉❛❧ ✇❤✐❝❤ ✐s ❛✣❧✐❛t❡❞ t♦ t❤❡ ❝❧❛ss ♠❛①✐♠✐③✐♥❣ t❤❡ ✐♥t❡❣r❛t❡❞

❝♦♠♣❧❡t❡✲❞❛t❛ ❧✐❦❡❧✐❤♦♦❞ ✇❤✐❧❡ t❤❡ ♦t❤❡r ❝❧❛ss ♠❡♠❜❡rs❤✐♣s ❛r❡ ✉♥❝❤❛♥❣❡❞✳

❚❤❡ ❛❧❣♦r✐t❤♠ ❝♦♥✈❡r❣❡s t♦ ❛ ❧♦❝❛❧ ♦♣t✐♠✉♠ ♦❢ ln p( x , z |m)✳ ❚❤✉s✱ ♠❛♥② ❞✐✛❡r❡♥t

✐♥✐t✐❛❧✐③❛t✐♦♥s s❤♦✉❧❞ ❜❡ ✉s❡❞ t♦ ❡♥s✉r❡ t❤❡ ❝♦♥✈❡r❣❡♥❝❡ t♦ m

^⋆_g

✳ ❍♦✇❡✈❡r✱ ♥✉♠❡r✐❝❛❧ ❡①♣❡r✐✲

♠❡♥ts s❤♦✇ t❤❛t t❤❡ ♥✉♠❜❡r ♦❢ ❧♦❝❛❧ ♦♣t✐♠❛ ✐s s✉✣❝✐❡♥t❧② s♠❛❧❧ t♦ ♣❡r♠✐t ❛ ❣♦♦❞ ❜❡❤❛✈✐♦r

♦❢ t❤✐s ♠❡t❤♦❞ ✭s❡❡ ❙❡❝t✐♦♥ ✺✳✶✮✳

✹✳✷ ▼❛①✐♠✉♠ ❧✐❦❡❧✐❤♦♦❞ ✐♥❢❡r❡♥❝❡ ❢♦r t❤❡ ♠♦❞❡❧ ♠❛①✐♠✐③✐♥❣ t❤❡

▼■❈▲ ❝r✐t❡r✐♦♥

❲❤❡♥ ♠♦❞❡❧ m

^⋆

= (g

^⋆

, ω

^⋆

) ❤❛s ❜❡❡♥ ❢♦✉♥❞✱ ✉s✉❛❧❧② t❤❡ ❡st✐♠❛t❡ θ ˆ

m^⋆

♠❛①✐♠✐③✐♥❣ t❤❡

❧✐❦❡❧✐❤♦♦❞ ❢✉♥❝t✐♦♥ ✐s r❡q✉✐r❡❞✿

θ ˆ

m^⋆

= arg max

θ∈Θm⋆

p( x |m

^⋆

, θ). ✭✷✵✮

❚❤❡ ❞✐r❡❝t ♦♣t✐♠✐③❛t✐♦♥ ♦❢ t❤❡ ❧✐❦❡❧✐❤♦♦❞ ❢✉♥❝t✐♦♥ ✇♦✉❧❞ ✐♥✈♦❧✈❡ s♦❧✈✐♥❣ ❡q✉❛t✐♦♥s t❤❛t

❤❛✈❡ ♥♦ ❛♥❛❧②t✐❝❛❧ s♦❧✉t✐♦♥✳ ■♥st❡❛❞✱ t❤❡ ♣❛r❛♠❡t❡r ❡st✐♠❛t✐♦♥ ✐s ♣❡r❢♦r♠❡❞ ✈✐❛ ❛♥ ❊▼

❛❧❣♦r✐t❤♠ ✭❉❡♠♣st❡r✱ ❆✳P✳ ❛♥❞ ▲❛✐r❞✱ ◆✳▼✳ ❛♥❞ ❘✉❜✐♥✱ ❉✳❇✳✱ ✶✾✼✼✮✱ ✇❤✐❝❤ ✐s ♦❢t❡♥ s✐♠♣❧❡

❛♥❞ ❡✣❝✐❡♥t ✐♥ t❤❡ s✐t✉❛t✐♦♥ ♦❢ ♠✐ss✐♥❣ ❞❛t❛✳ ❚❤✐s ✐t❡r❛t✐✈❡ ❛❧❣♦r✐t❤♠ ❛❧t❡r♥❛t❡s ❜❡t✇❡❡♥

t✇♦ st❡♣s✿ t❤❡ ❝♦♠♣✉t❛t✐♦♥ ♦❢ t❤❡ ❝♦♠♣❧❡t❡✲❞❛t❛ ❧♦❣✲❧✐❦❡❧✐❤♦♦❞ ❝♦♥❞✐t✐♦♥❛❧ ❡①♣❡❝t❛t✐♦♥ ✭❡

st❡♣✮ ❛♥❞ ✐ts ♠❛①✐♠✐③❛t✐♦♥ ✭♠ st❡♣✮✳ ■ts ✐t❡r❛t✐♦♥ [r] ✐s ✇r✐tt❡♥ ❛s✿

✾

❊ st❡♣✿ ❝♦♠♣✉t❛t✐♦♥ ♦❢ t❤❡ ❝♦♥❞✐t✐♦♥❛❧ ♣r♦❜❛❜✐❧✐t✐❡s

t

^[r]_ik

= π

^[r]_k

Q

d

j=1

φ(x

_ij

|µ

^[r]_kj

, σ

_kj^[r]2

) P

g^⋆

k^′=1

π

^[r]_k′

Q

d

j=1

φ(x

ij

|µ

^[r]_k′j

, σ

_k^[r]2′j

) .

▼ st❡♣✿ ♠❛①✐♠✐③❛t✐♦♥ ♦❢ t❤❡ ❝♦♠♣❧❡t❡✲❞❛t❛ ❧♦❣✲❧✐❦❡❧✐❤♦♦❞

π

_k^[r+1]

= t

^[r]_•k

n , µ

^[r+1]_kj

=

 



1 t^[r]_•k

P

n

i=1

t

^[r]_ik

x

ij

✐❢ ω

_j^⋆

= 0

1 n

P

n

i=1

x

ij

✐❢ ω

_j^⋆

= 1,

σ

^[r+1]2_kj

=

 



1 t^[r]_•k

P

n

i=1

t

^[r]_ik

(x

ij

− µ

^[r+1]_kj

)

²

✐❢ ω

_j^⋆

= 0

1 n

P

n

i=1

(x

ij

− µ

^[r+1]_kj

)

²

✐❢ ω

_j^⋆

= 1,

✇❤❡r❡ t

^[r]_•k

= P

n

i=1

t

^[r]_ik

✳ ◆♦t❡ t❤❛t t❤❡ ❊▼ ❛❧❣♦r✐t❤♠ ❝❛♥ ♣r♦✈✐❞❡ t❤❡ ♠❛①✐♠✉♠ ❛ ♣♦st❡r✐♦r✐

❡st✐♠❛t❡ ❜② s❧✐❣❤t❧② ♠♦❞✐❢②✐♥❣ ✐ts ▼ st❡♣ ✭●r❡❡♥✱ P✳❏✳✱ ✶✾✾✵✮✳

✺ ◆✉♠❡r✐❝❛❧ ❡①♣❡r✐♠❡♥ts ♦♥ s✐♠✉❧❛t❡❞ ❞❛t❛

■♠♣❧❡♠❡♥t❛t✐♦♥ ♦❢ t❤❡ ♣r♦♣♦s❡❞ ♠❡t❤♦❞ ❘❡s✉❧ts ♦❢ ♦✉r ♠❡t❤♦❞ ✭✐♥❞✐❝❛t❡❞ ❜② ▼❙✮

❛r❡ ♣r♦✈✐❞❡❞ ❜② t❤❡ ❘ ♣❛❝❦❛❣❡ ❱❛r❙❡❧▲❈▼

^✶

✳ ❚❤✐s ♣❛❝❦❛❣❡ ♣❡r❢♦r♠s ✸✵ r❛♥❞♦♠ ✐♥✐t✐❛❧✲

✐③❛t✐♦♥s ♦❢ t❤❡ ❛❧❣♦r✐t❤♠ ❞❡s❝r✐❜❡❞ ✐♥ ❙❡❝t✐♦♥ ✹✳✶ t♦ ❝❛rr② ♦✉t t❤❡ ♠♦❞❡❧ s❡❧❡❝t✐♦♥✳ ❆s s✉❣❣❡st❡❞ ❜② ❘❛❢t❡r②✱ ❆✳❊✳ ✭✶✾✾✻✮✱ ✐t ✉s❡s t❤❡ ❢♦❧❧♦✇✐♥❣ ❞❛t❛✲❞❡♣❡♥❞❡♥t ❤②♣❡r✲♣❛r❛♠❡t❡rs✿

α

j

= 2.56✱ β

j

= p

0.72✈❛r( x

_•j

)✱ λ

j

= ♠❡❛♥( x

_•j

) ❛♥❞ δ

j

=

_max(x ^2.6

•j)−min(x_•j)

✳

❈♦♠♣❡t✐♥❣ ♠❡t❤♦❞s

• ❚❤❡ ♠♦❞❡❧✲❜❛s❡❞ ❝❧✉st❡r✐♥❣ ♠❡t❤♦❞ ♦❢ ❘❛❢t❡r② ❛♥❞ ❉❡❛♥ ✭✷✵✵✻✮ ✐s ❞❡♥♦t❡❞ ❘❉ ✐♥

✇❤❛t ❢♦❧❧♦✇s✳ ■t r✉♥s ✉s✐♥❣ t❤❡ ❘ ♣❛❝❦❛❣❡ ❝❧✉st✈❛rs❡❧ ✭❙❝r✉❝❝❛ ❛♥❞ ❘❛❢t❡r②✱ ✷✵✶✹✮✳

❘❡s✉❧ts ❛r❡ ❣✐✈❡♥ ❜② t❤❡ ❤❡❛❞❧♦♥❣ ❛❧❣♦r✐t❤♠ ❢♦r t❤❡ ❢♦r✇❛r❞ ❞✐r❡❝t✐♦♥ ✭❞❡♥♦t❡❞ ❘❉✲

❢♦r✇✮ ❛♥❞ ❜② t❤❡ ❣r❡❡❞② ❛❧❣♦r✐t❤♠ ✐♥ t❤❡ ❜❛❝❦✇❛r❞ ❞✐r❡❝t✐♦♥ ✭❞❡♥♦t❡❞ ❘❉✲❜❛❝❦✮✳

• ❚❤❡ s♣❛rs❡ ❑✲♠❡❛♥s ♠❡t❤♦❞ ♦❢ ❲✐tt❡♥ ❛♥❞ ❚✐❜s❤✐r❛♥✐ ✭✷✵✶✵✮ ✐s ♥♦t ❛ ♠♦❞❡❧✲❜❛s❡❞

❛♣♣r♦❛❝❤✳ ■t r✉♥s ✉s✐♥❣ t❤❡ ❘ ♣❛❝❦❛❣❡ s♣❛r❝❧ ✭❲✐tt❡♥ ❛♥❞ ❚✐❜s❤✐r❛♥✐✱ ✷✵✶✸✮✳ ■♥ ✇❤❛t

✶

❞♦✇♥❧♦❛❞❛❜❧❡ ❛t ❤tt♣s✿✴✴r✲❢♦r❣❡✳r✲♣r♦❥❡❝t✳♦r❣✴❘✴❄❣r♦✉♣❴✐❞❂✷✵✶✶

✶✵

❢♦❧❧♦✇s✱ t❤✐s ♠❡t❤♦❞ ✐s ✐♥❞✐❝❛t❡❞ ❜② ❲❚ ❛♥❞ t❤❡ ♦♣t✐♦♥ ✇❜♦✉♥❞ ✐s s❡t ❛t s❡q✭✶✳✶✱ ✷✺✱

❧❡♥❂✸✵✮✳

❙✐♠✉❧❛t✐♦♥ ♠❛♣ ❋✐rst✱ ✐♥❢♦r♠❛t✐♦♥ ❝r✐t❡r✐❛ ❛r❡ ❝♦♠♣❛r❡❞ ♦♥ ❞❛t❛s❡ts s❛♠♣❧❡❞ ❢r♦♠ t❤❡

✇❡❧❧✲s♣❡❝✐✜❡❞ ♠♦❞❡❧ ❛♥❞ ♦♥ ❞❛t❛s❡ts s❛♠♣❧❡❞ ❢r♦♠ ❛ ♠✐ss♣❡❝✐✜❡❞ ♠♦❞❡❧✳ ❙❡❝♦♥❞✱ t❤❡ t❤r❡❡

❝♦♠♣❡t✐♥❣ ♠❡t❤♦❞s ♦❢ ✈❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥ ❛r❡ ❝♦♠♣❛r❡❞✳ ❚❤❡ ❝❛❧❝✉❧❛t✐♦♥s ❛r❡ ❝❛rr✐❡❞ ♦✉t ♦♥

❛♥ 8 ■♥t❡❧ ❳❡♦♥ ✸✳✹✵●❍❩ ❈P❯ ♠❛❝❤✐♥❡✳

✺✳✶ ❈♦♠♣❛r✐♥❣ ♠♦❞❡❧ s❡❧❡❝t✐♦♥ ❝r✐t❡r✐❛

✺✳✶✳✶ ❙✐♠✉❧❛t❡❞ ❞❛t❛✿ ✇❡❧❧✲s♣❡❝✐✜❡❞ ♠♦❞❡❧

❍❡r❡ ✇❡ ❝♦♠♣❛r❡ ♠♦❞❡❧ s❡❧❡❝t✐♦♥ ❝r✐t❡r✐❛ ✇❤❡♥ t❤❡ s❛♠♣❧✐♥❣ ♠♦❞❡❧ ❜❡❧♦♥❣s t♦ t❤❡ s❡t

♦❢ t❤❡ ❝♦♠♣❡t✐♥❣ ♠♦❞❡❧s✳ ■♥❞✐✈✐❞✉❛❧s ❛r❡ ❞r❛✇♥ ❢r♦♠ ❛ ❜✐✲❝♦♠♣♦♥❡♥t ●❛✉ss✐❛♥ ♠✐①t✉r❡

♠♦❞❡❧ ✇✐t❤ ❝♦♥❞✐t✐♦♥❛❧ ✐♥❞❡♣❡♥❞❡♥❝❡ ❛ss✉♠♣t✐♦♥✳ ❚❤❡ ✜rst t✇♦ ✈❛r✐❛❜❧❡s ❛r❡ r❡❧❡✈❛♥t t♦

t❤❡ ❝❧✉st❡r✐♥❣ ❛♥❞ t❤❡ ❧❛st t✇♦ ✈❛r✐❛❜❧❡s ❛r❡ ♥♦t✳ ❚❤✉s✱ t❤❡ tr✉❡ ♠♦❞❡❧ ❞❡♥♦t❡❞ ❜② m

⁽⁰⁾

✐s

m

⁽⁰⁾

= (g

⁽⁰⁾

, ω

⁽⁰⁾

) ✇✐t❤ g

⁽⁰⁾

= 2 ❛♥❞ ω

⁽⁰⁾

= (1, 1, 0, 0).

❚❤❡ ❢♦❧❧♦✇✐♥❣ ♣❛r❛♠❡t❡rs ❛r❡ ✉s❡❞✿

π

k

= 0.5, µ

11

= µ

12

= ε, µ

21

= µ

22

= −ε, µ

k3

= µ

k4

= 0 ❛♥❞ σ

kj

= 1.

❚❤❡ ✈❛❧✉❡ ♦❢ ε ❞❡✜♥❡s t❤❡ ❝❧❛ss ♦✈❡r❧❛♣✳ ❚❛❜❧❡ ✶ ♣r❡s❡♥ts t❤❡ r❡s✉❧ts ♦❜t❛✐♥❡❞ ❢♦r ❞✐✛❡r❡♥t s❛♠♣❧❡ s✐③❡s ❛♥❞ ❢♦r ❞✐✛❡r❡♥t ❝❧❛ss ♦✈❡r❧❛♣s✳ ❋♦r ❡❛❝❤ ❝❛s❡✱ ✶✵✵ s❛♠♣❧❡s ❛r❡ ❣❡♥❡r❛t❡❞ ❛♥❞

t❤❡ ❝r✐t❡r✐❛ ❛r❡ ❝♦♠♣✉t❡❞ ❢♦r ❛❧❧ t❤❡ ♣♦ss✐❜❧❡ ♠♦❞❡❧s ✐♥ M ✇✐t❤ g

max

= 6 ✳

❲❤❡♥ t❤❡ ❝❧❛ss ♦✈❡r❧❛♣ ✐s ♥♦t t♦♦ ❤✐❣❤✱ ❛❧❧ t❤❡ ❝r✐t❡r✐❛ ❛r❡ ❝♦♥s✐st❡♥t✳ ■♥❞❡❡❞✱ t❤❡②

❛s②♠♣t♦t✐❝❛❧❧② ❛❧✇❛②s s❡❧❡❝t t❤❡ tr✉❡ ♠♦❞❡❧✳ ■♥ s✉❝❤ ❛ ❝❛s❡✱ t❤❡ ❇■❈ ❝r✐t❡r✐♦♥ ♦✉t♣❡r❢♦r♠s t❤❡ ♦t❤❡r ❝r✐t❡r✐❛ ✇❤❡♥ t❤❡ s❛♠♣❧❡ s✐③❡ ✐s s♠❛❧❧✳ ❲❤❡♥ t❤❡ ❝❧❛ss ♦✈❡r❧❛♣ ✐s ❡q✉❛❧ t♦ ✵✳✷✵✱

t❤❡ ❇■❈ ❝r✐t❡r✐♦♥ st❛②s ❝♦♥s✐st❡♥t ✇❤✐❧❡ t❤❡ ♦t❤❡r ♦♥❡s s❡❧❡❝t ♦♥❧② ❛ s✐♥❣❧❡ ❝❧❛ss✳ ❍♦✇❡✈❡r✱

✇❡ ♥♦✇ s❤♦✇ t❤❛t t❤❡ ❇■❈ ❝r✐t❡r✐♦♥ s✉✛❡rs ❢r♦♠ ❛ ❧❛❝❦ ♦❢ r♦❜✉st♥❡ss✳

✺✳✶✳✷ ❙✐♠✉❧❛t❡❞ ❞❛t❛✿ ♠✐ss♣❡❝✐✜❡❞ ♠♦❞❡❧

❲❡ ❧♦♦❦ ❛t r♦❜✉st♥❡ss ♦❢ t❤❡ ❝r✐t❡r✐❛ ❜❛s❡❞ ♦♥ t❤❡ ✐♥t❡❣r❛t❡❞ ❝♦♠♣❧❡t❡✲❞❛t❛ ❧✐❦❡❧✐❤♦♦❞✳

❆❣❛✐♥✱ t❤❡ ✜rst t✇♦ ✈❛r✐❛❜❧❡s ❝♦♥t❛✐♥ t❤❡ r❡❧❡✈❛♥t ❝❧✉st❡r✐♥❣ ✐♥❢♦r♠❛t✐♦♥✳ ❚❤❡② ❢♦❧❧♦✇ ❛

✶✶

n

♦✈❡r❧❛♣ ❝r✐t❡r✐♦♥ 50 100 200 400 800

✵✳✶✵ ❇■❈ ✾✺ ✭✽✺✮ ✶✵✵ ✭✾✾✮ ✶✵✵ ✭✶✵✵✮ ✶✵✵ ✭✶✵✵✮ ✶✵✵ ✭✶✵✵✮

✭ ε = 1.26 ✮ ■❈▲ ✽✺ ✭✼✷✮ ✾✽ ✭✾✺✮ ✶✵✵ ✭✾✼✮ ✶✵✵ ✭✾✼✮ ✶✵✵ ✭✾✾✮

▼■❈▲ ✽✻ ✭✼✸✮ ✾✽ ✭✾✹✮ ✶✵✵ ✭✾✼✮ ✶✵✵ ✭✾✽✮ ✶✵✵ ✭✾✾✮

✵✳✶✺ ❇■❈ ✽✺ ✭✼✼✮ ✾✾ ✭✾✹✮ ✶✵✵ ✭✾✽✮ ✶✵✵ ✭✾✾✮ ✶✵✵ ✭✶✵✵✮

✭ε = 1.05✮ ■❈▲ ✹✺ ✭✹✷✮ ✻✾ ✭✻✷✮ ✾✽ ✭✾✹✮ ✶✵✵ ✭✾✾✮ ✶✵✵ ✭✶✵✵✮

▼■❈▲ ✺✵ ✭✹✺✮ ✻✾ ✭✻✷✮ ✾✾ ✭✾✻✮ ✶✵✵ ✭✾✾✮ ✶✵✵ ✭✶✵✵✮

✵✳✷✵ ❇■❈ ✹✻ ✭✸✷✮ ✼✸ ✭✻✾✮ ✾✽ ✭✾✹✮ ✶✵✵ ✭✾✾✮ ✶✵✵ ✭✶✵✵✮

✭ ε = 0.85 ✮ ■❈▲ ✾ ✭✼✮ ✶✺ ✭✶✸✮ ✶✷ ✭✾✮ ✷✼ ✭✷✻✮ ✸✶ ✭✸✶✮

▼■❈▲ ✶✵ ✭✽✮ ✶✻ ✭✶✺✮ ✶✸ ✭✶✶✮ ✸✶ ✭✸✵✮ ✸✺ ✭✸✺✮

❚❛❜❧❡ ✶✿ ❘❡s✉❧ts ♦❢ t❤❡ ✐♥❢♦r♠❛t✐♦♥ ❝r✐t❡r✐❛ ✉♥❞❡r t❤❡ tr✉❡ ♠♦❞❡❧✳ ■♥ ♣❧❛✐♥✱ ♣❡r❝❡♥t❛❣❡

✇❤❡r❡ t❤❡ tr✉❡ ❝❧❛ss ♥✉♠❜❡r ✭g

⁽⁰⁾

✮ ❤❛s ❜❡❡♥ s❡❧❡❝t❡❞✳ ■♥ ♣❛r❡♥t❤❡s✐s✱ ♣❡r❝❡♥t❛❣❡ ✇❤❡r❡ t❤❡

tr✉❡ ♠♦❞❡❧ ✭ m

⁽⁰⁾

✮ ❤❛s ❜❡❡♥ s❡❧❡❝t❡❞✳

❜✐✲❝♦♠♣♦♥❡♥t ♠✐①t✉r❡ ♠♦❞❡❧ ♦❢ ✉♥✐❢♦r♠ ❞✐str✐❜✉t✐♦♥s ✇✐t❤ ❝♦♥❞✐t✐♦♥❛❧ ✐♥❞❡♣❡♥❞❡♥❝❡ ❛s✲

s✉♠♣t✐♦♥ ❛♥❞ ❡q✉❛❧ ♣r♦♣♦rt✐♦♥s✳ ▼♦r❡ s♣❡❝✐✜❝❛❧❧②✱ t❤❡② ❛r❡ ❣❡♥❡r❛t❡❞ ✐♥❞❡♣❡♥❞❡♥t❧② ❢r♦♠

t❤❡ ✉♥✐❢♦r♠ ❞✐str✐❜✉t✐♦♥ ♦♥ [ε−1, ε +1] ❢♦r t❤❡ ✜rst ❝♦♠♣♦♥❡♥t ❛♥❞ t❤❡ ✉♥✐❢♦r♠ ❞✐str✐❜✉t✐♦♥

♦♥ [−ε − 1, −ε + 1] ❢♦r t❤❡ s❡❝♦♥❞✳ ❚❤❡ r❡♠❛✐♥✐♥❣ t✇♦ ✈❛r✐❛❜❧❡s ❛r❡ ✐rr❡❧❡✈❛♥t ✈❛r✐❛❜❧❡s t❤❛t

❛r❡ ✐♥❞❡♣❡♥❞❡♥t ♦❢ t❤❡ ❝❧✉st❡r✐♥❣ ✈❛r✐❛❜❧❡s ❛♥❞ ❢♦❧❧♦✇ t✇♦ ✐♥❞❡♣❡♥❞❡♥t st❛♥❞❛r❞ ●❛✉ss✐❛♥

❞✐str✐❜✉t✐♦♥s✳ ❋♦r ❡❛❝❤ ❝❛s❡✱ ✶✵✵ s❛♠♣❧❡s ❛r❡ ❣❡♥❡r❛t❡❞ ❛♥❞ t❤❡ ❝r✐t❡r✐❛ ❛r❡ ❝♦♠♣✉t❡❞ ❢♦r

❛❧❧ t❤❡ ♣♦ss✐❜❧❡ ♠♦❞❡❧s ✐♥ M ✇✐t❤ g

max

= 6 ✳ ❚❛❜❧❡ ✷ s✉♠♠❛r✐③❡s t❤❡ s❡❧❡❝t✐♦♥ r❡s✉❧ts ❢♦r

❡❛❝❤ ❝r✐t❡r✐♦♥✳

n

ε ❝r✐t❡r✐♦♥ 50 100 200 400 800

✶✳✷✻ ❇■❈ ✼✾ ✭✼✺✮ ✽✵ ✭✼✾✮ ✹✽ ✭✹✽✮ ✵ ✭✵✮ ✵ ✭✵✮

■❈▲ ✶✵✵ ✭✾✻✮ ✶✵✵ ✭✾✽✮ ✶✵✵ ✭✶✵✵✮ ✶✵✵ ✭✾✾✮ ✾✼ ✭✾✼✮

▼■❈▲ ✶✵✵ ✭✾✺✮ ✶✵✵ ✭✾✽✮ ✶✵✵ ✭✶✵✵✮ ✶✵✵ ✭✾✾✮ ✾✻ ✭✾✻✮

✶✳✵✺ ❇■❈ ✽✻ ✭✽✸✮ ✽✸ ✭✽✵✮ ✹✾ ✭✹✽✮ ✹ ✭✹✮ ✵ ✭✵✮

■❈▲ ✶✵✵ ✭✾✶✮ ✶✵✵ ✭✾✺✮ ✶✵✵ ✭✾✽✮ ✾✾ ✭✾✽✮ ✾✾ ✭✾✽✮

▼■❈▲ ✶✵✵ ✭✾✷✮ ✶✵✵ ✭✾✾✮ ✶✵✵ ✭✾✽✮ ✾✽ ✭✾✽✮ ✾✾ ✭✾✽✮

✵✳✽✺ ❇■❈ ✽✵ ✭✼✽✮ ✼✷ ✭✼✶✮ ✸✻ ✭✸✻✮ ✵ ✭✵✮ ✵ ✭✵✮

■❈▲ ✾✼ ✭✽✼✮ ✶✵✵ ✭✾✻✮ ✶✵✵ ✭✾✽✮ ✾✾ ✭✾✼✮ ✾✼ ✭✾✼✮

▼■❈▲ ✾✼ ✭✾✷✮ ✶✵✵ ✭✾✽✮ ✶✵✵ ✭✾✽✮ ✾✾ ✭✾✼✮ ✾✼ ✭✾✼✮

❚❛❜❧❡ ✷✿ ❘❡s✉❧ts ♦❢ t❤❡ ✐♥❢♦r♠❛t✐♦♥ ❝r✐t❡r✐❛ ✉♥❞❡r t❤❡ ♥♦♥✲●❛✉ss✐❛♥ ♠♦❞❡❧✳ ■♥ ♣❧❛✐♥✱ ♣❡r✲

❝❡♥t❛❣❡ ✇❤❡r❡ t❤❡ tr✉❡ ❝❧❛ss ♥✉♠❜❡r ✭g = 2✮ ❤❛s ❜❡❡♥ s❡❧❡❝t❡❞✳ ■♥ ♣❛r❡♥t❤❡s✐s✱ ♣❡r❝❡♥t❛❣❡

✇❤❡r❡ t❤❡ tr✉❡ ♥✉♠❜❡r ♦❢ ❝❧❛ss❡s ❛♥❞ t❤❡ tr✉❡ ♣❛rt✐t✐♦♥✐♥❣ ♦❢ t❤❡ ✈❛r✐❛❜❧❡ ✭ ω = (1, 1, 0, 0)✮

❤❛✈❡ ❜❡❡♥ s❡❧❡❝t❡❞✳

❘❡s✉❧ts s❤♦✇ t❤❛t t❤❡ ❇■❈ ❝r✐t❡r✐♦♥ ✐s ♥♦t ✉s❡❢✉❧ t♦ s❡❧❡❝t t❤❡ ♥✉♠❜❡r ♦❢ ❝♦♠♣♦♥❡♥ts✳

✶✷

■♥❞❡❡❞✱ ✐t ♦✈❡r❡st✐♠❛t❡s t❤❡ ♥✉♠❜❡r ♦❢ ❝❧❛ss❡s t♦ ❜❡tt❡r ✜t t❤❡ ❞❛t❛ s✐♥❝❡ t❤❡ s❛♠♣❧✐♥❣ ♠♦❞❡❧

❞♦❡s ♥♦t ❜❡❧♦♥❣ t♦ t❤❡ s❡t ♦❢ t❤❡ ❝♦♠♣❡t✐♥❣ ♠♦❞❡❧s✳ ❚❤❡ ♦t❤❡r ❝r✐t❡r✐❛ s❤♦✇ ❝♦♥s✐❞❡r❛❜❧②

❜❡tt❡r ♣❡r❢♦r♠❛♥❝❡ s✐♥❝❡ t❤❡② s❡❧❡❝t t❤❡ tr✉❡ ♥✉♠❜❡r ♦❢ ❝❧❛ss❡s ❛♥❞ t❤❡ tr✉❡ ω ✳ ■t ❛♣♣❡❛rs t❤❛t t❤❡② ❛r❡ ♠♦r❡ r♦❜✉st t❤❛♥ t❤❡ ❇■❈ ❝r✐t❡r✐♦♥ t♦ t❤❡ ♠✐ss♣❡❝✐✜❝❛t✐♦♥ ♦❢ t❤❡ ♠♦❞❡❧ ❛t

❤❛♥❞✳

❚♦ ❝♦♥❝❧✉❞❡✱ t❤❡ ■❈▲ ❛♥❞ t❤❡ ▼■❈▲ ❝r✐t❡r✐❛ ♦❜t❛✐♥ ❣♦♦❞ r❡s✉❧ts ❢♦r ♠♦❞❡❧ s❡❧❡❝t✐♦♥ ✇❤❡♥

t❤❡ ❝❧❛ss ♦✈❡r❧❛♣ ✐s ♥♦t t♦♦ str♦♥❣✳ ▼♦r❡♦✈❡r✱ t❤❡② ❛r❡ ♠♦r❡ r♦❜✉st t♦ ♠♦❞❡❧ ♠✐ss♣❡❝✐✜❝❛t✐♦♥

t❤❛♥ t❤❡ ❇■❈ ❝r✐t❡r✐♦♥✳ ❙✐♥❝❡ t❤❡ ▼■❈▲ ❝r✐t❡r✐♦♥ ❞♦❡s ♥♦t r❡q✉✐r❡ ♠❛①✐♠✉♠ ❧✐❦❡❧✐❤♦♦❞

✐♥❢❡r❡♥❝❡ ❢♦r ❛❧❧ ♦❢ t❤❡ ❝♦♠♣❡t✐♥❣ ♠♦❞❡❧s✱ ✐t ✐s ♣r❡❢❡rr❛❜❧❡ t♦ t❤❡ ■❈▲ ❝r✐t❡r✐♦♥ ❢♦r ❝❛rr②✐♥❣

♦✉t ♠♦❞❡❧ s❡❧❡❝t✐♦♥✳

✺✳✷ ❈♦♠♣❛r✐♥❣ ♠❡t❤♦❞s ♦♥ s✐♠✉❧❛t❡❞ ❞❛t❛

❉❛t❛ ❛r❡ ❞r❛✇♥ ❢r♦♠ ❛ tr✐✲❝♦♠♣♦♥❡♥t ●❛✉ss✐❛♥ ♠✐①t✉r❡ ♠♦❞❡❧ ❛ss✉♠✐♥❣ ❝♦♥❞✐t✐♦♥❛❧ ✐♥✲

❞❡♣❡♥❞❡♥❝❡ ❛♥❞ ❡q✉❛❧ ♣r♦♣♦rt✐♦♥s✳ ❯♥❞❡r ❝♦♠♣♦♥❡♥t k✱ t❤❡ ✜rst ✜✈❡ ✈❛r✐❛❜❧❡s ❢♦❧❧♦✇ ❛ s♣❤❡r✐❝❛❧ ●❛✉ss✐❛♥ ❞✐str✐❜✉t✐♦♥ N (µ

_k

; I ) ✇✐t❤ µ

₁

= −µ

₂

= (ε, . . . , ε) ∈ R

⁵

❛♥❞ µ

₃

= 0

₅

✳

◆♦✐s② st❛♥❞❛r❞ ●❛✉ss✐❛♥ ✈❛r✐❛❜❧❡s ❛r❡ ❛❞❞❡❞✳

❚♦ ❝♦♠♣❛r❡ t❤❡ t❤r❡❡ ♠❡t❤♦❞s ❲❚✱ ❘❉ ❛♥❞ ▼❙✱ t❤❡ ♥✉♠❜❡r ♦❢ ❝♦♠♣♦♥❡♥ts ✐s ❦♥♦✇♥

✭ g = 3 ✮ ❛♥❞ 25 s❛♠♣❧❡s ❛r❡ ❣❡♥❡r❛t❡❞ ❢♦r ❡❛❝❤ ❝❛s❡✳ ❚❛❜❧❡ ✸ s✉♠♠❛r✐③❡s t❤❡ ♠♦❞❡❧ s❡❧❡❝t✐♦♥✳

❚❤❡ ✈❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥ ♣❡r❢♦r♠❛♥❝❡ ♦❢ t❤❡ t❤r❡❡ ❝♦♠♣❡t✐♥❣ ♠❡t❤♦❞s ❞✐✛❡rs ❝♦♥s✐❞❡r❛❜❧②✳

❚❤❡ ❲❚✬s ♠❡t❤♦❞ ✐s t❤❡ ❢❛st❡st ♦♥❡ ❜✉t ✐t ❡①❝❧✉❞❡s t♦♦ ♦❢t❡♥ t❤❡ r❡❧❡✈❛♥t ✈❛r✐❛❜❧❡s✳ ❚❤❡r❡✲

❢♦r❡✱ ✐ts ❛❝❝✉r❛❝② ✇✐t❤ r❡s♣❡❝t t♦ ❝❧✉st❡r✐♥❣ ♠❡♠❜❡rs❤✐♣ ✐s ✇❡❛❦✳ ❚❤❡ ♣❛rt✐t✐♦♥✐♥❣ r❡s✉❧ts ♦❢

❘❉✬s ♠❡t❤♦❞ ✐♠♣r♦✈❡ ✇❤❡♥ t❤❡ ❜❛❝❦✇❛r❞ ❛♣♣r♦❛❝❤ ✐s ✉s❡❞✳ ❍♦✇❡✈❡r✱ t❤✐s ❛♣♣r♦❛❝❤ ✐s ✈❡r② t✐♠❡✲❝♦♥s✉♠✐♥❣ ❛♥❞ ✐t s❡❧❡❝ts ♠❛♥② ✐rr❡❧❡✈❛♥t ✈❛r✐❛❜❧❡s✳ ❚❤❡ ❢♦r✇❛r❞ ❛♣♣r♦❛❝❤ t❡♥❞s t♦ ❡①✲

❝❧✉❞❡ r❡❧❡✈❛♥t ✈❛r✐❛❜❧❡s✱ s♦ ✐ts ♣❛rt✐t✐♦♥✐♥❣ ♣❡r❢♦r♠❛♥❝❡ ✐s ❜❛❞✳ ❖✉r ♠❡t❤♦❞ ✭▼❙✮ ♦❜t❛✐♥s

❜❡tt❡r r❡s✉❧ts✳ ■♥❞❡❡❞✱ ✐t ✐s t❤❡ ❜❡st ❛♣♣r♦❛❝❤ t♦ ❞❡t❡❝t t❤❡ r♦❧❡ ♦❢ t❤❡ ✈❛r✐❛❜❧❡s✳ ▼♦r❡♦✈❡r✱

✐ts ♣❛rt✐t✐♦♥✐♥❣ ❛❝❝✉r❛❝② ✐s ❣♦♦❞✳ ❋✐♥❛❧❧②✱ t❤❡ ▼❙ ♠❡t❤♦❞ ✐s ♥♦t t♦♦ t✐♠❡✲❝♦♥s✉♠✐♥❣ ❡✈❡♥

✐❢ t❤❡ ♥✉♠❜❡r ♦❢ ✈❛r✐❛❜❧❡s ✐s ❧❛r❣❡✱ ❡✈❡♥ ✇❤❡♥ t❤❡ s❛♠♣❧❡ s✐③❡ ✐s r❛t❤❡r ❧❛r❣❡✳

✻ ◆✉♠❡r✐❝❛❧ ❡①♣❡r✐♠❡♥ts ♦♥ ❜❡♥❝❤♠❛r❦ ❞❛t❛

❲❡ ♥♦✇ ❝♦♠♣❛r❡ t❤❡ t❤r❡❡ ♠❡t❤♦❞s ❲❚✱ ❘❉ ❛♥❞ ▼❙ ♦♥ s❡✈❡♥ r❡❛❧ ❞❛t❛s❡ts ✐♥ ✇❤✐❝❤

t❤❡ ❝♦rr❡❝t ♥✉♠❜❡r ♦❢ ❣r♦✉♣s ✐s ❦♥♦✇♥ ✭❡①❝❡♣t✐♥❣ ❛♣♣❧❡s ❞❛t❛s❡t ❉❛✐❧❧❛♥t ❡t ❛❧✳ ✭✶✾✾✻✮✮✳

✶✸

n ✴ p ✴ ε ▼❡t❤♦❞ ◆❘❱ ❘❘❘ ❘■❘ ❆❘■ ❚✐♠❡

✸✵✴✷✺✴✵✳✻ ❲❚ ✷✳✼✻ ✵✳✶✼ ✵✳✾✶ ✵✳✵✹ ✵✳✼✻

❘❉✲❢♦r✇ ✹✳✷✹ ✵✳✶✸ ✵✳✽✷ ✵✳✵✸ ✶✳✵✽

❘❉✲❜❛❝❦ ✶✶✳✵✽ ✵✳✹✻ ✵✳✺✻ ✵✳✵✶ ✾✺✳✸✺

▼❙ ✺✳✻✹ ✵✳✸✹ ✵✳✽✵ ✵✳✵✸ ✵✳✺✻

✸✵✴✷✺✴✶✳✼ ❲❚ ✷✳✸✷ ✵✳✹✺ ✶✳✵✵ ✵✳✸✼ ✵✳✼✺

❘❉✲❢♦r✇ ✸✳✽✹ ✵✳✶✺ ✵✳✽✺ ✵✳✶✷ ✶✳✵✷

❘❉✲❜❛❝❦ ✶✶✳✵✵ ✵✳✺✺ ✵✳✺✾ ✵✳✹✼ ✻✽✳✼✺

▼❙ ✻✳✸✻ ✵✳✾✽ ✵✳✾✸ ✵✳✹✽ ✵✳✺✻

✸✵✵✴✷✺✴✵✳✻ ❲❚ ✺✳✸✷ ✵✳✼✾ ✵✳✾✸ ✵✳✵✼ ✸✳✻✹

❘❉✲❢♦r✇ ✶✳✼✻ ✵✳✵✼ ✵✳✾✸ ✵✳✵✷ ✹✳✺✷

❘❉✲❜❛❝❦ ✶✸✳✺✻ ✵✳✾✼ ✵✳✺✻ ✵✳✷✹ ✷✸✳✹✶

▼❙ ✻✳✸✷ ✵✳✹✽ ✵✳✽✵ ✵✳✵✾ ✶✷✳✹✽

✸✵✵✴✷✺✴✶✳✼ ❲❚ ✷✳✻✵ ✵✳✺✷ ✶✳✵✵ ✵✳✹✹ ✸✳✼✵

❘❉✲❢♦r✇ ✺✳✻✹ ✶✳✵✵ ✵✳✾✼ ✵✳✽✽ ✺✳✻✸

❘❉✲❜❛❝❦ ✺✳✻✹ ✶✳✵✵ ✵✳✾✼ ✵✳✽✽ ✷✽✳✾✸

▼❙ ✺✳✵✽ ✶✳✵✵ ✶✳✵✵ ✵✳✽✽ ✽✳✹✵

✸✵✵✴✶✵✵✴✶✳✼ ❲❚ ✷✳✺✻ ✵✳✺✶ ✶✳✵✵ ✵✳✹✸ ✾✳✺✻

❘❉✲❢♦r✇ ✼✳✹✽ ✵✳✾✻ ✵✳✾✼ ✵✳✽✷ ✸✷✳✷✸

❘❉✲❜❛❝❦ ✺✼✳✼✻ ✵✳✵✵ ✵✳✸✾ ✵✳✵✵ ✶✷✼✺✺✳✺✸

▼❙ ✺✳✶✷ ✶✳✵✵ ✶✳✵✵ ✵✳✽✽ ✽✺✳✵✷

❚❛❜❧❡ ✸✿ ❈♦♠♣❛r✐♥❣ ✈❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥ ♠❡t❤♦❞s ♦♥ s✐♠✉❧❛t❡❞ ❞❛t❛✳ ▼❡❛♥s ♦❢ t❤❡ ♥✉♠❜❡rs

♦❢ r❡❧❡✈❛♥t ✈❛r✐❛❜❧❡s ✭◆❘❱✮✱ t❤❡ r✐❣❤t r❡❧❡✈❛♥t r❛t❡s ✭❘❙❘✮✱ t❤❡ r✐❣❤t ✐rr❡❧❡✈❛♥t r❛t❡s ✭❘■❘✮✱

t❤❡ ❆❞❥✉st❡❞ ❘❛♥❞ ■♥❞✐❝❡s ✭❆❘■✮ ❛♥❞ t❤❡ ❝♦♠♣✉t✐♥❣ t✐♠❡s ✐♥ s❡❝♦♥❞ ✭❚✐♠❡✮✳

❚❛❜❧❡ ✹ s✉♠♠❛r✐③❡s t❤❡ r❡s✉❧ts✳

◆❛♠❡ d n g

⁽⁰⁾

❘❡❢❡r❡♥❝❡ ❘ ♣❛❝❦❛❣❡✴✇❡❜s✐t❡

❝♦✛❡❡ ✶✷ ✹✸ ✷ ❙tr❡✉❧✐ ✭✶✾✼✸✮ ♣♣❣♠

✇✐♥❡ ✶✸ ✶✼✽ ✸ ❋♦r✐♥❛ ❛♥❞ ❛❧ ✭✶✾✾✶✮ ❯❈■

❝❛♥❝❡r ✸✵ ✺✻✾ ✷ ❙tr❡❡t ❡t ❛❧✳ ✭✶✾✾✸✮ ❯❈■

✇❛✈❡❢♦r♠ ✹✵ ✺✵✵✵ ✸ ❇r❡✐♠❛♥ ❡t ❛❧✳ ✭✶✾✽✹✮ ❯❈■

❛♣♣❧❡s ✶✵✸ ✶✷ ◆❆ ❉❛✐❧❧❛♥t ❡t ❛❧✳ ✭✶✾✾✻✮ ❈❧✉st❱❛r▲❱

❙❘❇❈❚ ✷✸✵✽ ✽✸ ✹ ❑❤❛♥ ❛♥❞ ❛❧✳ ✭✷✵✵✶✮ ♣❧s❣❡♥♦♠✐❝s

❣♦❧✉❜ ✸✵✺✶ ✽✸ ✷ ●♦❧✉❜ ❛♥❞ ❛❧✳ ✭✶✾✾✾✮ ♠✉❧tt❡st

❚❛❜❧❡ ✹✿ ■♥❢♦r♠❛t✐♦♥ ❛❜♦✉t t❤❡ s❡✈❡♥ ❜❡♥❝❤♠❛r❦ ❞❛t❛ s❡ts✳

❇❡❝❛✉s❡ ❘❉✲❜❛❝❦ ✐s ✈❡r② s❧♦✇✱ ✇❡ ♣❡r❢♦r♠ t❤❡ ❘❉✬s ♠❡t❤♦❞ ✇✐t❤ t❤❡ ❢♦r✇❛r❞ ❛♣♣r♦❛❝❤✳

❚❤❡ ❡①♣❡r✐♠❡♥t❛❧ ❝♦♥❞✐t✐♦♥s ❛r❡ s✐♠✐❧❛r t♦ t❤♦s❡ ❞❡s❝r✐❜❡❞ ✐♥ t❤❡ ♣r❡✈✐♦✉s s❡❝t✐♦♥✳ ❙✐♥❝❡

t❤❡ s♣❛rs❡ ❑✲♠❡❛♥s ♠❡t❤♦❞ ❞♦❡s ♥♦t ♣r♦✈✐❞❡ ❛ t♦♦❧ t♦ s❡❧❡❝t t❤❡ ♥✉♠❜❡r ♦❢ ❣r♦✉♣s✱ t❤✐s

♠❡t❤♦❞ ✐s ♦♥❧② ✉s❡❞ ✇✐t❤ t❤❡ tr✉❡ ♥✉♠❜❡r ♦❢ ❝♦♠♣♦♥❡♥ts✳

▼♦st ♦❢ t❤❡ s❡✈❡♥ ❞❛t❛s❡ts s❤♦✇ ♣r♦♠✐s✐♥❣ r❡s✉❧ts ✇❤✐❝❤ ❛r❡ s✉♠♠❛r✐③❡❞ ❜② ❚❛❜❧❡ ✺✳

✶✹