HAL Id: hal-00717533
https://hal.archives-ouvertes.fr/hal-00717533
Submitted on 13 Jul 2012HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.
Variables latentes dans les modèles linaires généralisés
Djeneba Thiam, Gregory Nuel
To cite this version:
Djeneba Thiam, Gregory Nuel. Variables latentes dans les modèles linaires généralisés. 1ères Rencon-tres R, Jul 2012, Bordeaux, France. �hal-00717533�
❱❛r✐❛❜❧❡s ❧❛t❡♥t❡s ❞❛♥s ❧❡s ♠♦❞è❧❡s ❧✐♥❛✐r❡s ❣é♥ér❛❧✐sés ❉✳ ❚❤✐❛♠a ❡t ●✳ ◆✉❡❧a,b a▲❛❜♦ ❞❡ ▼❛t❤s ❆♣♣❧✐q✉é❡s ✭▼❆P✺✱ ❈◆❘❙ ✽✶✹✺✮ ❯♥✐✈❡rs✐té P❛r✐s ❉❡s❝❛rt❡s ❞❥❡♥❛❜❛✳t❤✐❛♠❅❣♠❛✐❧✳❝♦♠ b ■♥st✐t✉t ❞❡s ▼❛t❤s ❡t ■♥t❡r❛❝t✐♦♥s ✭■◆❙▼■✮ ❈◆❘❙ P❛r✐s ❣r❡❣♦r②✳♥✉❡❧❅♣❛r✐s❞❡s❝❛rt❡s✳❢r ▼♦ts ❝❧❡❢s ✿ ❱❛r✐❛❜❧❡s ▲❛t❡♥t❡s✱ ♠♦❞è❧❡s ❧✐♥❛✐r❡s ❣é♥ér❛❧✐sés✱ ❛❧❣♦r✐t❤♠❡ ❊▼✳ ❊♥ s❝✐❡♥❝❡s s♦❝✐❛❧❡ ❝♦♠♠❡ ❡♥ ❜✐♦❧♦❣✐❡✱ ❞❡ ♥♦♠❜r❡✉① ♣❤é♥♦♠è♥❡s ❞✬✐♥térêt ♥❡ s♦♥t ♣❛s ♦❜s❡r✈és ❞✐r❡❝t❡♠❡♥t ❡t s♦♥ ♠♦❞é❧✐sés ♣❛r ❞❡s ✈❛r✐❛❜❧❡s ❧❛t❡♥t❡s ❬✶❪✳ ❯♥ ❡①❡♠♣❧❡ ❡st ❝❡❧✉✐ ❞❡ ❞♦♥♥é❡s ♥♦♥ ♦❜s❡r✈é❡s ❡♥ r❛✐s♦♥ ❞✬✉♥ s❡✉✐❧ ❞❡ ❞ét❡❝t✐♦♥ ❛✉ ♥✐✈❡❛✉ ❞❡ ❧✬❛♣♣❛r❡✐❧ ❞❡ ♠❡s✉r❡ ❬✷❪✳ ❯♥❡ ❛✉tr❡ ✐❧❧✉str❛t✐♦♥ ❡st ❝❡❧❧❡ ❞❡s ❞♦♥♥é❡s ❤étér♦❣è♥❡s q✉✐ ♣❡✉✈❡♥t êtr❡ tr❛✐té❡s ❡♥ ✐♥tr♦❞✉✐s❛♥t ✉♥❡ ❝❧❛ss❡ ❧❛t❡♥t❡ ❬✸❪✳ P❛r♠✐ ❧❡s ♣❛❝❦❛❣❡s ❞✐s♣♦♥✐❜❧❡s s♦✉s ❘ q✉✐ ♣❡r♠❡tt❡♥t ❧❛ ❣❡st✐♦♥ ❞❡s ✈❛r✐❛❜❧❡s ❧❛t❡♥t❡s ❞❛♥s ❧❡s ♠♦❞è❧❡s ❧✐♥é❛✐r❡s ❣é♥ér❛❧✐sés ✭●▲▼s✮ ♦♥ ♣❡✉t ❝✐t❡r flexmix ❬✹❪ ❞❛♥s ❧❡ ❝❛❞r❡ ❞❡ ♠♦❞è❧❡s ❞❡ ré❣r❡ss✐♦♥ ❡t lcmm ❬✺❪ ❞❛♥s ❧❡ ❝❛❞r❡ ❞❡ ♠♦❞è❧❡s à ❡✛❡ts ♠✐①t❡s✳ ❙✐ ❝❡s ♣❛❝❦❛❣❡s s♦♥t ♣✉✐ss❛♥ts ❡t ✐♥❞é♥✐❛❜❧❡♠❡♥t ✉t✐❧❡s✱ ✐❧s ♦♥t ❧❡ ❞é❢❛✉t ♥♦t❛❜❧❡ ❞❡ ❧✐♠✐t❡r ❧❡s ♣♦ss✐❜✐❧✐tés ❞❡ ♠♦❞é❧✐s❛t✐♦♥ ❛✉① ❝❛s ✐♠♣❧é♠❡♥tés ♣❛r ❧❡s ❞é✈❡❧♦♣♣❡✉rs✳ ❉❛♥s ❧❡ ❝❛s ❞❡ flexmix ♣❛r ❡①❡♠♣❧❡✱ ♦♥ ♥❡ ♣❡✉t ❝♦♥s✐❞ér❡r q✉✬✉♥ s✐♠♣❧❡ ♠♦❞è❧❡ ❞❡ ♠é❧❛♥❣❡ ✭❛✈❡❝ ✈❛r✐❛❜❧❡s ❝♦♥❝♦♠✐t❛♥t❡ ♣♦✉r ❧❛ ❝❧❛ss❡✮✳ ◗✉❡ ❢❛✐r❡ s✐ ❝❡tt❡ ❝❧❛ss❡ ❧❛t❡♥t❡ ✐♥t❡r✈✐❡♥t ❞❡ ♠❛♥✐èr❡ ❤✐ér❛r❝❤✐q✉❡❄ ❈♦♠♠❡♥t ❣ér❡r ❞❡s ♣❛r❛♠ètr❡s ♣❛rt❛❣és à tr❛✈❡rs ❞✐✛ér❡♥t❡s ❝❧❛ss❡s❄ ◗✉❡ ❢❛✐r❡ s✐ ✉♥ ●▲▼ ♣❛rt✐❝✉❧✐❡r ♥✬❡st ♣❛s ✐♠♣❧é♠❡♥té ✭❡①✿ r❡❣r❡ss✐♦♥ ♠✉❧t✐♥♦♠✐❛❧❡✮❄ ❊t ❝♦♠♠❡♥t ♣❡✉t✲♦♥ ✐♥tr♦❞✉✐r❡ ❞❡s ✈❛r✐❛❜❧❡ ❧❛t❡♥t❡s ❝♦♥t✐♥✉❡s ✭❛✉tr❡s q✉❡ ❞❡s ❡✛❡ts ♠✐①t❡s✮❄ ▲✬♦❜❥❡❝t✐❢ ❞❡ ❝❡ tr❛✈❛✐❧ ❡st ❞❡ ré♣♦♥❞r❡ à ❝❡s q✉❡st✐♦♥ ❡♥ ♣rés❡♥t❛♥t ✉♥❡ ❛♣♣r♦❝❤❡ s✐♠♣❧❡ ❡t ❣é♥ér❛❧✐st❡ q✉✐ ♣❡r♠❡t ❞❡ ❣ér❡r s♦✉s ❘ t♦✉t t②♣❡ ❞❡ ✈❛r✐❛❜❧❡s ❧❛t❡♥t❡s ❞❛♥s ❧❡s ♠♦❞è❧❡s ❧✐♥é❛✐r❡s ❣é♥ér❛❧✐sés s❛♥s r❡❝♦✉r✐r ♣♦✉r ❝❡❧❛ à ✉♥❡ ✐♠♣❧é♠❡♥t❛t✐♦♥ s♣é❝✐✜q✉❡✳ ◆♦tr❡ ❛♣♣r♦❝❤❡ ❝♦♥s✐st❡ à ✉t✐❧✐s❡r ✉♥ ❝❧❛ss✐q✉❡ ❛❧❣♦r✐t❤♠❡ ❊①♣❡❝t❛t✐♦♥✲▼❛①✐♠✐③❛t✐♦♥ ✭❊▼✮ ❬✻❪ s❛♥s ❛✈♦✐r à ❡♥tr❡r ❛✉ ❝÷✉r ❞❡s ♠ét❤♦❞❡s ❞✬❡st✐♠❛t✐♦♥s✳ ▲❛ ❝❧❡❢ ❡st ✉♥❡ ✉t✐❧✐s❛t✐♦♥ ❛st✉❝✐❡✉s❡ ❞❡ ❧✬♦♣t✐♦♥ weights ❞❡s ♣r♦❝é❞✉r❡s ❞✬❡st✐♠❛t✐♦♥ ❝❧❛ss✐q✉❡s ✭❡①✿ lm✱ glm✱ lmer ❡t glmer✮✱ ❝❡s ♣♦✐❞s ét❛♥t ♠✐s à ❥♦✉r ✐♠♣ér❛t✐✈❡♠❡♥t à ❧✬❡①tér✐❡✉r ❞❡ ❧❛ ♣r♦❝é❞✉r❡ ❞✬❡st✐♠❛t✐♦♥✳ P♦✉r ✐❧❧✉str❡r ❝❡tt❡ ❛♣♣r♦❝❤❡✱ ❝♦♥s✐❞ér♦♥s ❧❡ ♠♦❞è❧❡ s✉✐✈❛♥t✿ y∼ x + z ♦ù ❧❡ y ❡st ✉♥❡ ✈❛r✐❛❜❧❡ ❞❡ ré♣♦♥s❡ ✭∈ Rn✮✱ x ❡st ✉♥❡ ❝♦✈❛r✐❛❜❧❡ ✭∈ Rn✮✱ ❡t z ✉♥❡ ✈❛r✐❛❜❧❡ ❧❛t❡♥t❡ ❜✐♥❛✐r❡ ✭∈ {0, 1}n✮✳ ❙✐ z ét❛✐t ❝♦♥♥✉✱ ✉♥ s✐♠♣❧❡ fit = lm(y ∼ x + z) ♣❡r♠❡ttr❛✐t ❞✬❛❥✉st❡r ❝❡ ♠♦❞è❧❡✳ ▲❛ ✈❛❧❡✉r ❞❡ z ét❛♥t ♠❛♥q✉❛♥t❡✱ ♦♥ s❡ t♦✉r♥❡ ✈❡rs ❧✬❛❧❣♦r✐t❤♠❡ ❊▼✳ ❙✉♣♣♦s♦♥s q✉✬à ✉♥❡ ✐tér❛t✐♦♥ ❞♦♥♥é❡ ❞❡ ❧✬❛❧❣♦r✐t❤♠❡ ♦♥ ❞✐s♣♦s❡ ❞✬✉♥ ♣❛r❛♠ètr❡ θ ✭❝♦♥t✐❡♥t ❧❡s ♣❛r❛♠ètr❡s ❞✉ ♠♦❞è❧❡ ❧✐♥é❛✐r❡ ❛✐♥s✐ q✉❡ ❧❛ ♣r♦♣♦rt✐♦♥ ❛ ♣r✐♦r✐ ρ ❞❡ z[i] = 1✮✱ ✐❧ ♥♦✉s s✉✣t ❛❧♦rs ❞❡ r❡♠♣❧❛❝❡r
❧❡ ♣❛r❛♠ètr❡ ❝♦✉r❛♥t ♣❛r✿ M(θ) = arg max θ′ X z P(z|x, z; θ) log P(y|x, z; θ′) | {z } Q(θ′|θ) ❖r ❝❡tt❡ ét❛♣❡ ❡st ❡♥ ❢❛✐t éq✉✐✈❛❧❡♥t❡ à ❧✬❛❥✉st❡♠❡♥t ❞✉ ♠♦❞è❧❡✿ y y ∼ x x + z= 1 z= 0 ❛✈❡❝ weights = w 1 − w ♦ù w = P(z = 1|x, z; θ)✳ ❖♥ ♣❡✉t ❛✐♥s✐ ❢❛❝✐❧❡♠❡♥t ♠❡ttr❡ à ❥♦✉r ❧❡s ♣❛r❛♠ètr❡s ❞❡ ❧❛ ré❣r❡ss✐♦♥ à ❧✬❛✐❞❡ ❞❡ ❧❛ ❝♦♠♠❛♥❞❡✿ fit = lm(c(y, y) ∼ c(x, x) + c(z = 1, z = 0), weights = c(w, 1 − w))✳ ▲❡ ♣❛r❛♠ètr❡ ρ ❞❡ ❧❛ ✈❛r✐❛❜❧❡ ❧❛t❡♥t❡ ♣❡✉t q✉❛♥t à ❧✉✐ ❢❛❝✐❧❡♠❡♥t êtr❡ ♠✐s à ❥♦✉r ❞✐r❡❝t❡♠❡♥t à ♣❛rt✐r ❞❡ w✿ ρ = mean(w)✳ ❉❛♥s ❧❡ ❝❛s ❞✬✉♥❡ ✈❛r✐❛❜❧❡ ❧❛t❡♥t❡ ❞✐s❝rèt❡✱ ❧✬❛♣♣r♦❝❤❡ ♣r♦♣♦sé❡ ❡st t♦t❛❧❡♠❡♥t éq✉✐✈❛❧❡♥t❡ à ✉♥ ❛❧❣♦r✐t❤♠❡ ❊▼ ❝❧❛ss✐q✉❡ ✭② ❝♦♠♣r✐s ❡♥ t❡r♠❡s ❞❡ ❝♦♠♣❧❡①✐té✮✳ P♦✉r ❧❡s ✈❛r✐❛❜❧❡ ❧❛t❡♥t❡s ❝♦♥t✐♥✉❡s✱ ♥♦tr❡ ❛♣♣r♦❝❤❡ s❡ r❛♠è♥❡ à ✉♥❡ ❛♣♣r♦①✐♠❛t✐♦♥ ✭♦♥ s❡ ❝♦♥t❡♥t❡ ❞❡ ré♣❧✐q✉❡r z ♣♦✉r ✉♥ ♥♦♠❜r❡ ❞♦♥♥é ❞❡ ✈❛❧❡✉rs q✉✐ s♦♥t s♣é❝✐✜q✉❡s à ❝❤❛q✉❡ ✐♥❞✐✈✐❞✉s ❡t à ❝❤❛q✉❡ ✐tér❛t✐♦♥✮✳ ▲❛ ♠ét❤♦❞❡ ❡st é✈✐❞❡♠♠❡♥t ❣é♥ér❛❧✐s❛❜❧❡ ❛✉① ♠♦❞è❧❡s ❧✐♥é❛✐r❡s ❣é♥ér❛❧✐sés ♣❧✉s ❝♦♠♣❧❡①❡s✱ s❡✉❧ ❧❡ ❝❛❧❝✉❧ ❡t ❧❛ ♠✐s❡ à ❥♦✉rs ❞❡s ♣♦✐❞s r❡st❛♥t à ❧❛ ❝❤❛r❣❡ ❞❡ ❧✬✉t✐❧✐s❛t❡✉r✳ ❆✈❡❝ ❧❛ ♠ét❤♦❞♦❧♦❣✐❡ ♣r♦♣♦sé❡✱ ♥♦✉s ♠♦♥tr♦♥s q✉✬✉♥❡ ❡①♣❧♦✐t❛t✐♦♥ ❛st✉❝✐❡✉s❡ ❞❡ ❧✬♦♣t✐♦♥ weights ❞✬✉♥❡ ♣r♦❝é❞✉r❡ ❞❡ ❘ ♣❡r♠❡t ❞✬✐♥tr♦❞✉✐r❡ ❞❡ ♠❛♥✐èr❡ très s♦✉♣❧❡ ❞❡s ✈❛r✐❛❜❧❡s ❧❛t❡♥t❡s ❞❛♥s ❝❡tt❡ ♣r♦❝é❞✉r❡ ✭✐❝✐ ❧✬❛❥✉st❡♠❡♥t ❞❡ ♠♦❞è❧❡s ❧✐♥é❛✐r❡s ❣é♥ér❛❧✐sés✮✳ ❆✉ ❞❡❧à ❞❡ ❝❡t ❡①❡♠♣❧❡ ♣❛rt✐❝✉❧✐❡r✱ ❧✬❛♣♣r♦❝❤❡ q✉❡ ♥♦✉s s✉❣❣ér♦♥s ❞❡✈r❛✐t ✐♥❝✐t❡r ❧❡ ❞é✈❡❧♦♣♣❡✉r ❞❡ t♦✉t❡ ♣r♦❝é❞✉r❡ st❛t✐st✐q✉❡ s♦✉s ❘ à s❡ ♣♦s❡r ❧❛ q✉❡st✐♦♥ ❞❡ ❧❛ ♣r✐s❡ ❡♥ ❝♦♠♣t❡ ❞✬♦❜s❡r✈❛t✐♦♥s ♣♦♥❞éré❡s ♣❛r ❞❡s ♣♦✐❞s ❛✈❡❝ ❧❛ ♣❡rs♣❡❝t✐✈❡ ❞✬✉♥❡ ❢✉t✉r❡ ❡①♣❧♦✐t❛t✐♦♥ ❞❡ ❝❡tt❡ ❢♦♥❝t✐♦♥♥❛❧✐tés ❞❛♥s ❧❡ ❝❛❞r❡ ❞❡ ❧✬❛❧❣♦r✐t❤♠❡ ❊▼ ❡t ❞❡ s❡s ✈❛r✐❛♥t❡s✳ ❘é❢ér❡♥❝❡s ❬✶❪ ❑❡♥♥❡t❤ ❆✳ ❇♦❧❧❡♥ ✭✷✵✵✷✮✳ ▲❛t❡♥t ✈❛r✐❛❜❧❡s ✐♥ ♣s②❝❤♦❧♦❣② ❛♥❞ s♦❝✐❛❧ s❝✐❡♥❝❡s✳ ❆♥♥✉❛❧ ❘❡✈✐❡✇ ♦❢ Ps②❝❤♦❧♦❣② ✱✺✸✱ ✻✵✺✲✻✸✹ ❬✷❪ ●♦♦❞♠❛♥ ▲✳❆✭✶✾✼✹✮✳ ❚❤❡ ❛♥❛❧②s✐s ♦❢ s②st❡♠s ♦❢ q✉❛❧✐t❛t✐✈❡ ✈❛r✐❛❜❧❡s ✇❤❡♥ s♦♠❡ ♦❢ t❤❡ ✈❛r✐❛❜❧❡s ❛r❡ ✉♥♦❜s❡r✈❛❜❧❡ ❏❆♠❡r✐❝❛♥ ❏♦✉r♥❛❧ ♦❢ ❙♦❝✐♦❧♦❣② ✱ ✼✾✱ ✶✶✼✾✲✶✷✺✾ ❬✸❪ ❇❡rt ❋✳ ●r❡❡♥ ✭✶✾✺✶✮✳ ❆ ❣❡♥❡r❛❧ s♦❧✉t✐♦♥ ❢♦r t❤❡ ❧❛t❡♥t ❝❧❛ss ♠♦❞❡❧ ♦❢ ❧❛t❡♥t str✉❝t✉r❡ ❛♥❛❧②s✐s P❙❨❈❍❖▼❊❚❘■❑❆ ✱ ✶✻✱ ✶✺✶✲✶✻✻ ❬✹❪ ❋r✐❡❞r✐❝❤ ▲❡✐s❝❤ ✭✷✵✵✸✮✳ ❋❧❡①▼✐①✿ ❆ ❣❡♥❡r❛❧ ❢r❛♠❡✇♦r❦ ❢♦r ✜♥✐t❡ ♠✐①t✉r❡ ♠♦❞❡❧s ❛♥❞ ❧❛t❡♥t ❝❧❛ss r❡❣r❡ss✐♦♥ ✐♥ ❘✳ ❘❡♣♦rt ✱ ✽✻ ❬✺❪ ❈❡❝✐❧❡ Pr♦✉st✲▲✐♠❛✱ ❇❡♥♦✐t ▲✐q✉❡t ✭✷✵✵✾✮✳ ❧❝♠♠✿ ❛♥ ❘ ♣❛❝❦❛❣❡ ❢♦r ❡st✐♠❛t✐♦♥ ♦❢ ❧❛t❡♥t ❝❧❛ss ♠✐①❡❞ ♠♦❞❡❧s ❛♥❞ ❥♦✐♥t ❧❛t❡♥t ❝❧❛ss ♠♦❞❡❧s✱ ❘ ❝r❛♥✳ ❬✻❪ ❆✳ P✳ ❉❡♠♣st❡r❀ ◆✳ ▼✳ ▲❛✐r❞❀ ❉✳ ❇✳ ❘✉❜✐♥ ✭✶✾✼✼✮✳ ▼❛①✐♠✉♠ ▲✐❦❡❧✐❤♦♦❞ ❢r♦♠ ■♥❝♦♠♣❧❡t❡ ❉❛t❛ ✈✐❛ t❤❡ ❊▼ ❆❧❣♦r✐t❤♠ ❏♦✉r♥❛❧ ♦❢ t❤❡ ❘♦②❛❧ ❙t❛t✐st✐❝❛❧ ❙♦❝✐❡t② ✱ ✸✾✱ ✶✲✸✽