HAL Id: hal-01096237
https://hal.inria.fr/hal-01096237
Submitted on 17 Dec 2014HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.
VSURF : un package R pour la sélection de variables à
l’aide de forêts aléatoires
R Genuer, J.-M Poggi, C Tuleau-Malot
To cite this version:
R Genuer, J.-M Poggi, C Tuleau-Malot. VSURF : un package R pour la sélection de variables à l’aide de forêts aléatoires. 3èmes Rencontres R, 2014, Montpellier, France. �hal-01096237�
❱❙❯❘❋ ✿ ✉♥ ♣❛❝❦❛❣❡ ❘ ♣♦✉r ❧❛ sé❧❡❝t✐♦♥ ❞❡ ✈❛r✐❛❜❧❡s à ❧✬❛✐❞❡ ❞❡ ❢♦rêts ❛❧é❛t♦✐r❡s ❘✳ ●❡♥✉❡ra ✱ ❏✳✲▼✳ P♦❣❣✐b ❛♥❞ ❈✳❚✉❧❡❛✉✲▼❛❧♦tc a❯♥✐✈❡rs✐té ❞❡ ❇♦r❞❡❛✉① ■❙P❊❉✱ ■◆❙❊❘▼ ❯✲✽✾✼✱ ■◆❘■❆ éq✉✐♣❡ ❙■❙❚▼ ✶✹✻✱ r✉❡ ▲é♦ ❙❛✐❣♥❛t✱ ✸✸✵✵✵ ❇♦r❞❡❛✉① ❘♦❜✐♥✳●❡♥✉❡r❅✐s♣❡❞✳✉✲❜♦r❞❡❛✉①✷✳❢r b ❯♥✐✈❡rs✐té ❞✬❖rs❛② ▲❛❜♦r❛t♦✐r❡ ❞❡ ▼❛t❤é♠❛t✐q✉❡s ❇ât✐♠❡♥t ✹✷✺✱ ✾✶✹✵✺ ❖rs❛② ❏❡❛♥✲▼✐❝❤❡❧✳P♦❣❣✐❅♠❛t❤✳✉✲♣s✉❞✳❢r c❯♥✐✈❡rs✐té ❞❡ ◆✐❝❡ ❙♦♣❤✐❛ ❆♥t✐♣♦❧✐s ❈◆❘❙✱ ▲❏❆❉✱ ❯▼❘ ✼✸✺✶ ✵✻✶✵✵ ◆✐❝❡ ▼❛❧♦t❅✉♥✐❝❡✳❢r ▼♦ts ❝❧❡❢s ✿ ❋♦rêts ❛❧é❛t♦✐r❡s✱ ❙é❧❡❝t✐♦♥ ❞❡ ✈❛r✐❛❜❧❡s✱ P❛❝❦❛❣❡ ❘ ❱❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥ ✐s ❛ ❝r✉❝✐❛❧ ✐ss✉❡ ✐♥ ♠❛♥② ❛♣♣❧✐❡❞ ❝❧❛ss✐✜❝❛t✐♦♥ ❛♥❞ r❡❣r❡ss✐♦♥ ♣r♦❜❧❡♠s✳ ■t ✐s ♦❢ ✐♥t❡r❡st ❢♦r st❛t✐st✐❝❛❧ ❛♥❛❧②s✐s ❛s ✇❡❧❧ ❛s ❢♦r ♠♦❞❡❧✐③❛t✐♦♥ ♦r ♣r❡❞✐❝t✐♦♥ ♣✉r♣♦s❡s t♦ r❡♠♦✈❡ ✐rr❡❧❡✈❛♥t ✈❛r✐❛❜❧❡s✱ t♦ s❡❧❡❝t ❛❧❧ ✐♠♣♦rt❛♥t ♦♥❡s ♦r t♦ ❞❡t❡r♠✐♥❡ ❛ s✉✣❝✐❡♥t s✉❜s❡t ❢♦r ♣r❡❞✐❝t✐♦♥✳ ❚❤❡s❡ ♠❛✐♥ ❞✐✛❡r❡♥t ♦❜❥❡❝t✐✈❡s ♦♥ ❛ st❛t✐st✐❝❛❧ ❧❡❛r♥✐♥❣ ♣❡rs♣❡❝t✐✈❡ ✐♥✈♦❧✈❡ ✈❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥ t♦ s✐♠♣❧✐❢② st❛t✐st✐❝❛❧ ♣r♦❜❧❡♠s✱ t♦ ❤❡❧♣ ❞✐❛❣♥♦s✐s ❛♥❞ ✐♥t❡r♣r❡t❛t✐♦♥✱ ❛♥❞ t♦ s♣❡❡❞ ✉♣ ❞❛t❛ ♣r♦❝❡ss✐♥❣✳ ❚❤❡ ❛✉t❤♦rs ❤❛✈❡ ♣r♦♣♦s❡❞ ❛ ✈❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥ ♠❡t❤♦❞ ❜❛s❡❞ ♦♥ r❛♥❞♦♠ ❢♦r❡sts ❬✹❪✱ ❛♥❞ t❤❡ ❛✐♠ ♦❢ t❤✐s ♣r❡s❡♥t❛t✐♦♥ ✐s t♦ ❞❡s❝r✐❜❡ t❤❡ ✭r❡❝❡♥t❧② ❛✈❛✐❧❛❜❧❡ ♦♥ ❈❘❆◆✮ ❛ss♦❝✐❛t❡❞ ❘ ❬✺❪ ♣❛❝❦❛❣❡ ❝❛❧❧❡❞ ❱❙❯❘❋ ❛♥❞ t♦ ✐❧❧✉str❛t❡ ✐ts ✉s❡ ♦♥ r❡❛❧ ❞❛t❛s❡ts✳ ■♥tr♦❞✉❝❡❞ ❜② ❇r❡✐♠❛♥ ❬✶❪✱ r❛♥❞♦♠ ❢♦r❡sts ✭❛❜❜r❡✈✐❛t❡❞ ❘❋ ✐♥ t❤❡ s❡q✉❡❧✮ ✐s ❛♥ ❛ttr❛❝t✐✈❡ ♥♦♥✲ ♣❛r❛♠❡tr✐❝ st❛t✐st✐❝❛❧ ♠❡t❤♦❞ t♦ ❞❡❛❧ ✇✐t❤ s✉❝❤ ♣r♦❜❧❡♠s✱ s✐♥❝❡ ✐t r❡q✉✐r❡s ♦♥❧② ♠✐❧❞ ❝♦♥❞✐t✐♦♥s ♦♥ t❤❡ ♠♦❞❡❧ s✉♣♣♦s❡❞ t♦ ❤❛✈❡ ❣❡♥❡r❛t❡❞ t❤❡ ♦❜s❡r✈❡❞ ❞❛t❛✳ ■♥❞❡❡❞✱ s✐♥❝❡ ✐t ✐s ❜❛s❡❞ ♦♥ ❞❡❝✐s✐♦♥ tr❡❡s ❛♥❞ ✐t ✉s❡s ❛❣❣r❡❣❛t✐♦♥ ✐❞❡❛s✱ ❘❋ ❛❧❧♦✇ t♦ ❝♦♥s✐❞❡r ✐♥ ❛♥ ❡❧❡❣❛♥t ❛♥❞ ✈❡rs❛t✐❧❡ ❢r❛♠❡✇♦r❦ ❞✐✛❡r❡♥t ♠♦❞❡❧s ❛♥❞ ♣r♦❜❧❡♠s✱ ♥❛♠❡❧② r❡❣r❡ss✐♦♥s✱ t✇♦✲❝❧❛ss ♦r ♠✉❧t✐❝❧❛ss ❝❧❛ss✐✜❝❛t✐♦♥s✳ ❚❤❡ str❛t❡❣② ■♥ ●❡♥✉❡r ❡t✳❛❧✳ ❬✹❪ ✇❡ ❤❛✈❡ ❞✐st✐♥❣✉✐s❤❡❞ t✇♦ ✈❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥ ♦❜❥❡❝t✐✈❡s✿ ✐♥t❡r♣r❡t❛t✐♦♥ ❛♥❞ ♣r❡❞✐❝t✐♦♥✳ ❚❤❡ ✜rst ✐s t♦ ✜♥❞ ✐♠♣♦rt❛♥t ✈❛r✐❛❜❧❡s ❤✐❣❤❧② r❡❧❛t❡❞ t♦ t❤❡ r❡s♣♦♥s❡ ✈❛r✐❛❜❧❡ ✐♥ ♦r❞❡r t♦ s❡❧❡❝t ❛❧❧ t❤❡ ✐♠♣♦rt❛♥t ✈❛r✐❛❜❧❡s✱ ❡✈❡♥ ✇✐t❤ ❤✐❣❤ r❡❞✉♥❞❛♥❝②✳ ❚❤❡ s❡❝♦♥❞ ✐s t♦ ✜♥❞ ❛ s♠❛❧❧ ♥✉♠❜❡r ♦❢ ✈❛r✐❛❜❧❡s s✉✣❝✐❡♥t t♦ ❛ ❣♦♦❞ ♣❛rs✐♠♦♥✐♦✉s ♣r❡❞✐❝t✐♦♥ ♦❢ t❤❡ r❡s♣♦♥s❡ ✈❛r✐❛❜❧❡✳ ❲❡ ❤❛✈❡ ♣r♦♣♦s❡❞ t❤❡ ❢♦❧❧♦✇✐♥❣ t✇♦✲st❡♣ ♣r♦❝❡❞✉r❡✱ t❤❡ ✜rst ♦♥❡ ✐s t❤❡ s❛♠❡ ❢♦r t❤❡ t✇♦ s✐t✉❛t✐♦♥s ✇❤✐❧❡ t❤❡ s❡❝♦♥❞ ♦♥❡ ❞❡♣❡♥❞s ♦♥ t❤❡ ♦❜❥❡❝t✐✈❡✿ ❼ ❙t❡♣ ✶✳ Pr❡❧✐♠✐♥❛r② ❡❧✐♠✐♥❛t✐♦♥ ❛♥❞ r❛♥❦✐♥❣✿ ✕ ❈♦♠♣✉t❡ t❤❡ ❘❋ s❝♦r❡s ♦❢ ✐♠♣♦rt❛♥❝❡✱ ♦r❞❡r t❤❡ ✈❛r✐❛❜❧❡s ✐♥ ❞❡❝r❡❛s✐♥❣ ♦r❞❡r ♦❢ ✐♠♣♦rt❛♥❝❡❀ ✕ ❈❛♥❝❡❧ t❤❡ ✈❛r✐❛❜❧❡s ♦❢ s♠❛❧❧ ✐♠♣♦rt❛♥❝❡ ✭❧❡t m ❞❡♥♦t❡s t❤❡ ♥✉♠❜❡r ♦❢ r❡♠❛✐♥✐♥❣ ✈❛r✐❛❜❧❡s✮✳
❼ ❙t❡♣ ✷✳ ❱❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥✿ ✕ ❋♦r ✐♥t❡r♣r❡t❛t✐♦♥✿ ❝♦♥str✉❝t t❤❡ ♥❡st❡❞ ❝♦❧❧❡❝t✐♦♥ ♦❢ ❘❋ ♠♦❞❡❧s ✐♥✈♦❧✈✐♥❣ t❤❡ k ✜rst ✈❛r✐❛❜❧❡s✱ ❢♦r k = 1 t♦ m ❛♥❞ s❡❧❡❝t t❤❡ ✈❛r✐❛❜❧❡s ✐♥✈♦❧✈❡❞ ✐♥ t❤❡ ♠♦❞❡❧ ❧❡❛❞✐♥❣ t♦ t❤❡ s♠❛❧❧❡st ❖❖❇ ❡rr♦r ✭❡st✐♠❛t❡ ♦❢ t❤❡ ♣r❡❞✐❝t✐♦♥ ❡rr♦r✮❀ ✕ ❋♦r ♣r❡❞✐❝t✐♦♥✿ st❛rt✐♥❣ ❢r♦♠ t❤❡ ♦r❞❡r❡❞ ✈❛r✐❛❜❧❡s r❡t❛✐♥❡❞ ❢♦r ✐♥t❡r♣r❡t❛t✐♦♥✱ ❝♦♥✲ str✉❝t ❛♥ ❛s❝❡♥❞✐♥❣ s❡q✉❡♥❝❡ ♦❢ ❘❋ ♠♦❞❡❧s✱ ❜② ✐♥✈♦❦✐♥❣ ❛♥❞ t❡st✐♥❣ t❤❡ ✈❛r✐❛❜❧❡s st❡♣✇✐s❡✳ ❚❤❡ ✈❛r✐❛❜❧❡s ♦❢ t❤❡ ❧❛st ♠♦❞❡❧ ❛r❡ s❡❧❡❝t❡❞✳ ❱❙❯❘❋ ✐♥ ❛❝t✐♦♥ ❚❤❡ ❞❛t❛s❡t✱ ❝❛❧❧❡❞ sr❜❝t ❛♥❞ ❛✈❛✐❧❛❜❧❡ ✐♥ t❤❡ ❘ ♣❛❝❦❛❣❡ ♠✐①❖♠✐❝s ❬✷❪✱ ❛❧❧♦✇s ✉s t♦ ✐❧❧✉str❛t❡ ♦✉r ♣r♦❝❡❞✉r❡ ✐♥ ❛ ❤✐❣❤✲❞✐♠❡♥s✐♦♥❛❧ ♠✉❧t✐❝❧❛ss ❝❧❛ss✐✜❝❛t✐♦♥ ❢r❛♠❡✇♦r❦✳ ❚❤✐s r❡❛❧ ❞❛t❛s❡t ❝♦♥s✐❞❡r❡❞ ✐s r❡❧❛t✐✈❡ t♦ s♠❛❧❧ r♦✉♥❞ ❜❧✉❡ ❝❡❧❧ t✉♠♦rs ♦❢ ❝❤✐❧❞❤♦♦❞✳ ■t ✐s ❝♦♠✲ ♣♦s❡❞ ♦❢ ❛ ❞❛t❛ ❢r❛♠❡✱ ❝❛❧❧❡❞ ❣❡♥❡✱ ♦❢ s✐③❡ ✻✸ × ✷✸✵✽ ✇❤✐❝❤ ❝♦♥t❛✐♥s t❤❡ ✷✸✵✽ ❣❡♥❡ ❡①♣r❡ss✐♦♥❀ ❛♥❞ ❛ r❡s♣♦♥s❡ ❢❛❝t♦r ♦❢ ❧❡♥❣t❤ ✻✸✱ ❝❛❧❧❡❞ ❝❧❛ss✱ ✐♥❞✐❝❛t✐♥❣ t❤❡ ❝❧❛ss ♦❢ ❡❛❝❤ s❛♠♣❧❡ ✭t❤❡r❡ ❛r❡ ✹ ❝❧❛ss❡s✮✳ ❧✐❜r❛r②✭❱❙❯❘❋✮ ❧✐❜r❛r②✭♠✐①❖♠✐❝s✮ ❞❛t❛✭sr❜❝t✮ ✈❙❘❇❈❚ ❁✲ ❱❙❯❘❋✭① ❂ sr❜❝t✩❣❡♥❡✱ ② ❂ sr❜❝t✩❝❧❛ss✮ s✉♠♠❛r②✭✈❙❘❇❈❚✮ ★★ ★★ ❱❙❯❘❋ ❝♦♠♣✉t❛t✐♦♥ t✐♠❡✿ ✷✳✼ ❤♦✉rs ★★ ★★ ❱❙❯❘❋ s❡❧❡❝t❡❞✿ ★★ ✻✺✶ ✈❛r✐❛❜❧❡s ❛t t❤r❡s❤♦❧❞✐♥❣ st❡♣ ✭✐♥ ✼✳✷ ♠✐♥s✮ ★★ ✷✺ ✈❛r✐❛❜❧❡s ❛t ✐♥t❡r♣r❡t❛t✐♦♥ st❡♣ ✭✐♥ ✷✳✻ ❤♦✉rs✮ ★★ ✶✸ ✈❛r✐❛❜❧❡s ❛t ♣r❡❞✐❝t✐♦♥ st❡♣ ✭✐♥ ✶✹✳✻ s❡❝s✮ ❖♥ t❤✐s ❞❛t❛s❡t✱ t❤❡ ♣r♦❝❡❞✉r❡ ❧❡❛❞s t♦ 25 ❛♥❞ 13 s❡❧❡❝t❡❞ ✈❛r✐❛❜❧❡s ❛❢t❡r t❤❡ ✐♥t❡r♣r❡t❛t✐♦♥ ❛♥❞ ♣r❡❞✐❝t✐♦♥ st❡♣ r❡s♣❡❝t✐✈❡❧②✱ ❛♥❞ t❤❡ ♥✉♠❜❡r ♦❢ s❡❧❡❝t❡❞ ✈❛r✐❛❜❧❡s ❛s t❤❡ s❡❧❡❝t❡❞ ✈❛r✐❛❜❧❡s t❤❡♠s❡❧✈❡s ❛r❡ st❛❜❧❡✳ ❲❡ ❝❛♥ ❝♦♠♣❛r❡ t❤❡s❡ ♥✉♠❜❡rs ♦❢ s❡❧❡❝t❡❞ ✈❛r✐❛❜❧❡s ✇✐t❤ t❤♦s❡ ♦❜t❛✐♥❡❞ ✐♥ ❉í❛③✲❯r✐❛rt❡ ❡t✳❛❧✳ ❬✸❪ ✇❤❡r❡ t❤❡ ❛✉t❤♦rs s❡❧❡❝t ✷✷ ❣❡♥❡s ♦♥ t❤❡ ♦r✐❣✐♥❛❧ ❞❛t❛s❡t ❛♥❞ t❤❡✐r ♥✉♠❜❡r ♦❢ s❡❧❡❝t❡❞ ✈❛r✐❛❜❧❡s ✐s ❛❧s♦ q✉✐t❡ st❛❜❧❡✳ ❘é❢ér❡♥❝❡s ❬✶❪ ❇r❡✐♠❛♥✱ ▲✳ ✭✷✵✵✶✮✳ ❘❛♥❞♦♠ ❢♦r❡sts✳ ▼❛❝❤✐♥❡ ❧❡❛r♥✐♥❣✱ ✹✺✭✶✮✱ ✺✲✸✷ ❬✷❪ ❉❡❥❡❛♥✱ ❙✳✱ ●♦♥③❛❧❡③✱ ■✳✱ ▲❡ ❈❛♦✱ ❑❆ ✇✐t❤ ❝♦♥tr✐❜✉t✐♦♥s ❢r♦♠ ▼♦♥❣❡t✱ P✳✱ ❈♦q✉❡r②✱ ❏✳✱ ❨❛♦✱ ❋✳✱ ▲✐q✉❡t✱ ❇✳ ❛♥❞ ❘♦❤❛rt✱ ❋✳ ✭✷✵✶✸✮✳ ♠✐①❖♠✐❝s✿ ❖♠✐❝s ❉❛t❛ ■♥t❡❣r❛t✐♦♥ Pr♦❥❡❝t✳ ❘ ♣❛❝❦❛❣❡ ✈❡rs✐♦♥ ✺✳✵✲✶ ❬✸❪ ❉í❛③✲❯r✐❛rt❡✱ ❘✳ ❛♥❞ ❆❧✈❛r❡③ ❉❡ ❆♥❞r❡s✱ ❙✳ ✭✷✵✵✻✮✳ ●❡♥❡ s❡❧❡❝t✐♦♥ ❛♥❞ ❝❧❛ss✐✜❝❛t✐♦♥ ♦❢ ♠✐❝r♦❛rr❛② ❞❛t❛ ✉s✐♥❣ r❛♥❞♦♠ ❢♦r❡st✳ ❇▼❈ ❇✐♦✐♥❢♦r♠❛t✐❝s✱ ✼✭✶✮✱ ✸ ❬✹❪ ●❡♥✉❡r✱ ❘✳✱ P♦❣❣✐✱ ❏✳✲▼✳✱ ❛♥❞ ❚✉❧❡❛✉✲▼❛❧♦t✱ ❈✳ ✭✷✵✶✵✮✳ ❱❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥ ✉s✐♥❣ r❛♥❞♦♠ ❢♦r❡sts✳ P❛tt❡r♥ ❘❡❝♦❣♥✐t✐♦♥ ▲❡tt❡rs✱ ✸✶✭✶✹✮✱ ✷✷✷✺✲✷✷✸✻ ❬✺❪ ❘ ❈♦r❡ ❚❡❛♠ ✭✷✵✶✹✮✳ ❘✿ ❆ ❧❛♥❣✉❛❣❡ ❛♥❞ ❡♥✈✐r♦♥♠❡♥t ❢♦r st❛t✐st✐❝❛❧ ❝♦♠♣✉t✐♥❣✳ ❘ ❋♦✉♥❞❛✲ t✐♦♥ ❢♦r ❙t❛t✐st✐❝❛❧ ❈♦♠♣✉t✐♥❣✱ ❱✐❡♥♥❛✱ ❆✉str✐❛✳ ❯❘▲ ❤tt♣✿✴✴✇✇✇✳❘✲♣r♦❥❡❝t✳♦r❣✴