Sparse estimators and the oracle property, or the return of Hodges' estimator

(1)

HAL Id: hal-00501797

https://hal.archives-ouvertes.fr/hal-00501797

Submitted on 12 Jul 2010

HAL is a multi-disciplinary open access

archive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Sparse estimators and the oracle property, or the return

of Hodges’ estimator

Hannes Leeb, Benedikt M. Pötscher

To cite this version:

Hannes Leeb, Benedikt M. Pötscher. Sparse estimators and the oracle property, or the return of Hodges’ estimator. Econometrics, MDPI, 2007, 142 (1), pp.201. �10.1016/j.jeconom.2007.05.017�. �hal-00501797�

(2)

Editors: TAKESHI AMEMIYA A. RONALD GALLANT JOHN F. GEWEKE CHENG HSIAO PETER ROBINSON ARNOLD ZELLNER Associate Editors: YACINE AïT-SAHALIA BADI H. BALTAGI M.W. BRANDT MARCUS J. CHAMBERS SONGNIAN CHEN MANFRED DEISTLER MIGUEL A. DELGADO JEAN-MARIE DUFOUR SYLVIA FRUHWIRTH--SCHNATTER ERIC GHYSELS JOHN C. HAM JAVIER HIDALGO HAN HONG YONGMIAO HONG BO E. HONORÉ MAXWELL L. KING YUICHI KITAMURA G.M. KOOP CHUNG-MING KUAN NAOTO KUNITOMO KAJAL LAHIRI Q. LI TONG LI OLIVER LINTON JAMES G. MacKINNON ROBERT McCULLOCH ROSA L. MATZKIN FRANZ C. PALM DALE J. POIRIER NICHOLAS POLSON B.M. PÖTSCHER INGMAR PRUCHA PETER C. REISS ERIC RENAULT FRANK SCHORFHEIDE ROBIN SICKLES FALLAW SOWELL G.J. VAN DEN BERG HERMAN VAN DIJK QUANG H. VUONG EDWARD VYTLACIL TOM WANSBEEK ANDREW WEISS TAO ZHA www.elsevier.com/locate/jeconom

Author’s Accepted Manuscript

Sparse estimators and the oracle property, or the

return of Hodges’ estimator

Hannes Leeb, Benedikt M. Pötscher

PII:

S0304-4076(07)00127-3

DOI:

doi:10.1016/j.jeconom.2007.05.017

Reference:

ECONOM 2956

To appear in:

Journal of Econometrics

Received date:

27 April 2006

Revised date:

11 April 2007

Accepted date:

8 May 2007

Cite this article as: Hannes Leeb and Benedikt M. Pötscher, Sparse estimators and the

oracle property, or the return of Hodges’ estimator, Journal of Econometrics (2007),

doi:

10.1016/j.jeconom.2007.05.017

This is a PDF ﬁle of an unedited manuscript that has been accepted for publication. As

a service to our customers we are providing this early version of the manuscript. The

manuscript will undergo copyediting, typesetting, and review of the resulting galley proof

before it is published in its ﬁnal citable form. Please note that during the production process

errors may be discovered which could affect the content, and all legal disclaimers that apply

to the journal pertain.

(3)

Accepted manuscript

!

" #$ %

&

'

( )

*++,

-

( #

*++.

/ ' 0*++1 *++* *++,2 3 3 4" 3 $ - 5 $ / 3 6 " 7 6 " 8 3 $ ' 3 " 9 $ : # ; 3 6 8 0 ;< 2 ' 0*++12$ / 8 8 3 4 6 " 3 9 3 $ ( =*>+. =*;??7 =* *+ =*'1+ =*'1* ( 9 6 " 4 9 5 ;< ! 4 6 " 6 4 1

(4)

Accepted manuscript

9 5 9 6 " $ 6 ! ' " ' 01??@2 3 4 0A ' 0*+++22 0 ;< 2 ' 0*++12 ' 0*++* *++,2 ' 0*++,2 ; ' B 0*++C2$ < 3 ' 0*++12 ;< 3 9 0 2 $ $ 9 6 9 3 9 3 49 $ < 5 ;< 3 9 ;< $ D-$ D-$ % 01??1 12$E : 3 3 9 ;< ;< $ ' 0*++12 F G $1 _' ₉ H H ! 0A ' 0*+++2 $ 1@=1 B 0*++=22$ $* _' ₃ 4 4 0 $ $ 6 " 3 2 0 6 !:; 3 2 6 7 % 01??12 % 0*++C2 $ : ! 0*++,2 3 " 9 7 ! # A 0*++C2$ < 8 3 " 3 3 9 3 0 2 3 3 " 3 9 7 3 F G " 3 9 3 $ -1_- _' ₃ ₅ 5 3 $ *_- ₄ _$ *

(5)

Accepted manuscript

F I G 7 J 4 6 $ D 4 9 6 9 3 $E ) 3 3 4" 3 $ $ 6 8 4 $ : 8 J " K 3 3 7 $ $ 8 9 3 $ - 3 4" 3 $ ' 4 4 % 0*++C2 3 $ $ 3 8 F 8 G 3 $@ _A _{' 0*+++} _@2 ! $ ' 6 J "4 ; 6 F G 0 $ $ F G 3 9 2$ - 3 $ 3 03 2 8 ( : 3 4" 3 6 0 2 5 3 3 9 0 $ $ ; 01??L2 $,,*2 3 6 " 8 5 "$ : 3 3 " $ -0 2 3 $ < 3 " F G F G 5 9 $ ' 3 3 3 " 3 6 @_- ₃ ₆ 01?L,2 01?L= 2 % 01??12 A 01??C *++*2$ @

(6)

Accepted manuscript

3 "$ ' 6 4 4 0*++C2 % 0*++C < 6 ;27, _$ _F _G 3 * 3$ - * # ; @ 6 8 ;< ' 0*++12$ -;< # ; 0 2 8 4 " 4 4 3 4 0> ! " 01?.L2 % 0*++C22 0 2 ;< H 3 H ' 0*++12 5 $ ; 012 3 $ -3 9 8 $ / 3 9 $C _' ₃ ) 8 $ -8 $ 6 4 $ ' 3 3 $ < 4 0*2 ,_- ₆ ₀ ₂ ₅ ₃ _!:;4 01?L,2 01?L= 2 ' M 01??,2$ C_: ₉ ₃ ₈₆ 0@2H0,2 3 " $ ,

(7)

Accepted manuscript

3 5 3 $ -8 9 3 $ ; 8 0*2$ : ;< 3 ! 0*2 9 $ < 4 4 8 0*2$ < $ D; 0*2 8 " 5 $E / 3 3 4 0*2 5 8 " $ ' 3 0 2 5 5 8 3 9 $ = ! " # $ % & ' ! !' 0@2 ! & ' & % ! " 0,2 ! ( ' # ) % & ! - 3 6 " H H $ =_- _*$1 ₃ 3 9 $ - 6 ; 8 0 $ $ $ <$1 % 0*++=22 A / 01?L,2 $ < 6 8 5 $ C

(8)

Accepted manuscript

3 4 0,2 3 6 0 2 8 $ < 0,2 3 0,2 $ : 5 3 6 0 2 5 8 9 $ : I 0,2$. _{) 3 3} 3 0C2 ! 4 3 $ 0A / 01?L,2 - *$1 " 17 J " " 01?=.2 $*1@2 5 3$ $ $ 5 $ ; 5 $ $ $ 0C2 $ 3 $ : 3 - *$1 " 0,2 " $ " 3 3 6 5 $ D: " 0,2 " 3 3 86 3 $E ' 5 3 F G 3 " 9 $ D: $ $ 6 3 3 J 4 6 $E : 3 H 5 H $ - 3 " F G .₎ ₆ _0@2 _0,2 ₃ ₃ ₄ ₈ _$ =

(9)

Accepted manuscript

9 $ : 5 0@2 3 5 6 " 8 $ # 9 $ : - *$1 3 0=2 0.2 $ D: 3 0=240.2 $L _: ₃ 3 0=240.2 $E ) 6 3 N 3 F G 0 5 2 3 ( 4 8 9 3 $ $ $ 4 4 9 $ < - *$1 4 3 6 0 2 5 8 $? ₃ - *$1 0 2 5 0 2$ ) 6 0 2 5 3 8 4 4 7 % 0*++C < 6 ;2$ / 3 " 3 4 6 3 $ 8 $ -L₎ _A _/ _01?L,2 ₃ <$1 % 0*++=2 3 5 $ ?_: _- _*$1 ₃ ₃ $ .

(10)

Accepted manuscript

3 3 6 " $

!

"

!

# $

/ 6 # ; ;< 6 ,$1 ' 0*++127 3 3 J 5 8 $ 3 3 3 ;< 3 5 ' 0*++12 03 2$ ; 012 3 3 $ -3 9 $ -5 3 4 4 $ $ 3 $ ' 0*++12 3 3 5 7 $ -01??= .$*2$ / 3 9 ! ! 3$ / 0 2 3 0 2 * " 3 K 9 $ - ;< 8 9 9 5 J " 3 " 8 ' 0*++12 # $ - " $ 3 5 @$. ;< 3 ;< * 6 ,$1 ' 0*++12$ < - * ' 0*++12 ;< L

(11)

Accepted manuscript

# # 9 8 $ #<- <! 9 3 ;< * $ D- 8 5 $E -3 ( - O ' 0*++12 5 $ - 8 3 ( ' 8 % % 3 P 6 $ ) 3 8 0 5 2 % % 3 5 $ -$ - 5 $1+ ) 3 $ ' ;< * # 9 4 0 $ ,$* ' 0*++122$ : ' 0*++12 # 9 4 9 & & 7 4 5 8 $ ' : 3 4 # !" !" $ / ' 0*++12 7 0 2 9 3 4 # # 3 - * ' 0*++12 J $ D' # &:$E / # ; 5 ;< * 1+1 5 3 9 C++ # ; 0 ' 0*++12 1++ 2$ ) $ -9 ' 1 3$ D' ' 1 J $E 1 +_- ₅ ₃ ₅ 01?LL - @$12$ ?

(12)

Accepted manuscript

0 2 4 6 8 0 1 2 3 4

Median Relative Model Error of SCAD2

gamma 0 2 4 6 8 0 1 2 3 4

Relative Mean Squared Error of SCAD2

gamma ' 1( # ; $ -;< * 9 $ -5 ;< *$ 9 6 $ ' 5 $ : # ; ' 0*++12 $ - ' 1$ < ;< * 5 3 5 $ 3 ' 1 3 3 $ : 3 ;< * 5 3 5 $ $ K 9 $ : 3 - *$1 3 3 4 ;< * 3 9 ( ' 5 ;< * 3 4 * ' 17 @7 " $ / " ' 1 3 4 ;< * 0 2 3 3 $ : 3 - *$1 $11 _D ₉ 1 1 _*$1 _' _1, _% _0*++C2 _$ 1+

(13)

Accepted manuscript

3 ;< * 3 $E ( : 9 5 03 9 9 2 ;< 3 $ 3 4 3 3 6 ;< $ : 3 I 3 9 $ 3 3 4 3 O 9 3 $ / 4 6 7 3$ 8 9 ' 1 3 8 3 9 $ : :: ::: 3 4 :( : :: $ $ 3 3 6 9 4 3 $ : ::: 3 4 3 : :: 3 $ - # 3 :$ - 5 3 ' 1 $ : 3 ;< #$ ! - * ' 0*++12 ;< # # 7 ' 1 # 9 4 # & !" !" & 7 $ $ 3 # ' !" $ - # $ O 5 3 4 7 ON ' 1$ # O 3 4 7 O " ' 1$ : :& & 3 4 3 # 3 !" !" 3 # ' # ' $ : :& 3 # ' 3 ' 17 :& # : 0 2$ : & 3 # ' 3 3 ' 17 & 11

(14)

Accepted manuscript

# :$ < 8 0 &:2 3 3 3 ::4& $ : :: 3 # ; : K 3 1+1 5 3 $ - 3 4 5 : 7 3 $ : ::: 3 # ; : 3 3 1+1 5 3 $ ) 3 3 : :: 3 3 $ ' * :::$ 0 20 40 60 80 0 1 2 3 4

gamma 8 0 20 40 60 80 0 1 2 3 4

gamma 8 ' *( # ; $ ' 1 $ - ' 1 ' *$ - 3 ' * $ < 3 3 3 9 5 0 9 2( ; 08 "2 $ 0 "2$ % % 3 : 3 3 # 9 4 & & 1*

(15)

Accepted manuscript

:& & & &$

:& O 3 & O :$ - 9 ' @ , 3$ ; ;< 4 # O K 4 3 4 $ 0 2 4 6 8 0 1 2 3 4

gamma 0 2 4 6 8 0 1 2 3 4

gamma ' @( # ; 7 ;< :&$ 0 2 4 6 8 0 1 2 3 4

gamma 0 2 4 6 8 0 1 2 3 4

gamma

(16)

Accepted manuscript

' ,( # ; 7 ;< &$ : 3 # # ;< " $ : 3 &: 3 : 6 # 3 9 4 K & & 3 ' 0*++12$ ) # 3 - * ' 0*++12$ - 3 ' C 3$ - 8 : ;< * 5 3 6 3 ' 0*++12 $ / 3 K : H H 3 3 3 3 9 $ D- " 3 " 4 4 " <:; 4 3 4 9 $E 0 2 4 6 8 0 1 2 3 4

gamma 0 2 4 6 8 0 1 2 3 4

gamma

' C( # ;

7 ;<

(17)

Accepted manuscript

&:$

&

#

!

/ 3 " $ - 3 " 6 $ 4 F G$ / 3 J $ ! 3 3 ( 6 3 0 $ $ 2 9 $ : " H C+ H 3 3 0 $ $ 2$ / 3 0 $ $ 2 3 $ : 8 J " 01?.1 $1C@2 3 ( F $ -6 6 8 $G - 3 % 0*++C2 3 " 4 4 3 $ - " 4 9 5 0 6 " 2 $ 9 " 3 8 $ 3 " 0 3 " 2$ : J 8 $1* 1 *_: _{6 3} _F _I _G 3 $ 3 F I G 5 F I G 3 $ 1C

(18)

Accepted manuscript

'!

(

< 3 *++,$ / M 3 : 3 A ) " $

)

! '$ 0*++,2( ; 4 $ @* L?L4?*.$ ! '$ Q :$ /$ # A 0*++C2( ; 9 $ * % ?* 1L=4*+,$ ; >$ ' >$ $ Q $ B 0*++C2( & + ) ?* @+@4@1=$ ' >$ Q $ 0*++12( & 9 " $ * ?= 1@,L41@=+$ ' >$ Q $ 0*++*2( & ; 6 9 $ @+ .,4??$ ' >$ Q $ 0*++,2( ) 3 $ * ?? .1+4 .*@$ ' >$ Q $ 0*++,2( ) 9 " 3 $ @* ?*L4?=1$ ' $ $ Q $ :$ M 01??,2( - " N $ ** 1?,.41?.C$ ' " :$ $ Q >$ $ ' 01??@2( < 3 03 2$ " @C 1+?41,L$ J " >$ 01?.12( " $ : ( &$ $ M $ <$ 0 $2 , ( - . & , ( ' / % 0 ' 1 ' 23 4 5' 356 1,*41C?$ - ( Q / $ J " >$ Q B$ " 01?=.2( " 7 ) " $ ) 3 "( < $ 1=

(19)

Accepted manuscript

$ 01?L,2( : $ : ( $ $ < 0 $2 " - " . C @?4C*$ < ( ) 4 $ > M$ M$ Q #$ $ ! " 01?.L2( " ( . 8 8 $ < ( ) 4 $ A $ 01??C2( - K 8 $ 8 " 11 [email protected],?$ A $ 0*++*2( $ 8 " 1L ?1@4?1C$ A A$ Q /$ ' 0*+++2( < 4 $ *L 1@[email protected]$ A $ $ Q /$ / 01?L,2( $ 9 : : ) $ 1 1.4@+$ $ $ Q M$ ; 01??L2( " . 8 $ - 6 $ ) 3 "( 4& $ $ Q !$ #$ % 0*++C2( # ( 8 $ 8 " *1 *14C?$ $ Q !$ #$ % 0*++=2( " " 4 3 "4 $ 8 " ** =?4?.$ 0; $ $2 % !$ #$ 01??12( K $ 8 " . 1=@41LC$ $ 01?L= 2( ; $ * . ' ; *@< 1*.41,1$ $ 01?L= 2( 7 6 9 ' $ ( @L ,C?4,.,$ - $ >$ 01??=2( " < $ * 7 ' ! + CL *=.4*LL$ & $ 01?LL2( # / $ % * 1C ?.41+?$ $ 0*++C2( ; <:; !:; R < N 3 8 $ + ) ?* [email protected]?C+$ 1.

(20)

Accepted manuscript

B $ 0*++=2( - $ *

1+1 1,1L41,*?$