Agrégation incomplète des estimateurs à seuillage dur

(1)

HAL Id: inria-00386563

https://hal.inria.fr/inria-00386563

Submitted on 22 May 2009

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Agrégation incomplète des estimateurs à seuillage dur

Yuri Golubev

To cite this version:

Yuri Golubev. Agrégation incomplète des estimateurs à seuillage dur. 41èmes Journées de Statistique,

SFdS, Bordeaux, 2009, Bordeaux, France, France. �inria-00386563�

(2)

Agr´ egation incompl` ete des estimateurs ` a seuillage dur

Yuri Golubev

Universit´ e de Provence, CMI, 22 rue F. Joliot-Curie, 13453 Marseille

R´ esum´ e. Cet exposé traite du problème de la reconstruction des vecteurs creux inconnus à partir des données bruités. Plus précisément, il se focalise sur la méthode du seuillage dur et le choix optimal de la pénalité dans la méthode de minimisation du risque empirique. Dans le cas o` u les seuils utilisés appartiennent à une grille fine, nous démontrons que la pénalité optimale se trouve dans le voisinage de la pénalité minimale admissible.

This talk deals with the reconstruction of sparse vectors from noisy data. More precisely, it focuses on the hard thresholding technique and the optimal choice of the penalty in the method of the empirical risk minimization. In the case where the thresholds in use belong to a fine grid, we show that the optimal penalty is in the vicinity of the minimal admissible penalty.

Mots-cl´es: seuillage dur, vecteur creux, minimisation du risque empirique, p´ enalit´ e.

Cet exposé traite de l’estimation d’un vecteur inconnu θ ∈ R ⁿ à partir des données bruitées Y i = θ i + σξ i , i = 1, . . . , n,

o` u ξ _i sont i.i.d. N (0, 1). Afin d’estimer θ, on utilise les estimateurs `a seuillage dur θ ˆ i (t) = Y i 1 ©

| Y i | ≥ t ª

et le but est de choisir le seuil t en se basant sur les observations. L’idée du seuillage dur est liée à l’hypothèse que le vecteur à estimer est creux. De tels vecteurs apparaissent typiquement dans les méthodes statistiques se basant sur les ondelettes, voir, par exemple, Donoho, D., Johnstone, I., Kerkyacharian, G. et Picard, D. (1995).

Ensuite, les seuils sont choisis `a l’aide du principe de minimisation du risque empirique ˆ t = arg min

t ∈T

n k Y − θ(t) ˆ k ² + P en £

k θ(t) ˆ k 0 , t ¤ o , o` u T est un sous-ensemble dans R ⁺ , k · k est la norme eucl´edienne,

k x k 0 =

n

X

i=1

1 {| x i | > 0 } ,

1

(3)

et P en £

· , · ¤

est une pénalité. En général, le but principal du concept de choix adaptatif de t est de trouver la pénalité qui minimise le risque de l’estimateur ˆ θ ¡ t ˆ ¢

R(θ, P en) = E

n

X

i=1

£ θ _i − θ ˆ _i ¡ ˆ t ¢¤ 2

,

uniformément θ ∈ R ⁿ . Pour illustrer cette idée, nous commen¸cons par le cas, o` u T = R ⁺ . Dans la littérature statistique, ce cas est connu sous le nom ”s´ election de mod´ ele”s (voir, par exemple, Birgé, L. et Massart, P. (2007) pour une brève histoire de cette méthode).

Pour borner le risque de ˆ θ(ˆ t), on introduit quelques notations suppl´ementaires. Pour un vecteur x ∈ R ⁿ on va noter par x ( · ) la permutation d´ecroissante de ces composantes x (1) ≥ x (2) ≥ . . . ≥ x (n) . Soit

pen α (x) ^def = (2x + 1) log 2Q α n

2x + 1 , avec Q α = µ

1 + 1 α

¶

exp(2 + ǫ).

On commence par un r´esultat dans l’esprit de Birg´e, L. et Massart, P. (2007).

Th´ eor` eme 1. Soit T = R ⁺ et P en α (x) = (1 + α)σ ² pen α (x), alors pour tout ǫ > 0, uniform´ ement en θ ∈ R ⁿ

R(θ, P en α ) ≤ µ

1 + 1 α

¶

R (θ, P en α ) + Cσ ² (1 + α) ² α √

ǫ ,

o` u

R (θ, P en α ) = min

k

n X ^k

i=1

θ ² _(n − k) + P en α (k) o

et C > 0 est une constante g´ en´ erique.

Ce théorème prédit que: la méthode de minimisation du risque empirique s’explose lorsque α → 0, la pénalité presque optimale correspond à α ≈ 1, le risque de cette méthode (avec la pénalité optimale) sur l’ensemble de vecteurs creux S _γ

n

= { θ : k θ k 0 ≤ γ _n n } est asymptotiquement quatre fois supérieure au risque minimax (voir Abramovich, F., Benjamini, Y., Donoho, D. et Johstone, I. (2006)). Malheureusement, ces conclusions ne s’accordent pas bien avec la pratique statistique car elles se basent sur la borne supérieure qui est grossière.

Le résultat suivant montre que la borne supérieure du théorème 1 peut être améliorée.

D´efinissons l’ensemble des vecteurs creux Q ⁿ = n

θ ∈ R ⁿ : # ©

i : | θ i | ≤ σ n

ª ≥ qn o , o` u q > 0 et σ n = σ/ p

2 log(n). On va supposer que

2

(4)

• T = { t ₁ , t ₂ , . . . , t _M } , o` u M = n/ £

exp(1) p

log(n) ¤

et t _k sont d´efinis par n exp £

− t ² _k /(2σ ² ) ¤

= 1 + (k − 1) p

log(n).

• P en α (x, t) = (1 + α)σ ² pen α/2

¡ k ¢

+ αn ¡

t ² /2 + σ ² ¢

exp[ − t ² /(2σ ² )] avec α > 0.

i : | θ i | ≥ σ n

ª

+ C R ¹ (θ, t) α ^3/2 ǫ ^1/4

· 1 + log ₊ C √

ǫα ³ nσ ² R 1 (θ, t)

¸ ⁻ 1/4

,

o` u

R ⁰ (θ, t) =

n

X

i=1

θ _i ² P ©

| Y i | ≤ t ª

+ P en α

h X ⁿ

i=1

P ©

| Y i | > t ª , t i

et

R 1 (θ, t) = R 0 (θ, t) + t ² q

# ©

i : | θ _i | ≥ σ _n ª .

Le sens statistique de ce théorème est assez transparent. Si le vecteur à estimer est creux, alors R ¹ (θ, t) ≍ R ⁰ (θ, t) et R ⁰ (θ, t) ≪ nσ ² pour tout t résonnable. Cela signifie que R 0 (θ, t) est le terme principal dans la borne du théorème 2 et son minimum par rapport

à α est atteint pour α ≈ 0. Notons également que cette borne supérieure s’explose, mais contrairement au théorème 1, c’est le terme de deuxième ordre qui s’explose. Cette ob- servation permet de démontrer en particulier que l’estimateur ˆ θ(ˆ t) est asymptotiquement minimax sur S _γ

n

.

Bibliographie

[1] Abramovich, F., Benjamini, Y., Donoho, D. et Johstone, I. (2006) Adapting to un- known sparsity by controlling false discovery rate. Ann. Statist., 34, 584–653.

[2] Birg´e, L. et Massart, P. (2007) Minimal penalties for Gaussian model selection. Probab.

Theory Relat. Fields 138, 33–73.

[3] Donoho, D., Johnstone, I., Kerkyacharian, G. et Picard, D. (1995) Wavelet shrinkage:

Asymtopia? Journal of the Royal Statistical Society, Series B, 57, 301–369.

3

Agrégation incomplète des estimateurs à seuillage dur

HAL Id: inria-00386563

https://hal.inria.fr/inria-00386563

Submitted on 22 May 2009

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Agrégation incomplète des estimateurs à seuillage dur

Yuri Golubev

To cite this version:

Yuri Golubev. Agrégation incomplète des estimateurs à seuillage dur. 41èmes Journées de Statistique,

SFdS, Bordeaux, 2009, Bordeaux, France, France. �inria-00386563�

Agr´ egation incompl` ete des estimateurs ` a seuillage dur

Yuri Golubev

Universit´ e de Provence, CMI, 22 rue F. Joliot-Curie, 13453 Marseille

Mots-cl´es: seuillage dur, vecteur creux, minimisation du risque empirique, p´ enalit´ e.

Cet exposé traite de l’estimation d’un vecteur inconnu θ ∈ R n à partir des données bruitées Y i = θ i + σξ i , i = 1, . . . , n,

o` u ξ i sont i.i.d. N (0, 1). Afin d’estimer θ, on utilise les estimateurs `a seuillage dur θ ˆ i (t) = Y i 1 ©

| Y i | ≥ t ª

Ensuite, les seuils sont choisis `a l’aide du principe de minimisation du risque empirique ˆ t = arg min

t ∈T

n k Y − θ(t) ˆ k 2 + P en £

k θ(t) ˆ k 0 , t ¤ o , o` u T est un sous-ensemble dans R + , k · k est la norme eucl´edienne,

k x k 0 =

n

X

i=1

1 {| x i | > 0 } ,

1

et P en £

· , · ¤

est une pénalité. En général, le but principal du concept de choix adaptatif de t est de trouver la pénalité qui minimise le risque de l’estimateur ˆ θ ¡ t ˆ ¢

R(θ, P en) = E

n

X

i=1

£ θ i − θ ˆ i ¡ ˆ t ¢¤ 2

,

uniformément θ ∈ R n . Pour illustrer cette idée, nous commen¸cons par le cas, o` u T = R + . Dans la littérature statistique, ce cas est connu sous le nom ”s´ election de mod´ ele”s (voir, par exemple, Birgé, L. et Massart, P. (2007) pour une brève histoire de cette méthode).

Pour borner le risque de ˆ θ(ˆ t), on introduit quelques notations suppl´ementaires. Pour un vecteur x ∈ R n on va noter par x ( · ) la permutation d´ecroissante de ces composantes x (1) ≥ x (2) ≥ . . . ≥ x (n) . Soit

pen α (x) def = (2x + 1) log 2Q α n

2x + 1 , avec Q α = µ

1 + 1 α

¶

exp(2 + ǫ).

On commence par un r´esultat dans l’esprit de Birg´e, L. et Massart, P. (2007).

Th´ eor` eme 1. Soit T = R + et P en α (x) = (1 + α)σ 2 pen α (x), alors pour tout ǫ > 0, uniform´ ement en θ ∈ R n

R(θ, P en α ) ≤ µ

1 + 1 α

¶

R (θ, P en α ) + Cσ 2 (1 + α) 2 α √

ǫ ,

o` u

R (θ, P en α ) = min

k

n X k

i=1

θ 2 (n − k) + P en α (k) o

et C > 0 est une constante g´ en´ erique.

Ce théorème prédit que: la méthode de minimisation du risque empirique s’explose lorsque α → 0, la pénalité presque optimale correspond à α ≈ 1, le risque de cette méthode (avec la pénalité optimale) sur l’ensemble de vecteurs creux S γ

Le résultat suivant montre que la borne supérieure du théorème 1 peut être améliorée.

D´efinissons l’ensemble des vecteurs creux Q n = n

θ ∈ R n : # ©

i : | θ i | ≤ σ n

ª ≥ qn o , o` u q > 0 et σ n = σ/ p

2 log(n). On va supposer que

2

• T = { t 1 , t 2 , . . . , t M } , o` u M = n/ £

exp(1) p

log(n) ¤

et t k sont d´efinis par n exp £

− t 2 k /(2σ 2 ) ¤

= 1 + (k − 1) p

log(n).

• P en α (x, t) = (1 + α)σ 2 pen α/2

¡ k ¢

+ αn ¡

t 2 /2 + σ 2 ¢

exp[ − t 2 /(2σ 2 )] avec α > 0.

Th´ eor` eme 2. Uniform´ ement en θ ∈ Q n et t ∈ T R(θ, P en α ) ≤R 0 (θ, t) + σ 2 # ©

i : | θ i | ≥ σ n

Cet exposé traite de l’estimation d’un vecteur inconnu θ ∈ R ⁿ à partir des données bruitées Y i = θ i + σξ i , i = 1, . . . , n,

o` u ξ _i sont i.i.d. N (0, 1). Afin d’estimer θ, on utilise les estimateurs `a seuillage dur θ ˆ i (t) = Y i 1 ©

n k Y − θ(t) ˆ k ² + P en £

k θ(t) ˆ k 0 , t ¤ o , o` u T est un sous-ensemble dans R ⁺ , k · k est la norme eucl´edienne,

£ θ _i − θ ˆ _i ¡ ˆ t ¢¤ 2

Pour borner le risque de ˆ θ(ˆ t), on introduit quelques notations suppl´ementaires. Pour un vecteur x ∈ R ⁿ on va noter par x ( · ) la permutation d´ecroissante de ces composantes x (1) ≥ x (2) ≥ . . . ≥ x (n) . Soit

pen α (x) ^def = (2x + 1) log 2Q α n

Th´ eor` eme 1. Soit T = R ⁺ et P en α (x) = (1 + α)σ ² pen α (x), alors pour tout ǫ > 0, uniform´ ement en θ ∈ R ⁿ

R (θ, P en α ) + Cσ ² (1 + α) ² α √

n X ^k

θ ² _(n − k) + P en α (k) o

Ce théorème prédit que: la méthode de minimisation du risque empirique s’explose lorsque α → 0, la pénalité presque optimale correspond à α ≈ 1, le risque de cette méthode (avec la pénalité optimale) sur l’ensemble de vecteurs creux S _γ

D´efinissons l’ensemble des vecteurs creux Q ⁿ = n

θ ∈ R ⁿ : # ©

• T = { t ₁ , t ₂ , . . . , t _M } , o` u M = n/ £

et t _k sont d´efinis par n exp £

− t ² _k /(2σ ² ) ¤

• P en α (x, t) = (1 + α)σ ² pen α/2

t ² /2 + σ ² ¢

exp[ − t ² /(2σ ² )] avec α > 0.

Th´ eor` eme 2. Uniform´ ement en θ ∈ Q ⁿ et t ∈ T R(θ, P en α ) ≤R 0 (θ, t) + σ ² # ©

+ C R ¹ (θ, t) α ^3/2 ǫ ^1/4

1 + log ₊ C √

ǫα ³ nσ ² R 1 (θ, t)

¸ ⁻ 1/4

R ⁰ (θ, t) =

θ _i ² P ©

h X ⁿ

R 1 (θ, t) = R 0 (θ, t) + t ² q

i : | θ _i | ≥ σ _n ª .

Le sens statistique de ce théorème est assez transparent. Si le vecteur à estimer est creux, alors R ¹ (θ, t) ≍ R ⁰ (θ, t) et R ⁰ (θ, t) ≪ nσ ² pour tout t résonnable. Cela signifie que R 0 (θ, t) est le terme principal dans la borne du théorème 2 et son minimum par rapport