Comparaison de proc´ edures de validation crois´ ee (

(1)

1/31

Sélection de modèles par validation croisée Premier ordre Deuxième ordre Conclusion

Comparaison de proc´ edures de validation crois´ ee (

V -fold

)

Sylvain Arlot (collaboration avec Matthieu Lerasle)

1

Cnrs

2

Ecole Normale Sup´ ´ erieure (Paris), DI/ENS, ´ Equipe Sierra

Nice, 20 f´ evrier 2015

Comparaison de proc´edures de validation crois´ee (V-fold) Sylvain Arlot (collaboration avec Matthieu Lerasle)

(2)

2/31

Plan

1 S´ election de mod` eles par validation crois´ ee

2 Analyse au premier ordre : biais

3 Analyse au deuxi` eme ordre : variance

4 Conclusion

(3)

3/31

Estimation de densit´ e : donn´ ees ξ 1 , . . . , ξ n

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

(4)

4/31

But : estimer la densit´ e s ^? des observations ξ i

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

(5)

5/31

Probl` eme : estimation de densit´ e

Donn´ ees D n : ξ 1 , . . . , ξ n ∈ Ξ (i.i.d. ∼ P , densit´ e s ^? par rapport ` a µ)

Contraste des moindres carr´ es γ(t, ξ ) = ktk ² _L

2

(µ) − 2t(ξ) Objectif : apprendre t ∈ S = {fonctions mesurables Ξ → R } t.q. E ξ∼P

γ(t; ξ)

=: P γ(t) est minimale.

P γ(t) = Z

t ² dµ − 2 Z

ts ^? dµ = Z

(t − s ^? ) ² dµ − ks ^? k ² _L

2

(µ)

⇒ densit´ e s ^? ∈ argmin _t∈ _S P γ (t) et la perte relative vaut

` (s ^? , t ) := P γ(t) − P γ(s ^? ) = kt − s ^? k ² _L

2

(µ) . Cas particulier d’un cadre g´ en´ eral incluant aussi :

pr´ ediction (r´ egression/classification) contraste log-vraisemblance en densit´ e

(6)

5/31

Probl` eme : estimation de densit´ e

Donn´ ees D n : ξ 1 , . . . , ξ n ∈ Ξ (i.i.d. ∼ P , densit´ e s ^? par rapport ` a µ)

Contraste des moindres carr´ es γ(t, ξ ) = ktk ² _L

2

(µ) − 2t(ξ) Objectif : apprendre t ∈ S = {fonctions mesurables Ξ → R } t.q. E ξ∼P

γ(t; ξ)

=: P γ(t) est minimale.

P γ(t ) = Z

t ² dµ − 2 Z

ts ^? dµ = Z

(t − s ^? ) ² dµ − ks ^? k ² _L

2

(µ)

⇒ densit´ e s ^? ∈ argmin _t∈ _S P γ(t) et la perte relative vaut

` (s ^? , t) := P γ(t) − P γ(s ^? ) = kt − s ^? k ² _L

2

(µ) .

Cas particulier d’un cadre g´ en´ eral incluant aussi : pr´ ediction (r´ egression/classification)

contraste log-vraisemblance en densit´ e

(7)

5/31

Probl` eme : estimation de densit´ e

Donn´ ees D n : ξ 1 , . . . , ξ n ∈ Ξ (i.i.d. ∼ P , densit´ e s ^? par rapport ` a µ)

Contraste des moindres carr´ es γ(t, ξ ) = ktk ² _L

2

(µ) − 2t(ξ) Objectif : apprendre t ∈ S = {fonctions mesurables Ξ → R } t.q. E ξ∼P

γ(t; ξ)

=: P γ(t) est minimale.

P γ(t ) = Z

t ² dµ − 2 Z

ts ^? dµ = Z

(t − s ^? ) ² dµ − ks ^? k ² _L

2

(µ)

⇒ densit´ e s ^? ∈ argmin _t∈ _S P γ(t) et la perte relative vaut

` (s ^? , t) := P γ(t) − P γ(s ^? ) = kt − s ^? k ² _L

2

(µ) . Cas particulier d’un cadre g´ en´ eral incluant aussi :

pr´ ediction (r´ egression/classification) contraste log-vraisemblance en densit´ e

(8)

6/31

Un estimateur par histogramme

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

(9)

7/31

S´ election de mod` eles : histogrammes r´ eguliers

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

(10)

8/31

S´ election de mod` eles

Estimateur des moindres carr´ es sur un mod` ele S _m ⊂ S b s m ∈ argmin

t∈S

m

P n γ(t) o` u P n γ(t) := 1 n

X

ξ∈D

n

γ (t; ξ) Exemples de mod` eles : histogrammes, base tronqu´ ee (Fourier, ondelettes, etc.).

Collection de mod` eles ( b s _m ) m∈M ⇒ choisir m b = m(D b _n ) ? Objectif : minimiser le risque de l’estimateur final, i.e., In´ egalit´ e oracle (en esp´ erance ou avec grande probabilit´ e) :

` (s ^? , b s _m _b ) 6 C inf

m∈M

` (s ^? , b s m ) + R n

(11)

8/31

S´ election de mod` eles

Estimateur des moindres carr´ es sur un mod` ele S _m ⊂ S b s m ∈ argmin

t∈S

m

P n γ(t) o` u P n γ(t) := 1 n

X

ξ∈D

n

γ (t; ξ) Exemples de mod` eles : histogrammes, base tronqu´ ee (Fourier, ondelettes, etc.).

Collection de mod` eles ( b s _m ) m∈M ⇒ choisir m b = m(D b _n ) ?

Objectif : minimiser le risque de l’estimateur final, i.e., In´ egalit´ e oracle (en esp´ erance ou avec grande probabilit´ e) :

` (s ^? , b s _m _b ) 6 C inf

m∈M

` (s ^? , b s m ) + R n

(12)

8/31

S´ election de mod` eles

Estimateur des moindres carr´ es sur un mod` ele S _m ⊂ S b s m ∈ argmin

t∈S

m

P n γ(t) o` u P n γ(t) := 1 n

X

ξ∈D

n

γ (t; ξ) Exemples de mod` eles : histogrammes, base tronqu´ ee (Fourier, ondelettes, etc.).

Collection de mod` eles ( b s _m ) m∈M ⇒ choisir m b = m(D b _n ) ? Objectif : minimiser le risque de l’estimateur final, i.e., In´ egalit´ e oracle (en esp´ erance ou avec grande probabilit´ e) :

` (s ^? , b s _m _b ) 6 C inf

m∈M

` (s ^? , b s m ) + R n

(13)

9/31

Compromis biais-variance

E

` (s ^? , b s m )

= Biais + Variance Biais ou Erreur d’approximation

` (s ^? , S m ) = inf

t∈S

m

` (s ^? , t) Variance ou Erreur d’estimation

histogrammes r´ eguliers sur R de pas d _m ⁻¹ : d _m − ks _m ^? k ² _L

2

(µ)

n ≈ d _m n

Compromis biais-variance

⇔ ´ eviter le sur-apprentissage et le sous-apprentissage

(14)

9/31

Compromis biais-variance

E

` (s ^? , b s m )

= Biais + Variance Biais ou Erreur d’approximation

` (s ^? , S m ) = inf

t∈S

m

` (s ^? , t) Variance ou Erreur d’estimation

histogrammes r´ eguliers sur R de pas d _m ⁻¹ : d _m − ks _m ^? k ² _L

2

(µ)

n ≈ d _m n

Compromis biais-variance

⇔ ´ eviter le sur-apprentissage et le sous-apprentissage

(15)

10/31

Principe de la validation simple

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

(16)

10/31

Principe de la validation : ´ echantillon d’entraˆınement

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

(17)

10/31

Principe de la validation : ´ echantillon d’entraˆınement

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

(18)

10/31

Principe de la validation : ´ echantillon de validation

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

(19)

10/31

Principe de la validation : ´ echantillon de validation

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

(20)

11/31

Validation crois´ ee

ξ 1 , . . . , ξ n

e

| {z }

Entraˆınement D n ^(e) ⇒ b s m ^(e) = b s _m D n ^(e)

ξ n

e

+1 , . . . , ξ n

| {z }

Validation D n ^(v ⁾ ⇒ ´ evaluer le risque

Estimateur

Hold-out

du risque : P _n ^(v) γ

b s _m ^(e)

= 1 n v

X

ξ∈D

n^(v)

γ b s _m ^(e) ; ξ

n

v

=|D

^(v_n⁾

|=n−n

e

Validation crois´ ee : moyenne d’estimateurs

hold-out

R b ^vc

b s _m ; D _n ; (I _j ^(e) ) _16j _6B

= 1 B

B

X

j=1

P n ^(v,j ⁾ γ b s m ^(e,j ⁾

D

n^(e,j)

=(ξ

i

)

i∈I(e) j

S´ election de mod` eles : m b ∈ argmin

m∈M

n

R b ^vc ( b s _m ; D _n ) o

.

(21)

11/31

Validation crois´ ee

ξ 1 , . . . , ξ n

e

| {z }

Entraˆınement D n ^(e) ⇒ b s m ^(e) = b s _m D n ^(e)

ξ n

e

+1 , . . . , ξ n

| {z }

Validation D n ^(v ⁾ ⇒ ´ evaluer le risque

Estimateur

Hold-out

du risque : P _n ^(v) γ

b s _m ^(e)

= 1 n v

X

ξ∈D

n^(v)

γ b s _m ^(e) ; ξ

n

v

=|D

^(v)_n

|=n−n

e

Validation crois´ ee : moyenne d’estimateurs

hold-out

R b ^vc

b s _m ; D _n ; (I _j ^(e) ) _16j _6B

= 1 B

B

X

j=1

P n ^(v,j ⁾ γ b s m ^(e,j ⁾

D

^(e,j)n

=(ξ

i

)

i∈I(e) j

S´ election de mod` eles : m b ∈ argmin

m∈M

n

R b ^vc ( b s _m ; D _n ) o .

(22)

11/31

Validation crois´ ee

ξ 1 , . . . , ξ n

e

| {z }

Entraˆınement D n ^(e) ⇒ b s m ^(e) = b s _m D n ^(e)

ξ n

e

+1 , . . . , ξ n

| {z }

Validation D n ^(v ⁾ ⇒ ´ evaluer le risque Estimateur

Hold-out

du risque :

P _n ^(v) γ b s _m ^(e)

= 1 n v

X

ξ∈D

n^(v)

γ b s _m ^(e) ; ξ

n

v

=|D

^(v)_n

|=n−n

e

Validation crois´ ee : moyenne d’estimateurs

hold-out

R b ^vc

b s _m ; D _n ; (I _j ^(e) ) _16j _6B

= 1 B

B

X

j=1

P n ^(v ^,j ⁾ γ b s m ^(e,j)

D

^(e,j)n

=(ξ

i

)

i∈I(e) j

S´ election de mod` eles : m b ∈ argmin

m∈M

n

R b ^vc ( b s _m ; D _n ) o

.

(23)

11/31

Validation crois´ ee

ξ 1 , . . . , ξ n

e

| {z }

Entraˆınement D n ^(e) ⇒ b s m ^(e) = b s _m D n ^(e)

ξ n

e

+1 , . . . , ξ n

| {z }

Validation D n ^(v ⁾ ⇒ ´ evaluer le risque Estimateur

Hold-out

du risque :

P _n ^(v) γ b s _m ^(e)

= 1 n v

X

ξ∈D

n^(v)

γ b s _m ^(e) ; ξ

n

v

=|D

^(v)_n

|=n−n

e

Validation crois´ ee : moyenne d’estimateurs

hold-out

R b ^vc

b s _m ; D _n ; (I _j ^(e) ) _16j _6B

= 1 B

B

X

j=1

P n ^(v ^,j ⁾ γ b s m ^(e,j)

D

^(e,j)n

=(ξ

i

)

i∈I(e) j

S´ election de mod` eles : m b ∈ argmin

m∈M

n

R b ^vc ( b s _m ; D _n ) o .

(24)

12/31

Validation crois´ ee

V -fold

B = (B j ) _16j _6V partition de {1, . . . , n}

(ξ i ) i∈B

1

| {z } validation

, (ξ i ) _i ∈B

2

, . . . , (ξ i ) _i ∈B

V−1

, (ξ i ) i∈B

_V

| {z }

entraˆınement

⇒ P n ⁽¹⁾ γ b s m ⁽⁻¹⁾

(ξ _i ) i∈B

₁

| {z } entraˆın.

, (ξ _i ) i∈B

₂

| {z } validation

, . . . , (ξ _i ) i∈B

_V−1

, (ξ _i ) i∈B

_V

| {z }

entraˆınement

⇒ P n ⁽²⁾ γ b s m ⁽⁻²⁾ .. .

(ξ i ) i∈B

1

, (ξ i ) i∈B

2

, . . . , (ξ i ) i∈B

_V−1

| {z }

entraˆınement

, (ξ i ) i∈B

_V

| {z } validation

⇒ P n ^(V ⁾ γ b s m ^(−V ⁾

⇒ R b ^vf ( b s m ; D n ; B) = 1 V

V

X

j=1

P n ^(j ⁾ γ b s m ^(−j)

m b ∈ arg min

m∈M

n

R b ^vf ( b s m )

o

(25)

12/31

Validation crois´ ee

V -fold

B = (B j ) _16j _6V partition de {1, . . . , n}

(ξ i ) i∈B

1

| {z } validation

, (ξ i ) _i ∈B

2

, . . . , (ξ i ) _i ∈B

V−1

, (ξ i ) i∈B

_V

| {z }

entraˆınement

⇒ P n ⁽¹⁾ γ b s m ⁽⁻¹⁾

(ξ _i ) i∈B

₁

| {z } entraˆın.

, (ξ _i ) i∈B

₂

| {z } validation

, . . . , (ξ _i ) i∈B

_V₋₁

, (ξ _i ) i∈B

_V

| {z }

entraˆınement

⇒ P n ⁽²⁾ γ b s m ⁽⁻²⁾

.. .

(ξ i ) i∈B

1

, (ξ i ) i∈B

2

, . . . , (ξ i ) i∈B

_V−1

| {z }

entraˆınement

, (ξ i ) i∈B

_V

| {z } validation

⇒ P n ^(V ⁾ γ b s m ^(−V ⁾

⇒ R b ^vf ( b s m ; D n ; B) = 1 V

V

X

j=1

P n ^(j ⁾ γ b s m ^(−j)

m b ∈ arg min

m∈M

n

R b ^vf ( b s m ) o

(26)

12/31

Validation crois´ ee

V -fold

B = (B j ) _16j _6V partition de {1, . . . , n}

(ξ i ) i∈B

1

| {z } validation

, (ξ i ) _i ∈B

2

, . . . , (ξ i ) _i ∈B

V−1

, (ξ i ) i∈B

_V

| {z }

entraˆınement

⇒ P n ⁽¹⁾ γ b s m ⁽⁻¹⁾

(ξ _i ) i∈B

₁

| {z } entraˆın.

, (ξ _i ) i∈B

₂

| {z } validation

, . . . , (ξ _i ) i∈B

_V₋₁

, (ξ _i ) i∈B

_V

| {z }

entraˆınement

⇒ P n ⁽²⁾ γ b s m ⁽⁻²⁾ .. .

(ξ i ) i∈B

1

, (ξ i ) i∈B

2

, . . . , (ξ i ) i∈B

_V−1

| {z }

entraˆınement

, (ξ i ) i∈B

_V

| {z } validation

⇒ P n ^(V ⁾ γ b s m ^(−V ⁾

⇒ R b ^vf ( b s m ; D n ; B) = 1 V

V

X

j=1

P n ^(j ⁾ γ b s m ^(−j)

m b ∈ arg min

m∈M

n

R b ^vf ( b s m )

o

(27)

12/31

Validation crois´ ee

V -fold

B = (B j ) _16j _6V partition de {1, . . . , n}

(ξ i ) i∈B

1

| {z } validation

, (ξ i ) _i ∈B

2

, . . . , (ξ i ) _i ∈B

V−1

, (ξ i ) i∈B

_V

| {z }

entraˆınement

⇒ P n ⁽¹⁾ γ b s m ⁽⁻¹⁾

(ξ _i ) i∈B

₁

| {z } entraˆın.

, (ξ _i ) i∈B

₂

| {z } validation

, . . . , (ξ _i ) i∈B

_V₋₁

, (ξ _i ) i∈B

_V

| {z }

entraˆınement

⇒ P n ⁽²⁾ γ b s m ⁽⁻²⁾ .. .

(ξ i ) i∈B

1

, (ξ i ) i∈B

2

, . . . , (ξ i ) i∈B

_V−1

| {z }

entraˆınement

, (ξ i ) i∈B

_V

| {z } validation

⇒ P n ^(V ⁾ γ b s m ^(−V ⁾

⇒ R b ^vf ( b s m ; D n ; B) = 1 V

V

X

j=1

P n ^(j ⁾ γ b s m ^(−j)

m b ∈ arg min

m∈M

n

R b ^vf ( b s m ) o

(28)

13/31

Analyse au premier ordre : lemme

Objectif :

minimiser R(m) = P b s _m (D _n )

sur m ∈ M

M´ ethode :

minimiser C(m) = R b ^vf ( b s _m ; D _n ; B) sur m ∈ M

⇒ m b C ∈ argmin

m∈M

C(m)

Lemme

Si ∀m ∈ M, −B(m) 6 C(m) − R(m) 6 A(m) , alors, ∀ m b C ∈ argmin

m∈M

C(m) ,

R( m b C ) − B( m b C ) 6 inf

m∈M

R(m) + A(m) .

(29)

13/31

Analyse au premier ordre : lemme

Objectif :

minimiser R(m) = P b s _m (D _n )

sur m ∈ M M´ ethode :

minimiser C(m) = R b ^vf ( b s _m ; D _n ; B) sur m ∈ M

⇒ m b C ∈ argmin

m∈M

C(m)

Lemme

Si ∀m ∈ M, −B(m) 6 C(m) − R(m) 6 A(m) , alors, ∀ m b C ∈ argmin

m∈M

C(m) ,

R( m b C ) − B( m b C ) 6 inf

m∈M

R(m) + A(m) .

(30)

14/31

Optimalit´ e au premier ordre

Principe d’estimation sans biais du risque (Mallows, Akaike, 1973) : choisir C tel que

∀m ∈ M, E C(m)

= E R(m)

.

Sous r´ eserve d’in´ egalit´ es de concentration (uniformes sur m ∈ M), avec grande probabilit´ e,

∀m ∈ M, −δ _n R(m) 6 C(m) − R(m) 6 δ n R(m) avec δ _n ∈ ]0, 1[ .

⇒ d’apr` es le lemme,

∀ m b C ∈ argmin

m∈M

C(m) , R( m b C ) 6 1 + δ _n 1 − δ n

m∈M inf

R(m) .

Optimal au premier ordre si δ _n → 0.

(31)

14/31

Optimalit´ e au premier ordre

Principe d’estimation sans biais du risque (Mallows, Akaike, 1973) : choisir C tel que

∀m ∈ M, E C(m)

= E R(m)

. Sous r´ eserve d’in´ egalit´ es de concentration (uniformes sur m ∈ M), avec grande probabilit´ e,

∀m ∈ M, −δ _n R(m) 6 C(m) − R(m) 6 δ n R(m) avec δ _n ∈ ]0, 1[ .

⇒ d’apr` es le lemme,

∀ m b C ∈ argmin

m∈M

C(m) , R( m b C ) 6 1 + δ _n 1 − δ n

m∈M inf

R(m) .

Optimal au premier ordre si δ _n → 0.

(32)

14/31

Optimalit´ e au premier ordre

Principe d’estimation sans biais du risque (Mallows, Akaike, 1973) : choisir C tel que

∀m ∈ M, E C(m)

= E R(m)

. Sous r´ eserve d’in´ egalit´ es de concentration (uniformes sur m ∈ M), avec grande probabilit´ e,

∀m ∈ M, −δ _n R(m) 6 C(m) − R(m) 6 δ n R(m) avec δ _n ∈ ]0, 1[ .

⇒ d’apr` es le lemme,

∀ m b C ∈ argmin

m∈M

C(m) , R( m b C ) 6 1 + δ _n 1 − δ n

m∈M inf

R(m) .

Optimal au premier ordre si δ _n → 0.

(33)

14/31

Optimalit´ e au premier ordre

Principe d’estimation sans biais du risque (Mallows, Akaike, 1973) : choisir C tel que

∀m ∈ M, E C(m)

= E R(m)

. Sous r´ eserve d’in´ egalit´ es de concentration (uniformes sur m ∈ M), avec grande probabilit´ e,

∀m ∈ M, −δ _n R(m) 6 C(m) − R(m) 6 δ n R(m) avec δ _n ∈ ]0, 1[ .

⇒ d’apr` es le lemme,

∀ m b C ∈ argmin

m∈M

C(m) , R( m b C ) 6 1 + δ _n 1 − δ n

m∈M inf

R(m) .

Optimal au premier ordre si δ _n → 0.

(34)

15/31

Au premier ordre : biais de la validation crois´ ee

Hypoth` ese : Card(B _j ) = n/V pour tout j .

Calcul d’esp´ erances (moindres carr´ es, densit´ e ou r´ egression) : E

P γ b s m (D n )

≈ α(m) + β (m)

n

⇒ E h

R b ^vf ( b s m ; D n ; B) i

= E h

P n ^(j) γ

b s m ^(−j ⁾

i

= E h

P γ

b s m ^(−j)

i

≈ α(m) + V

V − 1 β(m)

n

⇒ biais, d´ ecroissant avec V , tend vers z´ ero quand V → +∞

⇒ sous-optimalit´ e de la validation crois´ ee

V -fold

` a V fix´ e

(A. 2008, r´ egressogrammes ; valable plus largement)

(35)

15/31

Au premier ordre : biais de la validation crois´ ee

Hypoth` ese : Card(B _j ) = n/V pour tout j .

Calcul d’esp´ erances (moindres carr´ es, densit´ e ou r´ egression) : E

P γ b s m (D n )

≈ α(m) + β (m)

n

⇒ E h

R b ^vf ( b s m ; D n ; B) i

= E h

P n ^(j) γ

b s m ^(−j ⁾

i

= E h

P γ

b s m ^(−j)

i

≈ α(m) + V

V − 1 β(m)

n

⇒ biais, d´ ecroissant avec V , tend vers z´ ero quand V → +∞

⇒ sous-optimalit´ e de la validation crois´ ee

V -fold

` a V fix´ e (A. 2008, r´ egressogrammes ; valable plus largement)

(36)

15/31

Au premier ordre : biais de la validation crois´ ee

Hypoth` ese : Card(B _j ) = n/V pour tout j .

Calcul d’esp´ erances (moindres carr´ es, densit´ e ou r´ egression) : E

P γ b s m (D n )

≈ α(m) + β (m)

n

⇒ E h

R b ^vf ( b s m ; D n ; B) i

= E h

P n ^(j) γ

b s m ^(−j ⁾

i

= E h

P γ

b s m ^(−j)

i

≈ α(m) + V

V − 1 β(m)

n

⇒ biais, d´ ecroissant avec V , tend vers z´ ero quand V → +∞

⇒ sous-optimalit´ e de la validation crois´ ee

V -fold

` a V fix´ e

(A. 2008, r´ egressogrammes ; valable plus largement)

(37)

16/31

Correction du biais et p´ enalisation

V -fold

Validation crois´ ee

V -fold

corrig´ ee (Burman, 1989) : R b ^vf,corr ( b s m ; D n ; B) := R b ^vf ( b s m ; D n ; B) + P n γ ( b s m ) − 1

V

X

j=1

P n γ

b s m ^(−j ⁾

= P n γ ( b s m ) + pen _VF ( b s m ; D n ; B)

| {z } p´ enalit´ e V -fold (A. 2008)

Estimation de densit´ e, moindres carr´ es (A. & Lerasle, 2014) : R b ^vf ( b s m ; D n ; B) = P n γ b s m (D n )

+

1 + 1

2(V − 1)

| {z }

surp´ enalisation

pen _VF ( b s m ; D n ; B)

R b ^`po ( b s _m ; D _n ; B) = P _n γ b s _m (D _n ) +

z }| {



1 + 1 2

n p − 1



 pen _VF ( b s _m ; D _n ; B _loo )

(38)

16/31

Correction du biais et p´ enalisation

V -fold

Validation crois´ ee

V -fold

corrig´ ee (Burman, 1989) : R b ^vf,corr ( b s m ; D n ; B) := R b ^vf ( b s m ; D n ; B) + P n γ ( b s m ) − 1

V

X

j=1

P n γ

b s m ^(−j ⁾

= P _n γ ( b s _m ) + pen _VF ( b s _m ; D _n ; B)

| {z }

p´ enalit´ e V -fold (A. 2008)

Estimation de densit´ e, moindres carr´ es (A. & Lerasle, 2014) : R b ^vf ( b s m ; D n ; B) = P n γ b s m (D n )

+

1 + 1

2(V − 1)

| {z }

surp´ enalisation

pen _VF ( b s m ; D n ; B)

R b ^`po ( b s _m ; D _n ; B) = P _n γ b s _m (D _n ) +

z }| {



1 + 1 2

n p − 1



 pen _VF ( b s _m ; D _n ; B _loo )

(39)

16/31

Correction du biais et p´ enalisation

V -fold

Validation crois´ ee

V -fold

corrig´ ee (Burman, 1989) : R b ^vf,corr ( b s m ; D n ; B) := R b ^vf ( b s m ; D n ; B) + P n γ ( b s m ) − 1

V

X

j=1

P n γ

b s m ^(−j ⁾

= P _n γ ( b s _m ) + pen _VF ( b s _m ; D _n ; B)

| {z } p´ enalit´ e V -fold (A. 2008)

Estimation de densit´ e, moindres carr´ es (A. & Lerasle, 2014) : R b ^vf ( b s m ; D n ; B) = P n γ b s m (D n )

+

1 + 1

2(V − 1)

| {z }

surp´ enalisation

pen _VF ( b s m ; D n ; B)

R b ^`po ( b s _m ; D _n ; B) = P _n γ b s _m (D _n ) +

z }| {



1 + 1 2

n p − 1



 pen _VF ( b s _m ; D _n ; B _loo )

(40)

17/31

In´ egalit´ es oracle optimales pour la p´ enalisation

V -fold

Th´ eor` eme

Avec probabilit´ e 1 − n ⁻² , ∀δ > 0,

∀ m b ∈ argmin

m∈M

P n γ b s m (D n )

+ pen _VF ( b s m ; D n ; B) ,

` (s ^? , b s

m b ) 6 1 + δ

m∈M inf

` (s ^? , b s _m ) + L

log Card(M)

∨ log(n) α

δ ^β n

⇒ Optimal au premier ordre si Card(M) 6 an ^b

Valable sous des hypoth` eses raisonnablement faibles pour : Les r´ egressogrammes en r´ egression h´ et´ erosc´ edastique (A. 2008, 2009)

L’estimation de densit´ e par moindres carr´ es (A. & Lerasle, 2014 ; Celisse, 2014)

+ In´ egalit´ e-oracle sous-optimale pour la validation crois´ ee

V-fold

(constante 1 + _V ¹ ₋₁ ).

(41)

17/31

In´ egalit´ es oracle optimales pour la p´ enalisation

V -fold

Th´ eor` eme

Avec probabilit´ e 1 − n ⁻² , ∀δ > 0,

∀ m b ∈ argmin

m∈M

P n γ b s m (D n )

+ pen _VF ( b s m ; D n ; B) ,

` (s ^? , b s

m b ) 6 1 + δ

m∈M inf

` (s ^? , b s _m ) + L

log Card(M)

∨ log(n) α

δ ^β n

⇒ Optimal au premier ordre si Card(M) 6 an ^b

Valable sous des hypoth` eses raisonnablement faibles pour : Les r´ egressogrammes en r´ egression h´ et´ erosc´ edastique (A.

2008, 2009)

L’estimation de densit´ e par moindres carr´ es (A. & Lerasle, 2014 ; Celisse, 2014)

+ In´ egalit´ e-oracle sous-optimale pour la validation crois´ ee

V-fold

(constante 1 + _V ¹ ₋₁ ).

(42)

17/31

In´ egalit´ es oracle optimales pour la p´ enalisation

V -fold

Th´ eor` eme

Avec probabilit´ e 1 − n ⁻² , ∀δ > 0,

∀ m b ∈ argmin

m∈M

P n γ b s m (D n )

+ pen _VF ( b s m ; D n ; B) ,

` (s ^? , b s

m b ) 6 1 + δ

m∈M inf

` (s ^? , b s _m ) + L

log Card(M)

∨ log(n) α

δ ^β n

⇒ Optimal au premier ordre si Card(M) 6 an ^b

Valable sous des hypoth` eses raisonnablement faibles pour : Les r´ egressogrammes en r´ egression h´ et´ erosc´ edastique (A.

2008, 2009)

L’estimation de densit´ e par moindres carr´ es (A. & Lerasle, 2014 ; Celisse, 2014)

+ In´ egalit´ e-oracle sous-optimale pour la validation crois´ ee

V-fold

(constante 1 + _V ¹ ₋₁ ).

(43)

18/31

Analyse au second ordre ?

Comment comparer m b C

₁

et m b C

₂

lorsque

∀m ∈ M, E C ₁ (m)

= E C ₂ (m)

?

Tenir compte de la variance var C _i (m)

? Variance de quelle quantit´ e ?

Pour toute variable Z , m b

_C

∈ argmin

_m∈M

C(m) + Z mais var C(m) + Z

d´ epend de Z ... Ce qui compte :

∀m, m ⁰ ∈ M, sign C(m) − C(m ⁰ )

= sign R(m) − R(m ⁰ )

⇒ variance des incr´ ements

var C(m) − C(m ⁰ ) .

(44)

18/31

Analyse au second ordre ?

Comment comparer m b C

₁

et m b C

₂

lorsque

∀m ∈ M, E C ₁ (m)

= E C ₂ (m)

? Tenir compte de la variance var C _i (m)

?

Variance de quelle quantit´ e ?

Pour toute variable Z , m b

_C

∈ argmin

_m∈M

C(m) + Z mais var C(m) + Z

d´ epend de Z ... Ce qui compte :

∀m, m ⁰ ∈ M, sign C(m) − C(m ⁰ )

= sign R(m) − R(m ⁰ )

⇒ variance des incr´ ements

var C(m) − C(m ⁰ )

.

(45)

18/31

Analyse au second ordre ?

Comment comparer m b C

₁

et m b C

₂

lorsque

∀m ∈ M, E C ₁ (m)

= E C ₂ (m)

? Tenir compte de la variance var C _i (m)

? Variance de quelle quantit´ e ?

Pour toute variable Z , m b

_C

∈ argmin

_m∈M

C(m) + Z mais var C(m) + Z

d´ epend de Z ...

Ce qui compte :

∀m, m ⁰ ∈ M, sign C(m) − C(m ⁰ )

= sign R(m) − R(m ⁰ )

⇒ variance des incr´ ements

var C(m) − C(m ⁰ ) .

(46)

18/31

Analyse au second ordre ?

Comment comparer m b C

₁

et m b C

₂

lorsque

∀m ∈ M, E C ₁ (m)

= E C ₂ (m)

? Tenir compte de la variance var C _i (m)

? Variance de quelle quantit´ e ?

Pour toute variable Z , m b

_C

∈ argmin

_m∈M

C(m) + Z mais var C(m) + Z

d´ epend de Z ...

Ce qui compte :

∀m, m ⁰ ∈ M, sign C(m) − C(m ⁰ )

= sign R(m) − R(m ⁰ )

⇒ variance des incr´ ements

var C(m) − C(m ⁰ )

.

(47)

18/31

Analyse au second ordre ?

Comment comparer m b C

₁

et m b C

₂

lorsque

∀m ∈ M, E C ₁ (m)

= E C ₂ (m)

? Tenir compte de la variance var C _i (m)

? Variance de quelle quantit´ e ?

Pour toute variable Z , m b

_C

∈ argmin

_m∈M

C(m) + Z mais var C(m) + Z

d´ epend de Z ...

Ce qui compte :

∀m, m ⁰ ∈ M, sign C(m) − C(m ⁰ )

= sign R(m) − R(m ⁰ )

⇒ variance des incr´ ements

var C(m) − C(m ⁰ ) .

(48)

19/31

Variance et s´ election de mod` eles : heuristique

∀m ∈ / argmin _m∈M E [` (s ^? , b s _m )], on veut minimiser P ( m b C = m)

= P ∀m ⁰ ∈ M, C(m) − C(m ⁰ ) < 0 6 min

m

⁰

6=m P C(m) − C(m ⁰ ) < 0

≈ min

m

⁰

6=m P

E

C(m) − C(m ⁰ )

− N q

var C(m) − C(m ⁰ )

< 0

= Φ



 max

m

⁰

6=m

E [C(m) − C(m ⁰ )] q

var C(m) − C(m ⁰ )



 o` u Φ(t) = P(N > t) Hypoth` eses : ∀m ∈ M, E[C ₁ (m)] = E[C ₂ (m)] et

∀i , argmin _m∈M E [C _i (m)] = argmin _m∈M E [R(m)]

⇒ on veut minimiser var C _i (m) − C _i (m ⁰ )

(49)

19/31

Variance et s´ election de mod` eles : heuristique

∀m ∈ / argmin _m∈M E [` (s ^? , b s _m )], on veut minimiser P ( m b C = m) = P ∀m ⁰ ∈ M, C(m) − C(m ⁰ ) < 0

6 min

m

⁰

6=m P C(m) − C(m ⁰ ) < 0

≈ min

m

⁰

6=m P

E

C(m) − C(m ⁰ )

− N q

var C(m) − C(m ⁰ )

< 0

= Φ



 max

m

⁰

6=m

E [C(m) − C(m ⁰ )] q

var C(m) − C(m ⁰ )



 o` u Φ(t) = P(N > t) Hypoth` eses : ∀m ∈ M, E[C ₁ (m)] = E[C ₂ (m)] et

∀i , argmin _m∈M E [C _i (m)] = argmin _m∈M E [R(m)]

⇒ on veut minimiser var C _i (m) − C _i (m ⁰ )

(50)

19/31

Variance et s´ election de mod` eles : heuristique

∀m ∈ / argmin _m∈M E [` (s ^? , b s _m )], on veut minimiser P ( m b C = m) = P ∀m ⁰ ∈ M, C(m) − C(m ⁰ ) < 0

6 min

m

⁰

6=m P C(m) − C(m ⁰ ) < 0

≈ min

m

⁰

6=m P

E

C(m) − C(m ⁰ )

− N q

var C(m) − C(m ⁰ )

< 0

= Φ



 max

m

⁰

6=m

E [C(m) − C(m ⁰ )] q

var C(m) − C(m ⁰ )



 o` u Φ(t) = P(N > t) Hypoth` eses : ∀m ∈ M, E[C ₁ (m)] = E[C ₂ (m)] et

∀i , argmin _m∈M E [C _i (m)] = argmin _m∈M E [R(m)]

⇒ on veut minimiser var C _i (m) − C _i (m ⁰ )

(51)

19/31

Variance et s´ election de mod` eles : heuristique

∀m ∈ / argmin _m∈M E [` (s ^? , b s _m )], on veut minimiser P ( m b C = m) = P ∀m ⁰ ∈ M, C(m) − C(m ⁰ ) < 0

6 min

m

⁰

6=m P C(m) − C(m ⁰ ) < 0

≈ min

m

⁰

6=m P

E

C(m) − C(m ⁰ )

− N q

var C(m) − C(m ⁰ )

< 0

= Φ



 max

m

⁰

6=m

E [C(m) − C(m ⁰ )]

q

var C(m) − C(m ⁰ )



 o` u Φ(t) = P (N > t)

Hypoth` eses : ∀m ∈ M, E[C ₁ (m)] = E[C ₂ (m)] et

∀i , argmin _m∈M E [C _i (m)] = argmin _m∈M E [R(m)]

⇒ on veut minimiser var C _i (m) − C _i (m ⁰ )

(52)

19/31

Variance et s´ election de mod` eles : heuristique

∀m ∈ / argmin _m∈M E [` (s ^? , b s _m )], on veut minimiser P ( m b C = m) = P ∀m ⁰ ∈ M, C(m) − C(m ⁰ ) < 0

6 min

m

⁰

6=m P C(m) − C(m ⁰ ) < 0

≈ min

m

⁰

6=m P

E

C(m) − C(m ⁰ )

− N q

var C(m) − C(m ⁰ )

< 0

= Φ



 max

m

⁰

6=m

E [C(m) − C(m ⁰ )]

q

var C(m) − C(m ⁰ )



 o` u Φ(t) = P (N > t) Hypoth` eses : ∀m ∈ M, E[C ₁ (m)] = E[C ₂ (m)] et

∀i , argmin _m∈M E [C _i (m)] = argmin _m∈M E [R(m)]

⇒ on veut minimiser var C _i (m) − C _i (m ⁰ )

(53)

20/31

Variance et s´ election de mod` eles (densit´ e, moindres carr´ es)

∆(m, m ⁰ , V ) = R b ^vf,corr ( b s _m ) − R b ^vf,corr ( b s _m

⁰

) Th´ eor` eme (A. & Lerasle, 2014)

var ∆(m, m ⁰ , V )

= 4

1 + 2 n + 1

n ²

var _P (s _m ^? − s _m ^?

0

) n + 2

1 + 4 V − 1 − 1

n

B(m, m ⁰ ) n ²

| {z }

>0

Si de plus S _m ⊂ S _m

⁰

sont deux mod` eles d’histogrammes r´ eguliers de pas d _m ⁻¹ , d _m ⁻¹

0

, alors

B(m, m ⁰ ) ∝ ks _m ^? − s _m ^?

⁰

k d m . Les deux termes sont du mˆ eme ordre si

s _m ^? − s _m ^?

0

≈ d _m /n.

(54)

21/31

Variance de R b ^vf,corr ( b s _m ) − R b ^vf ^,corr ( b s _m

^?

) vs. (d _m , V )

0 20 40 60 80 100

0 0.02 0.04 0.06 0.08 0.1 0.12 0.14 0.16 0.18

dimension LOO

10−Fold 5−Fold 2−Fold E[penid]

var(∆(m, m ⁰ , V )) ≈ n ⁻²

29 1 + _V ^0.8 ₋₁

+ 3.7 1 + _V ^3.8 ₋₁

(d m − d m

^?

)

(55)

22/31

Φ(max _m

⁰

_6=m E [C (m) − C(m ⁰ )]/ p

var(C(m) − C(m ⁰ )))

0 20 40 60 80 100

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7

dimension

LOO 10−Fold 5−Fold 2−Fold E[penid]

(56)

23/31

Evaluation de l’heuristique : ´ P ( m b _C = m)

0 20 40 60 80 100

0 0.02 0.04 0.06 0.08 0.1 0.12 0.14 0.16

dimension

P(m is selected)

LOO

10−Fold

5−Fold

2−Fold

E[penid]

(57)

24/31

Evaluation de l’heuristique (2) ´

0 0.02 0.04 0.06 0.08

0 0.02 0.04 0.06 0.08 0.1 0.12 0.14 0.16

Heuristic estimation of P(m is selected)

P(m is selected)

LOO 10−Fold 5−Fold 2−Fold E[penid]

(58)

25/31

Simulations : validation crois´ ee

V -fold

1 1.2 1.4 1.6 1.8 2

2.04 2.06 2.08 2.1 2.12 2.14 2.16 2.18

Risk Ratio (Cor)

overpenalization factor C

V=n (LOO)

V=10

V=5

V=2

(59)

25/31

Simulations : validation crois´ ee

V -fold

1 1.2 1.4 1.6 1.8 2

2.04 2.06 2.08 2.1 2.12 2.14 2.16 2.18

Risk Ratio (Cor)

overpenalization factor C V=n (LOO) V=10 V=5 V=2

(60)

25/31

Simulations : validation crois´ ee

V -fold

1 1.2 1.4 1.6 1.8 2

2.04 2.06 2.08 2.1 2.12 2.14 2.16 2.18

Risk Ratio (Cor)

overpenalization factor C

V=n (LOO)

V=10

V=5

V=2

(61)

25/31

Simulations : validation crois´ ee

V -fold

1 1.2 1.4 1.6 1.8 2

2.04 2.06 2.08 2.1 2.12 2.14 2.16 2.18

Risk Ratio (Cor)

overpenalization factor C V=n (LOO) V=10 V=5 V=2

(62)

26/31

Simulations : p´ enalisation

V -fold

1 1.2 1.4 1.6 1.8 2

2.04 2.06 2.08 2.1 2.12 2.14 2.16 2.18

Risk Ratio (Cor)

overpenalization factor C

V=n (LOO)

V=10

V=5

V=2

(63)

26/31

Simulations : p´ enalisation

V -fold

1 1.2 1.4 1.6 1.8 2

1.9 2 2.1 2.2 2.3 2.4 2.5

Risk Ratio (Cor)

overpenalization factor C V=n (LOO) V=10 V=5 V=2

(64)

27/31

Simulations : surp´ enalisation

1 1.2 1.4 1.6 1.8 2

1.9 2 2.1 2.2 2.3 2.4 2.5

Risk Ratio (Cor)

overpenalization factor C

V=n (LOO)

V=10

V=5

V=2

(65)

28/31

Simulations : conclusion

0 1 2 3 4 5

2 2.5 3 3.5 4 4.5

Risk Ratio (Cor)

overpenalization factor C V=n (LOO) V=10 V=5 V=2

LOO 10FCV 5FCV 2FCV

(66)

29/31

Simulations : cadre

pratiquement param´ etrique

1 2 3 4 5 6

3.5 4 4.5 5 5.5 6 6.5 7 7.5 8

Risk Ratio (Cor)

overpenalization factor C V=n (LOO) V=10 V=5 V=2

LOO

10FCV

5FCV

2FCV

(67)

30/31

V -fold

et s´ election de mod` eles : conclusion

Temps de calcul : O(V ) en g´ en´ eral

Validation crois´ ee

V -fold

:

Biais : diminue avec V / peut ˆ etre supprim´ e

Variance : diminue avec V / quasi minimal pour V ∈ [5, 10]

⇒ performace optimale lorsque V est maximal, quasi optimale pour V = 10...

... si le facteur de surp´ enalisation optimal C

^?

≈ 1 (nombreux cas possibles).

P´ enalisation

V -fold

:

D´ ecouplage entre biais et variance ⇒ plus simple ` a comprendre et utiliser.

Biais : choisi directement ` a travers C , sans contrainte. Variance : diminue avec V / quasi minimale pour V ∈ [5, 10].

(68)

30/31

V -fold

et s´ election de mod` eles : conclusion

Temps de calcul : O(V ) en g´ en´ eral Validation crois´ ee

V -fold

:

Biais : diminue avec V / peut ˆ etre supprim´ e

Variance : diminue avec V / quasi minimal pour V ∈ [5, 10]

⇒ performace optimale lorsque V est maximal, quasi optimale pour V = 10...

... si le facteur de surp´ enalisation optimal C

^?

≈ 1 (nombreux cas possibles).

P´ enalisation

V -fold

:

D´ ecouplage entre biais et variance ⇒ plus simple ` a comprendre et utiliser.

Biais : choisi directement ` a travers C , sans contrainte.

Variance : diminue avec V / quasi minimale pour V ∈ [5, 10].

(69)

30/31

V -fold

et s´ election de mod` eles : conclusion

Temps de calcul : O(V ) en g´ en´ eral Validation crois´ ee

V -fold

:

Biais : diminue avec V / peut ˆ etre supprim´ e

Variance : diminue avec V / quasi minimal pour V ∈ [5, 10]

⇒ performace optimale lorsque V est maximal, quasi optimale pour V = 10...

... si le facteur de surp´ enalisation optimal C

^?

≈ 1 (nombreux cas possibles).

P´ enalisation

V -fold

:

D´ ecouplage entre biais et variance ⇒ plus simple ` a comprendre et utiliser.

Biais : choisi directement ` a travers C , sans contrainte. Variance : diminue avec V / quasi minimale pour V ∈ [5, 10].

(70)

30/31

V -fold

et s´ election de mod` eles : conclusion

Temps de calcul : O(V ) en g´ en´ eral Validation crois´ ee

V -fold

:

Biais : diminue avec V / peut ˆ etre supprim´ e

Variance : diminue avec V / quasi minimal pour V ∈ [5, 10]

⇒ performace optimale lorsque V est maximal, quasi optimale pour V = 10...

... si le facteur de surp´ enalisation optimal C

^?

≈ 1 (nombreux cas possibles).

P´ enalisation

V -fold

:

D´ ecouplage entre biais et variance ⇒ plus simple ` a comprendre et utiliser.

Biais : choisi directement ` a travers C , sans contrainte.

Variance : diminue avec V / quasi minimale pour V ∈ [5, 10].

(71)

31/31

G´ en´ eralit´ e de ces r´ esultats

Valable en r´ egression par moindres carr´ es et en estimation de densit´ e par moindres carr´ es ou noyaux (travail en cours avec M. Lerasle et N. Magalh˜ aes).

Correction du biais / p´ enalisation

V -fold

: valable lorsque E

h

(P − P n )γ b s m

i

≈ γ(m) n .

Sinon :

V -fold

r´ ep´ et´ e ou VC Monte-Carlo avec n e bien choisi.

Variance : d’autres comportements sont possibles (exp´ erimentalement).

Tout peut se tester sur des donn´ ees synth´ etiques : tracer n → E

h

P γ b s m (D n ) i

et m → var

R b ^vc ( b s m ) − R b ^vc ( b s m

^?

)

.

(72)

31/31

G´ en´ eralit´ e de ces r´ esultats

Valable en r´ egression par moindres carr´ es et en estimation de densit´ e par moindres carr´ es ou noyaux (travail en cours avec M. Lerasle et N. Magalh˜ aes).

Correction du biais / p´ enalisation

V -fold

: valable lorsque

E h

(P − P n )γ b s m

i

≈ γ(m) n .

Sinon :

V -fold

r´ ep´ et´ e ou VC Monte-Carlo avec n e bien choisi.

Variance : d’autres comportements sont possibles (exp´ erimentalement).

Tout peut se tester sur des donn´ ees synth´ etiques : tracer n → E

h

P γ b s m (D n ) i

et m → var

R b ^vc ( b s m ) − R b ^vc ( b s m

^?

)

.

(73)

31/31

G´ en´ eralit´ e de ces r´ esultats

Valable en r´ egression par moindres carr´ es et en estimation de densit´ e par moindres carr´ es ou noyaux (travail en cours avec M. Lerasle et N. Magalh˜ aes).

Comparaison de proc´ edures de validation crois´ ee (

1/31