Apprentissage statistique - TD3

Apprentissage statistique - TD3

Lucie Le Briquer 15 février 2018

Exercice 5.1

1. Proposition5.2 : (a)

(supp(µ))^C ={x∈R^d | ∃ voisinageU_x µ(U_x) = 0}

= [

Oouvert tqµ(O)=0

O

(b) A∈ B(R^d),A⊂(supp(µ))^C alorsµ(A) = 0

Il suffit de montrer que µ(supp(µ)^C) = 0. µ mesure finie sur R^d donc de Radon. Alors

∀A∈ B(R^d):

µ(A) = sup

K⊂Acpct

µ(K) Donc :

µ((supp(µ))^C) = sup

K⊂(supp(µ))^C cpct

µ(K)

On montre que ∀K ⊂(supp(µ))^C compactµ(K) = 0. Soit un tel K. ∀x∈K ∃Ux tel que µ(U_x) = 0.

K= [

x∈K

Ux =

compacité n

[

i=1

Ux_i

Doncµ(K)6Pn

i=1µ(Ux_i) = 0.

2. On veut montrer que : P

Å

n→+∞lim kX(k_n)(x)−xk= 0 ã

= 1 Cela revient à :

P Ñ

\

ε∈Q

[

N∈N

\

n>N

kX(k_n)(x)−xk>ε é

= 1 Il suffit de montrer que∀ε∈Q:

P Ñ

[

N∈N

\

n>N

kX(k_n)(x)−xk>ε é

= 0

Soitn∈N,

kX(k_n)(x)−xk>ε ⊂ (1

n

n

X

i=1

1B(x,ε)(Xi)6 kn

n )

Alors, comme ^k_nⁿ →0, [

N∈N

\

n>N

(1 N

n

X

i=1

1B(x,ε)(Xi)6 kn

n )

⊂ (

n→+∞lim 1 n

n

X

i=1

1B(x,ε)(Xi) = 0 )

=A Or par hypothèse x∈supp(µ), alors par la LFGN :

P Å

n→+∞lim 1 n

n

X

i=1

1B(x,ε)(Xi) =P(B(x, e))

| {z }

B

ã

= 1

A∩B=∅ etP(B) = 1. Donc :

P(A)6P(A∩B)

| {z }

=0

+P(A∩B^C

| {z }

=0

) = 0

Remarque. La convergence en probabilité est beaucoup plus simple. Soitε >0.

P(kX(k_n)(x)−xk>ε)6P 1 n

n

X

i=1

1B(x,ε)(Xi)6 k_n n

!

6P 1 n

n

X

i=1

[PX(B(x, ε)−1B(x,e)(Xi)]>PX(B(x, ε))−kn

n

!

BT6

1

PX(B(x, ε))−^k_nⁿ²Var ï1

n

X1B(x,ε)(Xi) ò

6 1 n²

nP(B(x, ε)) 1−PX(B(x, ε))

P^X(B(x, ε))−^k_nⁿ² −−−−−→

n→+∞ 0 3. On supposekn=kpour toutn. Soitε >0.

P(kX_(kn)(X)−Xk>ε) =E ï

1X∈supp(PX)E

î1kX_(kn)(X)−Xk>ε|Xó

| {z }

ψ_n(X)

ò

D’après (1), on a pour tout x ∈ supp(PX), limn→+∞ψn(x) = 0. Par le TCD on a donc que :

P(kX(k_n)(X)−Xk>ε)−−−−−→

n→+∞ 0 kX(k_n)(X)−X)k −−−−−→

n→+∞ 0 enP (∗). Si kn = alors{kX(k)−Xk}n∈N est décroissante et minorée donc converge P−p.s. vers Z. Par(∗),Z = 0.

Maintenant(k_n)peut varier.

Zn(X) = sup

m>n

kX_(kn)(X)−X)k

On montre de même queZ_n converge en probabilité vers 0 et est décroissante minore donc convergeP−p.s. vers 0.

Exercice 5.2 1.

fˆn(x) =1{ˆη(x)>¹₂}

avec :

ˆ

η_n(x) = 1 k_n

kn

X

j=1

y_(j)(x) >1

2 ⇔

kn

X

j=1

y_(j)(x)−kn

2

| {z }

ψ_n

>0

La règle NN est donc bien locale.

2. On suppose pour la suite queYi=1{Ui6η(Xi)}. Remarque. Si(X_i, Y_i)i.i.d., on définit :

Y˜i=1{Ui6η(Xi)}

Xi∼PX,Y˜i|Xi ∼ B(η(Xi)). Donc les(Xi, Yi)et(Xi,Y˜i)ont même loi.

Y_i⁰(X)|X ∼ B(η(X)). Comme lesUi sont i.i.d. et indépendantes deX,Y_i⁰(X)|X sont aussi i.i.d.

P Å

ψ_n(x, Y₍₁₎(x), . . . , Y_(kn)(x))6=ψ_n(x, Y₍₁₎⁰ (x), . . . , Y_(k⁰

n)(x)) ã

6

k_n

X

i=1

P Y_(i)(x)6=Y_(i)⁰ (x)

6

kn

X

i=1

P {η(Xi(x))6U_i6η(x)} ∪ {η(x)6U_i6η(X_(i)(x))}

6

k_n

X

i=1

E[P(. . .|(Xi)]

=

k_n

X

i=1

E[|η(X(i)(x))−η(x)|]

Alors :

P(fn(X)6= ˆfn(X)) =E[P( ˆfn(X)6= ˆf_n⁰(X)|X)]

6E

P ψn(X, Y₍₁₎(X), . . .)6=ψn(X, Y₍₁₎⁰ (X), . . .)|X 6

k_n

X

i=1

E[|η(X_(i)(x))−η(x)|]

3. E[[f[(X)]<+∞, ^k_nⁿ −−−−−→

n→+∞ 0. Montrons que : 1

kn kn

X

j=1

E[|f(X)−f(X(j)(X))|]−−−−−→

n→+∞ 0

Si µest une mesure sur (R^d,B(R^d)), pour toutf ∈ L¹(µ), ∃f^ε uniformément continue et bornée telle que :

Z

|f −f^ε|(x)µdx6ε Lemme de Stone :

1 kn

k_n

X

j=1

E[|f(X_(j)(x)|]6γdE[|f|(X)]

4. Soitε >0, f^ε,Aassocié à l’UC def^ε. 1

kn k_n

X

j=1

E

|f(X)−f(X(j)(X))|

6 1 kn

k_n

X

j=1

E

|f(X)−f^ε(X)|

| {z }

6ε

+E

|f^ε(X)−f(X(j)(X))|

| {z }

B_j

+E

|f^ε(X)−f^ε(X_(j)(X))|

| {z }

C_j

On a

1 kn

kn

X

j=1

B_j6γ_dE[|f−f^ε|(X)] par le lemme de Stone

Cj 6E

|f^ε(X)−f^ε(X(j)(X))|1|X−X(j)(X)|>A+|f^ε(X)−f^ε(X(j)(X))|1|X−X(j)(X)|<A

6ε+E

|f^ε(X)−f^ε(X_(j)(X))|

| {z }

borné

1|X−X_(j)(X)|>A

| {z }

−→0P−p.s.

6ε+un

Alors,

∀ε, lim

n

1 kn

k_n

X

j=1

E[. . .]6(2 +γd)ε 5. Montrons que :

E

Ä|1f^ˆ_n⁰(X)6=Y −1f^ˆ_n(X)6=Y

ä−−−−−→

n→+∞ 0 E

Ä|1fˆ_n⁰(X)6=Y −1fˆ_n(X)6=Y

ä=P( ˆf_n⁰(X)6= ˆf_n(X)) 6

k

X

j=1

E(|η(X)−η(X(j)−X))|)−−−−−→

n→+∞ 0

Exercice 5.3

1. fˆest locale donc d’après l’exercice précédent :

n→+∞lim E îR^Dn

P ( ˆf)ó

= lim

n→+∞P fˆ_n⁰(X)6=Y

Soitn>k.

P( ˆf_n⁰(X)6=Y) =P(Y₍₁₎⁰ (X)6=Y)

=E î

P(Y₍₁₎⁰ (X)6=Y|X)ó

Or sachantX, on a Y₍₁₎⁰ (X)⊥Y et les deux sont des Bernouilli de paramètreη(X). Donc P(Y₍₁₎⁰ (X)6=Y|X) = 2η(X)(1−η(X))

2. Z v.a. dansI⊂Rf, g:I−→Rcroissantes. Montrons que : E[f(Z)g(Z)]−E[f(Z)]E[g(Z)]>0 Z

f(z)g(z)Pz(dz)− Z

f(˜zPZ(d˜z) Z

g(z)Pz(dz) = Z Z

(f(z)−f(˜z))g(z)PZ(dz)Pz(d˜z)

= Z Z

1^z<z˜ (f(z)−f(˜z))g(z)PZ(dz)PZ(d˜z) +

Z Z

1˜z>z(f(z)−f(˜z))g(z)Pz(dz)Pz(d˜z) =B B=

Z Z

1^z>˜z(f(˜z)−f(z))g(˜z)PZ(d˜z)PZ(dz) Finalement,

= Z

1^z>˜z(f(z)−f(˜z))(g(z)−g(˜z))dP^Z(z)dP^Z(˜z)>0 3.

R^NN_P = 2E[f(η(X))g(η(X))]

f(p) = min(p,1−p)et g= 1−min(p,1−p). Alors par 2) :

R_P^NN62E[f(η(X))]E[1−η(X)]62R^∗_P(1−R^∗_P)

Exercice 5.4 kimpair.

n→+∞lim E[R^Dn

P ( ˆf)] =R^k−NN

P n→+∞lim P(Y 6= ˆf_n⁰(X)) =R^k−NN_P P(Y 6= ˆf_n⁰(X)) =E

P(Y 6=f_n⁰(X)|X)

=E ï

P Å

Y = 1,X

Y_(j)⁰ >k 2 |X

ã +P

Å

Y = 0,X

Y_(j)⁰ 6k 2 |X

ãò

SachantX,Y,(Y_(j)(X))i.i.d.∼ B(η(X)), on obtient :

=E ï ^k

X

e=^k+1₂

P(Y = 1|X)

| {z }

η(X)

P(X

Y_(j)⁰ (X) =e|X)

| {z }

Åk e ã

η(X)^e(1−η(X))^k−e

ò +

k−1 2

X

e=1

P(Y = 0|X). . .