Lissageet estimation fonctionnelle avec R SEMIN

(1)

SEMIN

Lissage

et estimation fonctionnelle avec R

Christophe POUZAT

Laboratoire de Physiologie Cérébrale

CNRS ULR 8118, Université ParisDescartes

SEMINR du MNHN | 12 Février 2009

(2)

Lissage et estimation fonctionnelle avec

R Christophe Pouzat

Préliminaires : les données Réponses aux odeurs Le problème Variance Splines de lissage gss

smooth.spline Retour aux donn´ees La suite

Lissage et estimation fonctionnelle avec R

Christophe Pouzat

Laboratoire de Physiologie C´ er´ ebrale, CNRS UMR 8118, Universit´ e Paris-Descartes

e-mail: christophe.pouzat@gmail.com web:

http://www.biomedicale.univ-paris5.fr/physcerv/C_Pouzat.html

12 F´ evrier 2009

(3)

R Christophe Pouzat

De quoi va-t-on parler ?

Pr´ eliminaires : les donn´ ees

Caract´ erisation des r´ eponses aux odeurs Le probl` eme

Homog´ en´ eit´ e et stabilisation de la variance Splines de lissage

General Smoothing Spline

La fonction smooth.spline

Retour aux donn´ ees

La suite

(4)

R Christophe Pouzat

Enregistrement in vivo dans le premier relais olfactif d’un insecte

Une blatte (Periplaneta americana) “en position” avec la

sonde d’enregistrement. Photos par Laurent Moreaux et

Antoine Chaffiol.

(5)

R Christophe Pouzat

Donn´ ees brutes et d´ etection

Vue de l’ext´ erieur, l’activit´ e des neurones se manifeste par

l’´ emission d’impulsions ´ electriques tr` es br` eves : les potentiels

d’actions. Enregistrements par Nicole Lindemann et Antoine

Chaffiol.

(6)

R Christophe Pouzat

D’autres techniques sont aussi applicables ` a ce syst` eme

Un exemple d’enregistrement de patch-clamp coupl´ e ` a l’imagerie calcique. Ici une cellule unique est enregistr´ ee.

Donn´ ees obtenues par Moritz Paehler et Peter Kloppenburg

(Universit´ e de Cologne).

(7)

R Christophe Pouzat

Propri´ et´ es des d´ echarges ”brutes”

Sur des temps courts (ici 5 s) les d´ echarges sont bien

approxim´ ees par des processus de Poisson.

(8)

R Christophe Pouzat

Préliminaires : les données Réponses aux odeurs

Le probl`eme Variance Splines de lissage gss

Un exemple de r´ eponse ` a une stimulation olfactive

Il est difficile de distinguer quoi que ce soit avec ce type de

repr´ esentation (la valve controllant l’arriv´ ee de l’odeur est

ouverte dans la partie gris´ ee).

(9)

R Christophe Pouzat

Estimation de la fr´ equence de d´ echarge instantan´ ee par moyennage des r´ eponses

En “moyennant” les r´ eponses des 20 stimulations et en

discr´ etisant le temps on obtient quelque chose de plus clair

(taille de la fenˆ etre de discr´ etisation : 10 ms).

(10)

R Christophe Pouzat

Estimation de la fr´ equence de d´ echarge instantan´ ee par moyennage des r´ eponses

En “moyennant” les r´ eponses des 20 stimulations et en

discr´ etisant le temps on obtient quelque chose de plus clair

(taille de la fenˆ etre de discr´ etisation : 50 ms).

(11)

R Christophe Pouzat

Estimation de la fr´ equence de d´ echarge instantan´ ee par moyennage des r´ eponses

En “moyennant” les r´ eponses des 20 stimulations et en

discr´ etisant le temps on obtient quelque chose de plus clair

(taille de la fenˆ etre de discr´ etisation : 250 ms).

(12)

R Christophe Pouzat

Préliminaires : les données Réponses aux odeurs Le problème

Variance Splines de lissage gss

Le probl` eme : quelle taille de bin choisir ?

D´ echarge du r´ eseau entre 5.5 et 8.5 s en r´ eponse au m´ elange.

(13)

R Christophe Pouzat

Préliminaires : les données Réponses aux odeurs Le problème

Variance Splines de lissage gss

Un peu de formalisme

I Toutes les fonctions de R que nous allons voir

consid` erent (au moins dans leur version de base) que les observations, Y _i , et le pr´ edicteur (variable ind´ epenante), x i (i = 1, . . . , n) sont reli´ es par le mod` ele de r´ egression :

Y _i = η(x _i ) + _i , i = 1, . . . , n

I Les _i sont suppos´ es ˆ etre des variables al´ eatoires

ind´ ependantes et identiquement distribu´ ees (IID) de

moyenne 0 et de variance σ ² .

(14)

R Christophe Pouzat

Préliminaires : les données Réponses aux odeurs Le problème Variance

Splines de lissage gss

Homog´ en´ eit´ e de la variance

I Avant d’aller plus loin il peut-ˆ etre utile de v´ erifier que l’hypoth` ese IID pour les _i est raisonnable.

I On peut le faire avec un Bootstrap en r´ e-´ echantillonnant les 20 stimulations.

I Commen¸cons par calculer le nombre total d’´ ev´ enements par bin :

> citronC <- sapply(allCitron, + function(l) {

+ hist(l,seq(1,14,0.05),plot=FALSE)$counts + } )

> citronC.hat <- apply(citronC,1,sum)

(15)

R Christophe Pouzat

Homog´ en´ eit´ e de la variance

I L’estimateur de bootstrap du nombre total d’´ ev´ enements par bin est alors :

> citronC.boot <- sapply(1:1000, + function(idx) {

+ myCol <- sample(1:20,20,replace=TRUE) + bootD <- citronC[,myCol]

+ apply(bootD,1,sum) + }

+ )

> citronC.hat.var <- apply(citronC.boot,1,var)

(16)

R Christophe Pouzat

Homog´ en´ eit´ e de la variance

Ici les _i d´ ependent clairement des η(x _i ).

(17)

R Christophe Pouzat

Stabilisation de la variance

I On se souvient que les d´ echarges spontan´ ees

correspondent approximativement ` a des processus de Poisson (homog` enes).

I On peut alors penser que les r´ eponses aux odeurs correspondent approximativement ` a des processus de Poisson inhomog` ene.

I On se souvient aussi qu’une distribution de Poisson de param` etre ≥ 15 est approximativement gaussienne avec une variance ´ egale ` a la moyenne.

I On se souvient peut-ˆ etre que la racine carr´ ee d’une

variable al´ eatoire de Poisson (de param` etre ≥ 15) est

approximativement gaussienne de variance 0.25 quelque

soit la valeur du param` etre.

(18)

R Christophe Pouzat

Stabilisation de la variance

> citronSC.hat <- sqrt(apply(citronC,1,sum))

> citronSC.hat.var <- apply(sqrt(citronC.boot),

+ 1,var)

(19)

R Christophe Pouzat

Stabilisation de la variance

Ici les i d´ ependent nettement moins des p

η(x i ).

(20)

R Christophe Pouzat

Distribution des p η(x i )

Graphes quantiles-quantiles des p

η(x _i ) obtenus par

bootstrap (r´ eponse au citronellal, bin de 50 ms).

(21)

R Christophe Pouzat

Préliminaires : les données Réponses aux odeurs Le problème Variance Splines de lissage

gss smooth.spline Retour aux donn´ees La suite

Smoothing Splines 1

Given data :

Y i = η(x i ) + i , i = 1, . . . , n

where x i ∈ [0, 1] and i ∼ N(0, σ ² ), we want to find η λ

minimizing : 1 n

n

X

i=1

(Y _i − η _λ (x _i )) ² + λ Z 1

0 d ² η _λ dx ²

2 dx

(22)

R Christophe Pouzat

Smoothing Splines 2

●

●●

●

●●

●

●●

●

● ●

●

●●●

●

●●

●

●●

●

● ●

●

●●

●

●●

●

0.0 0.2 0.4 0.6 0.8 1.0

−4−2024

A simple example with simulated data

x

y

(23)

R Christophe Pouzat

Smoothing Splines 3

It can be shown (but it’s not exactly trivial) that, for a given λ, the solution of the functional minimization problem can be expressed on a finite basis :

η _λ (x) =

m−1

X

ν=0

d ν φ ν (x) +

n

X

i=1

c _i R 1 (x _i , x)

where the functions, φ ν (), and R 1 (x i , ), are known.

(24)

R Christophe Pouzat

Smoothing Splines 4

0.0 0.2 0.4 0.6 0.8 1.0

−0.6−0.4−0.20.00.20.4

Cst. unpenalized term

x

0.0 0.2 0.4 0.6 0.8 1.0

−0.6−0.4−0.20.00.20.4

Linear unpenalized term

x

0.0 0.2 0.4 0.6 0.8 1.0

−0.6−0.4−0.20.00.20.4

Penalized basis fct # 20

x

0.0 0.2 0.4 0.6 0.8 1.0

−0.6−0.4−0.20.00.20.4

x

0.0 0.2 0.4 0.6 0.8 1.0

−0.6−0.4−0.20.00.20.4

x

0.0 0.2 0.4 0.6 0.8 1.0

−0.6−0.4−0.20.00.20.4

x

(25)

R Christophe Pouzat

Smoothing Splines 5 : What about λ ?

●

●●

●

●●

●

●●

●

●●●●

●

●●

●

●●

●

●●

● ●

●

●●

●

●●

●

0.0 0.2 0.4 0.6 0.8 1.0

−4−2024

λλ ==0.5

x

y ●

●

●●

●

●●

●

●●

●

●●●

●

●●

●

●●

●

●●

● ●

●

●●

●

●●

●

0.0 0.2 0.4 0.6 0.8 1.0

−4−2024

λλ ==0.05

x

y ●

●

●●

●

●●

●

●●

●

●●●

●

●●

●

●●

●

●●

● ●

●

●●

●

●●

●

0.0 0.2 0.4 0.6 0.8 1.0

−4−2024

λλ ==0.005

x

y

●

●●

●

●●

●

●●

●

●●●●

●

●●

●

●●

●

●●

● ●

●

●●

●

●●

●

0.0 0.2 0.4 0.6 0.8 1.0

−4−2024

λλ ==5e−04

x

y ●

●

●●

●

●●

●

●●

●

●●●

●

●●

●

●●

●

●●

● ●

●

●●

●

●●

●

0.0 0.2 0.4 0.6 0.8 1.0

−4−2024

λλ ==5e−05

x

y ●

●

●●

●

●●

●

●●

●

●●●

●

●●

●

●●

●

●●

● ●

●

●●

●

●●

●

0.0 0.2 0.4 0.6 0.8 1.0

−4−2024

λλ ==5e−06

x

y

(26)

R Christophe Pouzat

Smoothing Splines 6 : Cross-Validation

Ideally we would like λ such that : 1

n

X

i=1

(η _λ (x _i ) − η(x _i )) ²

is minimized... but we don’t know the true η. So we choose λ minimizing :

V 0 (λ) = 1 n

n

X

i=1

(η ^[i] _λ (x i ) − Y i ) ²

where η ^[k] _λ is the minimizer of the “delete-one” functional : 1

n X

i 6=k

(Y _i − η _λ (x _i )) ² + λ Z 1

0 d ² η _λ dx ²

2 dx

(27)

R Christophe Pouzat

Smoothing Splines 7

●

●●

●

● ●

●

0.20 0.25 0.30 0.35 0.40

−4−3−2−10

λλ ==0.5

x

y ^●

●

●●

●

● ●

●

0.20 0.25 0.30 0.35 0.40

−4−3−2−10

λλ ==0.05

x

y ^●

●

●●

●

0.20 0.25 0.30 0.35 0.40

−4−3−2−10

λλ ==0.005

x

y ^●

●

●●

●

● ●

●

●●

●

●●

●

● ●

●

●●

0.20 0.25 0.30 0.35 0.40

−4−3−2−10

λλ ==5e−04

x

y ^●

●

●●

●

● ●

●

●●

●

●●

●

0.20 0.25 0.30 0.35 0.40

−4−3−2−10

λλ ==5e−05

x

y ^●

●

●●

●

0.20 0.25 0.30 0.35 0.40

−4−3−2−10

λλ ==5e−06

x

y ^●

(28)

R Christophe Pouzat

Smoothing Splines 8

−14 −12 −10 −8 −6 −4

1.21.41.61.8

log((λλ))

rss

GCV Exact

●

●●

●

●●

●

●●

●

●●

●

●●

● ●

●

●●

●

0.0 0.2 0.4 0.6 0.8 1.0

−4−2024

λλ ==0.001581139

x

y

(29)

R Christophe Pouzat

Smoothing Splines 9 : The Theory (worked out by Grace Wahba) also gives us confidence bands

0.0 0.2 0.4 0.6 0.8 1.0

−4−2024

Data, Conf. Band, Actual ηη

x

y ●

●

●●

●

●●

●

●●

●

● ●

●

●●●

●

●●

●

●●

●

● ●

●

●●

●

●●

●

(30)

R Christophe Pouzat

General Smoothing Spline

I La m´ ethodologie des splines de lissage avec param` etre de lissage estim´ e par validation crois´ ee est mise en oeuvre dans le paquet gss (General Smoothing Spline) d´ evelopp´ e par Chong Gu (Universit´ e de Purdue).

I Nous utilisons d’abord la fonction ssanova0 :

> XX <- seq(1.025,13.975,0.05)

> GF1 <- ssanova0(citronSC.hat ~ XX)

(31)

R Christophe Pouzat

Ajustement avec ssanova0

Les intervalles de confiance sont obtenus avec :

> estGF1 <- predict(GF1,

+ newdata=data.frame(XX=XX),se=TRUE)

(32)

R Christophe Pouzat

Variation autour de ssanova0

I Avec ssanova0 il est possible de fixer la variance des i

au moment de la validation crois´ ee :

> s2 <- mean(citronSC.hat.var)

> GF2 <- ssanova0(citronSC.hat ~ XX,

+ method="u",varht=s2)

(33)

R Christophe Pouzat

Variation autour de ssanova0

Il n’y a pas grande diff´ erence.

(34)

R Christophe Pouzat

Fonction smooth.spline

I Le paquet stats contient la fonction smooth.spline similaire ` a ssanova0 mais “moins puissante”.

I smooth.spline ne g´ en` ere pas d’intervalles de confiance.

> SF <- smooth.spline(XX,citronSC.hat,

+ all.knots=TRUE)

(35)

R Christophe Pouzat

Fonction smooth.spline

Les intervalles de confiance sont ceux de ssanov0.

(36)

R Christophe Pouzat

Retour aux donn´ ees

(37)

R Christophe Pouzat

Lissageet estimation fonctionnelle avec R SEMIN­

SEMIN­

Lissage

et estimation fonctionnelle avec R

Christophe POUZAT

Laboratoire de Physiologie Cérébrale

CNRS ULR 8118, Université Paris­Descartes

SEMIN­R du MNHN | 12 Février 2009

Lissage et estimation fonctionnelle avec R

Christophe Pouzat

Laboratoire de Physiologie C´ er´ ebrale, CNRS UMR 8118, Universit´ e Paris-Descartes

e-mail: christophe.pouzat@gmail.com web:

http://www.biomedicale.univ-paris5.fr/physcerv/C_Pouzat.html

12 F´ evrier 2009

De quoi va-t-on parler ?

Pr´ eliminaires : les donn´ ees

Caract´ erisation des r´ eponses aux odeurs Le probl` eme

Homog´ en´ eit´ e et stabilisation de la variance Splines de lissage

General Smoothing Spline

La fonction smooth.spline

Retour aux donn´ ees

La suite

Enregistrement in vivo dans le premier relais olfactif d’un insecte

Une blatte (Periplaneta americana) “en position” avec la

sonde d’enregistrement. Photos par Laurent Moreaux et

Antoine Chaffiol.

Donn´ ees brutes et d´ etection

Vue de l’ext´ erieur, l’activit´ e des neurones se manifeste par

l’´ emission d’impulsions ´ electriques tr` es br` eves : les potentiels

d’actions. Enregistrements par Nicole Lindemann et Antoine

Chaffiol.

D’autres techniques sont aussi applicables ` a ce syst` eme

Un exemple d’enregistrement de patch-clamp coupl´ e ` a l’imagerie calcique. Ici une cellule unique est enregistr´ ee.

Donn´ ees obtenues par Moritz Paehler et Peter Kloppenburg

(Universit´ e de Cologne).

Propri´ et´ es des d´ echarges ”brutes”

Sur des temps courts (ici 5 s) les d´ echarges sont bien

approxim´ ees par des processus de Poisson.

Un exemple de r´ eponse ` a une stimulation olfactive

Il est difficile de distinguer quoi que ce soit avec ce type de

repr´ esentation (la valve controllant l’arriv´ ee de l’odeur est

ouverte dans la partie gris´ ee).

Estimation de la fr´ equence de d´ echarge instantan´ ee par moyennage des r´ eponses

En “moyennant” les r´ eponses des 20 stimulations et en

discr´ etisant le temps on obtient quelque chose de plus clair

(taille de la fenˆ etre de discr´ etisation : 10 ms).

Estimation de la fr´ equence de d´ echarge instantan´ ee par moyennage des r´ eponses

En “moyennant” les r´ eponses des 20 stimulations et en

discr´ etisant le temps on obtient quelque chose de plus clair

(taille de la fenˆ etre de discr´ etisation : 50 ms).

Estimation de la fr´ equence de d´ echarge instantan´ ee par moyennage des r´ eponses

En “moyennant” les r´ eponses des 20 stimulations et en

discr´ etisant le temps on obtient quelque chose de plus clair

(taille de la fenˆ etre de discr´ etisation : 250 ms).

Le probl` eme : quelle taille de bin choisir ?

D´ echarge du r´ eseau entre 5.5 et 8.5 s en r´ eponse au m´ elange.

Un peu de formalisme

I Toutes les fonctions de R que nous allons voir

consid` erent (au moins dans leur version de base) que les observations, Y i , et le pr´ edicteur (variable ind´ epenante), x i (i = 1, . . . , n) sont reli´ es par le mod` ele de r´ egression :

Y i = η(x i ) + i , i = 1, . . . , n

I Les i sont suppos´ es ˆ etre des variables al´ eatoires

ind´ ependantes et identiquement distribu´ ees (IID) de

moyenne 0 et de variance σ 2 .

Homog´ en´ eit´ e de la variance

I Avant d’aller plus loin il peut-ˆ etre utile de v´ erifier que l’hypoth` ese IID pour les i est raisonnable.

I On peut le faire avec un Bootstrap en r´ e-´ echantillonnant les 20 stimulations.

I Commen¸cons par calculer le nombre total d’´ ev´ enements par bin :

> citronC <- sapply(allCitron, + function(l) {

+ hist(l,seq(1,14,0.05),plot=FALSE)$counts + } )

> citronC.hat <- apply(citronC,1,sum)

Homog´ en´ eit´ e de la variance

I L’estimateur de bootstrap du nombre total d’´ ev´ enements par bin est alors :

> citronC.boot <- sapply(1:1000, + function(idx) {

+ myCol <- sample(1:20,20,replace=TRUE) + bootD <- citronC[,myCol]

+ apply(bootD,1,sum) + }

+ )

> citronC.hat.var <- apply(citronC.boot,1,var)

Homog´ en´ eit´ e de la variance

Ici les i d´ ependent clairement des η(x i ).

Stabilisation de la variance

Lissageet estimation fonctionnelle avec R SEMIN

SEMIN

CNRS ULR 8118, Université ParisDescartes

SEMINR du MNHN | 12 Février 2009

consid` erent (au moins dans leur version de base) que les observations, Y _i , et le pr´ edicteur (variable ind´ epenante), x i (i = 1, . . . , n) sont reli´ es par le mod` ele de r´ egression :

Y _i = η(x _i ) + _i , i = 1, . . . , n

I Les _i sont suppos´ es ˆ etre des variables al´ eatoires

moyenne 0 et de variance σ ² .

I Avant d’aller plus loin il peut-ˆ etre utile de v´ erifier que l’hypoth` ese IID pour les _i est raisonnable.

Ici les _i d´ ependent clairement des η(x _i ).

η(x _i ) obtenus par

where x i ∈ [0, 1] and i ∼ N(0, σ ² ), we want to find η λ

(Y _i − η _λ (x _i )) ² + λ Z 1

d ² η _λ dx ²

η _λ (x) =

c _i R 1 (x _i , x)

(η _λ (x _i ) − η(x _i )) ²

(η ^[i] _λ (x i ) − Y i ) ²

where η ^[k] _λ is the minimizer of the “delete-one” functional : 1

(Y _i − η _λ (x _i )) ² + λ Z 1

d ² η _λ dx ²