Segmentation de processus avec un bruit autorégressif

(1)

HAL Id: tel-01224745

https://tel.archives-ouvertes.fr/tel-01224745

Submitted on 5 Nov 2015

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Segmentation de processus avec un bruit autorégressif

Souhil Chakar

To cite this version:

Souhil Chakar. Segmentation de processus avec un bruit autorégressif. Statistiques [math.ST]. Uni- versité Paris Sud - Paris XI, 2015. Français. �NNT : 2015PA112196�. �tel-01224745�

(2)

Universit´ e Paris-Sud

Ecole Doctorale Math´ ´ ematiques de la r´ egion Paris-Sud

Laboratoire Math´ ematiques et Informatique Appliqu´ ees, UMR 518 AgroParisTech/INRA

Discipline : Math´ ematiques

Th` ese de doctorat

Soutenue le 22 septembre 2015 par

Souhil Chakar

Segmentation de processus avec un bruit autor´ egressif

Directeur de th`ese :

M. St´ ephane Robin

Directeur de recherche (INRA) Co-directeur de th`ese :

Mme. ´ Emilie Lebarbier

Maˆıtre de conf´erence (AgroParisTech) Composition du jury :

Pr´esident du jury :

M. ´ Eric Moulines

Professeur ( ´Ecole Polytechnique) Rapporteurs :

M. Jean-Marc Bardet

Professeur (Universit´e Paris 1)

M. Christophe Croux

Professeur (Katholieke Universiteit Leuven) Examinateurs :

M. Christophe Giraud

Professeur (Universit´e Paris-Sud)

M. ´ Eric Moulines

Professeur ( ´Ecole Polytechnique) Invit´es :

Mme. C´ eline L´ evy-Leduc

Professeur (AgroParisTech)

(3)

(4)

Remerciements

Mes premiers remerciements vont ` a mes directeurs de th` ese. ` A St´ ephane Robin, ´ Emilie Le- barbier ainsi que C´ eline L´ evy-Leduc. J’ai eu beaucoup de plaisir ` a travailler avec vous et je regrette d´ ej` a l’´ equipe que nous formions. Merci pour tout ce que j’ai appris ` a votre contact du- rant ces ann´ ees, pour vos encouragements, votre disponibilit´ e et votre patience. Sinc` erement, je ne crois pas que j’aurais pu b´ en´ eficier d’un meilleur encadrement que celui-ci.

Je remercie les rapporteurs de cette th` ese, Jean-Marc Bardet et Christophe Croux, d’avoir accept´ e de relire ce manuscrit ainsi que d’avoir apport´ e des observations importantes ` a ce travail. Merci aussi ` a ´ Eric Moulines et Christophe Giraud d’avoir bien voulu faire partie du jury de cette th` ese.

Je remercie tous ceux avec qui j’ai eu des ´ echanges scientifiques, que ces ´ echanges concernent cette th` ese ou s’en ´ eloignent. En particulier, je remercie Michel Koskas et sa disponibilit´ e pour m’apprendre certains probl` emes sp´ ecifiques de l’algorithmique ainsi qu’Alice Cleynen pour tous ces ´ echanges sur la segmentation et la loi binomiale n´ egative. Je remercie aussi tous ceux qui m’ont permis d’exposer mes travaux et ceux qui, lors de ces expos´ es, ont t´ emoign´ e d’un int´ erˆ et.

Je tiens ` a remercier tous les membres et ex-membres du laboratoire MIA et du d´ epartement MMIP, les coll` egues administratifs et informaticiens, ainsi que tous ceux avec qui j’ai pu ˆ etre en contact ` a l’Agro. En particulier, je souhaite remercier mes ex-colocataires de bureau, Lo¨ıc et Marie. Ceux du bureau d’` a cˆ ot´ e, et encore ` a cˆ ot´ e, Tristan, Marie, Pierre et Anna, pour leur bonne humeur communicative. Vincent pour son attention port´ ee ` a la ponctuation et ` a la typographie. Liliane et Sarah pour leur aide dans la derni` ere ann´ ee. Merci ` a Benjamin pour sa bonne humeur et ` a Francine pour sa bienveillance.

A Orsay, je remercie tous ceux qui m’ont facilit´ ` e les choses d’une mani` ere ou d’une autre.

En particulier, Val´ erie Blandin-Lavigne.

Je remercie aussi tous ceux qui, ` a Lyon et ` a Grenoble, se sont enquis de l’avancement de ma th` ese. En particulier, je remercie C´ ecile et Ester avec qui j’ai partag´ e mon bureau pendant un an. Merci aussi ` a Jean B´ erard qui m’a orient´ e vers mes directeurs de th` ese.

Je t´ emoigne ma gratitude ` a l’ensemble de la

«

noblesse de canap´ e

»

, sans qui cette th` ese n’aurait pas ´ et´ e possible. On a frˆ ol´ e la fronde, mais c’est fini. Merci ` a l’ensemble des mes amis, amis d’amis et tous les autres qui se sont int´ eress´ es ` a ce que je faisais.

Mes derniers remerciements vont ` a ma famille, en particulier ` a mes parents, ` a mes proches

(5)

et ` a ma compagne. Je ne peux pas les remercier compl` etement ici, au risque de revoir s´ erieu- sement la taille de ce manuscrit. Mention sp´ eciale pour l’ensemble de leur œuvre.

Malgr´ e les singularit´ es, ces remerciements sont largement collectifs. Merci ` a tous, donc.

(6)

Sommaire

1 Introduction 6

1.1 Segmentation dans le cas d’observations ind´ ependantes . . . . 7

1.2 Segmentation dans le cas d’observations d´ ependantes . . . . 14

1.3 Approche adopt´ ee . . . . 16

2 Outils math´ ematiques et algorithmiques 18 2.1 S´ eries temporelles . . . . 19

2.2 Processus empirique et Delta-m´ ethode fonctionnelle . . . . 23

2.3 Estimation robuste . . . . 26

2.4 In´ egalit´ es maximales . . . . 30

2.5 S´ election de mod` ele . . . . 32

2.6 Probl` emes algorithmiques en segmentation . . . . 40

3 A robust approach for estimating change-points in the mean of an AR(1) process 50 3.1 Introduction . . . . 52

3.2 Robust estimation of the parameter ρ

^⋆

. . . . 54

3.3 Change-points and expectations estimation . . . . 55

3.4 Selecting the number of change-points . . . . 57

3.5 Numerical experiments . . . . 59

3.6 Conclusion . . . . 68

3.7 Proofs . . . . 68

4 A robust approach for estimating change-points in the mean of an AR(p) process 88 4.1 Introduction . . . . 90

4.2 Robust estimation of the autoregression coefficients . . . . 92

4.3 Change-points and expectations estimation . . . . 93

4.4 Selecting the number of change-points . . . . 94

4.5 Numerical experiments . . . . 96

4.6 Proofs . . . . 99

4.7 Tables and figures . . . . 109

(7)

5 Commentaires et discussion 124 5.1 Commentaires . . . . 125 5.2 Limites de l’approche adopt´ ee . . . . 131 5.3 Perspectives . . . . 134

Bibliographie 140

Liste des illustrations 148

Liste des tableaux 150

Notations 151

(8)

Chapitre 1

Introduction

Contenu

1.1 Segmentation dans le cas d’observations ind´ependantes . . . 7

1.1.1 Typologie des probl`emes de segmentation . . . 8

1.1.2 Mod`eles . . . 8

1.1.3 M´ethodes bay´esiennes . . . 10

1.1.4 Cadre fr´equentiste . . . 10

1.1.5 S´election du nombre de ruptures . . . 12

1.1.6 Probl`eme algorithmique . . . 13

1.2 Segmentation dans le cas d’observations d´ependantes . . . 14

1.2.1 Plusieurs types de ruptures . . . 14

1.2.2 Ruptures dans la loi marginale . . . 14

1.2.3 Autres types de ruptures . . . 15

1.2.4 S´election de mod`ele . . . 16

1.3 Approche adopt´ee . . . 16

(9)

L’objet de ce chapitre est, d’une part, de pr´ esenter la segmentation de processus et son rapport ` a la d´ ependance entre les observations et, d’autre part, de d´ elimiter l’objet de cette th` ese.

La segmentation de processus a de nombreux champs d’application, comme :

la climatologie (par exemple Peterson et al. 1998 ; Aguilar et al. 2003 ; Beaulieu, Ouarda et al. 2007 ; Beaulieu, J. Chen et al. 2012),

l’´ econom´ etrie (Stock et Watson, 1996 ; Bai et Perron, 2003 ; Pesaran et al. 2006 ; Geweke et Jiang, 2011),

la g´ enomique (J. V. Braun et M¨ uller, 1998 ; J. V. Braun, R. K. Braun et al. 2000 ; Picard, Robin et al. 2005 ; Hocking et al. 2013),

la g´ eod´ esie (Williams, 2003 ; Kenyeres et Bruyninx, 2004 ; Perfetti, 2006 ; Gazeaux et al. 2013),

l’hydrom´ etrie (Cobb, 1978 ; Jaruˇ skov´ a, 1997 ; Perreault et al. 2000 ; Ehsanzadeh et al.

2011),

l’imagerie m´ edicale (Kaplan et Shishkin, 2000 ; Lavielle, 2005),

la stylom´ etrie (H. Chen et Zhang, 2015).

Formul´ e de fa¸con g´ en´ erale, le probl` eme est le suivant : ´ etant donn´ e des observations y

1

, . . . , y

n

, il s’agit d’identifier les segments sur lesquels la s´ erie y

i

, . . . , y

j

( i < j ) est homog` ene, en un sens

`

a pr´ eciser. Les bornes de ces segments sont les ruptures. Elle marquent l’instant de la perte de cette propri´ et´ e d’homog´ en´ eit´ e. Les questions qui se posent sont alors :

combien y a-t-il de ruptures ?

quelle sont leurs positions ?

quelles sont les propri´ et´ es de la s´ erie ` a l’int´ erieur de chaque segment ? ses propri´ et´ es globales en dehors de la segmentation ? On peut penser ` a des probl` emes de s´ election de mod` ele, d’estimation, de test, etc.

1.1 Segmentation dans le cas d’observations ind´ ependantes

Dans le cas o` u les observations sont ind´ ependantes, la segmentation se r´ eduit ` a la d´ etection de ruptures dans la loi marginale des observations. Formellement, on dispose de variables al´ eatoires ind´ ependantes y

₁

, . . . , y

_n

, sur un mˆ eme espace mesurable. Les ruptures sont alors les entiers 0 = t

0

< t

1

< ⋅ ⋅ ⋅ < t

m

< t

m+1

= n tels que pour tout entier 1 ≤ k ≤ m + 1,

⎧⎪⎪ ⎨⎪⎪

⎩

y

t_k−1+1

, . . . , y

tk

sont de mˆ eme loi.

y

_i

et y

_j

sont de lois diff´ erentes si k ≤ m et t

_k−1

< i ≤ t

_k

< j ≤ t

_k+1

.

(10)

1.1.1 Typologie des probl` emes de segmentation

Historiquement, les probl` emes de segmentation sont apparus comme le probl` eme de la d´ etec- tion d’une rupture (Page, 1954, 1955). Il s’agit alors de tester

H

₀

∶ y

₁

, . . . , y

_n

identiquement distribu´ es contre

H

1

∶ ∃ t ∈ { 1, . . . , n − 1 } ,

⎧⎪⎪⎪ ⎪⎪

⎨⎪⎪⎪ ⎪⎪⎩

y

1

, . . . , y

t

identiquement distribu´ es , y

t+1

, . . . , y

n

identiquement distribu´ es , y

₁

et y

_n

sont de lois diff´ erentes.

Des conditions suppl´ ementaires sur la loi des observations (appartenance ` a un certain mo- d` ele, etc.) peuvent ˆ etre fix´ ees. Si l’hypoth` ese nulle H

₀

est rejet´ ee, il est aussi question d’estimer l’instant de rupture t. La d´ etection de rupture peut ˆ etre s´ equentielle (on-line) ou r´ etrospec- tive (off-line). Dans le premier cas, la taille n de la s´ erie croˆıt et pour chaque n on teste la pr´ esence d’une rupture ou non (voir par exemple Basseville et Nikiforov, 1993). Typiquement, il s’agit de r´ ealiser un compromis entre la d´ etection ` a temps d’une rupture et la n´ ecessit´ e d’´ evi- ter les fausses alarmes. Dans le cas de la d´ etection de rupture r´ etrospective, la totalit´ e de la s´ erie y

1

, . . . , y

n

est observ´ ee et, ` a posteriori, on teste la pr´ esence d’une rupture. La d´ etection de rupture s´ equentielle et les probl` emes sp´ ecifiques qu’elle pose ne seront pas abord´ es dans cette th` ese.

Si le cas o` u au moins deux ruptures peuvent ˆ etre pr´ esentes est possible, on parle alors de d´ etection de ruptures multiples ou de segmentation ` a ruptures multiples. La m´ ethodologie du cas o` u il y a au plus une rupture dans la s´ erie peut ˆ etre adapt´ ee. En particulier, comme Bai et Perron (1998), on peut tester l’absence de rupture contre la pr´ esence de m ruptures, ou bien la pr´ esence de m ruptures contre la pr´ esence de m + 1 ruptures. Toutefois, en cas de ruptures multiples, l’estimation du nombre de ruptures par l’interm´ ediaire de ces tests m` ene

`

a un probl` eme complexe de tests multiples. Une m´ ethode fr´ equemment adopt´ ee consiste ` a

dans le mod` ele ` a m ruptures, estimer les instants de ruptures ainsi que les autres para- m` etres du mod` ele,

s´ electionner un mod` ele ` a m de ruptures, ` a l’aide d’une proc´ edure de s´ election de mod` ele.

Toutefois, certaines m´ ethodes bay´ esiennes (Lavielle et Lebarbier, 2001) ou fr´ equentistes (comme le Lasso, pour Least absolute shrinkage and selection operator, voir Harchaoui et L´ evy-Leduc, 2010) r´ ealisent ces deux ´ etapes simultan´ ement.

Dans cette th` ese, nous nous int´ eressons ` a la segmentation r´ etrospective ` a ruptures mul- tiples.

1.1.2 Mod` eles

Dans la section 1.1.1, nous n’avons fix´ e aucune condition sur les lois marginales possibles des

observations. Or il existe bien souvent une mod´ elisation pr´ ealable de la s´ erie.

(11)

On peut se donner un mod` ele param´ etrique ( P

_θ

)

θ∈Θ

et fixer comme condition

∀ k ∈ { 1, . . . , m + 1 } , ⎧⎪⎪

⎨⎪⎪ ⎩

∀ i ∈ { t

^⋆_k−1

+ 1, . . . , t

^⋆_k

} , y

i

∼ P

_θ^⋆

k

et k ≤ m ⇒ θ

^⋆_k

≠ θ

^⋆_k+1

. (1.1) On peut ajouter ` a ce mod` ele un param` etre global, qui reste constant sur tous les segments.

Par exemple, le mod` ele gaussien est ici :

∀ k ∈ { 1, . . . , m + 1 } , ⎧⎪⎪

⎨⎪⎪ ⎩

∀ i ∈ { t

^⋆_k−1

+ 1, . . . , t

^⋆_k

} , y

_i

∼ N ( µ

^⋆_k

, σ

_k^⋆2

)

et k ≤ m ⇒ ( µ

^⋆_k

, σ

^⋆2_k

) ≠ ( µ

^⋆_k+1

, σ

^⋆2_k+1

) . (1.2) Le mod` ele peut ˆ etre restreint au cas o` u toutes les variances σ

^⋆2_k

sont ´ egales, ce qui fait de cette variance commune un param` etre global du mod` ele. De mˆ eme, on peut se restreindre au cas o` u toutes les esp´ erances sont ´ egales. Dans le premier cas, on segmente dans l’esp´ erance, dans le second cas, dans la variance (voir figure 1.1).

Il peut ˆ etre pr´ ef´ erable dans certains cas d’´ etendre le mod` ele. On peut simplement de- mander ` a ce que certaines quantit´ es associ´ ees aux lois marginales soient constantes sur les segments. Par exemple, par analogie avec le mod` ele gaussien, on peut consid´ erer le mod` ele suivant :

∀ k ∈ { 1, . . . , m + 1 } , ⎧⎪⎪

⎨⎪⎪ ⎩

∀ i ∈ { t

^⋆_k−1

+ 1, . . . , t

^⋆_k

} , y

_i

est de carr´ e int´ egrable,

E

y

_i

= µ

^⋆_k

, Var ( y

_i

) = σ

^⋆2_k

et k ≤ m ⇒ ( µ

^⋆_k

, σ

_k^⋆2

) ≠ ( µ

^⋆_k+1

, σ

^⋆2_k+1

) .

(1.3) Tous les sous-mod` eles d´ efinis dans le cas gaussien peuvent ˆ etre d´ efinis de fa¸ con analogue. Dans le cas o` u l’on segmente dans l’esp´ erance, il s’agit d’un mod` ele de r´ egression non-lin´ eaire, o` u la

●

● ●

●

0 10 20 30 40 50 60

−2−1012

●

● ●

●

0 10 20 30 40 50 60

−1012345

●

●● ● ●

●

●●

●

●●

●

● ●

●

● ●

●

●●

●

●●

●

●● ●●●●

●●●● ●● ● ● ●●

●

0 10 20 30 40 50 60

−10−505

●

●●

●

●● ●

●

●●

●

● ●● ●

●●

●

●●●●

● ● ●

0 10 20 30 40 50 60

−20246

Figure

1.1 – R´ ealisation de 4 s´ eries de 60 v.a.r. ind´ ependantes de loi normale. Les droites verticales indiquent les ruptures ´ eventuelles, localis´ ees en 30 et 40. Haut, gauche : cas i.i.d.

centr´ e r´ eduit. Haut, droite : variance constante ´ egale ` a 1, ruptures dans l’esp´ erance (0, 4 puis 2). Bas, gauche : esp´ erance constante ´ egale ` a 0, ruptures dans la variance (1, 16 puis 1/16).

Bas, droite : ruptures simultan´ ees dans l’esp´ erance et la variance, avec les mˆ emes valeurs que

pr´ ec´ edemment.

(12)

fonction de r´ egression est constante par morceaux. Si les instants de rupture ´ etaient connus, il s’agirait d’un mod` ele lin´ eaire.

1.1.3 M´ ethodes bay´ esiennes

Les m´ ethodes bay´ esiennes en segmentation ont ´ et´ e introduites d’abord dans le cas o` u il y a au plus une rupture (Chernoff et Zacks, 1964), puis dans le cas des mod` eles ` a ruptures multiples (Barry et Hartigan, 1992). Dans le cadre bay´ esien, tous les param` etres du mod` ele, notamment le nombre et la position des ruptures, sont des variables al´ eatoires, qui suivent une loi ` a priori.

L’objectif de l’inf´ erence est alors de fournir les lois ` a posteriori P ( t

1

, . . . , t

m

∣ y

1

, . . . , y

n

) , P ( m ∣ y

1

, . . . , y

n

) .

Le calcul de cette loi ` a posteriori n’est pas n´ ecessairement trivial. Il y a trois fa¸ cons de proc´ eder :

Les lois ` a priori sont choisies de fa¸ con ` a obtenir des expressions analytiques calculables pour les loi ` a posteriori (Rigaill et al. 2012). Cette approche est classique en statistique bay´ esienne et fait usage des lois conjugu´ ees.

On renonce ` a obtenir une expression analytique pour la loi ` a posteriori. Nous n’avons acc` es ` a cette loi de probabilit´ e qu’` a travers des ´ echantillons simul´ es de cette loi. La simulation de tels ´ echantillons peut se faire ` a l’aide de m´ ethodes de Monte-Carlo par chaˆınes de Markov (Lavielle et Lebarbier, 2001), o` u la loi des ´ echantillons simul´ es tend vers la loi ` a posteriori quand le temps d’ex´ ecution de l’algorithme tend vers l’infini. Il faut alors ˆ etre attentif ` a ce que le temps d’ex´ ecution de l’algorithme soit suffisamment long (Fearnhead, 2006). Un autre algorithme, de type forward-backward, permet une simulation exacte de la loi ` a posteriori (Fearnhead, 2006).

L’approche asymptotique, pour la loi du nombre de ruptures seulement, qui consiste ` a fournir une approximation des probabilit´ es ` a posteriori quand le nombre d’observations n tend vers l’infini. Cette approche a ´ et´ e d´ evelopp´ ee pour l’estimation du nombre de ruptures par Zhang et Siegmund (2007, voir section 2.5.4). Il s’agit de l’adaptation ` a la segmentation du crit` ere de s´ election de mod` ele propos´ e par Schwarz (1978).

Parmi ces trois approches seule la derni` ere sera abord´ ee.

1.1.4 Cadre fr´ equentiste

Avant d’aborder les r´ esultats asymptotiques ´ etablis en segmentation, il faut donner un sens

`

a la th´ eorie asymptotique dans ce cadre.

Pour pouvoir ´ etablir des r´ esultats de consistance sur les estimateurs des ruptures, nous

devons d´ efinir la suite des vrais instants de rupture quand la longueur de la s´ erie varie.

(13)

Un cadre fr´ equemment adopt´ e et ayant permis d’´ etablir de nombreux r´ esultats asympto- tiques (Bai, 1994 ; Bai et Perron, 1998 ; Lavielle et Moulines, 2000 ; Bardet, Kengne et Win- tenberger, 2012) est le suivant. On consid` ere ( y

_i,n

)

_{1≤i≤n,n≥n}₀

. Pour chaque n ≥ n

₀

, ( y

_i,n

)

_1≤i≤n

est une s´ erie affect´ ee par des ruptures. On suppose qu’il existe 0 = τ

₀^⋆

< τ

₁^⋆

< ⋅ ⋅ ⋅ < τ

_m^⋆

< τ

_m+1^⋆

= 1, tels que, pour tout n ≥ n

₀

, les ruptures de la s´ erie ( y

_i,n

)

_1≤i≤n

sont localis´ ees en

t

^⋆_k,n

= ⌊ nτ

_k^⋆

⌋ ( 1 ≤ k ≤ m ) . (1.4) Ainsi, les instants de rupture sont des fractions de la longueur totale de la s´ erie. Les param` etres

`

a estimer correspondant aux instants de rupture sont donc τ

₁^⋆

, . . . , τ

_m^⋆

, des r´ eels compris entre 0 et 1. On consid` ere que le nombre de ruptures ne varie pas avec la taille des s´ eries.

C’est le cadre sous-jacent de la plupart des travaux concernant l’estimation des instants de rupture en statistique fr´ equentiste depuis le d´ ebut des ann´ ees 1990, mˆ eme si ( y

i,n

)

1≤i≤n,n≥n0

n’est pas explicitement d´ efini de fa¸ con syst´ ematique. En g´ en´ eral, on d´ efinit une s´ erie y

₁

, . . . , y

_n

, puis on fait tendre n vers l’infini pour obtenir des r´ esultats asymptotiques. En r´ ealit´ e, cela n’a de sens qu’` a travers ( y

i,n

)

1≤i≤n,n≥n0

.

Illustrons cette construction dans le cas gaussien. On consid` ere le mod` ele d´ efini ` a n fix´ e par l’´ equation (1.2), avec la contrainte suppl´ ementaire d’avoir toutes les variances ´ egales (` a σ

^⋆2

).

Soit 0 = τ

₀^⋆

< τ

₁^⋆

< ⋅ ⋅ ⋅ < τ

_m^⋆

< τ

_m+1^⋆

= 1 et (

_t

)

0<t≤1,t∈Q

une famille de v.a.r. i.i.d. gaussiennes centr´ ees de variance σ

^⋆2

. Soit µ ∶ ( 0, 1 ] →

R

d´ efinie par

∀ t ∈ ( 0, 1 ] , µ ( t ) = ∑

^m

k=0

µ

^⋆_k1_(τ⋆

k,τ_k+1^⋆ ]

( t ) . Pour tout n, la loi de ( y

i,n

)

1≤i≤n

est donn´ ee par :

( y

i,n

)

1≤i≤n

= (

d

µ ( i

n ) +

_i/n

)

1≤i≤n

. Estimation par maximum de vraisemblance

On se place dans le mod` ele d´ efini par (1.1) et le cadre asymptotique d´ efini par (1.4). Supposons que les lois de probabilit´ e P

_θ

admettent une densit´ e f

_θ

par rapport ` a une certaine mesure de r´ ef´ erence. L’estimateur du maximum de vraisemblance des ruptures et des param` etres au sein de chaque segment est alors

(̂ t

₁

, . . . , ̂ t

_m

, ̂ θ

₀

, . . . , ̂ θ

_m

) = arg max

0=t0<t1<⋅⋅⋅<tm<tm+1=n

θ0,...,θm∈Θ

m

∏

k=0 t_k+1 i=t

∏

_k+1

f

_θ_k

( y

_k

) . (1.5)

La normalisation ̂ τ

k

= ̂ t

k

/ n donne des estimateurs des ruptures τ

_k^⋆

. He et Severini (2010) ont

d´ emontr´ e, sous certaines conditions de r´ egularit´ e, que les estimateurs ̂ τ

_k

sont consistants et

convergent ` a l’ordre 1 / n. De plus, les estimateurs des param` etres θ ̂

_k

sont eux aussi consis-

tants et conjointement asymptotiquement normaux, y compris conjointement ` a un ´ eventuel

param` etre global.

(14)

Estimation par moindres carr´ es

On se place dans le mod` ele (1.3), avec une variance constante, et le cadre asymptotique d´ efini par (1.4). L’estimateur des moindres carr´ es des ruptures et des esp´ erances est alors :

(̂ t

1

, . . . , ̂ t

m

, ̂ µ

0

, . . . , µ ̂

m

) = arg min

0=t0<t1<⋅⋅⋅<tm<t_m+1=n

µ0,...,µm

∑

m k=0

t_k+1

∑

i=tk+1

( y

i

− µ

_k

)

²

. (1.6)

A ma connaissance, les premiers r´ ` esultats asymptotiques dans ce cadre sont ceux de Yao et Au (1989). Lavielle et Moulines (2000) fournissent des r´ esultats similaires ` a ceux de He et Severini (2010) pour l’estimateur du maximum de vraisemblance dans ce cas.

Estimation par maximum de vraisemblance gaussienne

On se place dans le mod` ele (1.3) et le cadre asymptotique d´ efini par (1.4). Les ruptures et les autres param` etres peuvent ˆ etre estim´ es par maximisation de la vraisemblance gaussienne, qui est la fonction de vraisemblance associ´ ee au mod` ele (1.2). Mˆ eme si les observations ne sont pas gaussiennes, Lavielle (1999) garantit sous certaines conditions la consistance des estimateurs et des vitesses de convergences de mˆ eme ordre que celles de He et Severini (2010).

1.1.5 S´ election du nombre de ruptures

On a suppos´ e jusqu’ici le nombre de ruptures m connu. Mais, dans la plupart des applications, il doit ˆ etre estim´ e, ce qui nous am` ene ` a un probl` eme de s´ election de mod` ele. Des crit` eres de diff´ erents types ont ´ et´ e propos´ es :

des proc´ edures s´ equentielles de tests (Bai et Perron, 1998),

des approches par contraste p´ enalis´ e dans un cadre fr´ equentiste (Yao, 1988 ; C.-B. Lee, 1995 ; Lebarbier, 2005),

des approches bay´ esiennes (Zhang et Siegmund, 2007 ; Rigaill et al. 2012).

Une pr´ esentation plus d´ etaill´ ee de ces diff´ erentes approches est donn´ ee dans la section 2.5.

Si l’estimation des instants de rupture et des param` etres des lois marginales est un probl` eme bien compris ` a m connu, l’estimation de ce dernier reste un probl` eme difficile. La d´ efinition mˆ eme du

«

bon

»

ou du

«

vrai

»

m ` a s´ electionner n’est pas consensuelle. De plus, les r´ esultats asymptotiques ne suffisent pas toujours ` a d´ eterminer une proc´ edure pratique, notamment quand des constantes de p´ enalisation restent ` a calibrer.

Dans ce travail, on porte une attention particuli` ere au crit` ere de Zhang et Siegmund (2007),

qui est d´ efini ind´ ependamment de toute constante, et qui fournit de bons r´ esultats pra-

tiques (Picard, Lebarbier et al. 2011 ; Frick et al. 2014).

(15)

1.1.6 Probl` eme algorithmique

L’estimation de ruptures multiples par maximum de vraisemblance ou moindres carr´ es fait ap- paraˆıtre un probl` eme algorithmique. Cette question est centrale en segmentation. Par exemple, Picard (2007) et Jandhyala et al. (2013), dans leur expos´ e, introduisent l’estimation de rup- tures multiples ` a travers le probl` eme algorithmique que cela pose. En effet, l’exploration de l’ensemble des segmentations prendrait un temps O ( n

^m

) , une complexit´ e algorithmique sou- vent prohibitive. Pour la recherche de la segmentation optimale, trois approches peuvent alors ˆ etre consid´ er´ ees :

Etablir un algorithme efficace donnant la solution optimale. Seul l’algorithme de pro- ´ grammation dynamique (Auger et Lawrence, 1989 ; Bai et Perron, 2003), ainsi que ses versions ´ elagu´ ees (Rigaill, 2010 ; Maidstone et al. 2014) permettent de recouvrer la seg- mentation optimale en un temps polynomial. L’algorithme de partition optimale de Jackson et al. (2005), ainsi que ses versions ´ elagu´ ees (Killick et al. 2012 ; Maidstone et al. 2014), fournissent eux aussi la segmentation optimale en r´ ealisant simultan´ ement la s´ election du nombre de ruptures, avec certaines contraintes sur le crit` ere de s´ election de mod` ele. Tous ces algorithmes peuvent ˆ etre utilis´ es pour peu que le crit` ere ` a optimiser soit additif sur les segments (voir section 2.6).

D´ efinir une heuristique fournissant une solution sous-optimale acceptable. La segmen- tation binaire (voir par exemple Scott et Knott, 1974 ; Venkatraman, 1992 ; Bai, 1997) peut ˆ etre vue comme une suite de tests sur la pr´ esence d’une rupture suppl´ ementaire

`

a celles qui ont d´ ej` a ´ et´ e estim´ ees. Cette contrainte, le fait que les m ruptures estim´ ees dans le mod` ele ` a m changements sont incluses dans les m + 1 ruptures du mod` ele avec un changement suppl´ ementaire, est tr` es forte et entraˆıne une sous-exploration de l’ensemble des segmentations possibles, d’o` u la solution sous-optimale. Le probl` eme est connu et a men´ e ` a des raffinements de la m´ ethode (Olshen et al. 2004 ; Fryzlewicz, 2014) pour en r´ eduire l’impact.

Davis, T. C. M. Lee et al. (2006) proposent un algorithme g´ en´ etique fournissant une solution approch´ ee ` a la segmentation par minimisation d’un crit` ere MDL (Minimum description length ). Toutefois, Eckley et al. (2011) font remarquer que ce crit` ere peut tout aussi bien ˆ etre minimis´ e par l’algorithme de programmation dynamique.

Modifier le probl` eme d’optimisation pour le rendre r´ esoluble. En segmentation, le Lasso, tel que formul´ e par Harchaoui et L´ evy-Leduc (2010), revient ` a remplacer la contrainte

«

m ruptures

»

par une contrainte convexe. L` a aussi, la modification du probl` eme d’op- timisation fait que la segmentation propos´ ee n’est pas optimale au sens du crit` ere initial.

Les choix m´ ethodologiques ont ´ et´ e orient´ es de fa¸ con ` a pr´ eserver l’applicabilit´ e de l’algo-

rithme de programmation dynamique, le plus souvent ´ elagu´ ee. Les algorithmes de partition

(16)

optimale n’ont pas ´ et´ e utilis´ es car le crit` ere de s´ election de mod` ele que nous avons utilis´ e ne le permettait pas.

1.2 Segmentation dans le cas d’observations d´ ependantes

Jusqu’` a pr´ esent, nous avons consid´ er´ e que les observations des s´ eries temporelles consid´ e- r´ ees ´ etaient ind´ ependantes. Toutefois, dans un certain nombre d’applications, par exemple en g´ eosciences ou en m´ et´ eorologie

¹

, cette condition est clairement viol´ ee.

1.2.1 Plusieurs types de ruptures

Diff´ erents types de ruptures peuvent affecter ces s´ eries d´ ependantes :

On pourra toujours consid´ erer des ruptures dans la loi marginale des observations, comme dans la section 1.1, ` a la diff´ erence pr` es que les observations ne sont plus consi- d´ er´ ees comme ind´ ependantes. Voir Lavielle (1999), Lavielle et Moulines (2000) et, dans un cadre plus g´ en´ eral que celui pr´ esent´ e ici, Bai et Perron (1998).

On pourra consid´ erer des ruptures dans la structure de d´ ependance de la s´ erie. Certains des mod` eles consid´ er´ es sont d´ etaill´ es dans la section 1.2.3.

On pourra consid´ erer des ruptures qui affectent ` a la fois la loi marginale des observations et la structure de d´ ependance de la s´ erie.

1.2.2 Ruptures dans la loi marginale

On se place dans le mod` ele (1.3), en supposant les variances constantes, mais sans supposer les observations ind´ ependantes. Lavielle et Moulines (2000) d´ emontrent que, sous certaines conditions, la d´ ependance entre les observations n’affecte pas la vitesse de convergence des estimateurs des moindres carr´ es des ruptures et des param` etres µ

^⋆_k

, tels que d´ efinis en (1.6).

Plus pr´ ecis´ ement, dans le mod` ele consid´ er´ e par Lavielle et Moulines (2000),

∀ i ∈ { 1, . . . , n } , y

_i

= µ

^⋆_k

+ η

_i

si t

^⋆_k−1

< i ≤ t

^⋆_k

, (1.7) o` u les ruptures v´ erifient la condition (1.4). Si la condition

∃ φ < 2, ∃ C > 0, ∀ j > i > 0,

E

⎡⎢

⎢⎢ ⎢⎣

⎛

⎝

j

∑

t=i

η

_i

⎞

⎠

2

⎤⎥

⎥⎥ ⎥⎦ ≤ C ∣ j − i + 1 ∣

^φ

(1.8) est v´ erifi´ ee, les estimateurs des moindres carr´ es des ruptures et des param` etres µ

^⋆_k

, modulo certaines restrictions de l’ensemble des param` etres consid´ er´ es dans la minimisation du crit` ere des moindres carr´ es, sont consistants, les estimateurs des ruptures τ

_k^⋆

convergeant ` a la vitesse 1 / n. La condition (1.8) est v´ erifi´ ee pour une large classe de processus ( η

_i

) . Si on se restreint

1Références en préambule du chaptire 1.

(17)

aux processus centr´ es faiblement stationnaires (cf. d´ efinition 2.3), elle est v´ erifi´ ee pour les processus ` a courte m´ emoire, c’est-` a-dire tels que la fonction d’autocovariance associ´ ee au processus est absolument sommable, mais aussi pour certains processus ` a longue m´ emoire.

Bai et Perron (1998) avaient d´ ej` a d´ emontr´ e le r´ esultat sur les estimateurs des ruptures et des µ

^⋆_k

, notamment dans le cas o` u ( η

_i

)

i∈Z

est un processus centr´ e faiblement stationnaire ` a courte m´ emoire. Lavielle (1999) a ´ etendu ces r´ esultats ` a un cadre plus g´ en´ eral que les ruptures de moyennes ainsi qu’` a d’autres crit` eres que les moindres carr´ es.

Concernant la s´ election du nombre de ruptures, Lavielle et Moulines (2000) donnent des conditions sur la p´ enalisation pour obtenir des crit` eres p´ enalis´ es consistants. L` a aussi, si ( η

i

)

i∈Z

reste un processus centr´ e faiblement stationnaire ` a courte m´ emoire, ces conditions ne sont pas affect´ ees par la structure de d´ ependance.

Les r´ esultats de Lavielle et Moulines (2000), ainsi que ceux de Lavielle (1999), pourraient donc plaider pour une non-prise en compte de la d´ ependance entre observations dans l’esti- mation des ruptures et la s´ election de leur nombre dans un mod` ele de segmentation, pour peu que la perturbation ( η

_i

)

i∈Z

v´ erifie certaines conditions.

Toutefois, Lavielle et Moulines (2000) montrent que la variance asymptotique des estima- teurs des ruptures peut ˆ etre affect´ ee par la structure de d´ ependance, y compris si ( η

_i

)

i∈Z

reste un processus centr´ e faiblement stationnaire ` a courte m´ emoire. De mˆ eme, Antoch et al. (1997) et Robbins et al. (2011) ont montr´ e que la d´ ependance entre observations, y compris sous la forme d’une perturbation qui serait un processus centr´ e faiblement stationnaire ` a courte m´ emoire, n’est pas sans effet sur la variance asymptotique de diff´ erentes statistiques de test d’une rupture dans l’esp´ erance. La prise en compte de la relation de d´ ependance stochastique entre observations dans l’estimation des ruptures peut donc s’av´ erer importante.

1.2.3 Autres types de ruptures

On peut aussi consid´ erer des ruptures qui affectent d’autres propri´ et´ es des s´ eries que la loi marginale, c’est-` a-dire qu’elles affectent la structure de d´ ependance des s´ eries temporelles.

Supposons d’abord que y

1

, . . . , y

n

sont n observations cons´ ecutives d’un processus station- naire par morceaux, c’est-` a-dire qu’il existe des ruptures 0 = t

^⋆₀

< t

^⋆₁

< ⋅ ⋅ ⋅ < t

^⋆_m

< t

^⋆_m+1

= n telles que, pour tout entier k ∈ { 0, . . . , m } , y

_t⋆

k+1

, . . . , y

_t⋆

k+1

, sont des observations cons´ ecutives d’un processus faiblement stationnaire. Les ruptures v´ erifient (1.4) et les moments d’ordre un et deux du processus sur chaque segment ne varient pas avec n, de sorte qu’au k

^e

seg- ment on peut associer l’esp´ erance µ

^⋆_k

et la fonction d’autocovariance γ

_k^⋆

. Notons que si on impose l’´ egalit´ e de toutes les fonctions d’autocovariance γ

_k^⋆

, on a un mod` ele de segmentation de l’esp´ erance tel que d´ ecrit dans la section 1.2.2.

Ce mod` ele ne d´ ecrit pas les moments d’ordre deux de la s´ erie. En particulier, rien n’est dit de la covariance de deux observations s´ epar´ ees par une ou plusieurs ruptures. C’est par exemple le type de mod` ele consid´ er´ e par Davis, T. C. M. Lee et al. (2006).

La classe de mod` eles consid´ er´ ee par Bardet, Kengne et Wintenberger (2012) est diff´ erente.

(18)

Premi` erement, car, mˆ eme en absence de rupture, les s´ eries peuvent ˆ etre non-stationnaires et deuxi` emement, car le comportement de la s´ erie aux ruptures est lui aussi diff´ erent. Bardet, Kengne et Wintenberger (2012) consid` erent des s´ eries y

₁

, . . . , y

_n

qui sont des observations successives d’un processus ( y

i

)

i∈Z

, tel que, pour tout t

^⋆_k−1

< i ≤ t

^⋆_k

,

y

i

= f

_θ^⋆

k

(( y

j

)

j<i

) + m

_θ^⋆

k

(( y

j

)

j<i

)

i

(1.9)

o` u (

i

)

i∈Z

est une suite de v.a.r. i.i.d. centr´ ees de variance 1 et ( f

_θ

)

θ∈Θ

et ( m

_θ

)

θ∈Θ

sont des familles de fonctions. Un tel processus est causal, au sens o` u chaque observation est fonction du pass´ e et d’un al´ ea ind´ ependant du pass´ e. Davis, Hancock et al. (2010) ne proposent qu’un sous-mod` ele de (1.9), o` u l’´ equation (1.9) devient l’´ equation d’un processus autor´ egressif dont les coefficients et l’ordre varient entre les segments.

Bardet, Kengne et Wintenberger (2012) estiment les ruptures par quasi-maximum de vraisemblance : la fonction de vraisemblance de ( y

₁

, . . . , y

_n

) conditionnelle ` a ( y

_j

)

_j≤0

que l’on aurait si (

i

)

i∈Z

´ etait gaussien est maximis´ ee en les param` etres θ

k

et en les instants de rupture.

Sous certaines hypoth` eses de r´ egularit´ e et d’identifiabilit´ e du mod` ele, Bardet, Kengne et Wintenberger (2012) obtiennent les r´ esultats classiques, ´ evoqu´ es dans le cas ind´ ependant dans la section 1.1.4, de consistance des estimateurs des ruptures et des autres param` etres, ainsi que le taux de convergence en 1 / n pour les estimateurs des ruptures τ

_k^⋆

, sous l’hypoth` ese (1.4).

1.2.4 S´ election de mod` ele

Le probl` eme du choix du nombre de ruptures se pose ´ egalement dans le cas d´ ependant. La s´ election de mod` ele par contraste p´ enalis´ e a ´ et´ e ´ etudi´ ee pour des mod` eles de ruptures dans la loi marginale ou dans la structure de d´ ependance par Lavielle et Moulines (2000) et Bardet, Kengne et Wintenberger (2012) respectivement. Ces auteurs donnent des conditions suffisantes sur la forme de la p´ enalit´ e pour garantir la consistance du nombre de ruptures s´ electionn´ e.

Ces conditions sont cependant tr` es larges et n’aboutissent pas ` a un crit` ere explicite.

Un crit` ere MDL, fond´ e sur la th´ eorie de l’information, a ´ egalement ´ et´ e propos´ e par Davis, T. C. M. Lee et al. (2006) dans le cas des mod` eles avec une autor´ egression sp´ ecifique ` a chaque segment. Davis et Yau (2013) g´ en´ eralisent ce crit` ere ` a d’autres mod` eles et en d´ emontrent la consistance sous certaines conditions.

Le crit` ere de Zhang et Siegmund (2007) est explicitement restreint au cas o` u les observa- tions sont ind´ ependantes. Dans les chapitres 3 et 4, on propose une adaptation de ce crit` ere pour certaines structures de d´ ependance s´ erielle qui conserve les garanties statistiques et l’ef- ficacit´ e algorithmique.

1.3 Approche adopt´ ee

Dans cette th` ese, on s’int´ eresse ` a la segmentation dans la moyenne de processus d´ ependants.

On consid` ere le mod` ele (1.7), en supposant de plus que y

₁

, . . . , y

_n

sont n observations succes-

sives d’un processus ( y

i

)

i∈Z

. Le travail est guid´ e par deux id´ ees :

(19)

la prise en compte de la d´ ependance dans l’inf´ erence,

l’efficacit´ e algorithmique.

Les algorithmes exacts efficaces (de type programmation dynamique) le sont ` a condition que le contraste ` a minimiser soit additif en les segments (voir la section 2.6). Or, la prise en compte de la d´ ependance viole en g´ en´ eral cette contrainte. L’objectif de cette th` ese est de faire entrer l’inf´ erence pour un processus d´ ependant dans un cadre admissible pour la programmation dynamique, tout en conservant les garanties statistiques.

Il n’y a aucune rupture dans la structure de d´ ependance de ( η

_i

)

i∈Z

. Donc, ` a priori, aucune raison de traiter ce cas comme dans la section 1.2.3. N´ eanmoins, les approches pr´ esent´ ees dans la section 1.2.3 peuvent nous aider ` a prendre en compte la structure de d´ ependance de ( η

i

)

i∈Z

.

On consid` ere que le processus ( η

_i

)

i∈Z

est centr´ e et faiblement stationnaire et que sa fonc- tion d’autocovariance appartient ` a une famille param´ etr´ ee ( σ

²

γ

_θ

)

_σ2>0,θ∈Θ

. Si ( η

_i

)

i∈Z

est un processus causal, on peut exprimer la quasi-vraisemblance de ( y

1

, . . . , y

n

) conditionnellement

`

a ( y

_i

)

i≤0

. Il s’agit de la vraisemblance conditionnelle de ( y

₁

, . . . , y

_n

) sachant ( y

_i

)

i≤0

si le pro- cessus est suppos´ e gaussien.

Dans cette quasi-vraisemblance, les termes correspondant aux ruptures t

_k

, aux esp´ erances µ

k

, ` a σ

²

et ` a θ sont li´ es. ` A priori, ce crit` ere ne peut pas ˆ etre maximis´ e en utilisant l’al- gorithme de programmation dynamique, qui s’impose dans le cas o` u les observations sont ind´ ependantes (section 1.1.6).

Le premier probl` eme qui se pose est la pr´ esence d’un param` etre θ global. Nous n’avons pas pour objectif ultime d’estimer ce param` etre. Il s’agit d’un param` etre de nuisance, dont l’estimation permettra possiblement d’am´ eliorer l’estimation des autres param` etres.

Le but est alors de construire un tel estimateur de θ, tout en ´ evitant d’avoir ` a segmenter la s´ erie, c’est-` a-dire d’estimer les ruptures t

^⋆_k

sans connaˆıtre θ, ce que l’on cherche pr´ ecis´ ement

`

a ´ eviter. Nous nous sommes orient´ es vers des m´ ethodes robustes.

Nous avons mis en œuvre cette m´ ethodologie dans le cas o` u ( η

_i

)

i∈Z

est un processus AR ( 1 ) dans le chapitre 3 et dans le cas o` u il s’agit d’un processus autor´ egressif d’ordre fini arbitraire dans le chapitre 4. Dans ces cas-l` a, du point de vue de l’inf´ erence des ruptures, l’estimation pr´ ealable du param` etre θ, qui est ici le param` etre de l’autor´ egression, revient ` a d´ ecorr´ eler la s´ erie, puis ` a adopter l’inf´ erence classique du cas ind´ ependant sur les s´ eries ainsi d´ ecorr´ el´ ees.

Dans le chapitre 5, on discute de la m´ ethodologie adopt´ ee, de m´ ethodes alternatives et de r´ esultats additionnels. Les limites de l’approche adopt´ ee sont ensuite discut´ ees avant de tracer quelques perspectives de travaux futurs concernant des r´ esultats math´ ematiques employ´ es ` a

´ etendre, l’extension de la m´ ethode employ´ ee ` a une classe de processus plus large ou des

probl` emes connexes en segmentation permettant de mettre en œuvre une approche similaire.

(20)

Chapitre 2

Outils math´ ematiques et algorithmiques

Contenu

2.1 S´eries temporelles . . . 19

2.1.1 Stationnarit´e, fonctions d’autocovariance et d’autocorr´elation . . . 19

2.1.2 Processus ARMA . . . 20

2.1.3 Estimation dans les processus stationnaires d’ordre deux . . . 21

2.2 Processus empirique et Delta-m´ethode fonctionnelle . . . 23

2.2.1 Processus empirique . . . 23

2.2.2 Delta-m´ethode fonctionnelle . . . 24

2.2.3 Fonctions d’un processus gaussien . . . 26

2.3 Estimation robuste . . . 26

2.3.1 Point d’effondrement . . . 27

2.3.2 Estimation robuste d’un param`etre d’´echelle . . . 27

2.3.3 Estimation robuste des fonctions d’autocovariance et d’autocorr´elation d’un processus stationnaire du second ordre . . . 28

2.4 In´egalit´es maximales . . . 30

2.4.1 In´egalit´e de Kolmogorov . . . 31

2.4.2 Inégalité de Hájek-Rényi . . . 31

2.4.3 Généralisation de l’inégalité de Hájek-Rényi . . . 31

2.4.4 Utilisation en segmentation . . . 32

2.5 S´election de mod`ele . . . 32

2.5.1 Introduction . . . 32

2.5.2 Sélection de modèle par critère pénalisé, cadre fréquentiste . . . 33

2.5.3 Sélection de modèle bayésienne . . . 35

2.5.4 S´election du nombre de ruptures dans un mod`ele de segmentation . . 38

2.6 Probl`emes algorithmiques en segmentation . . . 40

2.6.1 Programmation dynamique . . . 41

2.6.2 Programmation dynamique ´elagu´ee . . . 45

(21)

2.1 S´ eries temporelles

Dans toute cette section, on s’int´ eressera ` a un processus al´ eatoire r´ eel X = ( X

_i

)

i∈Z

. On pr´ esente ici les propri´ et´ es des s´ eries temporelles utilis´ ees dans le reste du manuscrit. Notre r´ ef´ erence principale ` a ce sujet est Brockwell et Davis (1991).

2.1.1 Stationnarit´ e, fonctions d’autocovariance et d’autocorr´ elation

La loi de X est caract´ eris´ ee par la famille des fonctions de r´ epartition ( F

_i

)

i∈I

, o` u I = {

i

= ( i

₁

, . . . , i

_k

) ∈

Z

; i

₁

< ⋅ ⋅ ⋅ < i

_k

, k ∈

N^∗

} et F

_i

(

z

) = P ( X

_i₁

≤ z

₁

, . . . , X

_i_k

≤ z

_k

) , pour tout

z

= ( z

1

, . . . , z

_k

) . Parmi ces lois, on souhaite caract´ eriser celles qui sont invariantes par d´ ecalage d’indices.

D´ efinition 2.1. X est dit strictement stationnaire si ∀ h ∈

Z

, ∀

i

∈ I , F

_i

= F

_i+h

, o` u

i

+ h = ( i

1

+ h, . . . , i

k

+ h ) si

i

= ( i

1

, . . . , i

k

) .

Il s’agit d’une propri´ et´ e forte. Dans bien des cas, une notion plus faible de stationnarit´ e suffit. Cette derni` ere ´ etant li´ ee aux moments d’ordre deux, il faut introduire la notion de processus du second ordre.

D´ efinition 2.2. X est dit du second ordre si, pour tout i ∈

Z

, X

_i

est de carr´ e int´ egrable.

D´ efinition 2.3. Un processus du second ordre X est dit faiblement stationnaire, ou station- naire ` a l’ordre deux, si :

1. ∀ i ∈

Z

,

E

X

_i

=

E

X

₀

,

2. ∀ i ∈

Z

, ∀ h ∈

Z

, Cov ( X

_i

, X

_i+h

) = Cov ( X

₀

, X

_h

) .

On d´ efinit alors la fonction d’autocovariance γ

_X

∶

Z

→

R

associ´ ee ` a X par

∀ h ∈

Z

, γ

_X

( h ) = Cov ( X

0

, X

_h

) , ainsi que la fonction d’autocorr´ elation ρ

X

∶

Z

→

R

associ´ ee ` a X par

ρ

X

= γ

X

γ

_X

( 0 ) . ρ

X

n’est bien d´ efinie que si γ

X

( 0 ) > 0.

En l’absence de sp´ ecification, un processus dit stationnaire n’est que faiblement station- naire. L’exemple le plus simple d’un tel processus est le bruit blanc.

D´ efinition 2.4. On dit que X est un bruit blanc de variance σ

²

> 0 si X est un processus du second ordre faiblement stationnaire tel que

E

X

₀

= 0 et ∀ h ∈

Z

, γ

_X

( h ) = σ

²

δ

_0,h

.

La stationnarit´ e forte d’un processus du second ordre implique la stationnarit´ e faible. La

r´ eciproque est fausse en g´ en´ eral.

(22)

2.1.2 Processus ARMA

Les processus ARMA sont une classe importante de processus stationnaires. En effet, pour tout γ ∶

Z

→

R

fonction d’autocovariance associ´ ee ` a un processus stationnaire du second ordre et, pour tout H ∈

N

, il existe un processus ARMA X tel que ∀ h ∈

Z

, ∣ h ∣ ≤ H ⇒ γ

_X

( h ) = γ ( h ) . D´ efinition 2.5. B est l’automorphisme de d´ ecalage sur l’espace vectoriel des processus al´ ea- toires (r´ eels) du second ordre indic´ es par

Z, d´

efini par ∀ i ∈

Z,

( BX )

i

= X

i−1

.

On note B

^j

= B ○ ⋅ ⋅ ⋅ ○ B (j fois) pour j ≥ 1, B

^j

= B

⁻¹

○ ⋅ ⋅ ⋅ ○ B

⁻¹

( − j fois) pour j ≤ − 1 et B

⁰

l’identit´ e.

Pour tout polynˆ ome (r´ eel ou complexe) P ( z ) = ∑

^dj=0

a

j

z

^j

, on d´ efinit P ( B ) = ∑

^dj=0

a

j

B

^j

. Proposition 2.1. Soit ( ψ

j

)

j∈Z

. Si ∑

^+∞j=−∞

∣ ψ

j

∣ < +∞ et X stationnaire, alors pour tout i ∈

Z

, ∑

^+∞^j=−∞

ψ

_j

X

_i−j

converge absolument, dans l’espace L

²

et presque-sˆ urement. Le processus (∑

^+∞j=−∞

ψ

j

X

i−j

)

_i∈_Z

est lui-mˆ eme stationnaire.

La proposition 2.1 permet la d´ efinition suivante.

D´ efinition 2.6. Soit ( ψ

j

)

j∈Z

. Si ∑

^+∞j=−∞

∣ ψ

j

∣ < +∞ , on peut d´ efinir Ψ ( B ) = ∑

^+∞j=−∞

ψ

j

B

^j

, endomorphisme de l’espace vectoriel des processus al´ eatoires stationnaires du second ordre indic´ es par

Z

.

D´ efinition 2.7. On dit que X est un processus ARM A ( p, q ) si c’est un processus stationnaire

`

a l’ordre deux et s’il existe Φ ( z ) = 1 − ∑

^pj=1

φ

j

z

^j

et Θ ( z ) = 1 + ∑

^qj=1

θ

j

z

^j

des polynˆ omes et = (

_i

)

i∈Z

bruit blanc tel que

Φ ( B ) X = Θ ( B ) , (2.1)

ou, de fa¸ con ´ equivalente,

∀ i ∈

Z

, X

_i

− ∑

^p

j=1

φ

_j

X

_i−j

=

_i

+ ∑

^q

j=1

θ

_j

_i−j

. (2.2)

Remarque 2.1. Un tel processus n’existe pas n´ ecessairement pour tout couple de polynˆ omes ( Φ, Θ ) (cf. exemple 2.4, cas ∣ ρ ∣ = 1).

Exemple 2.1. Un processus ARM A ( 0, 0 ) est un bruit blanc.

Exemple 2.2. Si p = 0, on parle de processus de moyenne mobile et on note M A ( q ) au lieu de ARM A ( 0, q ) . Un tel processus existe pour tout polynˆ ome Θ et pour tout bruit blanc . Exemple 2.3. Si q = 0, on parle de processus autor´ egressif et on note AR ( p ) au lieu de ARM A ( p, 0 ) . L’´ etymologie est parlante : il s’agit d’une r´ egression lin´ eaire du processus sur lui-mˆ eme, en l’occurrence sur son pass´ e. Le pr´ esent s’explique lin´ eairement par le pass´ e et le bruit blanc joue le rˆ ole de la perturbation.

Exemple 2.4 (Processus AR ( 1 ) ). Ici, (2.2) devient

∀ i ∈

Z

, X

_i

− ρX

_i−1

=

_i