Annéeacadémique2011-2012AbdelkamelALJ ContributiontotheestimationofVARMAmodelswithtime-dependentcoefficients. FacultédesSciencesDépartementdeMathématique UniversitéLibredeBruxelles

(1)

Universit´e Libre de Bruxelles Facult´e des Sciences

D´epartement de Math´ematique

Contribution to the estimation of VARMA models with time-dependent coefficients.

Thèse présentée en vue de l’obtention du grade de Docteur en Sciences, orientation statistique

Promoteurs: Guy M´elard et Siegfried H¨ormann

(2)

(3)

(4)

(5)

REMERCIEMENT

D’abord, je voudrais exprimer ma profonde gratitude et ma reconnaissance envers monsieur le professeur Guy Mélard qui m’a proposé le sujet de cette thèse. Sa modestie, sa sympathie, sa patience et ses qualités humaines m’ont facilité la préparation de ce travail.

La préparation de ce travail ne se serait pas réalisée sans ses conseils, ses encouragement, ses interventions et son aide continue. Je le remercie infiniment pour le grand honneur qu’il m’a accordé.

Je tiens à remercier très vivement monsieur le professeur Siegfried Hörmann mon co- directeur de thèse. Nos discussions ces derniers temps m’ont très bénéfiques. Il me fait un grand honneur d’être mon co-promoteur de thèse.

J’exprime ma gratitude à monsieur le professeur Davy Paindaveine pour sa gentillesse et aussi pour avoir accepté d’être le président du jury de soutenance.

Un merci sp´ecial revient `a madame le professeur Rajae Azrak pour ses remmarques

Je remercie chaleureusement mesdames les professeurs Catherine Dehon et Catherine Vermandele ainsi que monsieur le professeur Sébastien Van Bellegem d’avoir accepté de faire partie du jury de ma thèse.

Je voudrais remercier mes collègues de bureau et amis Germain, Christophe, Nicolas, Rémi, Sarah, Maude et Christopher pour les très bons moments que nous avons vécus

(6)

discussions qui m’ont permis de voir plus clair dans certains probl`emes.

Une aide précieuse m’est venue de la part des secrétaires, mesdames Jacqueline Botte- manne, Patricia Semeraro et Valérie Baijot. Merci pour leur efficacité et leur dynamisme.

Je tiens évidemment à remercier ma famille, et tout spécialement mes parents, ma femme Siham, mes frères et soeurs, pour leur soutien moral et matériel inconditionnel du- rant toutes mes études et pour tous les moments forts et joyeux que j’ai pu passer avec eux.

Enfin, je remercie mon trésor Kenza pour sa présence et son sourire qui m’a donné de l’énergie pour terminer ma thèse.

(7)

R ´^ESUME´

Dans cette thèse, nous étudions l’estimation de modèles autorégressif-moyenne mobile vectoriels ou VARMA, à coefficients dépendant du temps, et avec une matrice de covariance des innovations dépendant du temps. Ces modèles sont appelés tdVARMA. Les éléments des matrices des coefficients et de la matrice de covariance sont des fonctions déterministes du temps dépendant d’un petit nombre de paramètres. Une première partie de la thèse est consacrée à l’étude des propriétés asymptotiques de l’estimateur du quasi-maximum de vraisemblance gaussienne. La convergence presque sûre et la normalité asymptotique de cet estimateur sont démontrées sous certaines hypothèses vérifiables, dans le cas où les coefficients dépendent du tempst mais pas de la taille des sériesn. Avant cela nous con- sidérons les propriétés asymptotiques des estimateurs de modèles non-stationnaires assez généraux, pour une fonction de pénalité générale. Nous passons ensuite à l’application de ces théorèmes en considérant que la fonction de pénalité est la fonction de vraisemblance gaussienne (Chapitre 2). L’étude du comportement asymptotique de l’estimateur lorsque les coefficients du modèle dépendent du temps t et aussi de n fait l’objet du Chapitre 3.

Dans ce cas, nous utilisons une loi faible des grands nombres et un théorème central limite pour des tableaux de différences de martingales. Ensuite, nous présentons des conditions qui assurent la consistance faible et la normalité asymptotique. Les principaux résultats asymptotiques sont illustrés par des expériences de simulation et des exemples dans la littérature. La deuxième partie de cette thèse est consacrée à un algorithme qui nous permet d’évaluer la fonction de vraisemblance exacte d’un processus tdVARMA d’ordre (p, q) gaussien. Notre algorithme est basé sur la factorisation de Cholesky d’une matrice bande partitionnée. Le point de départ est une généralisation au cas multivarié de Mélard (1982) pour évaluer la fonction de vraisemblance exacte d’un modèle ARMA(p, q) uni- varié. Aussi, nous utilisons quelques résultats de Jonasson et Ferrando (2008) ainsi que les programmes Matlab de Jonasson (2008) dans le cadre d’une fonction de vraisemblance gaussienne de modèles VARMA à coefficients constants. Par ailleurs, nous déduisons que

(8)

dep,qetnest approximativement le double par rapport à un modèle VARMA à coefficients constants. L’implémentation de cet algorithme a été testée en comparant ses résultats avec d’autres programmes et logiciels très connus. L’utilisation des modèles VARMA à coefficients dépendant du temps apparaˆıt particulièrement adaptée pour la dynamique de quelques séries financières en mettant en évidence l’existence de la dépendance des paramètres en fonction du temps.

(9)

CONTENTS

1 Synopsis 1

1.1 Introduction et motivations . . . 1

1.1.1 D´efinition et notations . . . 3

1.1.2 Objectifs . . . 4

1.2 Contributions de la th`ese . . . 5

1.2.1 R´esultats du chapitre 2 . . . 5

2 Conclusion et perspectives 10

Bibliography 12

(10)

(11)

1 SYNOPSIS

1.1 Introduction et motivations

Dans la littérature de l’analyse des série chronologiques la classe des modèles autorégressifs moyenne-mobile (ARMA), introduite par Box et Jenkins au début des années 70, a été au centre d’intérêt de beaucoup des travaux de recherches ce qui lui a garanti un développement considérable et un grand succès dans de multiples domaines d’application. Dans le cas scalaire ce modèle suit la spécification suivante :

x_t−

p

X

i=1

A_ix_t−i=_t+

q

X

j=1

B_j_t−j, (1.1.1)

où les coefficientsA_i etB_jsont des constantes et_test un processus bruit blanc (les_tsont des variables aléatoires indépendantes, identiquement distribuées, telles queE(_t) = 0et var(_t) =σ²). Le modèle défini en (1.1.1) est une fonction linéaire de valeurs passées de la variable{x_t, t∈N}et des valeurs présente et passées des innovations{_t, t∈N}. Malgré, la simplicité de cette modélisation, elle présente quelques limitations : (i) sa linéarité, (ii) elle est invariante dans le temps (les coefficients du modèle sont constants), des caractéristiques difficiles à justifier pour de longues périodes. Ces limitations du modèle ARMA stationnaire sont à l’origine de nombreux travaux de recherche pendant les quatre dernières décennies dans l’objectif de proposer des généralisations dans plusieurs directions. Par conséquent, cet intérêt a donné naissance à des modèles non linéaires avec une littérature abondante (voir, par exemple, Priestley, 1988; Hamilton, 1989; Tong, 1990; Granger et Teräsvirta, 1993; Tsay, 2005) et des modèle non-stationnaires (voir, par exemple, Abdrabbo et Priest- ley, 1967; Hallin et Ingenbleek, 1983; Priestley, 1988; Hallin, 1989).

Dans le domaine de l’application statistique des modèles non-stationnaires, la littérature s’est abondamment focalisée sur les modèles à coefficients périodiques (voir Tiao and Grupe, 1980; Anderson and Vecchia, 1993; Bentarzi and Hallin, 1993; Basawa and Lund, 2001). Et ceci contrairement au modèle général à coefficients dépendant du temps qui

(12)

a été peu étudié dans la littérature que ce soit du point de vue théorique ou du point de vue pratique. L’une des difficultés est l’absence de la stationnarité et la présence de l’hétéroscédasticité. Parmi les auteurs qui se sont intéressés à ces modèles nous citons Quenouille (1957), Miller (1968, 1969), Subba Rao (1970), Wegman (1974), Hallin and Mélard (1977), Mélard et Kiehm (1981), Mélard (1982), Hallin (1986).

Les propriétés asymptotiques des modèles à coefficients dépendant du temps ont été peu investiguées dans la littérature. Parmi les auteurs qui se sont intéressés à l’étude des propriétés asymptotiques des modèles à coefficients dépendant du temps, citons Tyssedal et Tjøstheim (1982), Tjøstheim et Paulsen (1983), Kwoun et Yajima (1986), Hamdoune (1995), Dahlhaus (1997), Bibi and Francq (2003), Francq and Gautier (2004a, b, c) et d’autres. Dahlhaus (1996c) a étudié les propriétés asymptotiques d’un estimateur d’un modèle autorégressif à coefficients dépendant du temps (tdAR) mais localement stationnaire. Azrak et Mélard (2006) ont donné des conditions de convergence et de normalité asymptotique de l’estimateur du quasi-maximum de vraisemblance (QMV) pour un modèle ARMA à coefficients dépendant du temps (tdARMA) scalaire. Plus précisément ils ont traité des modèles dont les coefficients et la variance des erreurs sont des fonctions dé- terministes du temps, et elles dépendent aussi de la taille de la série, ce qui est considéré comme une source supplémentaire de difficultés.

Le problème d’estimation des modèles VARMA, la version multivariée de (1.1.1) à attiré l’attention de plusieurs auteurs et les travaux dans la littérature se sont focalisés sou- vent sur la méthode de maximum de vraisemblance gaussienne citons par exemple Hillmer et Tiao (1979), Hall et Nicholls (1980), Shea (1984, 1987, 1989) et Mauricio (1995, 1996).

Notons que les résultats d’Ansley et Newbold (1980) en utilisant des simulations de Monte Carlo montrent que pour des modèles ARMA scalaires et pour des séries courtes la méthode exacte pour l’évaluation de la fonction de vraisemblance est meilleure que la méthode con- ditionnelle ou la méthode des moindres carrés. D’autre part, il existe trois approches prin- cipales pour évaluer la fonction de vraisemblance exacte d’un modèle VARMA gaussien.

Parmi ces trois approches, il y en a deux qui sont très connues : la première est basée sur la factorisation de Cholesky, la deuxième est basée sur le filtre de Kalman. Penzer et Shea (1997) et Mauricio (2002) montrent que les méthodes basées sur la factorisation de

2

(13)

Cholesky sont plus efficaces et plus rapides dans plusieurs cas.

1.1.1 D´efinition et notations

Soit (Ω,F,P) un espace de probabilité. On considère un processus stochastique{x_t, t∈N} ou {x_t, t ∈ Z}, selon le cas, et à valeur dans R^r avec r ≥ 1. Si r = 1 le processus est dit univarié. Sir >1le processus est dit multivarié ou vectoriel. Dans cette section nous nous contentons de rappeler la définition d’un processus tdARMA scalaire accompagnée d’un exemple sans introduire les détails (Mélard, 1985; Azrak, 1996; Azrak et Mélard, 2006).

Processus ARMA(p,q) `a coefficients d´ependant du temps

Un processus ARMA scalaire{x_t, t∈N} à coefficients dépendant du temps (tdARMA) est solution de l’équation aux différences stochastique suivante :

x_t=

p

X

i=1

A_t,ix_t−i+g_t_t+

q

X

j=1

B_t,jg_t−j_t−j, (1.1.2) où les coefficientsA_t,i etB_t,j ainsi queg_t sont des fonctions déterministes de temps,_test un bruit blanc,petqsont des constantes. Des conditions initiales doivent être pécisées, par exemple quex_t=_t= 0pourt <1.

Example 1.1.1 tdARMA(1,1)

Le processus suivant repr´esente un cas particulier de (1.1.2) avecp= 1etq= 1est appel´e tdARMA(1,1) :

x_t=A_tx_t−i+g_t_t+B_tg_t_t−j.

avec _t est un bruit blanc et les coefficients A_t et B_t ainsi que g_t qui sont des fonctions déterministes dépendant d’un petit nombre de paramètres et du temps, définies, par exemple, par











A_t=A⁰+_n¹−1(t−ⁿ⁺¹

2 )A⁰⁰, B_t=B⁰+_n¹₋₁(t−ⁿ⁺¹

2 )B⁰⁰, g_t= expn

2_n^η−1(t−ⁿ⁺¹

2 )o .

oùA⁰, A⁰⁰, B⁰, B⁰⁰ etηsont des paramètres réels. Le choix de ces fonction est faite pour que le processus ne soit pas explosif (|A_t|< 1), et pour que les variances ne soient pas

(14)

n´egatives. SiA⁰⁰,B⁰⁰etηsont assez petits, les coefficients varieront dans le temps mais pas trop.

Ce modèle est donc une alternative réaliste au modèle à coefficients constants tout en permettant une évolution lente. D’autres choix de fonctions sont possibles, y compris des fonctions présentant des ruptures ou des variations périodiques. Nous ne discutons pas dans ce travail de la spécification de ces fonctions ni d’ailleurs du choix depet deq, pour lesquels les méthodes de spécification usuelles ne sont plus valides en toute rigueur.

1.1.2 Objectifs

A notre connaissance l’estimation du modèles (1.1.2) dans le cas multivarié ou vectoriel (tdVARMA) n’a été jamais abordé sauf Mélard (1985, p. 35) qui l’a esquissée. Dans notre travail, nous nous y intéressons en étudiant les propriétés asymptotiques des estimateurs du maximum de vraisemblance ce qui nous permet d’étendre au cas multivarié les résultats trouvés dans Azrak et Mélard (2006). Dans notre travail, nous étudions la théorie asymptotique en considérons deux modèles tdVARMA différents, (i) dans le premier les coefficients dépendent d’un petit nombre des paramètres et du temps, (ii) dans le deuxième noté par tdVARMA⁽ⁿ⁾les coefficients dépendent aussi de la taille de la sérien. Notons que l’approche suivie ici est différente de celle de Dahlhaus (1996a, b, c) qui se base sur des processus localement stationnaires. Ensuite, nous procédons à l’estimation des paramètres du modèle tdVARMA en appliquant la méthode de quasi-maximum de vraisemblance. Nous proposons pour ce faire un algorithme qui permet d’évaluer la fonction de vraisemblance exacte dans le cas où le processus des innovations est gaussien. Cet algorithme se base sur la méthode de Cholesky et présente une généralisation de l’algorithme de Mélard (1982) du cas scalaire au cas multivarié et de Jonasson et Ferrando (2008) du cas stationnaire au cas dépendant du temps.

4

(15)

1.2 Contributions de la th`ese

1.2.1 R´esultats du chapitre 2

Les propriétés asymptotiques des estimateurs du maximum de vraisemblance des modèles ARMA à coefficients dépendant du temps sont très peu développées dans la littérature,

étant donné les difficultés pour vérifier les conditions de convergence et de la normalité asymptotique. Ces complications sont dues au fait que la difficulté est multiple :

• les observations ne sont pas ind´ependantes;

• les observations ne sont pas des r´ealisations d’un processus stationnaire et ergodique;

• les observations ne sont pas identiquement distribu´ees, notamment par le fait que les coefficients et la variance des erreurs d´ependent du temps.

Azrak et Mélard (2006) établissent des conditions permettant la convergence presque sûre et la normalité asymptotique des modèle tdARMA scalaire. Dans ce chapitre nous avons étendu ces résultats au cas multivarié. Pour cela nous considérons les propriétés asymptotiques des estimateurs de modèles non nécessairement stationnaires, pour une fonction de pénalité générale (Klimko et Nelson, 1978). Ceci nous a permis de proposer deux théorèmes : le premier sur la convergence presque sûre et le deuxième sur la normalité asymptotique de l’estimateur du quasi-maximum de vraisemblance (QMV) en considérant comme fonction de pénalité la fonction de vraisemblance gaussienne. Ensuite, nous ap- pliquons ces résultats à des modèles tdVARMA(p, q) en montrant dans un théorème la convergence presque sûre et la normalité asymptotique sous certaines hypothèses relativement vérifiables. Notons que les démonstrations de tous les théorèmes proposés reposent essentiellement sur la théorie des martingales et mixingales. Nous terminons ce chapitre par des exemples en généralisant l’exemple AR(1) à coefficients dépendant du temps donné par Kwoun and Yajima (1985) à un modèle tdVAR(1). Des simulations qui confirment les résultats asymptotiques sont données.

(16)

1.2.2 R´esultats du chapitre 3

Dans ce chapitre, nous prouvons la convergence en probabilité et la normalité asymptotique de l’estimateur du QMV des modèles VARMA à coefficients dépendant du tempstet de la taille de la sérien, notés VARMA⁽ⁿ⁾. En raison de la dépendance des coefficients de la taille de la sérien, les théorèmes utilisées au chapitre 2 c’est-à-dire la loi forte des grands nombres de Stout (1974) et le théorème central limite de Basawa et Prakasa Rao (1980) pour les différences de martingale ne peuvent plus être utilisés dans ce cadre. En effet, les processus traités dans ce chapitre sont des tableaux de martingale. Par conséquent, nous avons recours à la théorie asymptotique pour des tableaux de martingale, ce qui n’a pas été facile

à réaliser étant donné la rareté des théorèmes pour les tableaux de martingale qui s’adaptent

à notre contexte. Finalement, sous certaines conditions, nous avons montré, sous forme d’un théorème, la convergence faible et la normalité asymptotique de l’estimateur du QMV pour des processus tdVARMA⁽ⁿ⁾, et cela par l’utilisation d’une loi faible des grands nombres et d’un théorème central limite pour des tableaux de martingale. Nous avons montré dans ce chapitre à travers quelques exemples sous forme des cas particuliers et simples des modèles tdVARMA⁽ⁿ⁾ que nos hypothèses sont relativement vérifiables. Nos résultats numériques : (i) des simulations de Monte Carlo pour des modèles tdVAR⁽ⁿ⁾ et tdVMA⁽ⁿ⁾ qui montrent que la théorie asymptotique développée dans ce chapitre s’applique approximativement pour des échantillons de petites tailles (n= 20,50,100), (ii) et des exemples empiriques qui mettent en évidence la nécessité des modèles à coefficients dépendant du temps.

1.2.3 R´esultats du chapitre 4

Dans ce chapitre, nous nous intéressons à l’évaluation de la fonction de vraisemblance exacte d’un modèle tdVARMA gaussien, d’ordrep et q. Cela nous permet d’estimer les paramètres de ce modèle. Mélard (1982) a donné un algorithme qui permet le calcul de la fonction de vraisemblance exacte dans le cas d’un modèle tdARMA scalaire basé sur la factorisation de Cholesky. Notre premier objectif était une généralisation de cet algorithme aux modèles tdVARMA. Le point de départ de cet algorithme consiste à effectuer un changement de variables qui nous permet d’écrire la matrice de covariance des nou-

6

(17)

velles variables sous forme d’une matrice bloc bande ou bande partitionnée dont les blocs sont les matrices de covariances qui sont calculées par des récurrences. Le démarrage de la procédure d’estimation est basée sur des conditions initiales, et sur les hypothèses de la stationnarité et l’inversibilité dans le passé c’est-à-dire pour t ≤1. Jonasson et Ferrando (2008) ont donné un algorithme qui permet le calcul de la fonction de vraisemblance exacte dans le cas d’un modèle VARMA stationnaire basé sur la factorisation de Cholesky. De plus Jonasson (2008) l’a implémenté dans Matlab. Pendant l’implémentation de notre algorithme intitulé AMJ (pour Alj, Mélard et Jonasson) nous avons utilisé quelques programmes Matlab de Jonasson (2008). L’exemple de la série bivariée des rendements logarithmiques d’IBM et de l’indice Standard and Poor’s 500 (S&P₅₀₀) de Tsay (2005) traitée en détail dans ce chapitre ainsi que les résultats des simulations montrent l’utilité des modèles tdVARMA.

La dernière partie de ce chapitre est consacrée a la présentation d’une fiche technique des différentes fonctions Matlab utilisées dans AMJ.

(18)

8

(19)

2 CONCLUSION ET PERSPECTIVES

Dans cette thèse, nous avons étudié la classe des modèles VARMA(p,q) à coefficients dépendant du temps ou tdVARMA(p, q). La caractéristique principale de ces modèles est leur non stationnarité : les coefficients ainsi que la matrice de covariance des innovations sont des fonctions déterministes du temps qui dépendent aussi d’un petit nombre des paramètres.

Dans le chapitre 2, sous certaines hypothèses relativement vérifiables, nous avons établi la convergence forte et la normalité asymptotique de l’estimateur du quasi-maximum de vraisemblance (QMV) d’un modèle tdVARMA(p, q). D’après nos résultats de simulation, la théorie asymptotique semble applicable même pour des séries très courtes.

Dans le chapitre 3, nous nous sommes intéressés à un modèle plus général que celui du chapitre 2. C’est le modèle tdVARMA⁽ⁿ⁾ (p, q) dont les coefficients dépendent non seulement du temps mais aussi de la taille de la série n. Cette dépendance est la source de difficultés étant donné la rareté des outils asymptotiques pour les tableaux de martingale ou de mixingale. Malgré toutes ces difficultés nous avons finalement pu montrer sous certaines conditions la convergence faible et la normalité asymptotique de l’estimateur du QMV. De plus, à travers des exemples simples et des simulations il semble que les résultats asymptotiques fonctionnent même pour des séries de petites tailles.

Ensuite, nous avons abordé le problème de l’estimation des paramètres des modèles tdVARMA(p, q) ou tdVARMA⁽ⁿ⁾(p, q). Nous avons proposé un algorithme basé sur la factorisation de Cholesky qui permet d’évaluer la fonction de vraisemblance gaussienne d’une manière exacte. Cet algorithme présente une généralisation inédite d’un algorithme dans la littérature. Nous déduisons que le nombre d’opérations requis pour l’évaluation de la fonction de vraisemblance en fonction dep,qetnest approximativement le double par rapport à un modèle VARMA à coefficients constants. L’exemple empirique choisi dans ce chapitre montre que (i) les coefficients des modèles dépendent effectivement du temps; (ii) et que les modèles à coefficients dépendant du temps sont plus adaptés à ces séries en se basant sur quelques critères d’informations. Nos résultats numériques et les tests effectués

(20)

sur notre programme AMJ montrent son efficacit´e malgr´e qu’il soit toujours moins rapide que les autres programmes.

Ce travail comporte de nombreuses extensions possibles. Une voie de recherche future pour le chapitre 2 est de trouver un ensemble plus large de fonctions qui vérifient les hy- pothèses de la théorie asymptotique et s’adapte au type des séries chronologiques en ques- tion. Une extension possible du chapitre 3 est d’étendre les résultats asymptotiques (convergence en probabilité) vers une convergence presque sûre. Cela nous laisse penser que la difficulté majeure dépend de l’existence d’une loi forte des grands nombres qui s’adapte

à notre contexte. En outre, l’apparition récente de quelques travaux qui s’intéressent à l’estimation semi paramétrique des modèles à coefficients dépendent du temps mais localement stationnaire nous ouvre la porte pour étendre cela à des modèles tdVARMA.

Dans le chapitre 4, nous avons proposé un algorithme pour l’évaluation de la fonction de vraisemblance gaussienne d’un modèle tdVARMA basé sur la factorisation de Cholesky.

Il pourrait être intéressant de développer un algorithme basé sur le filtre de Kalman en généralisant Azrak et Mélard (1998) au cas multivarié. Cela devrait permettre de traiter le cas de données manquantes. Le programme AMJ proposé au chapitre 4 reste moins rapide.

Une autre méthode d’optimisation basée sur les dérivées de la fonction objectif (ucminf) proposé par Nielsen (2000) pourrait être considérée comme une alternative à la fonction fminunc de Matlab et pourrait réduire le temps de calcul. Cependant son intégration reste un champ de recherche à exploirer car cela nécessiterait de programmer toutes les dérivées des récurrences.

10

(21)

BIBLIOGRAPHY

[1] Aasnaes, H. and Kailath, T. (1973) An innovations approach to least-squares estimation, Pt. VII: Some applications of vector autoregressive moving average models, IEEE Trans. Automatic Control18(6), 601-607.

[2] Abdrabbo, N. A. and Priestley, M. B. (1967) On the prediction of non-stationary processes,J. Roy. Statist. Soc. Ser.B29, 570-585.

[3] Akaike, H.(1974) A new look at the statistical model identification,IEEE Transactions on Automatic Control19(6), 716723.

[4] Akaike, H. (1976) Canonical correlation analysis of time series and the use of an information criterion, in R.K. Mehra, and D.G. Lainiotis (eds.)System Identification: Ad- vances and Case Studies, Academic Press, New York, NY., 27-96.

[5] Alj, A., Azrak, R., H¨ormann, S. and M´elard, G. (2012) An alternative central limit theorem for martingale difference arrays, in preparation.

[6] Anderson, O. D. (1980)Analyzing time series, North-Holland, Amsterdam.

[7] Anderson, O. D. and Vecchia, A. (1993) Asymptotic results for periodic autoregressive moving average processes,J. Time Ser. Anal.14, 1-18.

[8] Andrews, D. W. K. (1988) Laws of large numbers for dependent non-identically dis- tributed random variables,Econom. Theory4, 458-467.

[9] Ansley, C. F. (1979) An algorithm for the exact likelihood of a mixed autoregressive moving average process,Biometrika66, 59-65.

[10] Ansley, C. F., and Newbold, P. (1980) Finite sample properties of estimators for autoregressive-moving average models,J. Econometrics13, 159-183.

[11] Ansley, C. F. and Kohn, R. (1983) Exact likelihood of vector autoregressive-moving average process with missing or aggregated data,Biometrika70 (1), 275−278.

(22)

[12] Atchad`e, Y. F. (2009) A strong law of large numbers for martingale arrays, Technical report, Univ. of Michigan. Available at (http://www.stat.lsa.umich.edu/

˜yvesa/).

[13] Azrak, R. (1996) Contribution à l’estimation de modèles non-stationaires, Thesis presented at Université Libre de Bruxelles.

[14] Azrak, R. and M´elard, G. (1998) Exact quasi-likelihood of time-dependent ARMA models,J. Statist. Plann. Inference68(1), 31−45.

[15] Azrak, R. and M´elard, G. (2006) Asymptotic properties of quasi-likelihood estimators for ARMA models with time-dependent coefficients,Statistical Inference for Stochastic Processes9, 279-330.

[16] Azrak, R. and M´elard, G. (2011) Autoregressive models with time-dependent coefficients - A comparison with Dahlhaus’ approach, ECARES working paper, Universit´e Libre de Bruxelles.

[17] Azrak, R. and M´elard, G. (2012) Time series analysis by time dependent models, Chapter 4, book in preparation.

[18] Bar-Shalom, Y. (1971) On the asymptotic properties of the maximum-likelihood esti- mate obtained from dependent observations,J. Roy. Statist. Soc. Ser. B33, 72-77.

[19] Basawa, I. V. and Prakasa Rao, B. L. S. (1980) Statistical Inference for Stochastic Processes, Academic Press, New York.

[20] Basawa, I. V. and Lund, R. L. S. (2001) Large sample properties of parameter estimates for periodic ARMA models.J. Time Ser. Anal.22, 651-663.

[21] Bentarzi, M. and Hallin, M. (1993). On the invertibility of periodic moving-average models,J. Time Ser. Anal.15, 262-268.

[22] Bhat, B. R. (1974), On the method of maximum-likelihood for dependent observations, J. Roy. Statist. Soc. Ser. B36, 48-53.

12

(23)

[23] Bibi, A. and Francq, C. (2003) Consistent and asymptotically normal estimators for cyclically time-dependent linear models,Ann. Inst. Statist. Math.55, 41-68.

[24] Boubacar Mainassara, Y. (2010) Estimation, validation et identification des modèles ARMA faibles multivariés, Thesis presented at Université Lille 3.

[25] Boubacar Mainassara, Y. and Francq, C. (2011) Estimating structural VARMA models with uncorrelated but non-independent error terms.J. Multi. Anal.102, 496-505.

[26] Box, G. E. P. and Jenkins, G. M. (1976)Time series analysis, forecasting and control, Holden-Day, San Francisco (revised edition).

[27] Box, G. E. P., Jenkins, G. M. and Reinsel, G. C. (1994)Time series analysis, forecasting and control, 3rd ed., Prentice Hall, Englewood Clifs.

[28] Brown, B. M. (1971) Martingale central limit theorems,Ann. Math. Statist.,42, 59-66.

[29] Brockwell, P. J. and Davis, R. A. (1991)Time series: theory and methods, Springer, Wiley.

[30] Burnham, K. P. and Anderson, D. R. (2002) Model selection and multi-model inference: a practical information-theoretical approach,2d ed. Springer Verlag, New York.

[31] Crowder, J. (1976) Maximum-likelihood estimation for dependent observations, J.

Roy. Statist. Soc. Ser. B38, 45-53.

[32] Caines, P. E. and Rissanen, J. (1974) Maximum likelihood estimation of parameters in multivariate Gaussian stochastic processes.IEEE Trans. Inf. Theory 20, 102-104.

[33] Chow, Y. S. (1971) On theL_p convergence forn^1/pS_n, 0< p <2,Ann. Math. Statist.

42, 393-394.

[34] Coleman, T., Branch, M. A. and Grace, A. (1999)Optimization toolbox: user’s guide, The MathWorks, Inc., Natic, Ma.

[35] Dahlhaus, R. (1996a) Maximum likelihood estimation and model selection for locally stationary processes,J. Nonparametr. Statist.6, 171-191.

(24)

[36] Dahlhaus, R. (1996b) On the Kullback-Leibler information divergence of locally stationary processes,Stochastic Process. Appl.62, 139-168.

[37] Dahlhaus, R. (1996c) Asymptotic statistical inference for nonstationary processes with evolutionary spectra, inAthens Conference on Applied Probability an Time Series Analysis, P. M. Robinson and M. Rosenblatt, eds2. Springer, New York, 145-159.

[38] Dahlhaus, R. (1997) Fitting time series models to non-stationary processes, Ann.

Statist.25, 1-37.

[39] Davidson, J. E. H. (1994)Stochastic limit theorems. An introduction for econometricians, Oxford University Press, Oxford.

[40] de Jong, R. M. (1996) A strong law of large numbers for triangular mixingale arrays, Statistics and Probability Letters27, 1-9.

[41] Doob, J. L. (1953),Stochastic processes, Wiley, New York.

[42] Francq, C. and Gautier, A. (2004 a) Estimation of time-varying ARMA models with Markovian changes in regime, Statistics and Probability Letters70, 243-251.

[43] Francq, C. and Gautier, A. (2004 b) Estimation de modèles ARMA à changements de régime récurrents, C. R. Acad. Sci. Paris339, 55-58.

[44] Francq, C. and Gautier, A. (2004 c) Large sample properties of parameter least squares estimates for time-varying ARMA models,J. Time Ser. Anal.25, 765-783.

[45] Francq, C. and Zako¨ıan, J-M. (2005) A Central limit theorem for mixing triangular arrays, Econometric Theory21, 1165-1171.

[46] Francq, C. and Ra¨ıssi, H. (2007) Multivariate portmanteau test for autoregressive models with uncorrelated but nonindependent errors,J. Time Ser. Anal.28, 454-470.

[47] Gaenssler, P., Strobel, J. and Stute, W. (1978) On central limit theorems for martingale arrays,Acta Mathematica Academiae Scientiarum Hungaricae31, 205-216.

14

(25)

[48] Golub, G. and van Loan, C. (1996)Matrix computations. 3rd edition. Johns Hopkins University Press, Baltimore.

[49] Granger, C. W. J. and Ter¨asvirta, T. (1993)Modeling nonlinear economic relations, Oxford University Press, Oxford.

[50] Grillenzoni, C. (1990) Modeling time-varying dynamical systems, J. Amer. Statist.

Assoc.85, 499-507.

[51] Gy¨orfi, L., Haerdle, W., Sarda, P., and Vieu, Ph. (1989)Nonparametric curve estimation from time series, Springer Verlag, Berlin.

[52] Hall, P. and Heyde, C. C. (1980) Martingale limit theory and its application, Aca- demic Press, New York.

[53] Hallin, M. (1978) Mixed autoregressive-moving average multivariate processes with time-dependent coefficients,J. Multi. Anal.8, 567-572.

[54] Hallin, M. (1986) Non-stationary q-dependent processes and time-varying moving average models: invertibility properties and the forecasting problem,Adv. Appl. Probab.

18, 170-210.

[55] Hallin, M. and Ingenbleek, J. F. (1983) Nonstationary Yule-Walker equations,Statist.

Probab. Lett.1, 189-195.

[56] Hallin, M. and Mélard, G. (1977) Indéterminabilité pure et inversibilité des processus autorégressifs moyenne mobile à coefficients dépendant du temps, Cahiers du Centre d’Etude de Recherche Opérationnelle19, 385-392.

[57] Hamdoune, S. (1995) Etude des probl`emes d’estimation de certains mod`eles ARMA

évolutifs, Thesis presented at Université Henri Poincaré, Nancy 1.

[58] Hamilton, J. D. (1989) A New approach to the economic analysis of non-stationary time series and the business cycle,Econometrica 57(2), 357-84.

[59] Hamilton, J. D. (1994) Time series analysis, Princeton University Press, Princeton N.J.

(26)

[60] Hannan, E. J. (1969) The estimation of mixed autoregressive moving average systems, Biometrika 56, 579-592.

[61] Hannan, E. J. (1970) Multiple time series, J. Wiley, New York. NY.

[62] Hannan, E. J., and B. G. Quinn (1979) The determination of the order of an autoregression,J. Roy. Statist. Soc. Ser. B41, 190-195.

[63] Hannan, E. J., Dunsmuir, W.T.M. and Deistler, M. (1980) Estimation of vector AR- MAX models, J. Multi. Anal.10, 275-295.

[64] H¨ardle,W., L¨utkepohl, H. and Chen, R. (1997) A review of nonparametric time series analysis,Int. Statist. Rev.65, 49-72.

[65] Harville, D. A. (1997) Matrix algebra from a statistician’s perspective, Springer- Verlag, New York.

[66] Harvey, A. C. and Philips, G. D. A. (1979) Maximum likelihood estimation of regression models with autoregressive-moving average disturbances, Biometrika 66, 49-58.

[67] Hillmer, S.C. and Tiao, G.C. (1979) Likelihood function of stationary multiple autoregressive moving average models,J. Amer. Statist. Assoc.74, 652-660.

[68] Hurvich, C. M. and Tsai, C. L. (1989) Regression and time series model selection in small samples. Biometrika 76, 297-307.

[69] Jonasson, K. (2008) Algorithm 878: Exact VARMA likelihood and its gradient for complete and incomplete data with Matlab.ACM Trans. Math. Softw.35, 1.

[70] Jonasson, K. and Ferrando, S. E. (2008) Evaluating exact VARMA likelihood and its gradient when data are incomplete.ACM Trans. Math Softw.35, 1.

[71] Kiehm, J, L., Lefevre, C. and Mélard, G. (1980) Forme rétrospective d’un modèle FARIMAG, Cahiers du centre d’études de recherche opérationnelle22, 375-383.

[72] Klimko, L. A. and Nelson, P. I. (1978) On conditional least squares estimation for stochastic processes,Ann. Statist.6, 629-642.

16

(27)

[73] Kohn, R. (1979) Asymptotic estimation and hypothesis testing results for vector linear time series models, Econometrica 47, 1005-1030.

[74] Kollo, T. and von Rosen, D. (2005) Advanced multivariate statistics with matrices., Springer Verlag, New York.

[75] Kwoun, G. H. and Yajima, Y. (1986) On an autoregressive model with time-dependent coefficients,Ann. Inst. Statist. Math.38, Part A, 297-309.

[76] Lanne, M. and Saikkonen, P. (2010) Noncausal vector autoregression. Research Dis- cussion Papers, Helsinki Center of Economic Research, Finland.

[77] Lehmann, E. L. (1983)Theory of point estimation, Wiley.

[78] Luceeno, A. (1994) A fast algorithm for the exact likelihood of stationary and non- stationary vector autoregressive-moving average processes,Biometrika81 (3), 555-565.

[79] Lindquist, A. (1974) A new algorithm for optimal filtering of discrete-time stationary processes,Siam J. control,12, 736-746.

[80] L¨uktepohl, H. (1993) Introduction to multiple time series analysis, Springer-Verlag, New-York.

[81] L¨uktepohl, H. (2005) New introduction to multiple time series analysis, Springer- Verlag, New-York.

[82] Magnus, J. R. and Neudecker, H. (2007)Matrix differential calculus with applications in statistics and econometrics, Third Edition. John Wiley, Chichester, New York.

[83] Mauricio, J.A. (1995) Exact maximum likelihood estimation of stationary vector autoregressive moving average models,J. Amer. Statist. Assoc.90, 282-291.

[84] Mauricio, J.A. (1996) Some computational aspects of exact maximum likelihood estimation of time series models, in: Prat, A. (Ed.), Compstat 1996 Proceedings on Com- putational Statistics. Physica-Verlag, Heidelberg, 361-366.

(28)

[85] Mauricio, J.A. (1997) Algorithm AS 311: The exact likelihood function of a vector autoregressive moving average model, J. Roy. Statist. Soc. Ser. C. Appl. Statist. 46(1), 157−171.

[86] Mauricio, J.A. (2002) An algorithm for the exact likelihood of a stationary vector autoregressive moving average model.J. Time Ser. Anal.23(4), 473−486.

[87] Mauricio, J.A., (2005) Additional material on exact maximum likelihood estimation of partially nonstationary vector ARMA models. ( http://www.ucm.es/info/

ecocuan/jam).

[88] M´elard, G. (1982) The likelihood function of a time-dependent ARMA model, in O.D.

Anderson and M.R. Perryman (eds),App. Time Ser. Anal., North-Holland, Amsterdam, 229-239.

[89] M´elard, G. (1984) Algorithm AS197: A fast algorithm for the exact likelihood of autoregressive moving average models. J. Roy. Statist. Soc. C Appl. Statist. 33, 104- 114.

[90] Mélard, G. (1985) Analyse de données chronologiques, Coll. Séminaire de mathématiques supérieures - Séminaire scientifique OTAN (NATO Advanced Study In- stitute)89, Presses de l’Université de Montréal, Montréal.

[91] Mélard, G. (1977) Sur une classe de modles ARIMA dépendant du temps,Cahier du Centre d’Etudes de Recherche Opérationnelle19, 285-295.

[92] M´elard, G. and Kiehm, J.-L. (1981) ARIMA models with time-dependent coefficients for economic time series, in O. D. Anderson and M. R. Perryman (eds) Time Series Analysis, North-Holland, Amsterdam, 355-363.

[93] M´elard, G. and Pasteels, J. M. (1997)Manuel d’utilisation de Time Series Expert (TSE version 2.3), Institut de Statistique, Universit´e libre de Bruxelles.

[94] M´elard, G., Roy, R., and Saidi, A. (2006) Exact maximum likelihood estimation of structured or unit root multivariate time series models, Comput. Statist. Data Anal.

50(11), 2957−2986.

18

(29)

[95] Miller, K. S. (1968)Linear difference equations, Benjamin, New York, 1968.

[96] Miller, K. S. (1969) Non-stationary autoregressive processes,I.E.E.E. Trans. Inform.

TheoryIT-15, 1969, 315-316.

[97] Morf, M., G. Sidhu, and T. Kalaith (1974) Some new algorithms for recursive estimation in constant, linear, discrete-time systems,IEEE Transactions on Automatic Control 19, 315-323.

[98] Nicholls, D.F. and Hall, A.D. (1979) The exact likelihood function of multivariate autoregressive moving average models,Biometrika66, 259-264.

[99] Newbold, P. and Granger, C.W.J. (1974) Experience with forecasting univariate time series and the combination of forecasts,J. R. Statist. Sot. A137, 131-146.

[100] Nicholls, D.F. and Quinn, B.G. (1982) Random coefficient autoregressive models:

an introduction. Springer Verlag, New York.

[101] Pearlman, J. G. (1980) An algorithm for the exact likelihood of a high-order autoregressive moving average process,Biometrika67(1), 232-233.

[102] Penzer, J. and Shea, B. L. (1997) The exact likelihood of an autoregressive-moving average model with incomplete data,Biometrika84(4), 919−928.

[103] Petrov, V. V. (1995)Limit theorems of probability theory: sequences of independent random variables, Oxford University Press, Oxford .

[104] Phadke, M. S. and Kedem, G. (1978) Computation of the exact likelihood function of multivariate moving average models, Biometrika65, 511-519.

[105] Pham, D. and Tran, T. (1985) Some mixing properties of time series models,Stochas- tic Process. Appl.19, 297-303.

[106] Poskitt, D. S. and Salau, M.O. (1995) On the relationship between generalized least squares and Gaussian estimation of vector ARMA models, J. Time Ser. Anal. 16(6), 617-645.

(30)

[107] Priestley, M. B. (1965) Evolutionary spectra and non-stationary processes, J. Roy.

Statist. Soc. Ser. B27, 204-237.

[108] Priestley, M. B. (1988) Non-linear and non-stationary time series analysis, Aca- demic Press, New York.

[109] Quenouille, M. H. (1957)The Analysis of multiple time series, Griffin, London.

[110] Ra¨ıssi, H. (2007) Contribution l’inférence statistique des modèles vectoriels au- torégressifs et à correction d’erreurs, Thesis presented at Université Lille 3.

[111] Reinsel, G. C. (1979) FIML estimation of the dynamic simultaneous equations model with ARMA disturbances,J. Econometrics9, 263-281.

[112] Reinsel, G. C. (1998)Elements of multivariate time series analysis, Springer-Verlag, New-York, 2nd edition.

[113] Reinsel, G. C., Basu S. and Yap, S.F. (1992) Maximum likelihood estimators in the multivariate autoregressive moving average model from a generalized lest squares viewpoint,J. Time Ser. Anal.13, 133-145.

[114] Rissanen, J. (1978) Modelling by shortest data description,Automatica14, 465-471.

[115] Rissanen, J. and Barbosa, L. (1969) Properties of infinite covariance matrices and stability of optimum predictors,Inform. Sci.1, 221-236.

[116] Schneider, T. and Neumaier, A. (2001) Algorithm 808: ARfitA Matlab package for the estimation of parameters and eigenmodes of multivariate autoregressive models, ACM Trans. Math. Softw.27, 1, 58-65.

[117] Schwarz, G. (1978) Estimating the dimension of a model,Ann. Stat.6, 461-464 [118] Schweppe, F. C. (1965) Evaluation of likelihood functions for Gaussian signals,

IEEE Trans. Inform. Theory11, 61-70.

20

(31)

[119] Shea, B. L. (1984) Maximum likelihood estimation of multivariate ARMA processes via the Kalman filter, in: Anderson, O.D. (Ed.), Time Series Analysis: Theory and Practice 5. North-Holland, Amsterdam, 91-101.

[120] Shea, B. L. (1987) Estimation of multivariate time series, J. Time Ser. Anal. 8, 95- 109.

[121] Shea, B. L. (1988) A note on the generation of independent realizations of a vector autoregressive moving average process,J. Time Ser. Anal.9, 403-410.

[122] Shea, B. L. (1989) Algorithm AS 242: The exact likelihood of a vector autoregressive moving average model,J. Roy. Statist. Soc. Ser. C. Appl. Statist.38(1), 161-204.

[123] Shittu, O. I and Asemota, M. J (2009) Comparison of criteria for estimating the order of autoregressive process: A Monte Carlo approach, European Journal of Scientific Research30(3), 409-416.

[124] Siddiqui, M. M. (1958) On the inversion of the sample covariance matrix in a stationary autoregressive process,Ann. Math. Statist.29, 124-127.

[125] Silvey, D. (1961) A note on maximum-likelihood in the case of dependent random variables,J. Roy. Statist. Soc. Ser. B23, 444-452.

[126] Steele, J. M. (2004)The Cauchy-Schwarz master class: An introduction to the art of mathematical inequalities, Cambridge University Press and the Mathematical Associa- tion of America, Cambridge UK and Washington DC.

[127] Stout, W. F. (1974)Almost sure convergence, Academic Press, New York.

[128] Subba Rao, T. (1970) The fitting of non-stationary time-series models with time dependent parameters,J. Roy. Statist. Soc. Ser. B32, 312-322.

[129] Taniguchi, M. and Kakizawa, Y. (2000)Asymptotic theory of statistical inference for time Series, Springer Verlag, New York.

[130] Terceiro, J. (1990)Estimation of dynamic econometric models with errors in variables, Springer-Verlag, Berlin.

(32)

[131] Terceiro, J., Casals, J. M., Jerez, M., Serrano, G. R. and Sotoca, S. (2000) Time series analysis using Matlab, Available at (http://www.ucm.es/info/icae/

e4/e4download.htm).

[132] Tiao, G. C., Box, G. E. P. (1981) Modeling multiple time series with applications,J.

Amer. Statist. Assoc76, 802-816.

[133] Tiao, G. C., and Grupe, M. R. (1980) Hidden periodic autoregressive-moving average models in time series data, Biometrika67, 365-373.

[134] Tjøstheim, D. (1984) Estimation in linear time series models II: some non-stationary series, Department of Mathematics, University of Bergen 5000 Bergen , Norway and Department of Statistics, University of North Carolina Chapel Hill, North Carolina 27514.

[135] Tjøstheim, D. and Paulsen, J. (1983) Bias of some commonly used time series estimates,Biometrika70, 389-399.

[136] Tjøstheim, D. (1986) Estimation in nonlinear time series models,Stochastic Process.

Appl.21, 251-273.

[137] Tjøstheim, D. (1994) Nonlinear time series, a selective review,Scand. J. Statist.21, 97-130.

[138] Tsay, R. S. (2005)Analysis of financial time series, 2nd Edition, John Wiley, New York.

[139] Tong, H. (1990) Non-linear time series: a dynamical system approach, Oxford University Press, Oxford.

[140] Tunnicliffe Wilson, G. (1973) The estimation of parameters in multivariate time series models, J. Roy. Statist. Soc. Ser. B 35, 76-85.

[141] Tyssedal, J. S. and Tjøstheim, D. (1982) Autoregressive processes with a time- dependent variance,J. Time Series Anal.3, 209-217.

22

(33)

[142] Van Bellegem, S. and Dahlhaus, R (2006) Semiparametric estimation by model selection for locally stationary processes,J. Roy. Statist. Soc. Ser. B68(5), 721-746.

[143] Wegman, E. J. (1974) Some results on non-stationary first order auto-regression, Technometrics 16, 321-322.

[144] White, H. (1984) Asymptotic theory for econometricians, Academic Press, New York.

[145] Whittle, P. (1965) Recursive relations for predictors of non-stationary processes,J.

Roy. Statist. Soc. Ser. B27, 523-532.