Contribution 2 : Vitesse de concentration de la loi a posteriori dans les

Vernet [Ver15a]

Ce projet a été mené dans le même cadre que le projet précédent. On a voulu pousser l’étude précédente afin de comprendre à quelle vitesse la loi a posteriori se concentrait. Cette contribu-tion est détaillée dans le Chapitre3, elle est aussi disponible sur arXiv : Vernet [Ver15a].

Le projet, évoqué dans la Partie1.2.1précédente, concernait l’étude de la consistance de la loi a posteriori. On voulait déterminer des hypothèses sous lesquelles la loi a posteriori se concentrait

1.2 CONTRIBUTIONS 161

autour du vrai paramètre lorsque le nombre d’observations tendait vers l’infini. Dans ce projet, on s’intéresse à la vitesse à laquelle la loi a posteriori se concentre. Formellement on dit que la loi a posteriori se concentre avec une vitesse n → 0en θ∗, par rapport à une pseudo-métrique dsur Θ s’il existe une constante M > 0 telle que

Π ({θ : d(θ, θ^∗) > M n} | Y₁, . . . Yn) → 0, in Pθ∗

-probability.

Les résultats de vitesse permettent de comparer des lois a priori. C’est un critère d’optimalité. On dira que la loi a posteriori se concentre à une vitesse minimax lorsque la loi a posteriori se concentre avec la meilleure vitesse possible. L’étude de la vitesse de concentration permet aussi de mieux comprendre le rôle joué par la loi a priori.

Tout comme l’étude de la consistance, l’analyse de la vitesse de concentration nécessite de choisir une pseudo-métrique. Dans ce projet, j’ai utilisé Dl(θ, ˜θ) = kp^θ_l − pθ^˜

lk_L1. Je rappelle ici que la topologie induite par Dl est intéressante dans le but d’estimer la loi des observations et donc aussi dans un but de prédiction. C’est aussi une première étape pour obtenir une vitesse de concentration par rapport à une métrique sur les lois d’émission.

Vitesse de concentration par rapport à D_l

Mon but était d’obtenir des hypothèses explicites et réalisables sur ΠQ, Πf, Q∗et f∗impliquant l’obtention de vitesse. Dans ce but, j’ai utilisé Ghosal and van der Vaart [GV07a], qui donne un théorème général permettant d’obtenir des vitesses de concentration (voir le Théorème1.3) et j’ai explicité ses hypothèses dans le cas des HMMs. Les vitesses de concentration sont plus difficiles à obtenir que la consistance de l’a posteriori. En effet, l’obtention de vitesse demande un contrôle plus fin du voisinage de type Kullback autour du vrai paramètre. Cela demande donc une meilleure compréhension de la vraisemblance autour du vrai paramètre. J’ai construit de nouveaux contrôles des ces "voisinages" aidés par des résultats sur les HMMs paramétriques comme Douc and Matias [DM01] et Douc et al. [DMR04], voir les Lemmes3.2et3.3. Obtenir des hypothèses satisfaites par des lois a priori usuelles m’a demandé beaucoup de travail.

Pour finir, j’ai obtenu un théorème général (Théorème3.1) qui associe la vitesse de concentration par rapport à Dlà la loi a priori (ΠQ, Π[k)

f ) et au vrai paramètre (Q∗, f^∗). La vitesse atteinte a la forme suivante n/q_noù ndépend du côté “non paramétrique” du modèle, à savoir Π(k)

f et f∗

quant au taux q_nil dépend de ΠQ. Ainsi le taux nest détérioré par q_n, c’est-à-dire par la liberté donnée à ΠQen ce qui concerne les propriétés de mélange de la chaîne de Markov associée à Q. Application à différents modèles et lois a priori

J’ai appliqué le théorème général dont je parle dans la partie précédente à différents cadres. Il aboutit à des vitesses minimax à une puissance de log(n) près, dans différents modèles et pour différentes lois a priori, voir la Partie3.4.

162 CHAPTER A: RÉSUMÉ LONG

En particulier, des vitesses minimax (à une puissance de log(n) près) sont obtenues dans le cas d’observations discrètes avec des lois d’émission (qui sont donc des lois de probabilité sur N) i.i.d. selon un processus de Dirichlet sous la loi a priori. Plus précisément, une vitesse 1/^√nà une puissance de log(n) près a été obtenue. Voir la Partie3.4.1.

De plus des vitesses de concentration adaptatives (c’est-à-dire minimax pour différents sous en-sembles de paramètres, la loi a posteriori s’adapte alors à la régularité des données) sont at-teintes dans le cas d’observations continues et des densités d’émission i.i.d. selon un mélange de Gaussienne par Processus de Dirichlet sous la loi a priori. Ainsi une vitesse proportionnelle à n^{−β/(2β+1)}, à une puissance de log(n) près, est obtenue lorsque les densités d’émission apparti-ennent à une classe de fonctions de type β-Hölder dans la Partie3.4.2.

Dans les deux cas précédents, on a obtenu des vitesses minimax (à une puissance de log(n) près) pour peu que ΠQpénalise suffisamment (i.e. ne mette pas beaucoup de poids dans) le voisinage de la frontière de ∆k

k:= {Q ∈ [0, 1]k×k : Pk

j=1Q_i,j = 1, ∀1 ≤ i ≤ k}, l’ensemble des matrices de transition. De manière générale, si Π(k)

f = Π^⊗k_f , avec Πf qui induit une concentration min-imax de la loi a posteriori par rapport à la norme L1 sur les densités dans le cas de l’estimation de densité avec des observations i.i.d., on s’attend alors à ce que la la loi a posteriori se concen-tre à une vitesse minimax dans le cadre des HMMs pour peu que ΠQ pénalise suffisamment le voisinage de la frontière de ∆k

k.

On peut remarquer que les vitesses minimax obtenues pour une classe de densités d’émission et Π^(k)_f = Π^⊗k_f sont les mêmes que dans le cadre de l’estimation de densité avec des observations i.i.d., par rapport à la norme L1 et la même classe de densités. Ainsi dans nos exemples, la dépendance générée par les HMMs sur les observations ne détériore pas la vitesse minimax, comparé au cadre i.i.d.. La même remarque est faite dans De Castro et al. [DGLar] et Bonhomme et al. [BJR16a] où des vitesses d’estimateurs fréquentistes sont considérées.

Cette contribution concerne les vitesses de concentration. Or, si la loi a posteriori se concentre à une certaine vitesse tendant vers 0 par rapport à Dlalors la loi a posteriori est aussi consis-tante. On peut alors utiliser les résultats du Chapitre2et montrer que la loi a posteriori est alors aussi consistante pour la topologie TQ,f (utile dans le cadre de l’estimation de θ) sous condition d’identifiabilité du vrai paramètre.

Perspectives au Chapitre3

•L’hypothèse faite sur ΠQ, concernant la pénalisation des matrices de transition qui sont trop proches de la frontière de ∆k

k, est plus faible que celle supposée pour obtenir la consistance de la loi a posteriori. Malgré tout, cette hypothèse est encore forte et n’est pas vérifiée par les lois utilisées en pratique. Il serait intéressant de savoir à quel point cette hypothèse est nécessaire. • Une perspective à ce travail est l’obtention d’une vitesse de concentration par rapport à la norme L1 sur les lois d’émission à partir de la vitesse par rapport à Dl. Ce transfert est plus

1.2 CONTRIBUTIONS 163

difficile dans le cas de la vitesse de concentration que dans le cas de la consistance. En effet il demande une compréhension plus fine (que la continuité) de l’inverse (à permutation près) de θ 7→ p^θ_l. Un transfert similaire a été fait dans De Castro et al. [DGLar] en considérant la norme L2 et non L1. Cet article semble être une bonne base de travail pour ce problème.

1.2.3 Contribution 3: Estimation semi-paramétrique efficace et sélection de