Nous avons déjà rencontré la notion de processus aléatoire sous la forme d’une chaîne de Markov{Xn}n>0à valeurs discrètes. Plus généralement, si (Ω,A,P)désigne un es-pace de probabilité, un processus aléatoire {Xn}n>0 est une suite de variables aléatoires sur(Ω,A)à valeurs dans un espace mesurable(E,E). Dans la suite, nous nous intéresse-rons principalement à des processus à valeurs dans(R,BR). L’indicenindique la date à laquelle la variable aléatoireXnest observée. Afin de quantifier le déroulement du temps et la structure de l’information qui en découle, on introduit la notion de filtration.
Définition 9.8. (Filtration) Une filtration de A est une suite croissante F = {Fn}n>0 de sous-σ-algèbres deA
F0⊂ F1⊂ F2⊂ · · · ⊂ A. On dit que(Ω,A,F,P)unespace de probabilité filtré.
En particulier, si{Xn}n>0est un processus aléatoire. Alors la suite
Fn =σ(Xi, i6n), n>0, est appelée lafiltration naturelledu processus.
Pour chaque entiern, la sous-σ-algèbre Fn représente l’information disponible à la daten. La croissance de la suite{Fn}n>0traduit l’idée que l’information s’accumule au fil du temps et qu’il n’y a pas de possibilité d’oublier des informations passées. De la même façon qu’une variable aléatoire est associée à uneσ-algèbre, un processus aléatoire est codé par une filtration.
Dès le chapitre 2, nous avons utilisé la notion de filtration, sans en évoquer le for-malisme, pour décrire les chaînes de Markov. Si{Xn}n>0est une chaîne de Markov sur un espace dénombrable E, alorsFn = σ(Xi, i 6 n)sera la filtration associée. Comme E est un espace discret, la σ-algèbre Fn est engendrée par les ensembles de la forme
9.4. PROCESSUS ALÉATOIRE 131
{X0 = x0, . . . ,Xn = xn}pour toute famille x0, . . . ,xn d’éléments de E. Étant donné un évènement B ⊂ E, la probabilité conditionnelleP Xn+1 ∈ B Fn
est une variable aléa-toire qui dépend des valeurs prises par X0, . . . ,Xn. Par la propriété de Markov, on sait que cette dépendance se réduit à la variableXn. On peut ainsi écrire
P Xn+1 ∈B Fn =P Xn+1∈ B Xn .
Dans le cas discret, le formalisme de la section 9.1 s’applique : la probabilité condition-nelleP Xn+1 ∈ B
Xn
est une variable aléatoire qui s’exprime comme une fonction de Xn dont la valeur est P Xn+1 ∈ B
Xn = xn
si Xn = xn. L’espérance conditionnelle sachantXnvérifie pour toute fonctionh: E7→R
E h(Xn+1)
Xn =
∑
y∈E
h(y)P Xn+1= yXn.
Les notions suivantes seront utilisées au chapitre 13 pour définir des stratégies. Définition 9.9. SoitF={Fn}n>0une filtration deA.
(i) Le processus{Xn}n>0est ditadaptéà la filtrationFsi XnestFn-mesurable pour tout n>0.
(ii) Le processus{Xn}n>0 est ditprévisiblepour la filtrationFsi XnestFn−1-mesurable pour tout n>0. Par convention, on noteF−1 ={∅,Ω}.
Les temps d’arrêt ont déjà été introduits section 2.4 car ils jouent un rôle central dans l’analyse des processus aléatoires. Ils peuvent être redéfinis en utilisant le formalisme des filtrations.
Définition 9.10(Temps d’arrêt). Untemps d’arrêtT (pour la filtrationF = {Fn}n>0) est une variable aléatoire à valeurs dansN∪ {∞}telle que
{T= n} ∈ Fn pour tout n>0.
SiFn = σ(Xi, i ≤ n)est la filtration naturelle, cette notion est équivalente à celle décrite section 2.4. L’évènement{T = n}étant mesurable par rapport àFn, il peut donc être exprimé en fonction desnpremières observations
1{T=n} = ϕn(X0, . . . ,Xn) oùϕnest une fonction mesurable.
On rappelle qu’une classe importante de temps d’arrêt correspond au premier temps d’atteinte d’un ensembleA
TA=inf{n≥0; Xn∈ A}
Chapitre 10
Martingales et stratégies
Dans tout ce chapitre, on considérera des processus aléatoires à valeurs dansR.
10.1 Martingales
Une martingale est un processus aléatoire dont l’espérance conditionnelle par rapport au passé reste constante. La notion de filtration, introduite dans la section 9.4, permet de donner une définition mathématique précise d’une martingale et de ses variantes. Définition 10.1. (Martingale)
Soit X={Xn}n>0un processus aléatoire adapté sur l’espace de probabilité filtré(Ω,A,F,P). Si Xnest intégrable pour tout n (i.e.E(|Xn|)<∞), on dit que X est
— unemartingalesi E Xn Fn−1 = Xn−1 pour tout n>1, — unesurmartingalesi E XnFn−1 6Xn−1 pour tout n>1, — unesous-martingalesi E XnFn−1 >Xn−1 pour tout n>1. Il existe de nombreux exemples de tels processus.
Marche aléatoire symétrique.
Soit{ξn}n>1une suite de variables aléatoires dansRindépendantes et de moyenne nulleE(ξn) =0. Alors la marche aléatoireS= {Sn}n>0
∀n>1, Sn = n
∑
i=1
ξi et S0 =0 (10.1)
est une martingale pour la filtrationFn=σ(ξi, i6n). Les variables aléatoires{ξn}n>1
peuvent représenter le gain d’un joueur (ou la perte) à lanième partie d’un jeu de hasard. 133
134 CHAPITRE 10. MARTINGALES ET STRATÉGIES La propriété de martingale se démontre facilement en utilisant la linéarité de l’espérance conditionnelle
E(Sn+1|Fn) =E(Sn|Fn) +E(ξn+1|Fn) =Sn+E(ξn+1) =Sn
où on a utilisé queSnest mesurable par rapport àFn(Proposition 9.4 (iii)) et queξn+1est indépendant deFn(Proposition 9.7 (ii)).
Contrairement aux hypothèses faites sur les marches aléatoires dans le cadre des chaînes de Markov, nous n’avons pas supposé que les variables {ξn}n>1 prennent des valeurs entières, ni qu’elles soient identiquement distribuées.
Produit de variables aléatoires.
La structure multiplicative permet aussi d’obtenir des martingales en posant
∀n>1, Mn= n
∏
i=1
ξi et M0=1, (10.2)
où les {ξn}n>0sont des variables aléatoires indépendantes de moyenneE(ξn) = 1. Le processus {Mn}n>0 est une martingale pour la filtration Fn = σ(ξi, i 6 n). Pour le voir il suffit d’utiliser queMnest mesurable par rapport àFn(Proposition 9.4 (iii)) et que
ξn+1est indépendant deFn(Proposition 9.7 (ii))
E(Mn+1|Fn) =E(ξn+1Mn|Fn) =MnE(ξn+1|Fn) = Mn. Chaînes de Markov.
Nous allons maintenant construire une martingale à partir d’une chaîne de Markov
{Xn}n>0 de matrice de transitionPsur un espace d’étatsEdénombrable. Rappelons la définition (3.5) d’une fonction harmoniquehpourP
∀x ∈E, h(x) =
∑
y∈E
P(x,y)h(y).
SiE(|h(Xn)|)est fini pour toutn, alors{h(Xn)}n>0est une martingale pour la filtration
Fn= σ(X1,· · · ,Xn). En effet E h(Xn+1) Fn =E h(Xn+1) X0, . . . ,Xn =E h(Xn+1) Xn =
∑
y∈E P(Xn,y)h(y) =h(Xn), où la propriété de Markov a été utilisée dans la première ligne.De la même façon
— sihestsurharmonique, i.e.h> Ph, alors{h(Xn)}n>0est une surmartingale, — sihestsous-harmonique, i.e.h6 Ph, alors{h(Xn)}n>0est une sous-martingale. Inégalité de Jensen.
Proposition 10.2. Soient{Mn}n>0une martingale et g:R→Rune application convexe telle queE(|g(Mn)|)<∞, alors le processus aléatoire{g(Mn)}n>0est une sous-martingale.
10.1. MARTINGALES 135 Démonstration. Cette proposition est une conséquence de l’inégalité de Jensen pour l’es-pérance conditionnelle (théorème 9.6)
E g(Mn+1) Fn > g E Mn+1 Fn = g(Mn). (10.3)
La proposition 10.2 appliquée à la marche aléatoire{Sn}n>0définie en (10.1) et à la fonction g(x) = x2 montre que{S2n}n>0 est une sous-martingale. Par conséquent, son espérance croît au cours du temps (en supposant queE(ξ12)< ∞). Cette croissance peut être compensée et le processus
n>0, Mn=S2n−nE(ξ12) (10.4) est alors une martingale. Pour le voir, décomposons l’espérance conditionnelle par la propriété de linéarité (proposition 9.4)
E Mn+1
Fn =E S2n+2ξn+1Sn+ξn2+1Fn−(n+1)E(ξ21)
=E S2nFn−nE(ξ21) +2E ξn+1SnFn+E ξn2+1Fn−E(ξ21). En utilisant queSnest mesurable par rapport àFnet queξn+1est indépendant deFnon obtient
E S2nFn
−nE(ξ12) =S2n−nE(ξ12) =Mn, par la proposition 9.4 (iii), E ξ2n+1Fn
=E(ξ12), par la proposition 9.7 (ii), E ξn+1Sn
Fn
=SnE ξn+1Fn
=SnE ξn+1=0, par la proposition 9.7 (iii). Par conséquentE Mn+1
Fn
= Mnet la sous-martingaleS2
n = Mn+nE(ξ21)se décom-pose comme la somme d’une martingale et d’un processus croissant.
Concluons cette section avec une propriété qui s’avèrera très utile dans la suite. Proposition 10.3. Soit{Mn}n>0une martingale, alors pour tout n>0
∀k>1, E(Mn+k|Fn) =Mn. (10.5) Des inégalités similaires sont vérifiées pour des surmartingales et des sous-martingales.
Démonstration. On va montrer le résultat par récurrence dans le cas des martingales. Pour k =1, il s’agit de la définition. Supposons que la propriété soit vraie au rangk. Comme la filtrationFn+kcontientFn, on peut utiliser les espérances conditionnelles emboîtées (cf. proposition 9.7 (i)) pour écrire que
E(Mn+k+1|Fn) =EE(Mn+k+1|Fn+k) Fn =EMn+k Fn = Mn.
La seconde égalité s’obtient par la propriété de martingale Mn+k = E(Mn+k+1|Fn+k), et la troisième par l’hypothèse de récurrence.
136 CHAPITRE 10. MARTINGALES ET STRATÉGIES On en déduit que l’espérance d’une martingale{Mn}n>0est constante
∀n>0, E(Mn) =E(M0). (10.6) La réciproque est fausse, un processus d’espérance constante n’est pas toujours une mar-tingale. Il suffit par exemple de considérerS3
n = (∑n
i=1ξi)3 où les incrémentsξi sont des variables aléatoires symétriques, indépendantes et vérifiant E(|ξ1|3) < ∞. On verra en Proposition 10.8 une condition plus élaborée pour obtenir une forme de réciproque.
10.2 Stratégies et théorème d’arrêt
Considérons un joueur au casino qui à l’instantnva miser à la roulette la sommeΦn sur le numéro 13. Si le 13 sort, le joueur empoche ξn = 35 fois sa mise sinon il perd et on poseξn = −1. Son gainΦnξnest alors proportionnel à sa miseΦnetξnreprésente le résultat aléatoire du jeu. La filtration naturelle associée à ce jeu estFn= σ(ξi, i6n)et le processus{ξn}n>1des résultats est adapté àFn. Au tempsn, le joueur mise avant de connaître le résultatξn, son choix ne dépend que des résultats précédents. Le processus
{Φn}n>1décrit lastratégiedu joueur et il est prévisible, i.e.ΦnestFn−1-mesurable pour toutn>1 (cf. définition 9.9). La fortune du joueur au tempsnest alors
Xn= n
∑
k=1
Φkξk. On peut généraliser cette structure
Proposition 10.4. Soit M = {Mn}n>0 une martingale et{Φn}n>1 un processus prévisible borné, alors le processus défini par
X0 =0 et Xn = n
∑
k=1
Φk(Mk−Mk−1), n>1 (10.7) est une martingale.
SiΦk > 0 pour tout k et {Mn}n>0 est une surmartingale (resp. sous-martingale), alors
{Xn}n>0est aussi une surmartingale (resp. sous-martingale).
Démonstration. Par construction {Xn}n>0 est mesurable par rapport à Fn. En remar-quant queΦn+1est mesurable par rapport àFn, on obtient
E Xn+1 Fn =E XnFn +E Φn+1(Mn+1−Mn) Fn =Xn+Φn+1E Mn+1−Mn Fn =Xn
où on a utilisé dans la dernière égalité queE Mn+1−MnFn =0 car{Mn}n>0est une martingale.
Cette proposition montre que si{Mn}n>0est une martingale, il n’existe aucune stra-tégie (dont les mises restent majorées) qui puisse transformer un jeu équitable en un jeu profitable. Quelle que soit la stratégie {Φn}n>1 adoptée, la moyenne du gain est constanteE(Xn) = E(X0). La proposition 10.4 jouera un rôle majeur dans la suite de ce
10.2. STRATÉGIES ET THÉORÈME D’ARRÊT 137