Processus de Galton-Watson

k=n₀ γ_k f(θ_k) +ε_k6 n

∑

k=n₀ γ_kε_k.

Comme la suite∑k^γkε_k converge on en déduit une contradiction. Par symétrie, on peut aussi exclure le cas limn θ_n =−∞.

L’unique possibilité est que lim_n θ_n =0 ce qui conclut le théorème.

L’algorithme de Robbins-Monro se généralise aux fonctions f :Rd →Rd satisfaisant l’hypothèse (12.6) et dont la croissance à l’infini est au plus linéaire.

12.4 Processus de Galton-Watson

Nous allons maintenant poursuivre l’étude des arbres aléatoires commencée section 4.4.1 en utilisant cette fois le formalisme des martingales. On rappelle que les arbres aléa-toires de Galton-Watson sont définis par récurrence à l’aide d’une loiν={p_k}k>0surN qui caractérise le nombre de descendants d’un individu. Initialement, il existe un unique ancêtreZ₀=1. Au tempst, le nombre d’individus est notéZ_tet l’évolution suit la récur-rence Z_t+1 = ( ζ₁^t+1+· · ·+ζ^t_Z⁺¹ t , if Zt >0 0, if Z_t =0

où{ζ_i^t}i>1,t>1est une suite de variables aléatoires indépendantes et identiquement dis-tribuées de loiν

∀k>0, P(ζ^t_i =k) = p_k. On note aussiµ=E(ζ¹₁).

SoitFt = σ(Z_k, k 6 t)la σ-algèbre décrivant la population jusqu’au tempst. En conditionnant par la génération précédente (comme en (4.7)), on vérifie que le processus M_t= Z_t/µ^test une martingale

EM_t+1 Ft =E Zt+1 µ^t+1 Ft = ¹ µ^t+1E

∑

^Zt k=0 ζ^t_k⁺¹ Zt ! = ^Zt µ^t = Mt.

Cette martingale étant positive, elle converge presque sûrement, par le corollaire 11.5, vers une variable aléatoire limite M_∞ que nous allons caractériser.

Si µ 6 1 nous avons montré au théorème 4.10 que la population s’éteint presque sûrement, i.e. queZ_t =0 à partir d’un certain temps (aléatoire). Par conséquentM_∞ =0 presque sûrement. La convergence de M_t vers M_∞ ne peut donc pas avoir lieu dansL1

car

∀t>0, E(M_t) =E(M₀) =16=0=E(M_∞).

Le théorème suivant permet de décrire le comportement asymptotique dans le cas sur-critique

12.4. PROCESSUS DE GALTON-WATSON 187 Théorème 12.4. Si µ > 1 et la variance σ² = E(ζ²)−E(ζ)2 est finie, alors la martingale

{M_t}t>0converge dansL2vers une limite M_∞qui vérifie E(M_∞) =1, E(M_∞²)−E(M_∞)2 = ^σ

2

µ²−µ et P(M_∞ =0) =ρ

oùρest la probabilité d’extinction définie au théorème 4.10.

Démonstration. Commençons par montrer que la martingale{Mt}t>0 est bornée dans L2. On calcule E(M²_t|Ft−1) =E (M_t−M_t−1)2|Ft−1 +M²_t−1+2M_t−1E (M_t−M_t−1)|Ft−1 = M²_t−1+E (M_t−M_t−1)2|Ft−1 . (12.10)

Le second terme du membre de droite dans (12.10) s’écrit E (M_t−M_t−1)²|Ft−1 =E Z_t µ^t −^Zt−1 µ^t−1 2 Ft−1 = ¹ µ^2tE (Z_t−µZ_t−1)² Z_t−1 = ¹ µ^2tE Z_t−1

∑

i=1 ζ^t_i−µZ_t−12 Ft−1 = ^Zt−1σ2 µ^2t .

Les identités précédentes impliquent E(M²_t) =E E(M²_t|Ft−1) =E(M²_t−1) + ^σ 2 µ^2tE(Z_t−1) =E(M²_t−1) + ^σ 2 µ^t+1

en utilisant queE(Z_t−1) =µ^t−1. CommeE(Z₀²) =1, on obtient par induction E(M²_t) =1+σ² t+1

∑

k=2 µ−k =1+σ²1−µ−t µ²−µ. (12.11) On en déduit que la martingale{M_t}t>0est bornée dansL2et le théorème 11.1 per-met d’affirmer qu’elle converge dansL2et presque sûrement versM_∞. Par conséquent

E(M_∞) =1= lim

t→∞E(M_t) et E(M²_∞)−E(M_∞)² = ^σ

2

µ²−µ = lim

t→∞E(M²_t)−E(M_t)². Pour calculer la probabilitéP(M_∞=0), on conditionne l’évolution après la première générationZ₁ P M_∞ =0 =

∑

^∞ k=0 P M_∞ =0 Z₁= k p_k.

SiZ₁= k, l’arbre se scinde enkarbres indépendants de même loi, on obtient donc P M_∞ =0 =

∑

^∞ k=0 P M_∞ =0k p_k = ϕ P M_∞=0 .

Ceci permet d’identifier la probabilitéρqui a été définie au théorème 4.10 comme l’unique solution deρ= ϕ(ρ).

Chapitre 13

Stratégies, arrêt optimal et contrôle

stochastique ?

Dans la vie courante, de nombreuses circonstances nécessitent d’effectuer des choix. Nous allons formaliser le processus de décision pour construire des stratégies qui per-mettent d’optimiser certains critères en tenant compte des facteurs aléatoires inhérents aux problèmes rencontrés.

13.1 Arrêt optimal

Quel est le meilleur instant pour prendre une décision ? Par exemple, on souhaite vendre un stock de produits au meilleur prix avant l’échéance N et chaque jour n ∈ {0, . . . ,N} on démarche un acheteur potentiel qui offre la somme Xn. On peut accep-ter cette offre ou attendre la suivante sachant qu’on ne pourra plus bénéficier des offres passées. On cherche donc à déterminer le meilleur moment pour vendre sur la base des offres passées sans connaître le futur. Les filtrations permettent de hiérarchiser l’infor-mation, et on supposera que le processus aléatoire X= {Xn, n = 0, . . . ,N}est adapté à la filtrationF = {Fn, n 6 N}oùFn contient toute l’information jusqu’au tempsn. Notre objectif est de construire une stratégie optimale, c’est à dire de définir un temps d’arrêtτpour que l’espéranceE(Xτ)soit maximale. Plus précisément, siTN représente l’ensemble des temps d’arrêt à valeurs dans{0, . . . ,N}, on cherche à résoudre leproblème d’arrêt optimal

V^N = sup

τ∈TN

E(Xτ). (13.1)

On dira qu’un temps d’arrêt τ∗ dans TN est optimal si V^N = E(Xτ∗). Il s’agit d’une stratégie d’arrêt optimal enhorizon finicar la décision doit être prise avant l’instantN.

13.1.1 Enveloppe de Snell

Pour résoudre le problème (13.1), on définit le processusY par la récurrence rétro-grade

YN =XN et Yn=max{Xn,E(Y_n+1|Fn)} pour n=0, . . . ,N−1. (13.2) 189

190 CHAPITRE 13. ARRÊT OPTIMAL ET CONTRÔLE STOCHASTIQUE?

y_n

x_n

N

FIGURE 13.1 – Pour déterminer le maximum d’une suite de réels {xn}n6N, on construit

ré-cursivement une suite majorante en partant de yN = xN et en remontant ensuite le temps yn = max{xn,y_n+1}. La suite {yn}n6N, représentée en pointillés, est décroissante et y₀ =

max{xn, n 6 N}. De plus, toute autre suite décroissante majorant {xn}n6N sera aussi supé-rieure à{yn}n6N. L’enveloppe de Snell (13.2) est l’analogue de cette construction dans un cas stochastique.

La figure 13.1 illustre cette construction. Le processusYest appelé enveloppe de Snelldu processusXet il s’interprète de la façon suivante. Si le problème d’arrêt optimal se pose au tempsN, le seul choix possible de temps d’arrêt estτ= Nce qui justifie la définition Y_N = X_N. À la dateN−1, on choisit la stratégie d’arrêt en comparant le gainX_N−1 ob-tenu en s’arrêtant àN−1 et le gain espéré si on continuaitE(Y_N|FN−1) =E(X_N|FN−1). Ceci explique la définition deY_N−1. En procédant de manière rétrograde date par date, on comprend la logique derrière l’enveloppe de Snell.

Le résultat suivant montre que l’enveloppe de Snell permet de résoudre le problème d’arrêt optimalV^N et de déterminer un temps d’arrêt optimal.

Proposition 13.1. Supposons que X soit intégrable. Alors l’enveloppe de Snell Y est la plus petite surmartingale majorant le processus X. De plus

— la variable aléatoire

τ∗ =infⁿn∈ {0, . . . ,N}; Y_n=X_n^o est un temps d’arrêt.

— le processus arrêté Yτ∗

=Y_·∧τ∗ est une martingale. — le temps d’arrêtτ∗est optimal car

Y₀ = sup

τ∈TN

E(X_τ) =E(X_τ∗).

Cette proposition fournit une construction théorique d’un temps d’arrêt optimal. En pratique, la difficulté consiste à déduire de ce résultat une stratégie explicite. Dans les sections 13.1.2 et 13.1.3, deux exemples sont traités oùτ∗peut se réécrire simplement en fonction d’une stratégie de seuil.

13.1. ARRÊT OPTIMAL 191 Étape 1.Construction de la surmartingale Y.

Vérifions d’abord par une récurrence rétrograde que le processusYdéfini en (13.2) est bien intégrable. À la date finale, on aY_N = X_N ∈L1. Si on suppose queY_nappartient àL1, alors E |Y_n−1| 6E |X_n−1| +E E(Yn|Fn−1) 6E |X_n−1| +E |Yn| . AinsiYest intégrable.

Par définitionY est une surmartingale majorant X. Soit ˜Y une autre surmartingale majorantX. Montrons par récurrence rétrograde que presque sûrement

˜

Y_n>Y_n pour tout n=0, . . . ,N.

Au tempsN, on a ˜YN > XN = YN. Supposons maintenant que ˜Yn > Yn. Comme ˜Yest une surmartingale, elle vérifie

˜

Y_n−1 >E _Y˜_n|Fn−1

>E(Y_n|Fn−1). De plus ˜YmajoreXet par conséquent

˜

Y_n−1 > max{X_n−1,E(Y_n|Fn−1)}=Y_n−1. Étape 2.Construction du temps d’arrêt optimal.

On vérifie facilement que {τ∗ = n} est bien Fn-mesurable. Comme Y_N = X_N, la variable τ∗ définit donc un temps d’arrêt dansTN, comme premier temps d’atteinte du processusY−Xdu niveau 0. Dans le cas déterministe illustré figure 13.1, le temps d’arrêt correspond au premier temps oùy_n= x_n. On remarque de plus que la suite déterministe

{y_n}est constante et égale ày₀tant quey_n> max{x_k, k6 N}. Ceci suggère que dans le cas aléatoire, le processus arrêtéYτ∗

est une martingale. Nous allons maintenant vérifier cette propriété.

On remarque que l’évènement{τ∗ > n+1}= {τ∗ 6 n}c est mesurable par rapport àFn. Par définition, le processus{Y_n}n6N satisfait sur l’évènement{τ∗ >n+1}

Yn>Xn et Yn =E(Yn+1|Fn). On en déduit que

Yτ∗

n+1−Yτ∗

n = (Y_n+1−Yn)1_{τ∗>n+1} = (Y_n+1−E(Y_n+1|Fn))1_{τ∗>n+1}.

En utilisant le fait que {τ∗ > n+1} ∈ Fn et en prenant l’espérance conditionnelle par rapport àFn, on vérifie que le processus arrêtéYτ∗

est une martingale EYτ∗ n+1 Fn −Yτ∗ n =0. Ceci implique que

Y₀ =EYτ∗ N

=E(Y_N∧τ∗) =E(Y_τ∗) =E(X_τ∗).

Par ailleurs, pour tout temps d’arrêt τdansTN, le processus arrêtéYτ est une surmar-tingale. D’après le théorème d’arrêt de Doob, il satisfait donc

Y0>E(Yτ

N) =E(Yτ) >E(Xτ)

192 CHAPITRE 13. ARRÊT OPTIMAL ET CONTRÔLE STOCHASTIQUE? 13.1.2 Le problème du parking

Vous conduisez le long d’une rue infinie vers votre lieu de rendez-vous qui se situe dans un quartier très fréquenté. Le stationnement dans la rue est autorisé, mais bien sûr peu de places sont libres. Alors, si vous avez la possibilité de vous garer, à quelle distance de votre lieu de rendez-vous décidez-vous de prendre la place ?

Cette question peut se modéliser de la façon suivante :

1. Vous démarrez à l’origine. Des emplacements de stationnement sont disponibles à tous les entiers. On considère une suite{ξ_n}n≥0de variables aléatoires indépen-dantes de loi de Bernoulli de paramètre p, oùξ_n =1 si et seulement si l’emplace-ment au pointnest déjà occupé. Le lieu de rendez-vous se trouve au point entier N>0.

2. Si l’emplacementnest disponible, i.e. siξn = 0, et que vous décidiez de vous y garer, vous subissez le coût |N−n|correspondant à l’effort de faire la distance restante en marchant.

3. Quand vous arrivez au niveau du pointn, vous ne pouvez pas savoir si des places de stationnement sont disponibles au niveaun+1 ou plus loin. Si vous décidez de passer au pointn+1, vous ne pouvez plus retourner aux points précédents. 4. Enfin, si vous arrivez enN, votre point de rendez-vous sans vous être garé, vous

prenez la première place de stationnement libre qui se présente. Ainsi, si l’empla-cementNest occupé, le coût moyen que vous subissez est alors

−X_N =C1_{ξn=1} avec C =

∑

j≥1

jp^j−1(1−p) = ¹ 1−p^. Avant d’arriver enNle processus de coût s’écrit

−X_n= (N−n)1_{ξn=0}+∞1_{ξn=1}

où le coût infini pourξn=1 signifie que vous ne pouvez occuper la place à aucun coût fini.

Le problème d’arrêt optimal consiste à chercher le temps d’arrêt qui minimise le coût de l’effort de l’agent, ou en inversant les signes

sup

τ∈TN

E(X_τ).

L’enveloppe de Snell est donnée parY_N =X_Net

Y_n =max{X_n,E(Y_n+1|Fn)} pour n<N.

Un simple raisonnement par récurrence rétrograde, utilisant l’indépendence desξn, montre queY_nest une fonction deξ_n. Par conséquent

E(Y_n+1|Fn) =E(Y_n+1) = f N−(n+1)

13.1. ARRÊT OPTIMAL 193 où f : {0, . . . ,N} → Rest une fonction que nous allons déterminer. CommeY est une surmatingale, l’espérance n → E(Y_n)décroît et par conséquentn → f(N−n)est dé-croissante (cf. figure 13.2). Le premier temps oùY_n =X_nrevient à déterminer le premier n <Ntel que

ξ_n =0 et −(N−n)> f(N−n). (13.4) Soitr^∗ >0 le premier point tel que−(N−r^∗)> f(N−r^∗)(cf. figure 13.2). Si une place est disponible avant r^∗ alors l’inégalité de la relation (13.4) ne sera pas satisfaite, par conséquent il suffit de choisir la première place disponible aprèsr^∗.

N r^?

f

FIGURE13.2 –Les graphes den → f(N−n)et den → −(N−n)sont représentés. Les carrés

marquent les positionsndes places disponibles (ξn = 0) et le gain correspondant est−(N−n). Le seuilr^∗ est le point où les deux graphes s’intersectent. La place choisie est la première place libre aprèsr^∗, i.e. le troisième carré sur le schéma.

La stratégie d’arrêt optimale est nécessairement de la forme

τ∗=inf

n>N−r^∗; ξn=0 (13.5) où r^∗ est une constante à déterminer. On note `(r)la performance espérée en utilisant une stratégie de seuil avec paramètrer, i.e.

`(r) =E(Y<sub>τ(r)</sub>) où τ(r) =inf{n≥N−r; ξ<sub>n</sub>=0}. Nous allons calculer`(r)et optimiser en fonction derpour identifierr^∗.

Pourr=0, on obtient

`(0) =−(1−p)×0+pC =− ^p

1−p^.

Pourr>1, on calcule par récurrence`(r) =−(1−p)r+p`(r−1). On déduit alors que

−`(r) =r+1+ ^2p r+1−1

1−p ^{, r}6 N.

Pour maximiser`(r), on remarque que la fonctionr 7−→`(r+1)−`(r) =−1+2p^r+1est décroissante enr. Par conséquent

194 CHAPITRE 13. ARRÊT OPTIMAL ET CONTRÔLE STOCHASTIQUE?

À titre d’exemple, on peut voir que pourp60.5, il faut chercher à se garer en arrivant à destination et que pourp=0.9, il faut chercher la première place disponible dès qu’on arrive à 6 places de la destination.

13.1.3 Problème des secrétaires

Nous allons nous intéresser à un problème classique connu sous le nom deproblème des secrétaires. N candidats effectuent un entretien pour un poste de secrétaire vacant et ceux-ci peuvent être tous comparés strictement (une fois rencontrés) et classés. Les candidats sont auditionnés un à un dans un ordre arbitraire, lesN! façons d’ordonner les candidats sont équiprobables. À l’issue de l’audition de chaque candidat et sur la base de son rang relatif par rapport aux candidats précédemment auditionnés, on doit

— soit le sélectionner pour le poste, terminant ainsi la procédure de sélection, — soit refuser définitivement sa candidature, sans possibilité de le rappeler

ultérieu-rement, et passer au candidat suivant.

L’objectif est de sélectionnerlemeilleur candidat parmi les N: le gain est défini par 1 si on sélectionne le meilleur candidat et par 0 sinon.

Modélisation.

On peut classer lesNcandidats selon un ordre décroissant{σ(1), . . . ,σ(N)}oùσest une permutation uniforme de{1, . . . ,N}. Le candidatia donc le rangσ(i)et on cherche à déterminer le meilleur candidat, c’est à dire le candidat jtel queσ(j) = 1. L’enjeu est d’optimiser le gainP(σ(τ) =1)oùτest un temps d’arrêt représentant le candidat choisi. La première difficulté est que le processus{1_σ(k)=1}k6N que l’on cherche à optimi-ser n’est pas mesurable par rapport à la σ-algèbre engendrée par les observations jus-qu’à l’instant k. En effet savoir que σ(k) = 1 suppose de connaître le classement des N candidats. Les variables mesurées naturellement sont les rangs relatifs {ξ_n}1≤n≤N. Précisément, ξn désigne le rang du nième candidat auditionné parmi les n candidats auditionnés. Par exemple si N = 5 et que le classement des candidats est donné par

σ ={3, 2, 5, 1, 4}, alors les ordres relatifs seront

ξ₁ =1, ξ₂ =1, ξ₃ =3, ξ₄ =1, ξ₅=4.

On aura toujours ξ₁ = 1 etξ_N = σ(N)car au temps Ntous les candidats sont connus. On remarque que la connaissance de tous les ordres relatifs jusqu’àNpermet de recons-tituer le classement. Pour chaquen>1, la variable aléatoireξnest distribuée selon la loi uniforme sur{1, . . . ,n}

∀k∈ {1, . . . ,n}, P ξn=k

= ¹

n^.

De plus la variableξ_nest indépendante des{ξ_i, i6n−1}. On noteFn =σ(ξ_i, i6n) la filtration canonique correspondante.

Nous allons considérer le processus

13.1. ARRÊT OPTIMAL 195 Pour tout temps d’arrêtτ, on vérifie que

P σ(τ) =1= N

∑

n=1 E 1_{τ=n}1_{σ(n)=1} = N

∑

n=1 E 1_{τ=n}E 1_{σ(n)=1}Fn = N

∑

n=1 E 1_{τ=n}Xn =E(Xτ).

Par conséquent, pour déterminer le temps d’arrêt optimal, il est donc équivalent de tra-vailler avec le processus mesurable{Xn}n6N qui est mesurable par rapport aux obser-vations contrairement à{1_σ(n)=1}n6N. De plus le processus {X_n}n6N peut se réécrire sous la forme

X_n= ⁿ

N ^1{ξn=1}.

En effet l’évènement {σ(n) = 1} correspond à {ξ_n = 1,ξ_n+1 6= 1, . . . ,ξ_N 6= 1} et en utilisant l’indépendance des variablesξ_i, on retrouve

X_n =E 1_{σ(n)=1}Fn =1_{ξn=1}P ξ_n+1 6=1, . . . ,ξ_N 6=1 =1_{ξn=1} n n+1 ·ⁿ⁺¹ n+2· · · ^N−1 N = ⁿ N ^1{ξn=1}.

On peut aussi interpréter ce résultat plus intuitivement en remarquant que{σ(n) = 1}

équivaut à ce queξn=1 et que le meilleur candidat figure parmi lesnpremiers (ce qui a pour probabilité _Nⁿ).

La dernière étape consiste à calculer l’enveloppe de Snell du processus{X_n}n6N Y_N = 1_{ξN=1} et Y_n=max

nn

N ^1{ξn=1},E(Y_n+1|Fn)^o pour n=1, . . . ,N−1. (13.6) Comme dans le problème du parking (13.3), on utilise l’indépendance des variables{ξ_i}i6N pour conclure qu’il existe une fonction f :{0, . . . ,N} →Rtelle que

E(Y_n+1|Fn) =E(Y_n+1) = f(N−n)

de plusn → f(N−n)est décroissante. Le temps d’arrêt optimalτ∗ correspond donc au premier tempsn< Noù

n

N ^1{ξn=1}> f(N−n).

sinon on poseτ∗ = N. Ceci revient à considérer une stratégie de seuil similaire à (13.5). Pour déterminer le seuilr^∗optimal, on calcule le gain de chaque stratégie

196 CHAPITRE 13. ARRÊT OPTIMAL ET CONTRÔLE STOCHASTIQUE?

et on optimise ensuiter. En utilisant l’indépendance des variables{ξn}n6N, on obtient

`(r) =E(X_τr) =P σ(τ_r) =1 = N

∑

n=r E 1_{τr=n}1_{σ(n)=1} = N

∑

n=r P ξ_r6=1, . . . ,ξ_n−1 6=1,ξ_n =1,ξ_n+16=1, . . . ,ξ_N 6=1 = ^r−1 N N

∑

n=r

Dans le document Modélisation de phénomènes aléatoires : (Page 186-196)