Mod`ele stochastique sur horizon fini

Mod` ele stochastique sur horizon fini

Fabian Bastin

DIRO, Universit´e de Montr´eal

IFT-6521 – Hiver 2013

Mod` ele stochastique sur horizon fini

A l’´etape k, on observe l’´etatx_k et prend une d´ecision u_k ∈U_k(x_k).

Puis une variable al´eatoireω_k est g´en´er´ee selon une loi de probabilit´e Pk(· |xk,uk). On observeωk, on paye uncoˆutgk(xk,uk, ωk), et l’´etat `a la prochaine ´etape estx_k+1 =f_k(x_k,u_k, ω_k).

`a l’´etape k, on a:

x_k = ´etat du syst`eme `a l’´etape k;

u_k = d´ecision prise `a l’´etape k.

ωk = perturbation (var. al´eatoire) produite `a l’´etape k.

g_k = fonction de coˆut;

f_k = fonction de transition;

On cherche unepolitique admissibleπ = (µ₀, . . . , µN−1) qui minimise l’esp´erance math´ematique du coˆut total,

E

"

g_N(x_N) +

N−1

X

k=0

g_k(x_k,u_k, ω_k)

# .

On a

J_N(x) = g_N(x) pourx ∈X_N,

J_k(x) = coˆut esp´er´e total optimal de l’´etape k

`

a la fin, si on est dans l’´etat x `a l’´etape k

= inf

u∈Uk(x)Eωk[g_k(x,u, ω_k) +J_k+1(f_k(x,u, ω_k))]

pour 0≤k ≤N−1, x ∈X_k, o`u ω_k suit la loi P_k(· |x,u), et

µ^∗_k(x) = arg min

u∈U_k(x)Eωk[g_k(x,u, ω_k) +J_k+1(f_k(x,u, ω_k))].

Exemple de gestion d’un inventaire

Nous pouvons appliquer l’algorithme de programmation dynamique si tout est discret et fini.

Reprenons un exemple de gestion d’inventaire (Exemple 1.3.2 de Bertsekas), en notant

x_k = niveau des stocks au d´ebut du moisk, avant de commander;

u_k = nombre de biens command´es (et re¸cus) au d´ebut du mois k;

ω_k = nombre de bien demand´es par les clients durant le mois k. On suppose que les ωk dont des variables al´eatoires discr`etes ind´ependantes;

Nous supposons de plus que pas plus de deux unit´es ne peuvent ˆetre stock´ees:

x_k+u_k ≤2.

La demande exc´edentaire (ω_k −x_k−u_k) est perdue.

Exemple de gestion d’un inventaire (suite)

Le coˆut de stockage pour la p´eriode k est (x_k +u_k −ω_k)²,

impliquant une p´enalit´e `a la fois pour l’exc`es d’inventaire et pour la demande non satisfaite `a la fin de la p´eriode k.

Le coˆut de commande est de 1 par unit´e command´e.

Par cons´equent,

g_k(x_k,u_k, ω_k) =u_k + (x_k+u_k −ω_k)². Le coˆut terminal est suppos´e nul:

g(x_N) = 0.

Exemple de gestion d’un inventaire (suite)

On prendraN = 3,x₀= 0, et, pour toutk, p(ω_k) =







0.1 si ω_k = 0, 0.7 si ωk = 1, 0.2 si ω_k = 2.

Nous pouvons d´emarrer l’algorithme de programmation dynamique avec

J₃(x₃) = 0.

Pourk = 0, 1 ou 2, nous avons la r´ecurrence J_k(x_k) = min

uk

E_ωk[u_k+(x_k+u_k−ω_k)²+J_k+1(max{0,x_k+u_k−ω_k})], sous les contraintes

uk ∈ {0,1,2}, uk ∈[0,2−xk].

Exemple de gestion d’un inventaire: p´ eriodes 2

Consid´erons les trois ´etats possibles.

Tout d’abord, J₂(0) = min

u2

E_ω2[u₂+ (u₂−ω₂)²]

= min

u2

u₂+ 0.1(u₂)²+ 0.7(u₂−1)²+ 0.2(u₂−2)². En comparant explicitement les valeurs pouru2=0, 1, 2, nous obtenons

J₂(0) = 1.3, µ^∗₂(0) = 1.

De mˆeme,

J₂(1) = 0.3, µ^∗₂(1) = 0, J₂(2) = 1.1, µ^∗₂(2) = 0.

Exemple de gestion d’un inventaire: p´ eriode 1

De la mˆeme mani`ere, J₁(0) = min

u1

E_ω1[u₁+ (u₁−ω₁)²+J₂(max{0,u₁−ω₁})].

Il est facile de calculer

J₁(0) = min{2.8,2.5,3.68}= 2.5, µ^∗₁(0) = 1.

De mˆeme,

J1(1) = 1.5, µ^∗₂(1) = 0, J1(2) = 1.68, µ^∗₂(2) = 0.

Exemple de gestion d’un inventaire: p´ eriode 0

De la mˆeme mani`ere, on peut montrer

J₀(0) = 3.7, µ^∗₀(0) = 1.

Par cons´equent, la politique optimale est de commander une unit´e si le stock est vide, et de ne rien commander sinon. Le coˆut esp´er´e `a l’´etape initiale est 3.7.

Objectifs du chapitre

L’´enum´eration devient vite lourde.

Dans ce chapitre, on va examiner des mod`eles (ou exemples) plus particuliers et caract´eriser la forme de la politique optimaleµ^∗_k et de la fonction de coˆut anticip´e J_k.

Syst` eme lin´ eaire ` a coˆ ut quadratique

xk = vecteur de dimension n, uk = vecteur de dimension m,

w_k = vecteur de dimension n,E[w_k] = 0, Var[w_k]<∞, ind´ep. de (x_k,u_k), et les w_k sont ind´ependants.

x_k+1 = f_k(x_k,u_k,w_k) =A_kx_k +B_ku_k +w_k, gN(xN) = x_N⁰ QNxN,

gk(xk,uk) = x_k⁰Qkxk+u_k⁰Rkuk,

o`u A_k,B_k,Q_k, et R_k sont des matrices, les Q_k sont sym´etriques et d´efinies semi-positives, lesRk sont sym´etriques et d´efinies positives.

Le mod`ele se g´en´eralise facilement au cas o`u E[wk]6= 0 et o`u les formes quadratiques sont d´ecentr´ees. Le coˆut total pourrait ainsi avoir la forme

E

"

(xN −xN)⁰QN(xN−xN) +

N−1

X

k=0

(xk −xk)⁰Qk(xk −xk) +u_k⁰Rkuk

# .

On ne le fera pas pour ´eviter d’alourdir la notation. On se ram`ene au cas centr´e par simple changement de variable.

Les´equations de la PD deviennent:

J_N(x_N) = g_N(x_N) =x_N⁰ Q_Nx_N, J_k(x_k) = min

uk E

x_k⁰Q_kx_k +u_k⁰R_ku_k

+J_k+1(A_kx_k+B_ku_k +w_k)], k <N.

On va montrer queles fonctionsJk sont quadratiquesenxk et uk, et queµ^∗_k(x_k) est lin´eaire en x_k, et ne d´epend pas des lois de probabilit´e desw_k. Ainsi, pour ce mod`ele, on peut remplacer lesw_k par leurs esp´erances sans changer la politique optimale!

C’est le principe dumod`ele d´eterministe ´equivalent.

PosonsK_N =Q_N, et pourk <N,

Lk = −(B_k⁰Kk+1Bk+Rk)⁻¹B_k⁰Kk+1Ak,

K_k = A⁰_k(K_k+1−K_k+1B_k(B_k⁰K_k+1B_k +R_k)⁻¹B_k⁰K_k+1)A_k +Q_k

= A⁰_kK_k+1(A_k+B_kL_k) +Q_k. (Eq. de Riccati) La proposition qui suit donne la forme de la politique optimale, qui est tr`es facile `a calculer et `a implanter via une r´etroaction

(“feedback”) lin´eaire, avec matrices de gain Lk.

Proposition. Les matricesK_k sont sym´etriques et d´efinies semi-positives et lesL_k sont donc bien d´efinies.

La politique optimale et la fonction de coˆut optimal Jk, pour 0≤k<N, sont donn´es par

µ^∗_k(x_k) = L_kx_k, J_k(x_k) = x_k⁰K_kx_k+

N−1

X

j=k

E[w_j⁰K_j+1w_j].

Preuve. Par induction arri`ere surk.

Pourk =N−1, en utilisant le fait que E[wN−1] = 0, etKN =QN, JN−1(xN−1) = min

uN−1E

x_N−1⁰ QN−1xN−1+u⁰_N−1RN−1uN−1

+(AN−1xN−1+BN−1uN−1+wN−1)⁰ K_N(AN−1xN−1+BN−1uN−1+wN−1)]

= x_N−1⁰ QN−1xN−1

+x_N−1⁰ A⁰_N−1K_NAN−1xN−1+E[w_N−1⁰ K_NwN−1] + min

uN−1

u⁰_N−1RN−1uN−1+u⁰_N−1B_N−1⁰ K_NBN−1uN−1

+2x_N−1⁰ A⁰_N−1KNBN−1uN−1

.

En mettant `a 0 la d´eriv´ee p.r. `auN−1, on obtient

2RN−1uN−1+ 2B_N−1⁰ K_NBN−1uN−1+ 2(x_N−1⁰ A⁰_N−1K_NBN−1)⁰ = 0

PuisqueRN−1 est d´efinie positive etB_N−1⁰ KNBN−1 est d´efinie semi-positive, cela implique que la commande optimale est la valeur deuN−1 qui satisfait cette ´equation, i.e.,

µ^∗_N−1(x_k) =−(R_N−1+B_N−1⁰ K_NBN−1)⁻¹B_N−1⁰ K_NAN−1xN−1

=LN−1xN−1.

En rempla¸cantuN−1 par µ^∗_N−1(xN−1) dans l’expression pourJN−1, on obtient.

JN−1(xN−1) =x_N−1⁰ KN−1xN−1+E[w_N−1⁰ KNwN−1].

Pour le voir, d´eveloppons l’expression deJN−1(xN−1).

En rempla¸cantuN−1 par la d´ecision optimale, nous obtenons JN−1(xN−1) =x_N−1⁰ QN−1xN−1

+x_N−1⁰ A⁰_N−1K_NAN−1xN−1+E[w_N−1⁰ K_NwN−1] +

x_N−1⁰ L⁰_N−1RN−1LN−1xN−1+x_N−1⁰ L⁰_N−1B_N−1⁰ K_NBN−1LN−1xN−1

+2x_N−1⁰ A⁰_N−1K_NBN−1LN−1xN−1

=x_N−1⁰ QN−1xN−1+E[w_N−1⁰ KNwN−1]

+x_N−1⁰ (A⁰_N−1K_NAN−1+L⁰_N−1RN−1LN−1+L⁰_N−1B_N−1⁰ K_NBN−1LN−1

+ 2A⁰_N−1K_NBN−1LN−1)xN−1

Or,

L⁰_N−1(RN−1+BN−1KNBN−1)LN−1+ 2A⁰_N−1KNBN−1LN−1

=A⁰_N−1K_N⁰ BN−1

(B_N−1⁰ K_NBN−1+RN−1)⁻¹0

(RN−1+BN−1K_NBN−1)LN−1+ 2A⁰_N−1K_NBN−1LN−1

=A⁰_N−1K_NBN−1LN−1

D`es lors

JN−1(xN−1) =x_N−1⁰ QN−1+A⁰_N−1K_NAN−1

+A⁰_N−1K_NBN−1LN−1

xN−1+E[w_N−1⁰ K_NwN−1]

=x_N−1⁰ KN−1xN−1+E[w_N−1⁰ K_NwN−1].

La matriceKN−1 est sym´etrique et elle est d´efinie semi-positive, puisque cette derni`ere expression est ≥0 carQN−1,RN−1, etK_N sont d´efinies semi-positives. Cela prouve le r´esultat pour k=N−1.

On suppose maintenant que le r´esultat tient pour k+ 1 et on prouve que cela implique qu’il tient pourk. On a

Jk+1(xk+1) =x_k+1⁰ Kk+1xk+1+

N−1

X

j=k+1

E[w_j⁰Kj+1wj] o`u la somme est simplement une constante qui n’a pas d’influence sur la politique optimale.

On peut refaire exactement le mˆeme raisonnement que pour

k+ 1 =N, en rempla¸cantN par k+ 1, et on obtient le r´esultat.

Etat partiellement observ´ ´ e.

Un r´esultat semblable tient aussi si on ne peut pas observer l’´etatxk

au complet, mais seulement une transformation lin´eaire z_k =C_kx_k +v_k

o`u les vk sont des vecteurs al´eatoires ind´ependants entre eux et ind´ependants des w_k. La politique optimale a alors la forme

µ^∗_k(Ik)=LkE[xk |Ik]

o`u I<sub>k</sub> = (u<sub>0</sub>, . . . ,uk−1,z<sub>0</sub>, . . . ,z<sub>k</sub>) est l’information disponible `a l’´etape k.

Mod` ele stationnaire sur horizon infini.

Supposons que (A_k,B_k,Q_k,R_k) =(A,B,Q,R) pour toutk. Lorsquek → −∞, on s’attend `a ce queK<sub>k</sub> →K o`u K satisfait l’´equation de Riccati alg´ebrique

K =A⁰(K −KB(B⁰KB+R)⁻¹B⁰K)A+Q. (1) La politique optimale sur horizon infini sera alors stationnaire:

µ^∗(x)=Lx o`u

L=−(B⁰KB +R)⁻¹B⁰KA.

On peut prouver que cela est vrai sous les conditions qui suivent.

D’abord quelques d´efinitions.

D´ecomposons Q =C⁰C o`uC est r×n sir = rang(Q).

(D´efinition 4.1.1 DPOC) La paire (A,B) est dite contrˆolablesi la matricen×nm

(B,AB,A²B, . . . ,Aⁿ⁻¹B)

est de rangn. La paire (A,C) est dite observablesi la matrice nm×n









 C CA

... CAⁿ⁻¹











= (C⁰,A⁰C⁰, . . . ,(Aⁿ⁻¹)⁰C⁰)⁰

est de rangn. En d’autres termes (A⁰,C⁰) est contrˆolable.

Contrˆ olabilit´ e

Lacontrˆolabilit´e implique qu’en l’absence de bruit (si w_k = 0), `a partir de n’importe quelle position initiale, on peut ramener le syst`eme `a 0 enn´etapes par un choix appropri´e de u₀, . . . ,un−1:

xn=Aⁿx0+ (B,AB, . . . ,Aⁿ⁻¹B)





 un−1

... u₀





,

et donc

xn−Aⁿx0= (B,AB, . . . ,Aⁿ⁻¹B)





 un−1

... u0





.

Le caract`ere contrˆolable garantit l’existence d’une solution au syst`eme ainsi construit (on peut isoler une sous-matricen×n inversible).

Observabilit´ e

L’observabilit´e implique qu’en observantCx0, . . . ,Cxn−1, on peut en d´eduire l’´etat initial x0 du syst`emex_k+1=Ax_k, car





 Cx₀

... Cxn−1





=









 C CA

... CAⁿ⁻¹









 x₀.

L’observabilit´e est ´equivalente `a la propri´et´e qu’en l’absence de contrˆole,x_k →0 si Cx_k →0.

Cela implique aussi que six_k⁰Qxk →0, alorsxk →0, comme Q=CC⁰.

En l’absence de bruit, on a

x_k = (A+BL)xk−1 = (A+BL)^kx₀. (2) Ce syst`eme en boucle ferm´ee est ditstablesi et seulement six<sub>k</sub> →0 lorsquek → ∞, i.e., si et seulement si toutes les valeurs propres de la matriceA+BL(qui sont en g´en´eral des nombres complexes) sont strictement`a l’int´erieur du cercle unit´e.

Proposition. Si (A,B) est contrˆolable et (A,C) est observable, alors

k→−∞lim K_k =K

o`uK est une matrice d´efinie positive qui est l’unique solution de (1) dans l’espace des matrices d´efinies semi-positives, et le syst`eme (2) est stable.

Preuve: Voir DPOC, Proposition 4.4.1.

Matrices al´ eatoires.

Supposons que les matricesA_k etB_k ne sont plus constantes, mais al´eatoires. La politique optimale est encore de la forme

µ^∗_k(x_k)=L_kx_k,

si on prend soin de remplacer les formes quadratiquesA⁰_kK_k+1A_k, A⁰_kK_k+1B_k, etc., par leurs esp´erances conditionnelles

E[A⁰_kKk+1Ak |Kk+1],E[A⁰_kKk+1Bk |Kk+1], etc., dans les expressions pourK_k et L_k.

Par ailleurs, dans le cas stationnaire, le syst`eme est stable seulement si la mesure d’incertitude

T =E[A²]E[B²]−(E[A]E[B])²

n’est pas trop grande. SiT d´epasse un certain seuil (trop d’incertitude),K_k diverge lorsque k → −∞et l’optimisation sur horizon infini n’a plus de sens.

Mod` ele d’inventaire

x_k = Niveau d’inventaire au d´ebut du mois k, avant de commander (entier ou r´eel);

u_k = Quantit´e command´ee au d´ebut du mois k;

y_k =x_k+u_k = Niveau d’inventaire apr`es avoir command´e;

wk = Demande durant le moisk (sont ind´ep.);

K +cu = Coˆut d’une commande de taille u;

r(x_k+1) = Coˆut d’inventaire pay´e `a la fin du mois k;

L’algorithme de la PD vu au chapitre 1 devient tr`es coˆuteux lorsque le nombre de valeurs dex<sub>k</sub> possibles est tr`es grand.

Hypoth`ese: Supposons queK = 0 et quer est une fonction continue,convexeet telle que

x→∞lim r(x) = lim

x→−∞(cx+r(x)) =∞.

Exemple: r(x) =pmax(0,−x) +hmax(0,x) o`u p >c et h>0.

On suppose que les inventaires n´egatifs sont permis:

x_k+1 =x_k+u_k −w_k =y_k−w_k.

On n’a pas `a tenir compte des revenus de vente. On a alors J_N(x_N) = 0;

J_k(x_k) = coˆut esp´er´e total optimal pour les moisk `a N

= min_uk≥0(cu_k+E[r(x_k+u_k −w_k) +J_k+1(x_k +u_k−w_k)])

= min_yk≥x_k(cy_k+E[r(y_k−w_k) +J_k+1(y_k −w_k)])−cx_k

= minyk≥xkGk(yk)−cxk

o`u

G_k(y)=cy +E[r(y−w_k) +J_k+1(y−w_k)]

est le coˆut esp´er´e pour k `a N si xk = 0 et on commandey.

La proposition qui suit montre que la politique optimale est de toujours ramener le niveau d’inventaire `a la valeur Sk qui minimise G_k si on est en dessous et de ne rien commander si on est au dessus.

Il suffit donc de trouver le min pour le cas o`ux_k = 0.

Proposition. Pour chaquek <N,Gk et Jk sont des fonctions convexestelles queG_k(y)→ ∞ etJ_k(y)→ ∞ lorsquey → ±∞.

Lapolitique optimaleest d´efinie par

µ^∗_k(x) = max(0,S_k −x) o`u S_k est la valeur de y qui minimise G_k(y).

Preuve. Par induction arri`ere surk.

Pourk =N−1,GN−1(y) =cy+E[r(y−wN−1)] est convexe carr est convexe, etGN−1(y)→ ∞ quand|y| → ∞ en supposant que la loi dewN−1 est “raisonnable”. (Pour ˆetre rigoureux, il faudrait ajouter des hypoth`eses sur cette loi et divers d´etails techniques.

Bertsekas suppose que lesw_k prennent leurs valeurs dans un intervalle born´e, mais on peut ˆetre moins restrictif.)

Il y a donc une valeur finie et unique dey qui minimise GN−1(y).

Appelons-laS_N−1. SiS_N−1≥x_N−1, cette valeur est la valeur optimale deyN−1, i.e., la valeur optimale deuN−1 est SN−1−xN−1. On auraJN−1(xN−1) = (SN−1−xN−1)c +GN−1(SN−1).

SiSN−1 <xN−1, on est bloqu´e par la contrainte

yN−1 ≥xN−1 >SN−1. On prendrayN−1=xN−1, i.e.,uN−1= 0.

Cela donneµ^∗_N−1(x) = max(0,SN−1−x).

Il reste `a montrer les propri´et´es de JN−1. On a JN−1(x) =

((SN−1−x)c+E[r(SN−1−wN−1)] ifx <SN−1, E[r(x−w_N−1)] ifx ≥S_N−1, qui est continue, convexe, et tend vers l’infini lorsque|x| → ∞, grˆace aux propri´et´es der.

Si on suppose que les propri´et´es tiennent pour k+ 1, on peut montrer par les mˆemes arguments et en utilisant aussi l’hypoth`ese queJ<sub>k+1</sub> est convexe, que cela implique qu’elles tiennent pourk. Exercice: compl´etez les d´etails de la preuve pour passer dek+ 1 `ak.

- cy

- cy

y H(y) cy + H(y)

S_{N - 1} c S_{N - 1}

J_{N - 1}(x_{N - 1})

x_{N - 1} S_{N - 1}

Coˆut fixe positif.

Supposons maintenant qu’il y a uncoˆut fixe K >0pour commander. On d´efinit G_k de la mˆeme fa¸con:

G_k(y)= coˆut esp´er´e pour k `a N si x<sub>k</sub> = 0, on a d´ej`a pay´e le coˆut fixe, et on commandey. On a

Jk(xk) = min

Gk(xk), min

u_k≥0(K +Gk(xk +uk))

−cxk

= min

G_k(x_k), min

yk≥x_k(K +G_k(y_k))

−cx_k.

Cette fonctionJ_k n’est pas convexe. EtG_k n’est pas n´ecessairement convexe non plus. Mais on peut prouver la forme de la politique optimale en utilisant une notion plus g´en´erale de convexit´e.

Ce genre de technique peut ˆetre utile en g´en´eral pour d´eterminer et prouver la forme de la politique optimale dans le cas o`u il y a des coˆuts fixes pour les transactions.

K -convexit´ e

D´efinition. (4.2.1, DPOC)Une fonction g :R→R est K-convexe, pourK ≥0, si

K+g(z+y)≥g(y) +z

g(y)−g(y−b) b

, ∀z ≥0, b>0, y. Ci-dessous,g (en rouge) estK-convexe pourK = 1, mais pas pour K <1.

X

0 1 2 3 4 5

0 K= 1

2 3

Fabian Bastin Programmation dynamique

Une cons´equence importante est qu’une fonction g :R→Rest K-convexe, pourK ≥0, si

K +g(y+b2)−g(y)

b₂ ≥ g(y)−g(y−b1)

b₁ ∀y,∀b₁ >0,∀b₂ >0.

Lemme 4.2.1(page 167).

(a)Sig est convexe, alors g est K-convexe pour toutK ≥0.

(b)Si g₁ est K-convexe etg₂ L-convexe, alors αg1+βg2 est (αK +βL)-convexe.

(c)Sig est K-convexe etW une v.a. al´eatoire, alors

h(y) =E[|g(y−W)|] estK-convexe sih(y)<∞ pour touty. (d)Si g est continue et K-convexe et si limy→±∞g(y) =∞, alors

il existe deux constantes s ≤S telles que:

(i) g(y)≥g(S) pour tout y;

(ii)g(y)>g(s) =g(S) +K pour y <s; (iii) g(y) est d´ecroissante poury <s;

(iv) g(y)≤g(z) +K si s ≤y ≤z.

X

0 1 s 2 3S 4 5

0 1 2 3 4

G(S) K +G(S)

Proposition. Pour chaquek <N,G_k et J_k sont des fonctions continues etK-convexes telles queG_k(y)→ ∞ etJ_k(y)→ ∞ lorsquey → ±∞. Lapolitique optimaleest une politique de type (s,S) non stationnaire, d´efinie par

µ^∗_k(xk) =

(S_k −x_k si x_k <s_k; 0 si xk ≥sk;

o`u S_k est la valeur de y qui minimise G_k(y) et s_k est la plus petite valeur dey telle queGk(y) =K +Gk(Sk).

Int´erˆet du r´esultat: simplifie beaucoup les calculs!

Preuve du lemme. (a), (b), (c)d´ecoulent directement de la d´efinition. Prouvons(d).

(i): Puisque g(y)→ ∞ lorsque|y| → ∞,g poss`ede un miminum.

SoitS un endroit o`u il est atteint.

(ii): Soits ≤S le plus petity tel queg(y) =g(S) +K. Poury <s, on a par laK-convexit´e

K +g(S)−g(s)

S−s ≥ g(s)−g(y) s−y .

PuisqueK +g(S)−g(s) = 0, cela donneg(y)≥g(s) =K+g(S).

Mais par d´efinition des, on ag(y)>g(S) +K =g(s).

(iii)Pour y₁<y₂ <s, on a de (i) et laK-convexit´e 0> K +g(S)−g(y₂)

S−y2

≥ g(y₂)−g(y₁) y2−y1

et doncg(y₁)>g(y₂).

(iv)On veut montrer que K +g(z)≥g(y) sis ≤y ≤z.

Siy =s ouy =z, facile `a v´erifier.

Siy >S, alors par la K-convexit´e, K +g(z)−g(y)

z−y ≥ g(y)−g(S) y−S ≥0.

Sis <y <S, alors g(s)−g(y)

S−y = K +g(S)−g(y)

S −y ≥ g(y)−g(s) y−s qui implique

(g(s)−g(y))(y−s)≥(g(y)−g(s))(S−y) et donc

(g(s)−g(y))(S−s)≥0.

Ainsi

K +g(z)≥K +g(S) =g(s)≥g(y).

Plan de preuve de la proposition. Par induction surk, comme d’habitude.

Pourk =N−1,GN−1 est convexe, et donc K-convexe. On a JN−1(x) = min

GN−1(x),min

y≥x(K +GN−1(y))

−cx

=

(K +GN−1(SN−1)−cx si x <sN−1, GN−1(x)−cx si x ≥sN−1. La politiqueµ^∗_N−1 qui fait atteindre le min a la forme voulue.

Pour montrer queJN−1 est K-convexe, on consid`ere 3 cas:

(1)y ≥sN−1, (2) y<y+b₂ ≤sN−1, et (3)y<sN−1<y+b₂. Dans chaque cas, on montre que la d´efinition de K-convexit´e tient.

On montre facilement queGN−1 est continue, carr l’est, et d`es lors JN−1 est continue. GN−1(y)→ ∞et JN−1(y)→ ∞ lorsque

y→ ±∞ de la mˆeme fa¸con que pour le cas o`u K = 0. On a donc le r´esultat pour k =N−1.

On montre ensuite que si on suppose le r´esultat vrai pourk+ 1, cela implique qu’il tient aussi pourk.

Un mod` ele de gestion de portefeuille.

x₀ =capital initial `a investir;

x_k =capitalde l’investisseur au d´ebut de la p´eriode k;

n types d’actifs risqu´es et un type d’actif sans risque;

s_k = taux de rendement sans risque pour la p´eriode k;

e_k = (e_k,1, . . . ,e_k,n) = taux derendement desn actifs risqu´es pour la p´eriode k. Ce sont des vecteurs al´eatoires ind´ependants, dont la loi est telle que les esp´erances que nous allons consid´erer sont finies;

u_k = (u_k,1, . . . ,u_k,n) = montants investisdans les diff´erents actifs risqu´es `a la p´eriode k;

Le capital ´evolue selon:

x_k+1 =

n

X

i=1

e_k,iu_k,i +s_k(x_k −u_k,1− · · · −u_k,n)

= s_kx_k +

n

X

i=1

(e_k,i −s_k)u_k,i.

L’investisseur a unefonction d’utilit´e U, et veut maximiser E[U(x_N)], l’esp´erance de l’utilit´e de son capital final.

Hypoth`eses: On suppose que U est concaveet appartient `a C², i.e.

est deux fois continˆument diff´erentiable. continue, que E[U(x_N)]<∞, et queU satisfait:

−U⁰(x)/U⁰⁰(x) =a+bx.

Parexemple, les fonctions suivantes satisfont ces conditions:

U(x) = 1−e^−x/a, U(x) = ln(x+a).

Les´equations de la PD:

J_N(x_N) = U(x_N), J_k(x_k) = max

π E[U(x_N)|x_k]

= max

uk,1,...,uk,nE

"

J_k+1 s_kx_k +

n

X

i=1

(e_k,i −s_k)u_k,i

!#

.(3)

Proposition. Pour 0≤k <N, on a

µ^∗_k(xk)=

a

sN−1· · ·s_k+1 +bskxk

αk

o`u α_k = (α_k,1, . . . , α_k,n) d´epend de la loi de probabilit´e de e_k mais pas dexk. (On peut d´eterminer αk via (3).) De plus, Jk satisfait

−J_k⁰(x)

J_k⁰⁰(x) = a

sN−1· · ·s_k +bx.

Preuve. (Pas compl`etement rigoureuse, comme dans DPOC.) On suppose que la politique optimale existe et est diff´erentiable en xk (vrai si U et les lois des ek sont suffisamment r´eguli`eres).

Supposons qu’un portfolio optimal existe et est de la forme µ^∗_k(x) =αk(x)

a

sN−1· · ·s_k+1 +bskx

,

o`u les α_k(x) = (α_k,1(x), . . . , α_k,n(x)) sont des vecteurs de fonctions diff´erentiables.

En particulier,

µ^∗_N−1(x) =αN−1(x)(a+bsN−1x).

On va montrer quedα_k,i(x)/dx = 0, ce qui impliquera queα_k,i(x) est constante enx.

La preuve se fait par induction arri`ere sur k.

Prenonsk =N−1,xN−1 =x etsN−1 =s. Puisqueµ^∗_N−1(x) est le portefeuille optimal, on a 0 = dE[U(xN)]

duN−1,i

uN−1=µ^∗_N−1(x)

= d

duN−1,iE



U



sx+

n

X

j=1

(eN−1,j −s)uN−1,j









= E



(eN−1,i −s)U⁰



sx+

n

X

j=1

(eN−1,j −s)αN−1,j(x)(a+bsx)









en supposant que l’on peut ´echanger la d´eriv´ee et l’esp´erance (le th´eor`eme de convergence domin´ee de Lebesgue donne des conditions suffisantes pour cela).

En d´erivant la derni`ere ´equation par rapport `ax, et en supposant encore que l’on peut passer la d´eriv´ee `a l’int´erieur de E, on obtient

0 = E



(e_N−1,i−s)U⁰⁰(xN)



s+

n

X

j=1

(e_N−1,j−s)

α_N−1,j(x)bs

+dαN−1,j

dx (x)(a+bsx)

= E



U⁰⁰(xN)(a+bsx)

n

X

j=1

(eN−1,i−s)(eN−1,j−s)dα_N−1,j(x) dx



 (4)

+E



U⁰⁰(x_N)(e_N−1,i−s)s



1 +

n

X

j=1

(e_N−1,j−s)α_N−1,j(x)b







. (5)

Mais on sait que

−U⁰(xN)

U⁰⁰(xN) = a+bxN = a+b



sx+

n

X

j=1

(eN−1,j−s)αN−1,j(x)(a+bsx)





= (a+bsx)



1 +

n

X

j=1

(e_N−1,j−s)α_N−1,j(x)b



. (6)

Fabian Bastin Programmation dynamique

Si on isoleU⁰⁰(xN) dans cette expression et on remplace dans le second membre de (5), on obtient

−E[U⁰(xN)(eN−1,i−s)]s/(a+bsx), et on a vu plus haut que cette esp´erance vaut 0.

On obtient ainsi, pouri = 1, . . . ,n, E



(a+bsx)U⁰⁰(x_N)

n

X

j=1

(eN−1,i −s)(eN−1,j−s)dαN−1,j(x) dx



= 0.

ce syst`eme den´equations s’´ecrit sous forme matricielle:

(a+bsx)M∇_xα_N−1(x) = 0,

o`u ∇_xαN−1(x) est un vecteur dont l’´el´ementj est dαN−1,j(x)/dx, etM est une matricen×n dont l’´el´ement (i,j) est

E[U⁰⁰(xN)(eN−1,i−s)(eN−1,j −s)].

Si on suppose que Mest inversible (ce qui est vrai sauf dans les cas d´eg´en´er´es), on obtient quedαN−1,j(x)/dx = 0 pour tout j.

Montrons maintenant que

−J_N−1⁰ (x) J_N−1⁰⁰ (x) = a

s +bx. (7)

NotantJ(x) =JN−1(x) =E[U(xN)], On a J(x) =E



U







1 +

n

X

j=1

(e_N−1,j−s)α_N−1,jb



sx+

n

X

j=1

(e_N−1,j−s)α_N−1,ja







.

On d´erive 2 fois par rapport `a x pour obtenir J⁰(x) etJ⁰⁰(x):

J⁰(x) = E



U⁰(xN)



1 +

n

X

j=1

(eN−1,j −s)αN−1,jb



s





J⁰⁰(x) = E



U⁰⁰(xN)



1 +

n

X

j=1

(eN−1,j −s)αN−1,jb





2

s²



.

Puis, si on exprimeU⁰⁰(x) en fonction deU⁰(x) via (6) et si on remplace dansJ⁰⁰(x), puis on divise l’expression de J⁰(x) par cette expression deJ⁰⁰(x), on obtient (7).

Induction: on suppose le r´esultat vrai pourk+ 1, et on montre que cela implique qu’il est vrai pourk. Les d´etails sont semblables au

cask =N−1.

Remarque: La politique optimale `a l’´etapek est la mˆeme que si c’´etait la derni`ere ´etape et que la fonction d’utilit´e ´etait J_k+1. Cette fonctionJ_k+1 a exactement la mˆeme forme que la fonction d’utilit´e, avecaremplac´e para par a/(sN−1· · ·s_k) dans l’expression qui la d´efinit. La politique optimale aura donc la mˆeme forme que si on

´etait `a la derni`ere ´etape, aveca remplac´e par a/(sN−1· · ·sk).

Sia= 0, ou sisk = 1 pour tout k, alors la politique optimale est la mˆeme `a toutes les ´etapes, et ne tient compte que de l’´etape

courante. On agit toujours comme si on ´etait `a l’´etape N−1. Cela s’appelle une politiquemyope.

Sia6= 0, cela ´equivaut `a dire que sous les hypoth`eses de ce mod`ele, on peut optimiser `a l’´etapek en faisant l’hypoth`ese qu’`a partir de la prochaine ´etape tout notre argent sera investi sans risque. En effet,

`a la derni`ere ´etape, aucune d´ecision d’investissement dans des actifs risqu´es n’´etait prise.

Cela revient `a maximiser, par rapport `au_k = (u_k,1, . . . ,u_k,n),

E

"

U s_k+1· · ·sN−1 s_kx_k+

n

X

i=1

(e_k,i−s_k)u_k,i

!!#

.

Il s’agit d’une politiquepartiellement myope.

Sis_k >1 etk → −∞, on retrouve une strat´egie myope.

Temps d’arrˆ et optimal

Supposons qu’`a chaque ´etape k, on doit d´ecider si on arrˆete le syst`eme (et on encaisse un revenu ou un coˆut) ou si on continue.

L’espace d’´etatsX_k peut ˆetre partitionn´e en deux: les ´etats o`u il est optimal de s’arrˆeter et ceux o`u il est optimal de continuer.

Exemple: vente d’un actif.

Durant chaque p´eriodek, 0≤k ≤N−1, on re¸coit une offrew_k que l’on peut accepter `a la fin de la p´eriode (au tempsk+ 1) si aucune offre n’a encore ´et´e accept´ee.

On suppose que lesw_k sont des v.a. ind´ependantes, et ind´ependantes de nos d´ecisions (pas n´ecessairement i.i.d.).

On poseu_k = 1 sion vend`a l’´etape k,u_k = 0 sinon.

L’´etatdu syst`eme `a l’´etape k+ 1 sera x_k+1 =

(wk si u0 =· · ·=uk = 0;

∆ sinon;

o`u ∆est l’´etat dans lequel on a d´ej`a vendu.

On posex₀ =u₀ = 0.

Lesd´ecisions admissiblespourk ≥1 sont u_k = 0 six_k = ∆, u_N = 1 six_N 6= ∆, etu_k ∈ {0,1}sinon.

Siu_k = 1, on re¸coitx_k =wk−1 au tempsk, que l’on place au taux d’int´erˆetr pour les N−k p´eriodes restantes. Lerevenu`a l’´etapek, actualis´e au temps N, est donc

gk(xk,uk,wk) =

((1 +r)^N−kx_k siu_k = 1;

0 sinon.

SoitJ_k(x_k)le revenu esp´er´e optimal`a partir du temps k jusqu’`a la fin, actualis´e au temps N, si on est dans l’´etatxk. On obtient:

J_k(x_k) =







0 si x_k = ∆;

x_N si k =N etx_N 6= ∆;

max((1 +r)^N−kxk,E[Jk+1(wk)]) si k <N etxk 6= ∆.

Lad´ecision optimale, lorsqu’on a encore le choix, est de vendre (accepter l’offrexk =wk−1) si et seulement si

x_k ≥α_k ^def= E[J_k+1(w_k)]

(1 +r)^N−k .

Lapolitique optimaleest d´etermin´ee par ces seuils α1, . . . , αN−1.

On poseαN = 0. Pour xk 6= ∆, le revenu total esp´er´e actualis´e au tempsk est

Vk(xk) = Jk(xk)/(1 +r)^N−k

=

(x_N sik =N;

max(x_k,E[V_k+1(w_k)]/(1 +r)) si k <N

= max(x_k, α_k).

On a

α_k = E[J_k+1(w_k)]/(1 +r)^N−k =E[V_k+1(w_k)]/(1 +r);

(1 +r)α_k = E[V_k+1(x_k+1)]

= E[max(x_k+1, α_k+1)]

= E[max(wk, αk+1)]

= E[wkI[wk > αk+1]] +E[αk+1I[wk ≤αk+1]]

= E[w_kI[w_k > α_k+1]] +α_k+1P[w_k ≤α_k+1], (8) ce qui nous permet de calculer lesα_k par r´ecurrence.

On aα_N = 0, αN−1 =E[wN−1]/(1 +r), etc.

Peut-on caract´eriser davantage cette politique? Intuitivement, moins il reste de temps, moins on devrait ˆetre exigeant, car il nous reste moins d’opportunit´es; doncα_k devrait diminuer avec k. Proposition. Si lesw_k sont i.i.d., alors α_k ≥α_k+1 pour toutk.

0 1 2 N - 1 N k

ACCEPT

REJECT a₁

a_{N - 1} a₂

Proposition. Si lesw_k sont i.i.d., alors α_k ≥α_k+1 pour toutk. Preuve. On note par w une v.a. qui a la mˆeme loi que lesw_k. Il suffit de montrer queV_k(x)≥V_k+1(x) pourx ≥0 et 1≤k≤N−1.

Cela se fait ais´ement parinduction surk. Pourk =N−1, on a VN−1(x)≥x =V_N(x).

Si on suppose queV_k+1(x)≥V_k+2(x) pour toutx, alors V_k(x) = max(x,E[V_k+1(w)]/(1 +r))

≥ max(x,E[V_k+2(w)]/(1 +r))

= V_k+1(x).

Que se passe-t-il lorsqueN → ∞?

Ou de fa¸con ´equivalente, lorsquek → −∞?

Si on peut borner la suite desα_k, cela montrera que cette suite converge lorsquek → −∞. Par (8),

(1 +r)α_k ≤ E[w] +α_k+1. D’o`u l’on tire

α_k ≤ E[w] +α_k+1 1 +r

≤ E[w]

1 +r +E[w] +α_k+2 (1 +r)²

≤ · · ·

≤ E[w]

∞

X

i=1

1 (1 +r)ⁱ

= E[w]1 +r

r < ∞.

en supposantr >0.

Ainsi, lorsquek → −∞,αk →α¯ pour une constante ¯α qui satisfait (1 +r) ¯α = E[max(w,α)]¯

= E[wI[w >α]] + ¯¯ αP[w ≤α].¯

Lorsque l’horizon tend vers l’infini, la politique optimale est une politique stationnaire d´etermin´ee par le seuil ¯α.

Dans ce mod`ele, r >0 fait qu’il devient plus attrayant de vendre plus tˆot, `a prix ´egal. Et si on avaitr = 0 pour le mod`ele sur horizon infini? Dans ce cas, `a moins que l’on atteigne la valeur maximale quew peut prendre (ce qui est impossible pour plusieurs lois de prob.), on attendra toujours ind´efiniment...

Achat avant une date limite.

Au lieu de vendre un actif, on veut (ou on doit) l’acheter au plus tard au d´ebut de la p´eriode N. L’´etatx_k `a l’´etape k est ∆si on a d´ej`a achet´e, et x_k =wk−1 si on n’a pas encore achet´e, o`u wk−1 est leprix du march´epour le produit dont on a besoin, au d´ebut de la p´eriode k.

Icion minimiseau lieu de maximiser.

Lecoˆut esp´er´e total optimal`a partir du tempsk, actualis´e au temps k, si on est dans l’´etat x_k 6= ∆, est

V_k(x_k) =

(xN si k =N;

min(x_k,E[V_k+1(w_k)]/(1 +r)) si k <N

= min(x_k, α_k)

o`u αN =∞,αN−1 =E[wN−1]/(1 +r), etc.

On a

(1 +r)α_k = E[V_k+1(w_k)] (9)

= E[min(w_k, α_k+1)]

= E[wkI[wk ≤αk+1]] +αk+1P[wk > αk+1], (10) ce qui nous permet de calculer lesα_k par r´ecurrence.

Lapolitique optimaleest ainsi d´etermin´ee par desseuils αk comme pour le probl`eme du vendeur: onach`ete si et seulement six_k ≤α_k. On peut montrer, de la mˆeme fa¸con:

Proposition. Si lesw_k sont i.i.d., alors α_k ≤α_k+1 pour toutk.

Prix corr´el´es.

On peut g´en´eraliser le mod`ele au cas o`u les w_k sont d´ependants.

Supposons, par exemple, quex₀= 0 et

x_k+1 =w_k =λx_k +ξ_k, 0≤k ≤N−1,

o`u λ∈[0,1) est une constante et lesξk sont des v.a. i.i.d. `a valeur dans [0,∞), avecξ¯=E[ξ_k]>0. Pour simplifier, supposons que r= 0. On a alors, pour le probl`eme de l’acheteur,

J_k(x_k)=

(xN si k =N et xN 6= ∆;

min(x_k,E[J_k+1(λx_k+ξ_k)]) si k <N et x_k 6= ∆.

Proposition. Pour k ≤N−1,J_k(x) est croissante et concave enx et on aJ_k(x)≤J_k+1(x) pour toutx. La d´ecision optimale `a l’´etape k est d’acheter si x<sub>k</sub> ≤α<sub>k</sub> et d’attendre sinon, o`u α_k est l’unique valeur positive qui satisfait

α_k =E[J_k+1(λα_k +ξ_k)].

De plus, on aα_k ≤α_k+1. Preuve. Par induction sur k.

Pourk =N−1, on a

JN−1(x) = min(x, λx+ ¯ξ)≤x=J_N(x)

et le r´esultat tient avecαN−1=λαN−1+ ¯ξ, i.e.,αN−1= ¯ξ/(1−λ).

Supposons que le r´esultat tient pour k+ 1 et montrons qu’il tient alors aussi pourk. On a

J_k(x) = min(x,E[J_k+1(λx+ξ_k)])

= min(x,E[J_k+1(λx+ξ_k+1)])

≤ min(x,E[J_k+2(λx+ξ_k+1)]) =J_k+1(x) etJ_k(x) est croissante et concave en x car J_k+1(x) l’est.

Par ailleurs, pourx= 0, E[J_k+1(ξ_k)]>0, ce qui implique que Jk(x) =x pour x proche de 0. De plus,

Jk(x) =ϕ(x)^def= E[Jk+1(λx+ξk)] pour x≥αk+1, car

αk+1 =E[Jk+2(λαk+1+ξk+1)]≥E[Jk+1(λαk+1+ξk)].

PuisqueJ_k(x) est concave, cela implique aussi queϕ⁰(α_k+1)<1 et que la fonctionϕ(x) doit avoir une pente strictement<1 lorsqu’elle croisef(x) =x. La valeur dex o`u le croisement se produit est donc unique et doit se trouver dans l’intervalle (0, α<sub>k+1</sub>). C’estx =α<sub>k</sub>. Cela compl`ete la preuve.

Option de type am´ ericaine pour une action dont le prix suit une marche al´ eatoire.

(Ross, ”Introduction to Stochastic Dynamic Programming”, 1983, Section 1.3.)

On suppose que leprix de l’actionde la firme ABC est xk au jourk, et ´evolue selon une marche al´eatoire:

x_k+1=x_k+w_k =x₀+

k

X

i=0

w_i

o`u les w_i sont des v.a. i.i.d. de moyenne µ.

On a uneoption d’achat pour une action au prix fixeK. On peut l’exercer `a l’un des N premiers jours.

Si on l’exerce au jourk, notre profit est max(0,x_k−K).

On veut maximiser notre profit esp´er´e.

SoitJ_k(x_k)le profit esp´er´e optimal si le prix estx_k au jour k et que l’on n’a pas encore exerc´e l’option. On a

J_k(x_k) =

(max(0,x_N−K) si k =N;

max(x_k −K,E[J_k+1(x_k +w_k)]) si k <N.

Proposition. J_k(x) est continue et croissante enx et d´ecroissante enk, tandis queJ_k(x)−x est d´ecroissante en x.

Lapolitique optimaleconsiste `a exercer l’option au jourk si et seulement six<sub>k</sub> ≥α<sub>k</sub>, o`u α_k est la plus petite valeur qui satisfait J_k(α_k) =α_k−K. De plus,α_k+1 ≤α_k pourk <N.

Preuve. On montre la premi`ere partie par induction sur k.

JN(x) = max(0,x−K) est continue et croissante enx, et J_N(x)−x= max(−x,−K) est d´ecroissante en x.

De plus,

JN−1(x) = max(x−K,E[JN(x+wN−1)])

≥ max(x−K,0,E[x+wN−1−K]) ≥ JN(x).

Si on suppose queJ_k+1 a les propri´et´es d´esir´ees, pourk <N, J_k(x) = max(x−K,E[J_k+1(x+w_k)])

est continue et croissante enx carJ_k+1 l’est,

J_k(x)≥max(x−K,E[J_k+2(x+w_k)]) =J_k+1(x), et

J_k(x)−x = max(−K,E[J_k+1(x+w_k)−(x+w_k)] +E[w_k]) est d´ecroissante en x grˆace `a l’hypoth`ese surJ .