Une variable aléatoire X suivant une loi de Poisson est une variable aléatoire qui sert à compter le nombre d’apparitions d’un phénomène aléatoire durant un intervalle de temps de longueurt. Il pourrait s’ agit par exemple du nombre d’appels reçus par un téléphoniste. X a alors pour fonction de masse
PX(k) =P[X=k] = θtke−θt
k! , k= 0,1,2, . . . , oùθreprésente le taux moyen.
Exemple 53 (Téléphoniste). Un téléphoniste reçoit en moyenne 2 appels par minute ; quelle est la probabilité de recevoir moins de 5 appels en 4 minutes ? Nous avons
P[X <5] =
4
X
k=0
PX(k) =
4
X
k=0
8ke−8 k ≈0.1.
6.3.4 Loi exponentielle
Soit une variable aléatoireX représentant le temps d’attente entre deux apparitions du phénomène aléatoire en supposant que le nombre d’apparitions durant un intervalle t suit une loi de Poisson de paramètreθ. La fonction de répartition vérifie alors
1−FX(x) =P[X > x] =e−θx, x≥0.
Il s’agit de la loi exponentielle de fonction de densité:
fX(x) =
(θe−θx six >0,
0 sinon.
L’espérance mathématique est:
E[X] = 1 θ. C’est le taux moyen entre deux apparitions du phénomène aléatoire.
6.4 Modèles stochastiques
Un système stochastique est un système évoluant de manière probabiliste dans le temps. Les exemples sont nombreux, avec par exemple la température quotidienne ou un centre d’appels téléphoniques. Un modèle stochas-tique est une représentation mathémastochas-tique d’un système stochasstochas-tique. Nous verrons brièvement deux cas classiques de modèles stochastiques: les processus stochastiques et les files d’attente.
6.4.1 Processus stochastiques
Un processus stochastique est une suite de variables aléatoires évoluant dans le temps, que nous dénoterons {Xt},t∈T. En général,T est un ensemble discret:T ={0,1,2, . . .}. De plus, chaque variable aléatoire peut prendre une valeur parmiM+ 1 états:Xt∈ {0,1, . . . , M}.
Exemple 54(Précipitations quotidiennes).
Xt=
(1 s’il y a des précipitations, 0 s’il n’y a pas de précipitations.
6.4.2 Chaînes de Markov
Un processus stochastique est une chaîne de Markov s’il possède la propriété markovienne:
P[Xt+1=j|X0=k0, X1=k1, . . . , Xt−1=kt−1, Xt=i] =P[Xt+1=j|Xt=i].
Cette propriété signifie que la probabilité d’un événement futur, étant donné des événements passés et un état au temps présent, ne dépend pas du passé, mais uniquement de l’état actuel. La probabilité de transition entre les étatsietj est définie comme
pij=P[Xt+1=j|Xt=i].
Cette probabilité de transition est dite stationnaire si:
P[Xt+1=j|Xt=i] =P[X1=j|X0=i], t= 1,2, . . . Puisqu’il s’agit de probabilité, nous devons en outre avoir
pij ≥0, i, j∈ {0,1, . . . , M};
M
X
j=0
pij = 1≥0, i∈ {0,1, . . . , M}.
A partir des probabilités de transition, nous pouvons construire
– La matrice des transitions, ayant M + 1 rangées (les états présents) et M + 1 colonnes (les états futurs), chaque entrée(i, j)de la matrice correspondant àpij.
– Le graphe (ou diagramme) des transitions, ayantM+ 1 sommets et tel qu’il y a un arc entre les étatsi etj sipij>0.
Exemple 55 (Précipitations). Supposons que la probabilité qu’il n’y ait pas de précipitations à Montréal demain, étant donné:
– qu’il n’y en a pas aujourd’hui est 0.8 ; – qu’il y en a aujourd’hui : 0.6.
Ces probabilités ne changent pas, même si nous tenons compte de ce qui se passe avant aujourd’hui. La propriété markovienne est satisfaite:
P[Xt+1= 0|X0=k0, X1=k1, . . . , Xt−1=kt−1, Xt= 0] =P[Xt+1= 0|Xt= 0]
P[Xt+1= 0|X0=k0, X1=k1, . . . , Xt−1=kt−1, Xt= 1] =P[Xt+1= 0|Xt= 1]
Nous avons donc une chaîne de Markov dont les probabilités de transition sont:
p00=P[Xt+1= 0|Xt= 0] = 0.8, p10=P[Xt+1= 0|Xt= 1] = 0.6.
Grâce aux propriétés des probabilités de transition, nous pouvons déduire celles qui manquent : p01=P[Xt+1= 1|Xt= 0] = 1−0.8 = 0.2.
p11=P[Xt+1= 1|Xt= 1] = 1−0.6 = 0.4.
Ceci donne la matrice de transition:
[P] =
0.8 0.2 0.6 0.4
Le graphe de transition est quant à lui représenté sur la Figure 6.1.
Exemple 56 (Marché boursier). A la fin de chaque jour, nous enregistre le prix de l’action de Google au marché de WallStreet:
Xt=
(1 si le prix de l’action n’a pas augmenté à la fin du jourt;
0 si le prix de l’action a augmenté à la fin du jour t.
6.5. NOTES 83
0 1
0.2 0.8 0.6 0.4
Figure
6.1 – Graphe de transition
Nous supposons de plus que la probabilité que le prix augmente demain étant donné qu’il a augmenté aujourd’hui est de 0.7, et qu’il n’a pas augmenté aujourd’hui, 0.5. Nous avons une chaîne de Markov avec comme matrice de transition:
Supposons maintenant que la probabilité que le prix de l’action augmente demain dépend non seulement de ce qui est arrivé aujourd’hui, mais également de ce qui est arrivé hier. Le processus stochastique défini précédemment n’est alors plus une chaîne de Markov. Nous pouvons néanmoins nous en sortir en introduisant un état pour chaque combinaison d’états possibles sur deux jours consécutifs. Nous définissons alors le processus stochastique suivant, où l’indicet représente deux jours consécutifs:
Xt=
0 si le prix de l’action a augmenté hier et aujourd’hui;
3 si le prix de l’action n’a pas augmenté, ni hier, ni aujourd’hui;
2 si le prix de l’action a augmenté hier, mais pas aujourd’hui;
1 si le prix de l’action a augmenté aujourd’hui, mais pas hier.
Remarquons qu’il est impossible de passer de l’état 0 au temps t à l’état 1 au temps t+ 1, carXt= 0, si le prix augmente hier et aujourd’hui, etXt+1= 1, si le prix augmente demain, mais pas aujourd’hui. La probabilité que le prix de l’action augmente demain vaut
– s’il a augmenté hier et aujourd’hui: 0.9 ; – s’il a augmenté aujourd’hui, mais pas hier: 0.6 ; – s’il a augmenté hier, mais pas aujourd’hui: 0.5 ; – s’il n’a pas augmenté, ni hier, ni aujourd’hui: 0.3.
La matrice de transition est
P =
Ce chapitre se base essentiellement sur les notes de cours de Bernard Gendron, 2007.
Chapitre 7
Programmation dynamique
Supposons un probléme décomposé en étapes. Chaque étape posséde un certain nombre d’états correspondant aux conditions possibles au début d’une étape. A chaque étape, nous devons prendre une décision qui associe à l’état courant l’état au début de la prochaine étape. Dans le cas d’un probléme d’optimisation, la programmation dynamique identifie une politique optimale: une décision optimale à chaque étape pour chaque état possible.