Prise en compte de contraintes de faisabilit´e d’actions dans le cadre POMDP
5.3. AC-POMDP Les politiques AC-POMDP sont-elles s ˆ ures ?
Contrairement au cas des POMDP, les politiques AC-POMDP sont forc´ees d’ex´ecuter seulement des actions qui sont applicables dans l’´etat cach´e du syst`eme. ´Etant donn´e un historiqueht = (ω0 = (o0, θ0), ..., ωt = (ot, θt)) d’observations `a l’instant t, nous d´efinissons l’ensemble faisable de politiques comme :
Πht ={π∈ A∆:∀06i6t, π(bi((o0, θ0),· · ·,(oi, θi))∈θi} (5.2) o`u, bi((o0, θ0),· · · ,(oi, θi)) est l’´etat de croyance r´esultant de la politique π en recevant les observations ((o0, θ0),· · · ,(oi, θi)). Donc, r´esoudre un AC-POMDP consiste `a trouver une politique d´eterministe stationnaire π∗, telle que, pour toutb∈∆ etθ∈Θ0 :
π∗(b, θ)∈arg max
π∈Πh∞
E
"+∞
X
t=0
γtr(bt, π(bt)
b0=b,Θ0=θ
#
(5.3)
L’id´ee de d´ecoupler les diff´erentes informations sp´ecifiques `a la planification et au contrˆole d’ex´ecution afin de garantir la sˆuret´e d’ex´ecution des actions n’est pas nouvelle dans le domaine robotique. Par exemple, dans [Ingrand et al., 2007], une approche similaire est utilis´ee au travers de fonctionnalit´es sp´ecifiques et d´ecoupl´ees de la planification, comme dans le cas particulier du contrˆole d’ex´ecution. Plus pr´ecis´ement, un composant sp´ecifique de l’architecture robotique peut ˆetre en charge du suivi de l’´etat et peut inhiber la r´ealisation d’une action ind´esirable en la remplacent par une action na¨ıve, qui n’appartient pas forc´ement au mod`ele. Ceci, dans certains cas, arrˆete l’ex´ecution de la politique et conduit le superviseur
`
a lancer une phase de replanification. Le but est d’´eviter des dommages que pourrait subir le robot. G´en´eralement, l’ex´ecution de la politique doit ˆetre contrˆol´ee pour garantir que le plan sera r´ealis´e en toute s´ecurit´e. Pour cela, les syst`emes autonomes sont g´en´eralement munis d’un composant responsable du contrˆole d’ex´ecution qui v´erifie l’applicabilit´e des actions ainsi que l’´evolution physique de l’engin. L’approche AC-POMDP vise ainsi `a optimiser la politique de mani`ere `a tenir compte de ces contraintes en ´evitant des replanifications.
Dans la suite nous d´efinirons la mise `a jour de l’´etat de croyance dans le cadre du mod`ele AC-POMDP.
5.3.1 Mise `a jour de l’ ´etat de croyance
Comme pour les POMDP, nous devrons calculer le nouvel ´etat de croyance de l’agent, que nous noterons bo,θa , apr`es l’ex´ecution de a dans l’´etat de croyance b et l’observation de (o, θ).
Th´eor`eme 5.3.1 Soit b l’´etat de croyance `a un instant t donn´e, a l’action appliqu´ee par l’agent `a cet instant, et (o, θ) les observations imm´ediatement re¸cues. L’´etat de croyance suivant, pour tout ´etat s0 suivant possible, est :
b(o,θ)a (s0) = I(θ, s0)boa(s0) P
s00∈SI(θ, s00)boa(s00) (5.4) avec :
boa(s0) = p(o|s0)P
s∈Sp(s0|s, a)b(s) P
s0∈Sp(o|s0)P
s∈Sp(s0|s, a)b(s) (5.5)
Preuve. Quel que soit l’´etat suivant possible s0 et l’actiona, nous avons : b(o,θ)a (s0) =P r(st+1=s0|ot+1=o, θt+1=θ, bt=b, at=a)
=P r(st+1=s0, ot+1=o, θt+1=θ|bt=b, at=a) P r(ot+1=o, θt+1 =θ|bt=b, at=a)
= P r(θt+1=θ|st+1 =s0, bt=b, at=a)P r(ot+1=o|st+1=s0, bt=b, at=a)P r(st+1=s0|bt=b, at=a) P
s00∈SP r(θt+1=θ|st+1=s00, bt=b, at=a)P r(ot+1=o|st+1=s00, bt=b, at=a)P r(st+1=s00|bt=b, at=a) (5.6)
La derni`ere factorisation r´ealis´ee au d´enominateur vient du fait que les observations ot+1
etθt+1 sont ind´ependantes sachant l’´etat s0 et l’action a. Ainsi, en utilisant cette propri´et´e dans le d´enominateur nous pouvons ´ecrire :
P r(ot+1 =o, θt+1 =θ|bt=b, at=a) comme le produit :
X
s00∈S
P r(θt+1=θ|st+1=s00, bt=b, at=a)P r(ot+1=o|st+1=s00, bt=b, at=a)P r(st+1=s00|bt=b, at=a)
Pour la suite, nous multiplions le num´erateur et le d´enominateur par le facteur P r(o 1
t+1=o|bt=b,at=a), en faisant l’hypoth`ese classique (comme dans les POMDP) que le d´enominateur de ce facteur
est diff´erent de z´ero. On retrouve donc : b(o,θ)a (s0) =
P r(θt+1=θ|st+1=s0, bt=b, at=a)P r(ot+1=o|st+1=sP r(o0,bt=b,at=a)P r(st+1=s0|bt=b,at=a)
t+1=o|bt=b,at=a)
P
s00∈SP r(θt+1=θ|st+1=s0, bt=b, at=a)P r(ot+1=o|st+1=sP r(o00,bt=b,at=a)P r(st+1=s00|bt=b,at=a)
t+1=o|bt=b,at=a)
(5.7) Ainsi, on fait apparaitreboa(s0) dans le num´erateur et dans le d´enominateur. De plus, on sait queP r(θt+1=θ|st+1=s00, bt=b, at=a) =I(θ, s00), puisque la probabilit´e d’observerθ en
´etant ens00 correspond `a la relation de faisabilit´e I(θ, s00). On retrouve donc : bo,θa (s0) = P r(θt+1=θ|st+1 =s0)boa(s0)
P
s00∈SP r(θt+1=θ|st+1=s00)boa(s00)
= I(θ, s0)boa(s0) P
s00∈SI(θ, s00)boa(s00) (5.8) Finalement, on a bien l’expression finale deb(o,θ)a (s0).
L’´equation 5.4 du th´eor`eme 5.3.1 montre que l’´etat de croyance d’un AC-POMDP se comporte comme si l’agent recevait les observations o puis θ, et mettait `a jour son ´etat de croyance entre les deux observations avec boa(s0). Autrement dit, la mise `a jour de l’´etat de croyance est ´equivalente `a observer l’environnement, comme dans le POMDP, `a mettre `a jour l’´etat de croyance, `a ensuite observerθ(ensemble d’actions r´ealisables), `a encore mettre
`
a jour l’´etat de croyance pour finalement appliquer la prochaine action.
Sur la figure 5.4, nous pr´esentons un sch´ema avec les ´evolutions probables de l’´etat de croyance b suite aux actions ex´ecut´ees et aux observations o et θ re¸cues. Les rectangles oranges indiquent les ´etats de croyance interm´ediaires.
Une autre propri´et´e qui d´ecoule de l’´equation 5.4 est que, `a tout instant t, tous les
´etatss0 pour lesquels l’´etat de croyance courant est non nul ont le mˆeme ensemble d’actions r´ealisables. Cette propri´et´e montre qu’ex´ecuter des politiques dans le mod`ele AC-POMDP est coh´erent avec le cadre propos´e, c’est-`a-dire qu’`a aucun moment la politique optimis´ee n’ex´ecutera d’actions infaisables dans les ´etats cach´es du syst`eme.
Formellement, nous d´efinissons l’ensemble d’´etats supports d’un ´etat de croyance par : σ(b(o,θ)a ) ={s0∈ S :b(o,θ)a (s0)>0}, ce qui sera utilis´e dans le th´eor`eme suivant.
5.3. AC-POMDP
t t+ 1
b
boa11
boa21
a1
o1
o2
boa12
boa22
a2
o1
o2
b(oa11,θ1)
b(oa11,θ2)
θ1
θ2
b(oa21,θ1)
b(oa21,θ2)
θ1
θ2
Figure 5.4 – Sch´ema de l’´evolution stochastique de l’´etat de croyance.
Th´eor`eme 5.3.2 Soitb(o,θ)a un ´etat de croyance pour un instanttdonn´e. Quelles que soient deux ´etats s01 et s02 dans σ(b(o,θ)a ), nous avons : As0
1 =As0
2.
Preuve. (D´emonstration par l’absurde). Soiental’action ex´ecut´ee `a un instantt quel-conque,oetθles observations re¸cues `a l’instant suivantt+ 1, ets01 ets02 deux ´etats suivants possibles, tels ques01, s02∈σ(b(o,θ)a ).
Supposons que As0
1 6= As0
2, donc par d´efinition I(θ, s01) 6= I(θ, s02) . Si I(θ, s01) = 1 alors I(θ, s02) = 0 , et par l’´equation 5.4 on voit que b(o,θ)a (s02) = 0. Ce qui contredit le fait que s01, s02∈σ(b(o,θ)a ). Donc, pour ques01, s02∈σ(b(o,θ)a ), on a n´ecessairementAs0
1 =As0
2.
La cons´equence de ce th´eor`eme est tr`es importante `a l’ex´ecution de la politique, ainsi que durant son optimisation : puisque tous les ´etats support de l’´etat de croyancebont le mˆeme ensemble d’actions r´ealisables, nous pouvons ainsi d´eduire l’ensemble d’actions r´ealisables de b, not´e Ab, sans aucune ambigu¨ıt´e par :
Ab:=As,∀s∈σ(b).
De cette fa¸con, les politiques AC-POMDP d´efinies dans l’´equation 5.3 peuvent ˆetre fonc-tion deb, avec un abus de notation, tel que :π(b) =π(b,Ab). Ceci signifie que les politiques AC-POMDP et les politiques POMDP sont d´efinies sur le mˆeme espace, ce qui nous per-met de comparer les politiques optimales des AC-POMDP avec les politiques optimales des POMDP ´equivalents. La transformation vers un POMDP ´equivalent sera pr´esent´ee dans la section 5.4.
Dans la suite nous allons formaliser l’´equation d’optimalit´e des AC-POMDP, afin de pouvoir extraire de cette ´equation des moyens de r´esolution efficaces par programmation dynamique.
5.3.2 Equation d’optimalit ´e pour le mod `ele AC-POMDP´
Nous cherchons maintenant `a d´efinir l’´equation d’optimalit´e des AC-POMDP. Notons que les politiques des AC-POMDP peuvent ˆetre optimis´ees sur des ensembles sp´ecifiques d’actions (Ab :=As,∀s∈σ(b)). De cette fa¸con l’op´erateurmax sera utilis´e pour un nombre (g´en´eralement) r´eduit d’actions, c’est-`a-dire Ab ⊂ A, contrairement `a l’approche classique des POMDP o`u toutes les actions du mod`ele doivent ˆetre ´evalu´ees. Ce th´eor`eme peut sembler
´evident `a premi`ere vue, mais il repose sur le fait primordial que l’ensemble d’actions faisables peut ˆetre extrait d’un ´etat de croyance donn´e sans ambigu¨ıt´e.
Th´eor`eme 5.3.3 L’´equation d’optimalit´e d’un AC-POMDP est telle que :
V∗(b) = max
a∈Ab
r(b, a) +γX
o∈O θ∈Θ
p(o, θ|a, b)V∗ b(o,θ)a
(5.9)
avec b(o,θ)a donn´e par l’´equation 5.4, et :
p(o, θ|a, b) = X
s0∈S
I(θ, s0)O(o, a, s0)X
s∈S
T(s, a, s0)b(s) (5.10) Preuve. Suivant le th´eor`eme 5.3.2, l’ensemble d’actions r´ealisables observ´e avant le calcul de l’´etat de croyance b, c’est-`a-dire, θt−1, peut ˆetre d´eduit de b sans aucune ambigu¨ıt´e : θt−1 =Ab =As, quel que soit s∈σ(b). Cette d´eduction est n´ecessaire pour l’optimisation, puisque au moment de l’optimisation on ne connait pas `a l’avance quel sera le θ observ´e.
De plus, nous savons que les politiques optimales sont forc´ees d’appliquer uniquement des actions faisables : suivant l’´equation 5.3, les actions gloutonnes candidates pour maximiser la fonction de valeur doivent ˆetre choisies parmi Ab. Donc l’´equation 5.9 peut ˆetre obtenue de la mˆeme fa¸con que pour les POMDP, en consid´erant (o, θ) comme une observation jointe.
Ainsi, l’´equation 5.10 peut ˆetre obtenue en faisant d´ependre θ et o de s0 et a, comme pour la mise `a jour de l’´etat de croyance, car ces deux observations sont ind´ependantes sachants0 eta:
p(o, θ|a, b) =P
s0∈SP r(θ|s0, a)P r(o|s0, a)P r(s0 |a, b)
=P
s0∈SI(θ, s0)O(o, a, s0)P
s∈ST(s, a, s0)b(s)
Ce th´eor`eme nous permet d’utiliser la programmation dynamique pour le calcul des politiques optimales pour les AC-POMDP. Contrairement `a l’artifice utilisant des p´enalit´es
“infinies”, aucune p´enalit´e artificielle et empirique n’est requise dans notre cas. L’op´erateur max op`ere aussi sur un nombre r´eduit d’actions.
Pour comparer les politiques calcul´ees pour les AC-POMDP avec un mod`ele POMDP classique et ´equivalent, nous avons besoin de d´efinir la transformation entre AC-POMDP et POMDP. Dans certains domaines l’information concernant la faisabilit´e d’une action est encod´ee de mani`ere indirecte dans l’espace d’observation ; par exemple, dans le domaine hallway, la configuration des murs fait partie du mod`ele d’observation. Ceci sugg`ere que le mod`ele POMDP contient le mod`ele AC-POMDP. La conclusion est que nous pouvons transformer n’importe quel AC-POMDP en un POMDP ´equivalent, avec des actions et des fonctions d’observation et de r´ecompense diff´erentes.