AC-POMDP

Formellement, un AC-POMDP (Action Constrained POMDP ) est d´efini par un n-uplet hS, (A_s)_s∈S, Ω, T, O, F, I, R, b0, Θ0i, o`u :

– S est l’ensemble des ´etats ;

– (A_s)_s∈S est l’ensemble des ensembles d’actions applicables pour chaque ´etat, avec A_s l’ensemble d’actions applicables pour un ´etat donn´e s ;

– Ω = O × Θ est l’ensemble d’observations, tel que Θ ⊆ 2^A; les observations dans O et dans Θ sont ind´ependantes sachant chaque paire ´etat-action ;

– T : S × A × S → [0, 1] est la fonction de transition, telle que : T (s, a, s⁰) = p(s_t+1= s⁰|s_t= s, a_t= a); – F : A × S → {0, 1} est la relation de faisabilit´e d’une action :

F(a, s) = 

1 si a ∈ As

0 autrement

– O : O × A × S → [0, 1] est la fonction d’observation, telle que : O(o, a, s⁰) = p(ot+1= o|st+1= s⁰, at= a);

– I : Θ × S → {0, 1} est la relation de faisabilit´e d’un ensemble d’actions : I(θ, s⁰) = p(θ_t+1= θ | s_t+1= s⁰) =



1 si θ = A_s0

0 autrement

– R : S × A → R est la fonction de r´ecompense r(s, a) associ´ee `a la paire ´etat-action ; – b0 est l’´etat de croyance initial ;

– Θ₀ est l’ensemble initial d’actions applicables, observ´e lors de l’ex´ecution avant l’ap-plication de la premi`ere action.

Il y a quatre diff´erences par rapport au mod`ele POMDP.

1. la relation de faisabilit´e d’une action dans un ´etat est explicitement d´ecrite ; 2. l’ensemble d’observations est un produit cart´esien ;

3. la fonction d’observation est d´efinie pour seulement la partie gauche du produit cart´esien ; 4. il y a une observation initiale qui renseigne sur l’ensemble d’actions r´ealisables, similaire

`

a une approche existante dans le domaine non-d´eterministe [Pralet et al., 2010b], qui est requise pour appliquer la premi`ere action de mani`ere sˆure.

Dans la figure 5.3 nous illustrons l’AC-POMDP comme un processus stochastique contrˆol´e. L’action at ex´ecut´ee `a l’instant t est forc´ee d’appartenir `a l’ensemble d’actions r´ealisables observ´ees θt. L’observation suivante θt+1 est ´egale `a l’ensemble d’actions r´ealisables Ast+1

applicable sur l’´etat cach´e s_t+1, qui est le r´esultat stochastique de l’application de a_tsur s_t.

st s_t+1 p(st+1|st, at)

ω_t

ot θt

ω_t+1

ot+1 θt+1 p^(o t+1 |s^t+1 ,a^t )

a

t r(st, at) a t∈ θ t θ^t+1 = A^s t+1

5.3. AC-POMDP

Les politiques AC-POMDP sont-elles s ˆures ?

Contrairement au cas des POMDP, les politiques AC-POMDP sont forc´ees d’ex´ecuter seulement des actions qui sont applicables dans l’´etat cach´e du syst`eme. ´Etant donn´e un historique ht = (ω0 = (o0, θ0), ..., ωt = (ot, θt)) d’observations `a l’instant t, nous d´efinissons l’ensemble faisable de politiques comme :

Π^ht = {π ∈ A^∆: ∀ 0 6 i 6 t, π(bi((o₀, θ₀), · · · , (o_i, θ_i)) ∈ θ_i} (5.2) o`u, b<sub>i</sub>((o<sub>0</sub>, θ<sub>0</sub>), · · · , (o<sub>i</sub>, θ<sub>i</sub>)) est l’´etat de croyance r´esultant de la politique π en recevant les observations ((o<sub>0</sub>, θ<sub>0</sub>), · · · , (o<sub>i</sub>, θ<sub>i</sub>)). Donc, r´esoudre un AC-POMDP consiste `a trouver une politique d´eterministe stationnaire π^∗, telle que, pour tout b ∈ ∆ et θ ∈ Θ0 :

π^∗(b, θ) ∈ arg max π∈Π^h∞ E "+∞ X t=0 γ^tr(b_t, π(b_t)      b₀= b, Θ₀= θ # (5.3)

L’id´ee de d´ecoupler les diff´erentes informations sp´ecifiques `a la planification et au contrˆole d’ex´ecution afin de garantir la sˆuret´e d’ex´ecution des actions n’est pas nouvelle dans le domaine robotique. Par exemple, dans [Ingrand et al., 2007], une approche similaire est utilis´ee au travers de fonctionnalit´es sp´ecifiques et d´ecoupl´ees de la planification, comme dans le cas particulier du contrˆole d’ex´ecution. Plus pr´ecis´ement, un composant sp´ecifique de l’architecture robotique peut ˆetre en charge du suivi de l’´etat et peut inhiber la r´ealisation d’une action ind´esirable en la remplacent par une action na¨ıve, qui n’appartient pas forc´ement au mod`ele. Ceci, dans certains cas, arrˆete l’ex´ecution de la politique et conduit le superviseur `

a lancer une phase de replanification. Le but est d’´eviter des dommages que pourrait subir le robot. G´en´eralement, l’ex´ecution de la politique doit ˆetre contrˆol´ee pour garantir que le plan sera r´ealis´e en toute s´ecurit´e. Pour cela, les syst`emes autonomes sont g´en´eralement munis d’un composant responsable du contrˆole d’ex´ecution qui v´erifie l’applicabilit´e des actions ainsi que l’´evolution physique de l’engin. L’approche AC-POMDP vise ainsi `a optimiser la politique de mani`ere `a tenir compte de ces contraintes en ´evitant des replanifications.

Dans la suite nous d´efinirons la mise `a jour de l’´etat de croyance dans le cadre du mod`ele AC-POMDP.

5.3.1 Mise `a jour de l’ ´etat de croyance

Comme pour les POMDP, nous devrons calculer le nouvel ´etat de croyance de l’agent, que nous noterons b^o,θa , apr`es l’ex´ecution de a dans l’´etat de croyance b et l’observation de (o, θ).

Th´eor`eme 5.3.1 Soit b l’´etat de croyance `a un instant t donn´e, a l’action appliqu´ee par l’agent `a cet instant, et (o, θ) les observations imm´ediatement re¸cues. L’´etat de croyance suivant, pour tout ´etat s⁰ suivant possible, est :

b^(o,θ)_a (s⁰) = ^{I(θ, s} 0)b^o_a(s⁰) P s00∈SI(θ, s⁰⁰)bo a(s00) ^(5.4) avec : b^o_a(s⁰) = ^{p(o | s} 0)P s∈Sp(s⁰| s, a)b(s) P s0∈Sp(o | s0)P s∈Sp(s0| s, a)b(s) ^(5.5)

Preuve. Quel que soit l’´etat suivant possible s⁰ et l’action a, nous avons : b^(o,θ)_a (s⁰) = P r(st+1= s⁰|ot+1= o, θt+1= θ, bt= b, at= a) =^{P r(st+1= s} 0, o_t+1= o, θ_t+1= θ|b_t= b, a_t= a) P r(ot+1= o, θt+1= θ|bt= b, at= a) = ^{P r(θt+1= θ|st+1= s}

0, bt= b, at= a)P r(ot+1= o|st+1= s⁰, bt= b, at= a)P r(st+1= s⁰|bt= b, at= a)

P

s00∈SP r(θt+1= θ|st+1= s00, bt= b, at= a)P r(ot+1= o|st+1= s00, bt= b, at= a)P r(st+1= s00|bt= b, at= a)

(5.6)

La derni`ere factorisation r´ealis´ee au d´enominateur vient du fait que les observations ot+1

et θ_t+1 sont ind´ependantes sachant l’´etat s⁰ et l’action a. Ainsi, en utilisant cette propri´et´e dans le d´enominateur nous pouvons ´ecrire :

P r(ot+1= o, θt+1= θ | bt= b, at= a) comme le produit :

X

s00∈S

P r(θ_t+1= θ|s_t+1= s⁰⁰, b_t= b, a_t= a)P r(o_t+1= o|s_t+1= s⁰⁰, b_t= b, a_t= a)P r(s_t+1= s⁰⁰|bt= b, a_t= a)

Pour la suite, nous multiplions le num´erateur et le d´enominateur par le facteur _{P r(o} ¹

t+1=o|bt=b,at=a), en faisant l’hypoth`ese classique (comme dans les POMDP) que le d´enominateur de ce facteur

est diff´erent de z´ero. On retrouve donc :

b^(o,θ)_a (s⁰) =

P r(θt+1= θ | st+1= s⁰, bt= b, at= a)^{P r(o}t+1=o|st+1=s⁰,bt=b,at=a)P r(st+1=s⁰|bt=b,at=a)

P r(o_t+1=o|b_t=b,a_t=a)

P

s00∈SP r(θ_t+1= θ | s_t+1= s0, b_t= b, a_t= a)^{P r(o}t+1=o|s_t+1=s00,b_t=b,a_t=a)P r(s_t+1=s00|bt=b,a_t=a)

P r(ot+1=o|bt=b,at=a)

(5.7)

Ainsi, on fait apparaitre b^o_a(s⁰) dans le num´erateur et dans le d´enominateur. De plus, on sait que P r(θ_t+1= θ | s_t+1= s⁰⁰, b_t= b, a_t= a) = I(θ, s⁰⁰), puisque la probabilit´e d’observer θ en ´etant en s⁰⁰ correspond `a la relation de faisabilit´e I(θ, s⁰⁰). On retrouve donc :

b^o,θ_a (s⁰) = ^{P r(θt+1= θ | st+1= s} 0)b^o_a(s⁰) P s00∈SP r(θ_t+1= θ | s_t+1= s00)bo a(s00) = ^{I(θ, s} 0)b^o_a(s⁰) P s00∈SI(θ, s⁰⁰)bo a(s⁰⁰) ^(5.8)

Finalement, on a bien l’expression finale de b^(o,θ)_a (s⁰).

L’´equation 5.4 du th´eor`eme 5.3.1 montre que l’´etat de croyance d’un AC-POMDP se comporte comme si l’agent recevait les observations o puis θ, et mettait `a jour son ´etat de croyance entre les deux observations avec b^o_a(s⁰). Autrement dit, la mise `a jour de l’´etat de croyance est ´equivalente `a observer l’environnement, comme dans le POMDP, `a mettre `a jour l’´etat de croyance, `a ensuite observer θ (ensemble d’actions r´ealisables), `a encore mettre `

a jour l’´etat de croyance pour finalement appliquer la prochaine action.

Sur la figure 5.4, nous pr´esentons un sch´ema avec les ´evolutions probables de l’´etat de croyance b suite aux actions ex´ecut´ees et aux observations o et θ re¸cues. Les rectangles oranges indiquent les ´etats de croyance interm´ediaires.

Une autre propri´et´e qui d´ecoule de l’´equation 5.4 est que, `a tout instant t, tous les ´etats s<sup>0</sup> pour lesquels l’´etat de croyance courant est non nul ont le mˆeme ensemble d’actions r´ealisables. Cette propri´et´e montre qu’ex´ecuter des politiques dans le mod`ele AC-POMDP est coh´erent avec le cadre propos´e, c’est-`a-dire qu’`a aucun moment la politique optimis´ee n’ex´ecutera d’actions infaisables dans les ´etats cach´es du syst`eme.

Formellement, nous d´efinissons l’ensemble d’´etats supports d’un ´etat de croyance par : σ(b^(o,θ)a ) = {s⁰∈ S : b^(o,θ)_a (s⁰) > 0}, ce qui sera utilis´e dans le th´eor`eme suivant.

5.3. AC-POMDP t t + 1 b b^o1 a₁ b^o2 a1 a1 o1 o2 b^o1 a2 b^o2 a₂ a2 o1 o2 b^(o1,θ₁) a₁ b^(o1,θ2) a₁ θ1 θ2 b^(o1,θ₁) a2 b^(o1,θ₂) a₂ θ1 θ2

Figure 5.4 – Sch´ema de l’´evolution stochastique de l’´etat de croyance.

Th´eor`eme 5.3.2 Soit b^(o,θ)a un ´etat de croyance pour un instant t donn´e. Quelles que soient deux ´etats s⁰₁ et s⁰₂ dans σ(b^(o,θ)a ), nous avons : A_s0

1 = A_s0 2.

Preuve. (D´emonstration par l’absurde). Soient a l’action ex´ecut´ee `a un instant t quel-conque, o et θ les observations re¸cues `a l’instant suivant t + 1, et s⁰₁ et s⁰₂ deux ´etats suivants possibles, tels que s⁰₁, s⁰₂∈ σ(b^(o,θ)_a ).

Supposons que A_s0

1 6= A_s0

2, donc par d´efinition I(θ, s⁰1) 6= I(θ, s⁰2) . Si I(θ, s⁰1) = 1 alors I(θ, s⁰₂) = 0 , et par l’´equation 5.4 on voit que b^(o,θ)a (s⁰₂) = 0. Ce qui contredit le fait que s⁰₁, s⁰₂∈ σ(b^(o,θ)_a ). Donc, pour que s₁⁰, s⁰₂∈ σ(b^(o,θ)_a ), on a n´ecessairement A_s0

1 = A_s0 2.

La cons´equence de ce th´eor`eme est tr`es importante `a l’ex´ecution de la politique, ainsi que durant son optimisation : puisque tous les ´etats support de l’´etat de croyance b ont le mˆeme ensemble d’actions r´ealisables, nous pouvons ainsi d´eduire l’ensemble d’actions r´ealisables de b, not´e A_b, sans aucune ambigu¨ıt´e par :

A_b:= A_s, ∀s ∈ σ(b).

De cette fa¸con, les politiques AC-POMDP d´efinies dans l’´equation 5.3 peuvent ˆetre fonc-tion de b, avec un abus de notafonc-tion, tel que : π(b) = π(b, Ab). Ceci signifie que les politiques AC-POMDP et les politiques POMDP sont d´efinies sur le mˆeme espace, ce qui nous per-met de comparer les politiques optimales des AC-POMDP avec les politiques optimales des POMDP ´equivalents. La transformation vers un POMDP ´equivalent sera pr´esent´ee dans la section 5.4.

Dans la suite nous allons formaliser l’´equation d’optimalit´e des AC-POMDP, afin de pouvoir extraire de cette ´equation des moyens de r´esolution efficaces par programmation dynamique.

5.3.2 Equation d’optimalit ´e pour le mod `ele AC-POMDP^´

Nous cherchons maintenant `a d´efinir l’´equation d’optimalit´e des AC-POMDP. Notons que les politiques des AC-POMDP peuvent ˆetre optimis´ees sur des ensembles sp´ecifiques d’actions (A<sub>b</sub> := A<sub>s</sub>, ∀s ∈ σ(b)). De cette fa¸con l’op´erateur max sera utilis´e pour un nombre (g´en´eralement) r´eduit d’actions, c’est-`a-dire Ab ⊂ A, contrairement `a l’approche classique des POMDP o`u toutes les actions du mod`ele doivent ˆetre ´evalu´ees. Ce th´eor`eme peut sembler ´evident `a premi`ere vue, mais il repose sur le fait primordial que l’ensemble d’actions faisables peut ˆetre extrait d’un ´etat de croyance donn´e sans ambigu¨ıt´e.

Th´eor`eme 5.3.3 L’´equation d’optimalit´e d’un AC-POMDP est telle que : V^∗(b) = max a∈A_b   r(b, a) + γ^X o∈O θ∈Θ p(o, θ | a, b)V^∗b^(o,θ)_a ^    (5.9)

avec b^(o,θ)a donn´e par l’´equation 5.4, et :

p(o, θ | a, b) = ^X

s0∈S

I(θ, s⁰)O(o, a, s⁰)^X

s∈S

T (s, a, s⁰)b(s) (5.10)

Preuve. Suivant le th´eor`eme 5.3.2, l’ensemble d’actions r´ealisables observ´e avant le calcul de l’´etat de croyance b, c’est-`a-dire, θt−1, peut ˆetre d´eduit de b sans aucune ambigu¨ıt´e : θ_t−1 = A_b = A_s, quel que soit s ∈ σ(b). Cette d´eduction est n´ecessaire pour l’optimisation, puisque au moment de l’optimisation on ne connait pas `a l’avance quel sera le θ observ´e. De plus, nous savons que les politiques optimales sont forc´ees d’appliquer uniquement des actions faisables : suivant l’´equation 5.3, les actions gloutonnes candidates pour maximiser la fonction de valeur doivent ˆetre choisies parmi A<sub>b</sub>. Donc l’´equation 5.9 peut ˆetre obtenue de la mˆeme fa¸con que pour les POMDP, en consid´erant (o, θ) comme une observation jointe. Ainsi, l’´equation 5.10 peut ˆetre obtenue en faisant d´ependre θ et o de s<sup>0</sup> et a, comme pour la mise `a jour de l’´etat de croyance, car ces deux observations sont ind´ependantes sachant s⁰ et a :

p(o, θ | a, b) =P

s0∈SP r(θ | s⁰, a)P r(o | s⁰, a)P r(s⁰ | a, b)

=P

s0∈SI(θ, s⁰)O(o, a, s⁰)P

s∈ST (s, a, s⁰)b(s)

Ce th´eor`eme nous permet d’utiliser la programmation dynamique pour le calcul des politiques optimales pour les AC-POMDP. Contrairement `a l’artifice utilisant des p´enalit´es “infinies”, aucune p´enalit´e artificielle et empirique n’est requise dans notre cas. L’op´erateur max op`ere aussi sur un nombre r´eduit d’actions.

Pour comparer les politiques calcul´ees pour les AC-POMDP avec un mod`ele POMDP classique et ´equivalent, nous avons besoin de d´efinir la transformation entre AC-POMDP et POMDP. Dans certains domaines l’information concernant la faisabilit´e d’une action est encod´ee de mani`ere indirecte dans l’espace d’observation ; par exemple, dans le domaine hallway, la configuration des murs fait partie du mod`ele d’observation. Ceci sugg`ere que le mod`ele POMDP contient le mod`ele AC-POMDP. La conclusion est que nous pouvons transformer n’importe quel AC-POMDP en un POMDP ´equivalent, avec des actions et des fonctions d’observation et de r´ecompense diff´erentes.

Dans le document Planification de perception et de mission en environnement incertain : Application à la détection et à la reconnaissance de cibles par un hélicoptère autonome (Page 136-140)