a les sp´ecifier directement sous la forme d’un ensemble de r`egles sp´ecifiant les sorties `a ´
emettre en fonction des entr´ees re¸cues. Il est ensuite n´ecessaire de valider des propri´et´es garantes du bon fonctionnement du contrˆoleur, soit par simulation, soit par validation formelle, ou par ces deux moyens. Pour la validation formelle, la d´emarche consiste `a confronter la sp´ecification du contrˆoleur avec les propri´et´es `a v´erifier. Si l’une de ces pro-pri´et´es n’est pas satisfaite, la sp´ecification du contrˆoleur est revue, les propri´et´es sont v´erifi´ees `a nouveau... jusqu’`a converger vers un contrˆoleur valide.
Dans les travaux que nous avons r´ealis´es, nous avons cherch´e `a proposer des m´ethodes permettant d’´eviter ces aller-retours entre sp´ecification du contrˆoleur et validation. Plus pr´ecis´ement, nous avons propos´e des m´ethodes de synth`ese de contrˆoleur [230], capables de synth´etiser automatiquement des contrˆoleurs `a partir des ´equations d’´evolution du syst`eme `
a contrˆoler et des propri´et´es devant ˆetre satisfaites par ce syst`eme. Les contrˆoleurs obtenus sont alors valides par construction.
5.2 Mod`eles consid´er´es et propri´et´es `a satisfaire
Mod`ele du syst`eme `a contrˆoler Dans l’approche de synth`ese de contrˆoleur d´efinie dans [214]
* , nous avons consid´er´e le cas g´en´eral des syst`emes partiellement observables, c’est-`a-dire pour lesquels certaines parties de l’´etat peuvent rester cach´ees pour le contrˆoleur. Nous avons par ailleurs consid´er´e uniquement des syst`emes markoviens, c’est-`a-dire tels que l’´etat du syst`eme `a une ´etape donn´ee d´epend uniquement du dernier ´ev´enement appliqu´e et de l’´etat juste avant ce dernier ´ev´enement, et non de tout l’historique des ´ev´enements. Formellement, nous avons consid´er´e des syst`emes `a contrˆoler d´efinis par :
• un ensemble de variables d’´etat S d´ecrivant l’´etat courant du syst`eme ; une instan-ciation s de S est appel´ee un ´etat ;
• un sous-ensemble de variables O ⊆ S correspondant aux variables d’´etat observables ; une instanciation o de O est appel´ee une observation ; l’observation associ´ee `a un ´
etat s, not´e obs(s), correspond `a la restriction de s aux variables de O ;
5.2. MOD `ELES CONSID ´ER ´ES ET PROPRI ´ET ´ES `A SATISFAIRE 59
peut agir sur le syst`eme ; une instanciation c des variables de C est appel´ee une d´ecision de contrˆole ;
• une relation d’initialisation I(S) d´ecrivant parmi les instanciations s de S celles qui correspondent `a des ´etats initiaux possibles ;
• une relation de faisabilit´e F (S, C) qui contient les couples (s, c) form´es par un ´etat s et une d´ecision de contrˆole c faisable dans l’´etat s ;
• une relation de transition T (S, C, S0) qui contient les triplets (s, c, s0) form´es par un ´
etat s, une d´ecision de contrˆole c et un ´etat s0, et tels que s0 est un ´etat successeur possible obtenu en appliquant la d´ecision c dans l’´etat s.
Dans les travaux r´ealis´es, nous avons repr´esent´e les diff´erentes relations (initialisation, faisabilit´e, transition) sous la forme de CSPs d´efinis par des contraintes portant sur S ∪ C ∪ S0. L’ensemble S0 correspond `a une copie de S utile pour repr´esenter l’´etat du syst`eme apr`es application du contrˆole. Nous avons de plus fait une hypoth`ese de normalisation selon laquelle pour tout ´etat s et pour toute d´ecision de contrˆole c faisable dans l’´etat s, il existe au moins un ´etat successeur s0 possible.
Propri´et´es `a satisfaire Dans nos travaux, nous avons consid´er´e deux types de pro-pri´et´es `a satisfaire par les contrˆoleurs :
• des propri´et´es d’atteignabilit´e, exprimant que le contrˆoleur construit doit mener le syst`eme dans un ´etat but pour tout ´etat initial envisageable ; ces propri´et´es sont d´efinies par une relation G(S) (G comme goal ) qui contient les ´etats s qui satisfont la condition `a atteindre ;
• des propri´et´es de sˆuret´e, exprimant des conditions `a satisfaire `a toute ´etape par le syst`eme contrˆol´e ; ces propri´et´es sont d´efinies par une relation P (S) qui contient les ´
etats s qui satisfont les propri´et´es de sˆuret´e.
Nous voulions que ces propri´et´es d’atteignabilit´e et de sˆuret´e puissent porter sur des attributs observables ou non de l’´etat. Dans le cas o`u seules des propri´et´es de sˆuret´e ´etaient consid´er´ees, l’objectif ´etait de faire en sorte que le syst`eme reste dans une enveloppe de fonctionnement sˆur, sur un horizon infini. Dans le cas o`u des propri´et´es d’atteignabilit´e ´
etaient d´efinies, le probl`eme s’apparentait `a de la planification non d´eterministe, plus pr´ecis´ement `a de la planification conformante (conformant planning [241]) ou `a de la planification contingente (contingent planning [186, 226]). Dans le premier cas, aucune observation n’est r´ealis´ee sur le syst`eme et un contrˆoleur correspond `a un plan menant au but partant de n’importe quel ´etat initial possible. Dans le second cas, un contrˆoleur prend la forme d’un plan conditionnel dont les branches sont ´etiquet´ees par les r´esultats des observations collect´ees au fur et `a mesure de l’application du plan. Le probl`eme s’ap-parentait de plus `a de la planification forte (strong cyclic planning [52]), ce qui signifie que nous voulions que les propri´et´es d’atteignabilit´e soient satisfaites sur toutes les trajectoires d’´etats potentiellement suivies par le syst`eme.
L’´etape suivante aurait ´et´e de consid´erer des exigences plus g´en´erales d´ecrites par des formules de logique temporelle type LTL (Linear Temporal Logic) ou CTL (Computational
Tree Logic) [69], ce qui aurait par exemple permis de consid´erer des propri´et´es dites de vi-vacit´e, exprimant qu’une condition doit toujours pouvoir ˆetre `a nouveau satisfaite partant de n’importe quel ´etat atteignable par le syst`eme. De telles propri´et´es sont consid´er´ees dans des outils de synth`ese de contrˆoleur issus de la communaut´e model-checking, notam-ment les outils Anzu [120] et RATSY [29], reposant tous deux sur les id´ees algorithmiques d´efinies dans [191]. Elles sont ´egalement consid´er´ees dans des travaux r´ecents portant sur la planification non d´eterministe [183]. Cependant, toutes ces approches traitent unique-ment le cas des syst`emes compl`etement observables. Mixer l’observabilit´e partielle avec la g´en´eralit´e de LTL ou CTL reste un point encore ouvert.
Mod`ele du contrˆoleur En planification non d´eterministe, une mani`ere classique de proc´eder pour contrˆoler des syst`emes markoviens et partiellement observables consiste `a rechercher des contrˆoleurs `a m´emoire compl`ete. Ces contrˆoleurs renvoient une d´ecision `
a prendre en fonction de l’´etat de croyance courant [30], l’´etat de croyance ´etant d´efini comme l’ensemble de tous les ´etats courants possibles ´etant donn´e l’ensemble de toutes les observations pass´ees. Dans nos travaux sur la synth`ese de contrˆoleur, un des objectifs ´
etait de d´efinir des contrˆoleurs qui soient `a la fois r´eactifs et embarquables. L’utilisation de contrˆoleurs `a m´emoire compl`ete n’´etait d`es lors pas compl`etement adapt´ee, puisque d’une part maintenir en ligne un ´etat de croyance pouvait compromettre la r´eactivit´e, et d’autre part le nombre d’´etats de croyance `a consid´erer, au pire exponentiel en le nombre de variables d’´etat, pouvait compromettre l’embarquabilit´e.
C’est pourquoi nous nous sommes tourn´es vers une autre approche, inspir´ee de tra-vaux d´efinis dans [32] pour faire de la planification non d´eterministe, et de travaux d´efinis dans [157, 194] pour traiter des MDPs partiellement observables (POMDP [123]). Les travaux en question portent sur la synth`ese de contrˆoleurs `a ´etats finis, qui utilisent une m´emoire limit´ee pour enregistrer de l’information sur le pass´e. Plus pr´ecis´ement, un contrˆoleur `a ´etats finis maintient un ´etat interne d´efini par un entier k compris entre 1 et N , avec N un param`etre correspondant `a la taille m´emoire du contrˆoleur. Cet entier est potentiellement beaucoup plus petit que le nombre total d’´etats de croyance possibles. Un contrˆoleur `a ´etats finis est alors d´ecrit par une politique de d´ecision π qui ´etant donn´e une observation o et la valeur courante k de l’´etat interne du contrˆoleur renvoie une d´ecision de contrˆole c = π(o, k) `a appliquer ainsi qu’un nouvel ´etat interne k0 du contrˆoleur. Dans notre cas, nous avons recherch´e des politiques π pouvant ˆetre partielles, c’est-`a-dire pou-vant ne pas ˆetre d´efinies pour des observations o non atteignables. Nous avons de plus recherch´e des politiques d´eterministes, c’est-`a-dire d´efinissant au plus une d´ecision par couple observation-´etat interne.
Notons qu’avec les approches classiques de type planification conformante ou planifi-cation contingente, il est toujours possible de construire un contrˆoleur `a ´etats finis. En planification conformante, il suffit d’utiliser pour N le nombre d’actions dans le plan trouv´e, et de prendre comme ´etat interne k du contrˆoleur le num´ero de la prochaine action du plan `a enclencher. En planification contingente, il suffit d’utiliser pour N le nombre total de nœuds dans le plan conditionnel solution et de prendre comme ´etat interne k le num´ero du nœud associ´e `a la prochaine action `a ex´ecuter. Cependant, dans ces cas le nombre d’´etats internes du contrˆoleur est d´efini a posteriori, apr`es calcul d’une solution,