Observations partielles

En ce qui concerne le problème d’arrêt optimal sous observation partielle, nous avons étudié un cas particulier où les positions après saut ne prennent qu’un nombre fini de valeurs. Si cette hypothèse n’est pas vérifiée, on peut au préalable discrétiser les positions après saut du processus. Il serait intéressant d’étudier l’impact de cette discrétisation sur la fonction valeur du problème d’arrêt optimal. Il faut cependant

noter qu’une telle discrétisation ne peut se faire qu’avec un nombre relativement petit de points car ceci correspond à la dimension du filtre, et on ne peut efficacement quantifier que des processus de petite dimension. Il faudrait réfléchir à des solutions alternatives pour les autres cas.

Dans ce cas aussi, il serait intéressant d’étudier d’autres types de fonctions de gain, en particulier des fonctions autorisées à dépendre également directement du processus d’observation, pour faire un compromis entre la précision de l’observation et la volonté de s’arrêter.

Le vrai point difficile consiste à lever l’hypothèse que les instants de saut sont parfaitement observés. En effet, si cette hypothèse est raisonnable dans le cas où le mode correspond à l’environnement extérieur, comme dans l’exemple de la corrosion, en général elle ne l’est plus si le mode correspond à un état caché du système. Il faudrait alors mettre en œuvre des méthodes de détection de rupture pour avoir une valeur approchée des instants de sauts. Cependant, toute notre approche serait alors à reprendre car elle repose fortement sur le fait que les temps de sauts sont des temps d’arrêt pour la filtration du processus ponctuel d’observation. Il s’agit d’un problème difficile, mais très intéressant pour les applications potentielles.

2.7.3 Contrôle impulsionnel

Pour le problème de contrôle impulsionnel, nous avons fait l’hypothèse que l’en-semble de contrôleU est fini et ne dépend pas de la position z avant le saut. L’hypo-thèse de finitude n’est pas très contraignante, puisque pour toute méthode numérique il faudra discrétiser un éventuel ensemble continu. Ceci va rajouter un terme d’er-reur dans notre approximation au moment du calcul de l’opérateur M. Cette erreur devrait être petite dès qu’on a de la régularité Lipschitz sur les fonctions valeur. Autoriser l’espace de contrôle à dépendre de la position du processus n’est probable-ment pas très contraignant non plus, à condition que le nombre total de possibilités reste fini.

Le temps de calcul de notre procédure est très long à cause de la récurrence trian-gulaire. Ceci est dû au fait que les points de l’ensemble de contrôle n’ont en général aucune raison de se trouver dans les grilles de quantification. On pourrait cependant rajouter ces points après le calcul des grilles optimisées par l’algorithme CLVQ mais avant le calcul des lois et matrices de transition. On y perdrait probablement en précision car la loi de (Z_n, S_n) dépend en général de l’instant n, alors que les points de contrôle rajoutés dans la grille à l’instant n correspondent en fait à un point de départ à l’instant 0. Cependant le gain en temps de calcul serait appréciable. Il faudrait tester cette possibilité sur des exemples concrets pour en mesurer l’impact.

Le problème ouvert le plus intéressant concerne l’approximation de stratégies optimales. Il est très certainement possible de construire une stratégie du même type que celle de Gugerli [Gug86] pour l’arrêt optimal, basée sur les gagnants des minimisations successives. Cependant, aucun résultat théorique n’est disponible dans ce sens. Pour obtenir un tel résultat, il faut se plonger dans le formalisme de l’espace

2.7. CONCLUSION ET PERSPECTIVES 75

canonique et la construction rigoureuse des stratégies admissibles. Il faudra ensuite passer à l’étape de discrétisation.

Enfin, quand nous aurons une méthode d’approximation de stratégies proches de l’optimalité, il serait intéressant de voir si cette méthode peut raisonnablement être mise en œuvre sur des problèmes réels. Des discussions sont également en cours avec Thales Optronique pour une thèse sur ce sujet, dans la continuité des travaux de thèse de Camille Baysse.

Chapitre 3

Méthodes numériques pour

l’estimation de performance des

processus markoviens déterministes

par morceaux

3.1 Motivation

La méthode adoptée dans la chapitre précédent pour le contrôle des PDP per-met aussi de calculer d’autres quantités d’intérêt pour ces processus. En effet, l’idée sous-jacente est très générale. Comme la chaîne induite (Z_n, S_n) contient tout l’aléa du processus, n’importe quelle espérance de fonctionnelle du processus doit pou-voir s’écrire simplement avec cette chaîne en temps discret. Grâce à la propriété de Markov, on peut aussi s’attendre à obtenir une formulation récursive, comme pour les équations de programmation dynamique. Il suffit donc de discrétiser la chaîne induite, par exemple par quantification, pour obtenir une valeur approchée de la quantité d’intérêt, avec une borne de l’erreur commise.

On s’intéresse dans ce chapitre au calcul d’espérances de fonctionnelles de PDP, ainsi qu’à des problèmes de temps de sortie d’ouverts de l’espace d’états. Du point de vue applicatif en fiabilité, ceci correspond à de l’évaluation de performance par le calcul d’indicateurs de fiabilité, comme la probabilité de tomber en panne ou la durée de service du système, c’est à dire le temps moyen de bon fonctionnement.