On constate donc que la simulation d’assemblage avec des prototypes virtuels se fait au travers de deux outils distincts ayant des finalités différentes :
1. les outils de calcul de trajectoire issus de la robotique qui permettent de vérifier la faisa- bilité d’un assemblage ;
2. les applications d’assemblage en RV qui permettent à un opérateur humain de manipuler les prototypes virtuels, et ainsi de tester les tâches d’assemblage et de s’y entrainer. Dans nos travaux, nous défendons l’idée que ces outils sont complémentaires et que leur mise en œuvre dans une application interactive unique est bénéfique sous plusieurs aspects :
• Lors de la manipulation de composants en environnement virtuel, la mise en œuvre de techniques de planification automatique de trajectoire permet de guider l’utilisateur dans un environnement qui peut être difficile à appréhender soit du fait de sa complexité propre, soit du fait de l’interfaçage (visualisation, navigation).
• Les algorithmes de planification automatique de trajectoire peuvent bénéficier des connais- sances métier de l’utilisateur humain et de sa capacité à appréhender son environnement de manière synthétique grâce à son expérience acquise.
• La définition de la trajectoire d’assemblage peut être réalisée par le système de planifica- tion de trajectoire et/ou par l’utilisateur humain de manière complémentaire en fonction, par exemple, de la capacité de chacune de ces entités à appréhender l’environnement. L’enjeu est donc de mettre en œuvre des techniques de planification automatique de trajec- toire dans des simulations interactives en RV. Pour cela, il convient de fournir à l’utilisateur de RV des moyens pour intervenir dans le processus de planification de trajectoire.
1.2.1 Travaux précurseurs de planification interactive de trajectoire
Ces différents travaux seront détaillés dans le chapitre 4. Nous nous contenterons pour l’heure d’en donner les principes pour faire apparaitre les différences d’approche et les limites.
Planification interactive de trajectoire en Réalité Virtuelle
Les travaux de Ladevèze [Ladevèze 10b], réalisés au Laboratoire Génie de Production (LGP), ont exploré l’intérêt de l’utilisation conjointe de la planification automatique de trajectoire et de la RV. Ils ont permis de montrer l’intérêt de la collaboration entre planificateur de trajectoire et opérateur humain en définissant différentes modalités de planification de trajectoire et d’in- teraction temps-réel. Cette utilisation de la réalité virtuelle et des techniques de planification automatique de trajectoire permet bien, d’une part, de conserver l’aspect didactique des simu- lations de RV, et d’autre part de faire bénéficier la planification de trajectoire de l’expertise de l’utilisateur immergé dans la simulation de RV.
Ladevèze a défini deux planificateurs interactifs de trajectoire :
1. Le planificateur probabiliste avec approche globale utilise une trajectoire pré-calculée pour guider l’utilisateur. Cette trajectoire est calculée en deux étapes. La première, met en œuvre une approche globale pour définir un chemin évitant les obstacles dans un mo- dèle de l’espace libre 3D de l’environnement. La seconde explore ce chemin aléatoire- ment pour y définir une trajectoire combinant position et orientation. L’interaction est ici articulée autour du guidage de l’utilisateur sur la trajectoire pré-calculée, mais aussi sur la possibilité pour l’opérateur de déclencher la définition d’une nouvelle trajectoire selon un processus similaire à celui décrit en s’écartant de celle qui lui est proposée.
2. Le planificateur local se contente de tirer l’utilisateur vers son objectif en faisant abs- traction des obstacles de l’environnement. Il revient alors à l’utilisateur de réaliser le contournement des obstacles sur son chemin. L’interaction est ici encore articulée autour du guidage de l’utilisateur, mais cette fois, la prise en compte des actions de l’utilisateur ne consiste qu’à mettre à jour ce guidage en fonction des mouvements qu’il réalise. Dans ces deux approches, la trajectoire obtenue est celle des manipulations réalisées par l’utilisateur soumis au guidage du système de planification interactive.
D’un autre coté, les travaux de Flavigné [Flavigné 10a] réalisés au Laboratoire d’Analyse et d’Architecture des Systèmes (LAAS) se sont penchés sur l’interaction temps-réel entre un opé- rateur humain et un planificateur automatique de trajectoire en définissant un mode de contrôle temps-réel de l’algorithme de planification de trajectoire par l’opérateur humain.
Pour cela, l’algorithme de planification de trajectoire Interactive Rapidly-exploring Ran- dom Tree (IRRT) proposé par Flavigné est dérivé de l’algorithme de planification automatique de trajectoire Rapidly-exploring Random Tree (RRT) (chapitre 3). Flavigné a pour cela défini un algorithme RRT explorant une direction privilégiée. L’interaction est alors articulée autour de cette direction d’exploration. D’une part, l’algorithme, en fonction de l’exploration préalable, indique à l’utilisateur une première direction qui lui semble intéressante à explorer. D’autre part, l’utilisateur suggère lui aussi une direction définie en fonction de sa perception de l’environne- ment. Ces deux directions sont ensuite fusionnées pour définir celle dans laquelle l’algorithme RRT va explorer l’environnement.
Ces trois planificateurs de trajectoire interactifs ont donc permis de définir des modes d’in- teraction entre un système de planification automatique et un opérateur humain. Ils ont établi les informations échangées par le système automatique et l’opérateur humain pour cette interaction.
Motivation et contexte des travaux L’implication d’un opérateur humain dans le processus de planification fait apparaitre la problématique du temps de calcul comme cruciale. En effet, alors que pour les robots, les tra- jectoires sont calculées hors ligne, dès lors qu’un opérateur est intégré dans le processus de planification, il faut que la réponse du système automatique à ses actions soit faite dans un délai suffisamment court. Cette problématique a été adressée de façon différente dans les trois planificateurs de trajectoire interactifs :
• planificateur probabiliste avec approche globale : nouveau processus de planification en deux phases,
• planificateur local : simplification du problème (obstacles ignorés), • IRRT : intégration de l’opérateur dans le processus de planification.
Cependant, bien qu’elles explorent des voies prometteuses, ces solutions présentent toutes des limites de nature différente :
• le processus de planification de trajectoire en deux phases du planificateur probabiliste avec approche globale permet certes de mettre rapidement une trajectoire à disposition de l’utilisateur mais augmente par la même occasion les chances d’échec ;
• l’assistance fournie par le planificateur local permet seulement de pointer à l’utilisateur la direction dans laquelle se trouve l’objectif mais peut ne pas être pertinente dans des environnements complexes difficiles à appréhender pour l’utilisateur ;
• la fusion des directions d’exploration fournies par le planificateur automatique de tra- jectoire et par l’utilisateur dans le planificateur IRRT doit faire l’objet d’une attention particulière pour que le planificateur ne se bloque pas lorsque ces directions sont oppo- sées.
Ces limites peuvent être attribuées pour partie au fait qu’à l’instar des planificateurs auto- matiques de trajectoire issus de la robotique, les trois planificateurs proposés ont une approche purement géométrique de la planification de trajectoire. Il reste donc, en exploitant des données de nature différente (d’un plus haut niveau d’abstraction), un large champ d’investigations pour améliorer à la fois le processus de planification de trajectoire et l’interaction entre ce dernier et un opérateur humain.
1.2.2 Enjeux, verrous
Nous considérons donc qu’un progrès significatif de la planification interactive de trajectoire doit venir de l’exploitation, dans ce processus de données d’un haut niveau d’abstraction. Ces données doivent permettre de réaliser des raisonnements plus riches permettant un traitement optimisé des données géométriques.
Planification interactive de trajectoire en Réalité Virtuelle
1. La mise à disposition de données hétérogènes sur l’environnement. Les données de
haut niveau d’abstraction doivent compléter les données géométriques classiquement uti- lisées dans une architecture cohérente intégrant cette diversité de données. On peut de plus considérer que l’expertise mise en œuvre dans différentes tâches est différente. Dans ce cas, les données de haut niveau d’abstraction permettant de modéliser cette expertise doivent être adaptées à la tâche traitée par l’application. Cette architecture doit donc être modulaire afin de pouvoir l’adapter aux différentes tâches que nous souhaitons lui faire traiter.
2. La définition et la mise en œuvre d’une technique de planification de trajectoire
exploitant les données de l’environnement disponibles. L’exploitation de l’ensemble de ces données et en particulier des données d’un haut niveau d’abstraction doit permettre de réaliser des raisonnements permettant de diminuer le temps de calcul nécessaire à la définition d’une trajectoire, tout en augmentant la pertinence des solutions retenues. Nous rappelons ici que le contrôle du temps des processus dans le cadre d’applications interactives est un point clé pour permettre l’interaction temps-réel entre ces derniers et les humains avec lesquels ils sont en interaction. Il convient donc de définir comment l’ensemble des données et leur diversité peuvent être mis en œuvre de manière efficace pour la définition d’une trajectoire.
3. La définition et la mise en œuvre de modes d’interaction permettant la collabora-
tion d’un opérateur humain avec la technique de planification de trajectoire déve- loppée. Ces modes d’interaction doivent exploiter les différentes données de l’environ- nement pour améliorer l’interprétation des actions réalisées par l’opérateur humain en interaction. Cette meilleure interprétation des actions de l’opérateur humain doit aboutir à une amélioration de l’efficacité de la collaboration entre planificateur automatique de trajectoire et opérateur humain en permettant au premier de mieux adapter l’assistance qu’il fournit au second.
Les enjeux traités par les travaux présentés dans ce mémoire portent donc aussi bien sur la définition des concepts permettant une planification interactive de trajectoire basée sur des données hétérogènes de l’environnement que sur leur mise en œuvre dans une architecture mo- dulaire. En effet, si, comme nous l’avons dit la modélisation de l’environnement doit s’adapter à l’expertise liée à la tâche à traiter, l’ensemble des processus exploitant ces données (planifica- tion de trajectoire et interaction) doivent s’y adapter de même.
1.2.3 Contributions
Pour notre planification de trajectoire interactive, nous retenons dans les travaux précurseurs présentés précédemment :
• l’interaction au travers d’une interface haptique permettant au planificateur automatique de suggérer une trajectoire d’une part, et à l’utilisateur de s’affranchir de cette suggestion d’autre part jusqu’à solliciter la définition d’une nouvelle trajectoire.
Motivation et contexte des travaux • le choix des informations géométriques comme données échangées entre planificateur et utilisateur (direction du mouvement suggérée par le système automatique, positionnement de l’objet manipulé par l’opérateur humain)
• la planification temps-réel permettant au planificateur d’intégrer les mouvements exécu- tés par l’utilisateur dans la trajectoire planifiée, et à l’utilisateur de manipuler les objets virtuels sans perturber son immersion.
Nous nous proposons de conserver ces acquis et de les améliorer en dotant le système de données de plus haut niveau d’abstraction. Au cours du travail exposé dans ces pages, nous nous sommes attachés à définir une planification de trajectoire interactive basée sur une repré- sentation de l’environnement multi-niveaux permettant d’intégrer des aspects topologiques et sémantiques en plus de ceux géométriques traditionnellement utilisés.
En fournissant au planificateur de trajectoire automatique une représentation de l’environ- nement incluant des données sémantiques et topologiques, d’une part, nous améliorons la plani- fication automatique de trajectoire réalisée, et, d’autre part, nous améliorons l’interaction entre planificateur automatique et opérateur humain par une meilleure prise en compte de ce dernier dans le processus de planification. La contribution de ces travaux s’articule donc autour de trois points :
Une représentation multi-niveaux de l’environnement complète les informations géomé- triques traditionnellement utilisées avec des données topologiques et sémantiques (chapitre 2). Cette représentation est modulaire et évolutive. Elle peut être adaptée ou enrichie en fonction, des tâches à exécuter et de la connaissance métier définissant les concepts utiles à la planifica- tion de trajectoire. Elle est constituée de :
1. Un niveau sémantique permettant, en fonction des informations de l’environnement utiles pour la planification, de caractériser l’environnement. L’information ajoutée permet de choisir quel chemin emprunter (choix entre plusieurs alternatives), et comment (choix de la modalité de planification géométrique).
2. Un niveau topologique pour modéliser les lieux de l’environnement, leurs frontières et leur connectivité. Cette modélisation de la connectivité des lieux de l’environnement fa- cilite l’exploration de ce dernier pour y déterminer le chemin le plus approprié.
3. Un niveau géométrique pour modéliser les corps rigides et l’espace libre 3D de l’environ- nement.
Un planificateur automatique de trajectoire multi-niveaux adapté à la représentation de l’environnement multi-niveaux permet une interaction temps-réel plus efficace (chapitre 3). Cette interaction est facilitée par l’accélération de la définition des trajectoires, mais aussi par la pertinence des trajectoires définies. Ces deux améliorations sont obtenues par le partitionnement de la planification de trajectoire en deux étapes :
1. Une première étape de planification grossière sur le niveau topologique, contrôlée par les données du niveau sémantique permet de déterminer les lieux à traverser.
Planification interactive de trajectoire en Réalité Virtuelle
2. Une seconde étape de planification fine permet par la suite de déterminer une trajectoire permettant de traverser chaque lieu. Le mode de planification fine est adapté à chacun des lieux en fonction de l’information sémantique qui y est attachée.
Le partitionnement du processus de planification en deux phases (grossière et fine) semble par- ticulièrement adapté à une utilisation en interaction avec un opérateur humain puisqu’un parti- tionnement similaire a été identifié en neurobiologie [Ahmadi-Pajouh 07].
Des modes d’interaction adaptés à l’architecture multi-niveaux de modélisation de l’en- vironnement et de planification de trajectoire qui permettent à un opérateur humain et au pla- nificateur automatique de trajectoire de collaborer. Ces modes d’interaction sont enrichis par l’exploitation des différents types d’informations disponibles dans la représentation de l’envi- ronnement (sémantique, topologique et géométrique). Ils sont aussi adaptés au partitionnement de la planification de trajectoire en deux phases et leur ergonomie est améliorée par la mise en
œuvre de techniques de partage de contrôle issues de la télé-opération de robot et du pilo-
tage de véhicules semi-autonomes (chapitre 4). Ces modes d’interaction et leur mise en œuvre permettent au système automatique :
1. d’assister l’opérateur en temps réel y compris lorsque le planificateur automatique de trajectoire n’est pas en mesure de déterminer complètement une trajectoire géométrique réalisable (portions de trajectoire en collision avec les obstacles de l’environnement), l’opérateur doit alors diagnostiquer et définir ces portions de trajectoires manquantes ; 2. d’adapter dynamiquement l’autorité entre le planificateur automatique et l’opérateur pen-
dant la manipulation pour assister l’utilisateur lorsqu’il est en difficulté, mais aussi, le laisser libre d’explorer des alternatives lorsqu’il le souhaite ;
3. d’interpréter le plus tôt possible, en temps réel, et dans un modèle de données de haut ni- veau (comme celui de l’utilisateur), les intentions de l’opérateur à partir des mouvements qu’il a réalisés. Cette interprétation précoce permet d’adapter le reste du chemin planifié à cette intention perçue.
L’interaction proposée ici permet au planificateur automatique et à l’utilisateur immergé dans la simulation en RV de collaborer pour la définition de la trajectoire.