Méthodes interactives de simulation d’A/D virtuel A/D avec une manipulation de composants

Le besoin des industriels de pouvoir générer des trajectoires réalistes d’A/D, d’étudier plus finement les opérations de maintenance, d’utiliser naturellement le raisonnement et la vision globale de l’opérateur lors des manipulations d’A/D, etc. a amené au développement des outils qui permettent d’interagir avec des objets virtuels en temps réel. Une des premières méthodes apparues dans le domaine d’A/D virtuel et offrant une possibilité d’interaction entre un objet virtuel et un être humain fut une manipulation directe d’objets de type génération de mouvements dans un environnement virtuel. Le lecteur intéressé peut trouver plus d’information dans les références [Oliver & al. 1995], [Dewar & al. 1997], [Jayaram & al. 1997], [Le Roy 1999], [Fuchs & al. 2001], [Chedmail & al. 2001], [Carrillo & al. 2003].

Afin de présenter quelques aspects d’une manipulation directe d’objets virtuels par un opérateur, il est important de préciser deux principaux éléments distincts à modéliser :

• un processus d’évolution d’un objet virtuel en temps réel. Cette modélisation comprend notamment :

- une génération de mouvements (déplacements/orientations) d’un objet,

- une modélisation du comportement physique d’un objet au cours de sa manipulation : les déformations physiquement linéaires, les déplacements géométriquement non-linéaires d’une structure, etc.,

- un contrôle de collisions ainsi qu’une modélisation de l’interaction entre un objet virtuel donné et d’autres objets (lors d’une manipulation à deux mains, par exemple) et/ou l’environnement extérieur : le frottement, le glissement, etc.,

• un monde virtuel ou un environnement où l’objet virtuel en question est placé, un environnement qui reste souvent statique ou « figé » par rapport aux mouvements de l’objet manipulé.

En ce qui concerne une modélisation du processus d’évolution d’objets virtuels dans le contexte d’A/D, une manipulation séquentielle de composants dans le monde virtuel est un processus

complexe qui comprend des véritables défis technologiques. En effet, le processus de manipulation directe est constitué d’un ensemble d’opérations effectuées grâce à la vision globale de l’opérateur. Parmi ces opérations, les principales sont :

• la sélection d’objet virtuel à manipuler,

• la manipulation en tant que telle, i.e. la génération d’un ensemble de mouvements d’objet sélectionné. Une telle manipulation correspond à la génération d’une trajectoire d’A/D en temps réel et peut être :

- une manipulation libre, sans contraintes de mouvement de l’objet,

- une manipulation contrainte lors de la recherche de la trajectoire : suppression de mouvements de rotation, par exemple,

• la détection de collisions en temps réel lors de la manipulation afin de produire une trajectoire d’A/D libre de collisions pour une étude d’accessibilité, par exemple,

• le montage effectif s’il s’agit d’une opération d’assemblage.

Une manipulation libre est la manipulation la plus générale, mais il est intéressant parfois de supprimer des mouvements inutiles d’un composant (ou contraindre un certain nombre de DDL du composant comme la rotation, par exemple). Ainsi, les mouvements du composant sans rotation se réduisent à des translations consécutives du composant [Mikchevitch 2000], [Convard & al. 2003]. Les mouvements de composants virtuels sont souvent produits à l’aide des périphériques 2D et 3D permettant de définir des positions/angles courants désirés du composant manipulé : une souris 2D et 3D de type SpaceMouse, une SpaceBall, etc. Ces dispositifs seront présentés en détails au chapitre 2. La Figure 1.4 illustre deux types de manipulations présentées ci-dessus : libre et contrainte.

Figure 1.4. Exemple d’assemblage virtuel par interaction avec des objets virtuels : manipulations libre et contrainte [Convard & al. 2003].

Quant à la détection de collisions, ce problème s’exprime de façon suivante : il est nécessaire d’investiguer si deux solides en mouvement relatif sont en collision à un instant donné. Deux méthodes de détection de collisions sont les plus utilisées [Lallemand & al. 1994]. La première est fondée sur le calcul de distances : elle ne traite que les objets convexes, mais présente l’avantage de donner la distance entre les objets rendant possible la prévention des collisions. La seconde, plus générale et souvent utilisée dans la RV considère les objets non convexes et est basée sur le calcul d’interférences entre les solides. Afin de diminuer le temps de vérification de collisions, la dernière méthode se décompose souvent en deux phases :

• une représentation d’un composant manipulé par une boîte englobante associée, un test si cette boîte rentre en collision avec d’autres composants ou avec l’environnement extérieur et une analyse en temps réel,

• s’il s’avère qu’au cours d’une analyse la boîte englobante d’un composant est en intersection avec une autre pièce, une étape de la vérification plus fine commence : il s’agit alors de vérifier si le composant en question représenté déjà comme un objet facettisé est en intersection effective.

Si le composant entre en collision avec d’autres pièces lors de la simulation d’une opération d’A/D ou de maintenance, deux types de poursuites de la manipulation sont couramment proposés :

• la manipulation est poursuivie, mais une collision est indiquée par un changement de couleur des objets en collision, par un signal sonore, etc. ; le composant peut donc passer à travers

Chapitre 1. Méthodes et outils en conception mécanique

d’autres objets virtuels, ce qui représente un certain handicap pour l’optimisation d’une trajectoire d’A/D, par exemple,

• la manipulation est bloquée dans la direction du mouvement causant la collision.

Le montage effectif, ou la dernière phase d’une opération d’assemblage dans une zone proche d’un endroit d’un système mécanique où une pièce sera installée, est souvent une étape très délicate, nécessitant le contrôle de plusieurs paramètres à la fois : le mouvement complexe d’une pièce avec la prise en compte de translations mais aussi de rotations, la direction prioritaire du mouvement de la pièce, la zone fortement contrainte par la présence des obstacles, etc. Il existe actuellement des techniques de type « reconnaissance des contraintes » [Jayaram & al. 1997], [Jayaram & al. 1999], [Carrillo & al. 2003] permettant d’identifier automatiquement et a priori des contraintes possibles dans une zone de montage (concentration des obstacles, différents types de contacts géométriques, etc.), de proposer une solution possible de montage par une recherche et une association de directions, d’axes de montage, de formes des pièces à assembler (un arbre et un alésage, deux surfaces planes, etc.), de déplacer et d’installer automatiquement une pièce dont une direction et un axe de montage proposés par le système d’assemblage virtuel sont validés par l’opérateur. La Figure 1.5 illustre une telle identification automatique des directions prioritaires de montage avec leur indication à l’opérateur par différentes couleurs dans un environnement VADE de simulation des opérations d’A/D virtuel conçu à l’Université de Washington [Chandrana 1997], [Jayaram & al. 1999]. Ces fonctions de détection automatique représentent un avantage particulier : la possibilité d’éviter des mouvements délicats d’une pièce à assembler dans une zone proche de la mise en position effective de cette pièce. Par ailleurs, une représentation de main virtuelle (avatar) donne une meilleure lisibilité du processus de manipulation, permet d’explorer différentes préhensions d’une pièce et de considérer des collisions entre une main virtuelle (ou un dispositif tenant une pièce à assembler) et l’environnement extérieur (d’autres pièces d’un mécanisme ou un environnement représentant un poste de travail d’opérateur, par exemple).

Identification automatique des directions de montage

Pièce à assembler

Pièce à manipuler

Main virtuelle

Main virtuelle Menu virtuel

Figure 1.5. Exemple d’assemblage virtuel par interaction avec des objets virtuels [Jayaram & al. 1999].

Quant à l’environnement extérieur dans lequel un composant virtuel en question évolue, cet environnement est statique, i.e. il reste « figé » par rapport aux mouvements du composant, il ne se déplace pas lors de manipulation du composant à assembler/désassembler et ne change pas de forme. Néanmoins, il est envisageable actuellement d’introduire des outils permettant de modifier la forme du composant solide manipulé au cours de l’étude des opérations d’A/D et de maintenance s’il s’avère que la forme initiale de ce composant solide pose des problèmes en termes d’assemblabilité du produit, d’accessibilité du composant, etc. Ceci est extrêmement intéressant du point de vue de la conception simultanée/intégrée si de nombreux acteurs de métiers différents sont présents lors d’une manipulation virtuelle dont le but est une étude/optimisation d’une opération de maintenance, par exemple. Dans le cas de modifications requises de la géométrie d’un composant, une réactualisation de la géométrie pourrait se faire directement dans un environnement virtuel sans passer par un modèle géométrique de base du composant avec un gain non-négligeable du temps d’étude d’une opération donnée. Ce problème sera développé plus en détails au chapitre 3. Toutefois, notons que certains systèmes paramétriques de CAO commercialisés (ProEngineer, Catia,…) supportent la possibilité de régénération de la géométrie de pièces solides si une modification de dimensions de pièces est requise

au cours d’une simulation d’opérations d’A/D virtuel et donc, peuvent être couplés avec des systèmes de simulations virtuelles afin de réaliser ces modifications dimensionnelles à l’aide des menus virtuels [Jayaram & al. 1999].

Certains outils pour la simulation d’opérations d’A/D virtuel disposent de fonctions afin de coupler le problème de séquencement automatique avec une investigation complémentaire de l’assemblabilité du produit basée sur les manipulations d’objets virtuels, la recherche de trajectoires d’A/D libres de collisions, l’étude de préhension de pièces, etc. dans un environnement de RV [Jayaram & al. 1999], [Carrillo & al. 2003]. Ces fonctions sont particulièrement utiles dans le contexte de la conception simultanée/intégrée car elles facilitent le dialogue entre les concepteurs des différents métiers.

Actuellement, il est parfois possible de simuler certains phénomènes physiques comme les effets de pesanteur des pièces rigides (des balancements, des chutes de pièces, etc.), des phénomènes de déformation, de glissement des pièces en contact, etc. En effet, chaque simulation d’un phénomène physique doit se reposer sur une modélisation rigoureuse compte tenu des propriétés mécaniques des pièces. Par exemple, dans le cas de simulations de processus de montage et de maintenance, il est indispensable de considérer : les propriétés du matériau, les lois décrivant des phénomènes de contact, de déformation de pièces flexibles, etc. Des modèles actuellement employés dans le contexte de simulations en RV seront décrits au chapitre 2. Néanmoins, il est nécessaire de souligner que toute modélisation physique doit être compatible avec la simulation dans un environnement de RV sous la contrainte de temps de réponse qui doit être extrêmement court afin d’assurer la fluidité des images lors d’une manipulation virtuelle.

A/D avec retour d’efforts

Les difficultés des dispositifs de génération de mouvements d’objets virtuels au niveau de la commande des composants à assembler/désassembler, une absence de sensations des composants manipulés (du grec « haptein » – toucher) ont poussé au développement de périphériques spéciaux nommés dispositifs haptiques permettant de toucher, de simuler une perception sensorielle des objets virtuels. Ces nouveaux dispositifs sont issus du domaine de la robotique (commande des robots, télé-manipulateurs) et ont été intégrés avec succès dans diverses simulations en RV. Il existe actuellement deux types de dispositifs haptiques :

• des dispositifs tactiles,

• des dispositifs à retour d’efforts.

Les premiers ont pour le but de pouvoir simuler le toucher d’un objet virtuel, la sensation de rugosité, de température, etc. [Le Roy 1999], [Fuchs & al. 2001]. En ce qui concerne la simulation des opérations d’A/D et de maintenance virtuels, c’est la seconde famille de dispositifs haptiques qui est la plus utilisée et offre des fonctionnalités supplémentaires par rapport aux outils déjà devenus classiques comme la souris 3D, la SpaceBall ou le joystick. En effet, les dispositifs à retour d’efforts permettent en temps réel de sentir un objet virtuel, de simuler sa rigidité et son poids durant une manipulation virtuelle, de simuler un effet mécanique lorsqu’un composant à assembler entre en collision avec son environnement, etc. Toutes ces fonctionnalités contribuent aux études de maintenabilité et de manutentionabilité du produit en phase de développement, aux estimations complémentaires de l’assemblabilité, l’ergonomie d’un produit à partir des efforts ressentis au cours de l’A/D et la maintenance virtuels, etc. Finalement, la vision globale de l’opérateur, sa capacité à contrôler les mouvements relatifs des composants et à pouvoir réfléchir au cours d’une manipulation donnée, et maintenant, la perception sensorielle des composants déplacés constituent un système complexe d’opérations qu’un être humain réalise plus naturellement. Ainsi, les gestes de l’opérateur sont plus réalistes, les actions simulées en assemblage virtuel avec un dispositif à retour d’efforts permettent de mieux comprendre une tâche donnée et de l’optimiser. La présentation détaillée des dispositifs haptiques, leurs avantages et limites seront données dans le chapitre 2. Néanmoins, donnons ici quelques références concernant l’A/D virtuel avec l’utilisation de dispositifs à retour d’efforts [Le Roy 1999], [Fuchs & al. 2001], [Chablat & al. 2002], [Amundarain & al. 2002], [Moreau 2003].

Pour illustrer un des intérêts de l’utilisation des dispositifs à retour d’efforts dans l’A/D et la maintenance virtuels, donnons un exemple de simulation de montage d'un moteur de vitre électrique

Chapitre 1. Méthodes et outils en conception mécanique

d’une portière de voiture Renault (Figure 1.6). Cette simulation est effectuée au sein du laboratoire LIST au CEA sur une plate-forme d’immersion virtuelle Phare à l’aide de périphériques à retour d’efforts Virtuose 6D de la société Haption dans le cadre d’un projet Perf-RV [Perf-RV 2003], [LIST CEA 2003], [Haption 2003]. Le but de ce projet est de développer un outil de prototypage virtuel permettant d’effectuer différentes études d’assemblabilité, d’accessibilité, de maintenabilité d’un produit virtuel, d’anticiper/optimiser des gestes pour le processus de production, etc. afin de réduire les essais sur des prototypes physiques et donc, atteindre des gains en termes de temps et de coûts de développement du produit. R. Gelin, responsable du service robotique et systèmes interactifs, explique à propos des besoins industriels d’une telle simulation : « Cette méthode permet également de démontrer à une phase précoce du projet l’intérêt d’un nouveau produit ou procédé, et d’identifier

précisément les souhaits et besoins des utilisateurs finaux ».

En effet, lors de l’industrialisation d’un produit et notamment, lors du montage de pièces ou de sous-ensembles de pièces, il arrive qu’un geste demandé aux employés soit difficilement réalisable, voire impossible à réaliser du point de vue de l’accessibilité ou de l’ergonomie [LIST CEA 2003]. Alors, une simulation en amont des opérations de montage virtuel, comme celle représentée sur la Figure 1.6 et basée sur l’utilisation naturelle des dispositifs à retour d’efforts avec l’immersion de l’opérateur dans un monde virtuel, permet d’investiguer, de comprendre, d’optimiser des actions réalistes pour l’A/D.

Figure 1.6. Exemple d’assemblage virtuel par interaction avec des objets virtuels : montage virtuel avec un dispositif à retour d’efforts [LIST CEA 2003].

Il existe actuellement de nouveaux dispositifs à retour d’efforts pour l’A/D virtuel couplés avec un prototype réel du composant à assembler produit par une technique de prototypage rapide (la stéréolithographie, par exemple) [Moreau 2003]. Ce type de connexion permet de tenir le composant prototypé dans la main tout au long de la manipulation virtuelle et donc, de sentir plus naturellement les efforts lorsque le composant virtuel entre en collision avec des obstacles, de planifier une trajectoire d’A/D plus réaliste, etc.

Généralement, comme dans le cas de la manipulation directe des composants virtuels avec les dispositifs de type SpaceMouse, SpaceBall, etc., les dispositifs haptiques à retour d’efforts de type Virtuose, PHANToM de la société SensAble Technologies, etc. ne permettent pas des manipulations de pièces virtuelles de type flexible. Ce handicap pousse les centres de recherche à développer de nouveaux outils, car de nouvelles simulations, plus complexes du point de vue de la modélisation de pièces flexibles et de la contrainte essentielle de la RV – la simulation en temps réel – sont demandées actuellement par des industriels. R. Gelin remarque dans une interview [LIST CEA 2003] : « Ces recherches s’orientent, entre autres, vers la simulation d’objets déformables comme des tôles, des câbles, des interactions solide – liquide ».

A/D par immersion dans un monde virtuel

La possibilité de manipulation directe de composants 3D dans les zones encombrées d’un mécanisme virtuel, l’utilisation de la vision globale d’un opérateur lors d’une manipulation virtuelle, la perception d’objets offerte par des dispositifs haptiques, les algorithmes de calcul de collisions, etc. représentent un ensemble de fonctions performantes permettant d’étudier, d’évaluer des opérations d’A/D et de maintenance virtuelles même si certaines interfaces de RV restent encore restreintes technologiquement (difficultés de simulation de pièces flexibles en temps réel, limites mécaniques et

technologiques des dispositifs haptiques, etc.). Mais est-il réellement possible de réaliser une opération de maintenance, par exemple, sans prendre en compte la présence d’un monteur, sans considérer le comportement d’un être humain, sans étudier l’ergonomie d’une tâche donnée ? L’apparition des périphériques permettant d’immerger un être humain dans un monde virtuel apporte quelques éléments de réponse au problème de l’étude plus complète des opérations d’A/D et de maintenance dans un environnement de RV.

En effet, un monteur ou un agent de maintenance réalisant une opération donnée peuvent être représentés en tant que mannequins virtuels, immergés dans un monde virtuel (un poste de travail avec le mécanisme virtuel à étudier, par exemple) et interagissant avec des composants, des engins virtuels. Ceci permet de vérifier si un monteur manipulant un composant virtuel peut effectivement avoir un accès à un endroit de montage, vérifier l’accessibilité à une pièce à changer placée dans un endroit délicat et masquée par d’autres pièces, estimer l’ergonomie des mouvements du monteur dans les conditions données, etc.

Les premières approches apparues dans ce domaine furent des simulations à l’aide d’un mannequin programmé [Chedmail & al. 2001]. Dans le cas de telle simulation, certaines tâches du mannequin sont programmées, par exemple :

• relier le repère d’un composant virtuel manipulé à une ou deux mains du mannequin,

• définir une cible du regard, un champ de vision du mannequin,

• relier linéairement une trajectoire d’A/D d’un composant avec un corps du mannequin.

Ainsi, lors d’une manipulation d’un composant virtuel, les collisions non seulement entre ce composant et son environnement extérieur, mais aussi entre le mannequin (ses bras, son corps) et son monde extérieur sont détectées et signalées en temps réel. Chedmail et Le Roy ont définit un système multi-agents offrant l’évitement automatique des collisions à l’aide un agent « glisseur » qui fait glisser des sujets actifs dans un monde virtuel (le composant manipulé, les membres du mannequin) sur leur environnement extérieur. Cette approche permet également d’assurer une attitude cohérente du mannequin en forçant ses pieds à toucher le sol et son corps à rester vertical [Chedmail & al. 1999], [Le Roy 1999], [Chedmail & al. 2001].

La Figure 1.7 illustre un exemple d’utilisation d’un mannequin pour un problème défini par SAAB dans le cadre d’un projet européen CEDIX/IRCYN/SAAB : l’étude d’accessibilité d’une bouteille d’oxygène dans un environnement encombré [Chedmail & al. 1999], [Le Roy 1999]. La fonction de recherche d’une trajectoire de montage libre de collisions entre le système à étudier (la bouteille d’oxygène et le mannequin la manipulant) et l’environnement extérieur garantit l’évitement de collisions entre le mannequin et l’environnement est également investigué et donc, la trajectoire trouvée est effectivement réalisable. Une étude ergonomique peut alors être effectuée à partir des données liées aux articulations des membres du mannequin (les positions/orientations des bras, du dos,…). De plus, la prise en compte de la masse de l’objet virtuel transporté permet d’estimer si la charge supportée est acceptable pour un être humain, si les positions des bras reliés à l’ objet transporté, les gestes du monteur associés aux moments du levage/posage d’un composant, etc. sont cohérents par rapport aux normes ergonomiques [Waters & al. 1994], [Karhu & al. 1995], [Stevenson 1998], [Chedmail & al. 2001].

Figure 1.7. Exemple de simulation d’opération de maintenance virtuelle par immersion d’un mannequin programmé [Le Roy 1999].

Chapitre 1. Méthodes et outils en conception mécanique

Afin de représenter un comportement humain aussi naturel que possible au cours d’une manipulation virtuelle et de restituer les efforts appliqués à un composant manipulé, une technique d’immersion d’un être humain dans un monde virtuel a été développée [Chedmail & al. 2001]. Cette technique est souvent liée à la représentation d’un opérateur immergé à travers un mannequin virtuel. Ainsi, le mannequin peut non seulement interagir avec le composant à manipuler et représenter plus fidèlement ses mouvements naturels lors de la simulation d’une opération donnée. Les interfaces d’immersion virtuelle que l’on peut trouver aujourd’hui sur le marché sont assez variées, et des exemples de ces dispositifs seront donnés dans le chapitre 2. Néanmoins, illustrons quelques exemples d’interfaces d’immersion souvent utilisées dans les simulations des opérations d’A/D virtuel. Les principaux périphériques sont des lunettes de vision stéréoscopique et des casques de RV offrant à un