CHAPITRE 4 ENSEIGNEMENTS ISSUS DE L'EMPIRISME ET PROPOSITION D'UNE
4.7 La réalisation de la cohérence spatiale pour la RASP
Nous avons pu observer dans la présentation des cas qu'il existait différents processus opérationnels pour assurer la mise en correspondance spatiale par projection vidéo. Le choix du processus dépend surtout de la connaissance du monde lors de la conception et réalisation du contenu d'augmentation. La difficulté de la conception des SRASP, par rapport aux SRAS, est dans la gestion de l'enregistrement 3D du contenu virtuel, les étapes de mise en correspondance spatiale pouvant avoir lieu au sein du monde physique ou numérique. Certains processus nécessitent l’utilisation de technologies spécifiques et un flux de restitution plus complexe, mais permettent d’offrir une souplesse pour la calibration parfois indispensable en situation réelle.
Aussi, cela dépend beaucoup du contenu visuel de l’augmentation, sa fonction et de la géométrie de la surface de projection. Il s'agira le plus souvent de concevoir un processus mixte à partir des quatre processus génériques détaillés dans la suite. Cependant, avant de les comparer, nous allons présenter les variables appréhendées durant la R-A qui, selon nous, influencent le choix ou la conception du processus, et que nous avons retenues pour les indexer et formuler des recommandations concernant leurs utilisations contextuelles.
4.7.1 Le type de mise en correspondance entre l'augmentation et son support
De façon générale, pour être en mesure de créer du contenu intégrant une cohérence spatiale avec le support pour la perception d'un utilisateur placé dans un environnement de RM, on désire se retrouver dans une des deux, ou les deux, configurations suivantes :Mise en correspondance orthogonale aux éléments de surface : Il s’agit de la mise en correspondance préconisée pour changer l’apparence d’un objet en changeant sa texture virtuelle. Mise en correspondance orthoprojetée sur la surface : Il s’agit de la mise en correspondance préconisée pour transformer le "volume" d’un objet tridimensionnel utilisé comme surface de projection afin de l’utiliser comme "écran plan". Cette configuration implique cependant de prendre en compte le point de vue de l’utilisateur dans la création du contenu pour le respect perspectiviste et les prédéformations associées à la projection du plan de l'image sur le volume.
4.7.2 Le type d’habillage d’augmentation
Habillage 2D (graphique) : Nous parlerons d’habillage 2D lorsque le contenu vidéo de l’augmentation est créé dans un logiciel d’édition et de composition vidéo puis habillé sur un volume dans le monde réel. La mise en correspondance se fait par observation directe et prédéformations itératives jusqu’à la cohérence spatiale recherchée. Ce type d’habillage vise généralement à modifier la texture de l’objet avec une mise en correspondance orthogonale aux surfaces. Ces processus n’utilisent pas de réplique virtuelle de la surface à augmenter.
Habillage 3D (volumique) : Nous parlerons d’habillage 3D lorsque la création du contenu de l’augmentation se fait dans un logiciel de modélisation et animation 3D. Ces processus requièrent de travailler avec une réplique virtuelle 3D de la surface de projection pour créer les visuels d’augmentation. Pour obtenir cette réplique, il est possible de faire une numérisation 3D de la
surface de projection ou encore de s’assurer par la métrologie que la modélisation de la réplique est aux bonnes dimensions. Selon le type d’augmentation vidéo recherché, une mise en correspondance de type orthoprojetée ou orthogonale aux surfaces est réalisée sur la réplique virtuelle de la surface de projection au sein d’un logiciel de modélisation et d’animation 3D. Ces logiciels ont des modules destinés à faciliter cette tâche, voire à la rendre automatique. Ces textures sont alors éditées au sein d’un logiciel photo, ou vidéo s’il s’agit de texture animée. La mise en correspondance ne se fait ainsi plus par observation directe dans le monde physique, mais virtuellement. Ces habillages visent généralement à provoquer des illusions de transformation de la géométrie de l'objet augmenté. Cependant, avoir recours à un espace virtuel 3D pour la création de contenu d'un environnement de RM soulève d’autres considérations que nous relevons ci-après. Les images explicatives d'illustration sont tirées d'une documentation associée au "Projector Node" de VVVV, référencé en annexe B.
De façon générale, le seul moyen d’obtenir un habillage 3D spatialement cohérent sur un objet volumique consiste à envoyer une image au projecteur représentant la vue qu’aurait ce projecteur dans la scène virtuelle. En d’autres termes, il s’agit de considérer le projecteur comme étant une caméra dans l’espace virtuel, regardant une réplique virtuelle de la surface de projection cible. Ce principe est illustré sur les images de la figure 4-3.
Figure 4-3 : Illustration d'un habillage en 3D (source : VVVV.com)
Aussi, l’utilisation de contenu perspectiviste projeté sur une surface volumique quelconque implique de prendre en considération le point de vue du spectateur vis-à-vis de la perspective du contenu vidéo de l’augmentation. Cette remarque implique en théorie que toute vidéo intégrant du contenu avec une perspective doit être vue depuis un point précis dans l’espace pour que l’illusion perspectiviste fonctionne. Si par exemple des effets d’extrusion sont utilisés sur le
modèle 3D, ils ne provoqueront l’illusion que depuis le point de vue du projecteur. Cette remarque est illustrée sur les deux images de la figure 4-4.
Figure 4-4 : Illustration de la seconde passe de rendu projective (source : VVVV.com) Dans la pratique, on désire souvent que la position de l’utilisateur final/public soit différente de celle du projecteur, et/ou avoir plusieurs projecteurs partageant la même perspective virtuelle. Cela implique de rajouter une passe de rendu au processus de restitution de l’augmentation vidéo : la première passe fait le rendu de la scène du point de vue du public, afin de donner la bonne perspective aux effets de transformation de la géométrie. La seconde passe fait alors le rendu de la scène virtuelle du point de vue des projecteurs réels tandis que le résultat de la première passe est projeté sur le modèle 3D par un projecteur virtuel depuis l’emplacement de la première caméra, c.-à-d. la vue du public. Il s'agit ici du problème rencontré dans le projet 4.
4.7.3 L'influence des déformations projectives
C'est principalement la géométrie de la surface de projection qui influence le choix du logiciel et la stratégie à adopter pour l'enregistrement en 3D. Certains logiciels intègrent des modules destinés à faciliter certains types de prédéformations et paradigmes applicatifs de SRAS, comme par exemple les dômes immersifs ou les CAVE ("Cave Automatic Virtual Environnent"). On peut observer sur la figure 4-5 une classification des géométries de surfaces que l’on peut rencontrer en situation d’augmentation et le type de déformations projectives qu’elles imposent. Nous nous servirons de cette classification pour faire des recommandations dans la partie suivante.
Figure 4-5 : Classifications des géométries de surface et prédéformation projective associées
4.7.4 L'intégration des prédéformations projectives dans les visuels
Dans les SARS réalisés, le visuel d'augmentation était généralement préenregistré puis lu par un lecteur interactif. Il est important de réaliser que si la prédéformation du flux vidéo pour la mise en correspondance spatiale est réalisée au moment de la création, cela implique que les outils de prédéformation seront ceux de l’environnement dans lequel a été créé le contenu. On parlera dans ce cadre de processus prérendu. Si les prédéformations sont appliquées durant le processus de restitution du contenu, les outils de mise en correspondance disponible seront ceux de la partie logicielle du serveur multimédia ou du projecteur. L’augmentation numérique requiert dans ce cas une technologie spécifique et la projection est alors une visualisation en temps réel d’une vidéo préenregistrée appliquée sur une surface déformable. On parlera dans ce cadre de processus temps réel.
Ces variables d'indexation présentées, nous allons faire l’analyse comparative de différents processus permettant d’assurer l'enregistrement en 3D entre l’environnement, le visuel d’augmentation et l'utilisateur dans un SRASP.