La composante de positionnement

Pour illustrer la composante de positionnement, ses défis et sa terminologie concernant la modalité visuelle, considérons dans un premier temps une photo représentant la perception d'un utilisateur de la réalité. Il s'agit des défis associés à la composition réel/virtuel en général et les projets décrits ci-après utilisent une telle image comme image dite "de référence", à partir de laquelle les artistes vont combiner réel et virtuel. Qu'il s'agisse d'une captation de la réalité (photo), ou une création la modélisant, plusieurs défis se posent lorsqu'on cherche à insérer des objets virtuels de façon réaliste. Le premier défi consiste à faire correspondre la perspective de l'objet virtuel avec celle de la scène réelle pour l'utilisateur. Il s'agit du problème dit "d'alignement des caméras réelle et virtuelle" dans la littérature. Résoudre ce problème consiste à retrouver les propriétés de la caméra réelle ayant donné lieu à l'observation (réglages internes et point de vue par rapport à la scène), et à calculer les images synthétiques en utilisant une caméra virtuelle reprenant ces propriété (voir figure 2-8).

(a) (b)

(c) (d)

La figure 2-8 (a) illustre une simple combinaison réel/virtuel. La figure 2-8b (b) montre un exemple de résultat obtenu lorsque l'image de la voiture respecte la perspective réelle de l'utilisateur. On constate toutefois que d'avoir résolu ce problème ne suffit pas à obtenir une image réaliste : la voiture n'est pas correctement éclairée, et la partie arrière du véhicule qui devrait être occultée par le bâtiment photographié est pourtant projetée par-dessus l'édifice. Dans le cas d’une intégration réaliste plaçant l’objet virtuel dans la scène en tenant compte des occultations (ou occlusion), Fuchs parle d’intégration. Dans le cas d’une simple superposition de l’objet à l’image, il parle d’incrustation. Nous garderons sa terminologie dans ce mémoire. La figure 2-8 (c) montre un résultat de composition où la cohérence spatiale est prise en compte. Enfin les défis la cohérence photométrique concerne la prise en compte des interréflexions lumineuses (ombres, reflets) entre les scènes réelle et virtuelle. La figure 2-8 (d) montre le résultat obtenu en tenant compte de la cohérence photométrique (Simon, 2006).

Dans un SRAS, il ne s'agit pas de créer une image en postproduction, mais une perception de la réalité physique en temps réel pour l'utilisateur. Au niveau de la création du contenu virtuel, les défis associés à la cohérence spatio-temporelle concernent les déplacements des objets virtuels dans la scène réelle (positionnement relatif, synchronisation temporelle), ainsi que les occultations et interpénétrations qui peuvent se produire entre éléments réels et virtuels.

Afin de permettre à un utilisateur d’observer le monde de réalité mixte, il est nécessaire d’employer un système d’affichage, présenté précédemment, agissant comme intermédiaire entre le monde physique et virtuel. Or comme il n’existe pas de connexion naturelle entre le virtuel et le réel, une méthode dite "d'enregistrement" ("registration") doit être établie entre ces deux mondes. C’est ce qui permet de référencer les informations numériques au monde réel et de les présenter à l’utilisateur de façon à les intégrer naturellement à sa perception de la réalité. Nous parlerons également de mise en correspondance. De façon générale, un système d’enregistrement utilise une technologie dite "de suivi" ("tracking") qui permet d’obtenir la position et l’orientation de l’utilisateur pour ensuite calculer la transformation à appliquer aux données numériques 3D de façon à ce qu’elles soient spatialement cohérentes dans le monde réel, le problème générique de l'alignement des caméras précédemment présenté.. L’enregistrement est un des défis le plus importants des SRA et fait l’objet d’études intensives depuis que l’idée de la RA a été lancée par Sutherland en 1968 (cf. Rolland, 2001, Klein, 2006).

Dans son SRA (voir figure 2-9), Sutherland utilisait un système d’enregistrement mécanique suspendu au plafond au-dessus de l’utilisateur d’une telle envergure qu’il était surnommé "l’épée de Damoclès" (Sutherland, 1968).

Figure 2-9 : Premier SRA et son système d'enregistrement mécanique (Sutherland, 1968) Il existe de nos jours une très grande variété de stratégies possibles qui comportent chacune leurs avantages et désavantages. Ce sont surtout ces stratégies qui seront analysées lors de la présentation des cas du chapitre suivant lorsque nous parlerons de la conception de la cohérence spatiale et temporelle pour chacun des SRA. En fait, la particularité des SRAS réalisés durant cette étude est que cet enregistrement n'était pas toujours actualisé en temps réel, pour des raisons contextuelles à l'utilisation de RAS dans les événements. Cependant, de façon générale, on peut dire que la méthode de suivi employée a un impact direct sur la précision de l’enregistrement obtenu. Dans les SRAS présentés, c'est principalement le manque de connaissance du monde qui rendait délicate la conception de la composante de positionnement, l'augmentation ayant lieu dans un environnement non contrôlé dont l'accès n'était pas toujours possible en amont. La réussite du projet reposait donc sur la mise en place d'une stratégie permettant de surmonter les incertitudes dues à cette "non-connaissance du monde" (le cadre de référence) et c'est ce qui rend pertinent leur présentation en tant que résultat d'étude dans le corps du mémoire.

Nous avons pu voir dans les parties précédentes les composantes essentielles à la conception d'un SRA, ses buts et contraintes génériques. Nous allons dans la section suivante observer comment les chercheurs ont mis en place des approches, artéfacts et mécanismes pour ne pas devoir réinventer sans arrêt la roue pour développer de nouveaux SRA.