Chapitre 4. Discussion et approche proposée pour la définition d’un environnement
4.4. Replacer l’objet réel au cœur du processus d’interprétation
Pour ce travail, nous avons posé précédemmentl’hypothèse que l’engagement cognitif et analytique de l’observateur passe par la fusion des trois moments du relevé au sein d’un moment unique face à l’objet réel, comme c’est le cas pour le relevé traditionnel (section 2.5).
Un enjeu majeur est alors de faire converger les pratiques du relevé classique et du relevé numérique, afin d’autoriser la fusion des aspects géométriques, visuels et sémantiques au sein d’une approche intégrée. Comme nous l’avons vu, cela implique non seulement de faire converger les approches des systèmes d’information centrés sur les connaissances et celles centrées sur la 3D, comme le propose déjà efficacement Aïoli, mais cela sous-entend également d’intégrer des problématiques liées à l’hybridation réel – virtuel pour autoriser la contextualisation des données numériques sur la réalité et faciliter le processus d’analyse.
Figure 86 : Schéma de notre approche : un système d’information dédié au relevé d’art pariétal centré sur l’objet réel, permettant de spatialiser des observations. Le nuage de points 3D permet de fédérer les ressources liées à l’objet d’étude, et joue le rôle d’intermédiaire entre ces ressources et l’objet réel. Illustration : auteur.
114
Pour ce faire, nous nous inscrivons dans la continuité du travail mené par le laboratoire MAP dans le cadre du développement d’Aïoli. Notre ambition est de proposer un système d’information adapté au relevé d’art pariétal. Notre objectif est d’étendre à l’objet réel la relation projective établie entre les différentes ressources 2D et 3D relatives à un objet d’étude (Figure 86).
Concrètement, il s’agit de faire converger ce qui relève de la saisie de données spatiales avec ce qui relève de l’interprétation de l’objet dans un environnement unique. Comme nous l’avons vu précédemment (section 3.1.7), le nuage de points 3D peut être exploité pour fédérer les différentes ressources liées à un objet d’étude. Considérant la capacité des technologies actuelles à faire coexister des contenus réels et virtuels, notamment à travers la notion de persistance, notre approche propose d’utiliser ce même nuage de points comme légitime intermédiaire entre l’objet réel et les données associées, c’est-à-dire aussi bien les données issues de procédés d’acquisition 2D ou 3D, que les annotations sémantiques issues de leur interprétation (Figure 87).
Figure 87 : Schéma de notre approche. Le nuage de points agit comme intermédiaire entre l’objet réel et les données spatialisées associées, elles-mêmes liées à des descripteurs géométriques et sémantiques. Illustration : auteur.
Nous avons vu dans le Chapitre 3que la réalité mixte, et en particulier la réalité augmentée, constituait pour cela un levier majeur permettant de surmonter les verrous soulevés par Aïoli en termes d’interactions et d’hybridation. Ce chapitre nous a permis de mieux cerner les enjeux actuels de la réalité mixte et de comprendre les différentes pistes qui s’offrent à nous en termes de technologies et de méthodes.
Concernant les dispositifs d’affichage, nous avons pu voir qu’il était souhaitable de privilégier dans un premier temps les dispositifs autonomes, mobiles ou HMD optical see-through, avec une préférence pour les tablettes, qui sont déjà actuellement utilisées sur sites lors de relevés analytiques. Nous avons exclu les approches de suivi et recalage nécessitant le contrôle ou la modification de l’environnement, au profit d’approches basées vision, en particulier les approches hybrides basées sur le SLAM. En termes de développement applicatif, nous avons pu voir ici encore qu’il existait plusieurs pistes, parmi
Relevé numérique d’art pariétal : définition d’une approche innovante combinant propriétés géométriques, visuelles et sémantiques au sein d’un environnement de réalité mixte
115
lesquelles l’ébauche de standard WebXR qui semble présenter des intérêts majeurs vis-à-vis de notre contexte de travail. Associée à l’API WebGL, elle permet de développer des applications web multiplateformes dotées de contenus 3D visualisables en réalité augmentée.
À la lumière des différents états de l’art, nous proposons donc de répondre aux enjeux actuels du relevé d’art pariétal en définissant un environnement numérique dédié, se présentant sous la forme d’une application web multimodale. Cette application tient Aïoli comme base de départ (architecture logicielle, structuration des données, création de projets, propagation d’annotation, fonctionnalités collaboratives, etc.), étendu de trois principes fondamentaux interreliés.
- Fédérer : L’application ne doit pas seulement centraliser l’ensemble des données, informations, et connaissances relatives à l’objet d’étude, elle doit aussi les mettre en relation spatialement au sein d’un espace de visualisation unique temps réel autorisant leur manipulation. Compte tenu de la complexité des sites étudiés, les annotations doivent être réalisables quelle que soit la donnée d’entrée, 2D ou 3D. L’hypothèse sous-jacente est que l’approche proposée par Aïoli est généralisable à l’ensemble des données impliquées dans l’étude de l’art pariétal. ;
- Hybrider : Les données virtuelles doivent être accessibles in situ en réalité augmentée afin de permettre aux utilisateurs de les visualiser de manière contextualisée et d’interagir avec un environnement hybride comprenant l’objet réel et les informations numériques associées ; - Augmenter : L’application doit permettre d’exploiter les attributs géométriques, visuels, et
sémantiques à disposition pour faciliter le processus d’analyse et de suivi et enrichir la compréhension de l’objet. Cela passe par la définition de modalités de rendu facilitant le processus d’annotation et de description sémantique. Nous avons vu en (section 2.3) que certains procédés permettaient de faciliter l’observation de stigmates. Il s’agit donc de s’appuyer sur l’hybridation réel/virtuel pour augmenter l’environnement des releveurs par les données, informations et connaissances existantes ou calculées.
Si la spatialisation et l’augmentation constituent davantage des verrous méthodologiques que technologiques, l’hybridation représente un défi complexe qui soulève des questions à la fois technologiques et méthodologiques.
Pour atteindre ces objectifs, les problèmes à traiter sont les suivants :
1. Développement d’un viewer hybride orienté web, permettant de charger les données hétérogènes 2D et 3D impliquées dans un relevé numérique (sections 2.2 et 2.3) au sein d’un espace de représentation unique, dynamique et cohérent (section 5.2).
Ce point est fondamental car, comme nous l’avons vu précédemment, le relevé d’art pariétal nécessite le croisement de différentes ressources 2D et 3D dont la mise en relation selon des critères spatiaux constitue un préalable indispensable pour permettre la mise en relation selon des critères sémantiques. Il s’agit également d’un préalable indispensable pour permettre l’alignement réel/virtuel des ressources liées à l’objet d’étude dans le cas d’une utilisation en réalité augmentée. Pour ce faire, nous proposons
de nous baser sur l’API WebGL pour l’affichage de données 3D dans le navigateur ainsi que sur les informations issues des calculs de spatialisation pour leur chargement et leur positionnement.
116
2. Développement d’une méthode de recalage basé vision d’une scène 3D sur la réalité, indépendante du contenu manipulé, et avec pour seules données de départ les informations communiquées par le WebXR, c’est-à-dire les poses des caméras du mobile exprimées dans un système de coordonnées arbitraire différent de celui de la scène (section 5.3).
Il s’agit d’un élément clé pour permettre l’articulation de modalités de visualisation et d’interaction
desktop destinées aux moments d’études hors site avec des modalités en réalité augmentée lors des
moments sur site. Or, nous avons pu constater à partir de l’état de l’art sur les méthodes d’hybridation que le recalage constitue un verrou majeur. Nous avons également identifié les méthodes de suivi basées sur l’estimation de poses d’images clés comme un levier susceptible de converger avec les approches basées sur la photogrammétrie actuellement exploitées par Aïoli pour la spatialisation de ressources autour du nuage de points fédérateur. Notre approche consiste à proposer une méthode de recalage
basée sur un calcul de résection spatiale appliqué à une image clé issue du suivi.
3. Proposition d’outils d’assistance à la visualisation permettant de faciliter l’observation des traces anthropiques difficilement perceptibles (gravures et peintures détériorées, reliefs, etc.), mais aussi d’outils adaptés à l’annotation temps-réel des ressources 2D et 3D permettant de profiter de leurs apports respectifs (Chapitre 6).
Comme nous avons pu le constater dans les chapitres précédents, les grottes ornées sont des sites complexes. Les vestiges et traces anthropiques sont profondément liés aux caractéristiques géométriques et visuelles des parois, et souvent difficiles à apprécier à l’œil nu. Le Chapitre 2 montre bien la nécessité de surmonter les fossés sensoriels et sémantiques des données numériques par le biais de traitements permettant de faciliter le processus d’analyse. À l’inverse, les potentiels de ces mêmes données en termes de caractérisation géométrico-visuelle peuvent bénéficier aux activités d’interprétation in situ en améliorant les capacités perceptives des observateurs, par l’adjonction d’informations issues de calculs.
Notre approche consiste donc à explorer différents traitements favorisant l’interprétation tout en proposant des outils d’interaction – et en particulier d’annotation – permettant aux utilisateurs de formaliser sémantiquement le résultat de leurs observations.
Dans la suite de ce travail, nous nous attachons à apporter des réponses à ces trois problèmes par le biais d’expérimentations ayant mené au développement d’une preuve de concept. Nous détaillons dans les chapitres qui suivent nos approches ainsi que les résultats obtenus.
Relevé numérique d’art pariétal : définition d’une approche innovante combinant propriétés géométriques, visuelles et sémantiques au sein d’un environnement de réalité mixte
117
118