Approches hybrides 2D/3D

Les supports 2D et 3D générés lors de relevés présentent tous des avantages au regard d’une utilisation donnée. Dans la majorité des cas, il est inenvisageable de privilégier exclusivement un support au détriment d’un autre, car les données se complètent. Si l’on s’en tenait aux méthodes d’enrichissement présentées précédemment, cela imposerait aux releveurs de répéter les opérations d’annotation pour chaque type de support, ce qui s’avèrerait fastidieux. Pour faciliter l’utilisation combinée de ces données, certains travaux s’intéressent à la définition d’approches hybrides 2D/3D pour l’enrichissement sémantique. Ces approches imposent de connaître la position relative des données (images, nuages de points et/ou modèles 3D) les unes par rapport aux autres, pour établir une relation projective permettant de transférer des annotations sémantiques réalisées sur l’un des supports aux autres éléments de la scène. Lorsqu’une relation projective est établie entre des ressources 2D et 3D, deux approches sont possibles : partir de l’espace 3D pour projeter une annotation vers les ressources 2D, ou l’inverse.

La projection 3D → 2D est exploitée par Busayarat (2010), qui considère le modèle 3D de l’objet d’étude comme un moyen privilégié d’accès aux informations patrimoniales. L’application web Nubes Imago repose sur la construction d’une représentation 3D complète de l’édifice à partir d’un relevé terrain. Le modèle est ensuite segmenté et chaque élément décrit par des attributs sémantiques. Les ressources iconographiques 2D représentant le même édifice sont ensuite référencées spatialement autour du modèle 3D. Le modèle peut alors être utilisé comme source pour stocker et propager par projection géométrique les attributs sémantiques sur l’ensemble des ressources 2D. Ce principe est exploité par De Luca et al. (2010) pour l’analyse spatio-temporelle d’édifices. Leur approche repose sur l’utilisation de différentes maquettes 3D représentant des états temporels successifs. Cependant, dans les deux cas la méthode exige un important travail de préparation et de traitement des données 3D. Ce n’est pas envisageable dans le cas de l’art pariétal, principalement parce que la segmentation des objets d’étude n’est pas rigide, elle dépend des intérêts de l’observateur et peut évoluer au cours du temps selon les connaissances de la communauté qui l’étudie.

Relevé numérique d’art pariétal : définition d’une approche innovante combinant propriétés géométriques, visuelles et sémantiques au sein d’un environnement de réalité mixte

67

Grilli et al. (2018) proposent une méthode 2D → 3D. Il s’agit d’une approche de classification de modèles 3D d’objets patrimoniaux basée sur la segmentation de leurs textures par des méthodes d’apprentissage supervisé. Le processus part d’un nuage de points 3D coloré ou d’un modèle 3D maillé. Dans un premier temps, des orthophotographies et des cartes UV sont créées. Un modèle supervisé est entraîné sur un ensemble d’images annotées manuellement. Les orthophotographies et textures sont segmentées et classifiées à l’aide de ce modèle, puis le résultat de cette opération est reprojeté dans l’espace objet 3D.

Figure 49 : Résultats expérimentaux de l’approche proposée par Stathopoulou et Remondino (2019). Gauche : Image originale. Centre : Image segmentée sémantiquement. Droite : Nuage de points épars après transfert des labels. Illustration : (Stathopoulou, Remondino, 2019).

Stathopoulou et Remondino (2019) ne considèrent pas l’enrichissement sémantique comme un post- traitement mais comme une étape du processus d’acquisition. Leur approche est d’introduire des méthodes de segmentation et classification automatique directement au sein du processus de photogrammétrie. Dans cette approche, l’annotation sémantique d’images est utilisée pour optimiser la sélection des points d’intérêt lors de l’appariement (il s’agit d’éviter les erreurs de correspondance en vérifiant que les points homologues sont bien associés au même tag). Elle est également employée pour générer des masques permettant d’exclure des zones lors de la génération du nuage de points dense (par exemple le ciel), et enfin, pour transférer les tags détectés sur les images sur le nuage de points résultant (Figure 49).

Cette approche est prometteuse, particulièrement en ce qui concerne la qualité des données 3D générées. En revanche, concernant l’annotation sémantique du nuage de points, elle semble pour l’heure insuffisante. Seules cinq classes sont utilisées pour segmenter les scènes, sans possibilité d’édition ou complétion manuelle des descriptions. Dans l’immédiat, nous pouvons imaginer que cette approche offre des perspectives intéressantes concernant les édifices architecturaux, mais nous devons émettre des réserves quant à la compatibilité avec notre sujet d’étude, l’art pariétal.

Dans sa thèse, Manuel (2016) propose également de profiter de la relation projective établie lors du processus de reconstruction photogrammétrique. Sa méthode d’indexation, a donné naissance à la plateforme cloud Aïoli, dédiée à l’annotation sémantique 2D et 3D pour la documentation collaborative d’objets patrimoniaux (section 3.1.7). L’idée est de mémoriser les correspondances liant les pixels des images aux points du nuage de points généré. La relation bijective ainsi établie permet de connaître, pour chaque point 3D, la liste des images sur lesquelles le point apparaît et sa position sur celles-ci. Inversement, pour chaque point d’une image, il est possible d’obtenir les points 3D correspondants.

68

Grâce à ce processus, des annotations réalisées sur n’importe quelle image de l’objet d’étude peuvent être automatiquement projetées sur toutes les autres images, avec de surcroît l’avantage de gérer les occlusions (Figure 50). Actuellement, cette méthode n’est exploitée que pour l’annotation à partir des supports 2D, mais sur le plan théorique, rien ne s’oppose à ce que le nuage de points 3D soit, lui aussi, utilisé comme entrée du processus d’annotation. Les régions propagées sont structurées sous forme de calques et associées à des descripteurs géométriques (calculés automatiquement sur la base des données d’entrée) et sémantiques (définis librement par les utilisateurs). Les descriptions sémantiques peuvent être réalisées sous forme d’attributs ou de relations.

Par la suite, Messaoudi (2017) a montré dans sa thèse que ce fonctionnement pouvait supporter également l’utilisation d’ontologies de domaines. Menées dans le cadre d’une étude sur la conservation des structures maçonnées, les expérimentations ont permis de réaliser des annotations structurées et décrites selon une ontologie de domaine : les calques contenant les annotations correspondaient aux classes thématiques de l’ontologie, et les descriptions sémantiques étaient guidées par les concepts de l’ontologie. À partir de ces données, l’auteur a alors pu étudier les relations spatiales entre les concepts, et notamment comparer si sémantiquement, deux concepts de classes thématiques différentes se superposaient spatialement (Figure 51).

Figure 51 : Exemple issu de l’approche proposée par Messaoudi (2017), deux instances d’une annotation liées au même concept. La description basée sur une ontologie permet d’établir un modèle de corrélation multidimensionnel. Illustration : (Messaoudi, 2017).

Ces expérimentations montrent qu’il est possible de relier au sein d’un seul modèle de connaissances les dimensions sémantiques et morphologiques, ce qui rend possible l’accès à de nouveaux niveaux d’analyse et de gestion d’informations, particulièrement dans des cadres de travail collaboratifs.

Dans le cas de l’art pariétal, nous pouvons constater une certaine volonté d’aller dans le sens d’approches hybrides, à travers différents travaux s’intéressant au transfert de relevés sur les modèles 3D de l’objet d’étude. Robert et al. (2014) proposent une méthode pour mettre en relation les données archéologiques et analytiques et les données 3D, avec l’objectif d’y associer un système d’interrogation. Dans un premier temps, les auteurs se sont intéressés à la définition d’un protocole pour le recalage des relevés

Figure 50 : Approche de propagation 2D/3D d’annotations, proposée par Manuel (2016). Illustration : (Manuel, 2016).

Relevé numérique d’art pariétal : définition d’une approche innovante combinant propriétés géométriques, visuelles et sémantiques au sein d’un environnement de réalité mixte

69

analytiques 2D sur les modèles 3D correspondants, qu’ils soient issus de lasergrammétrie de photogrammétrie (Figure 52). Le recalage passe par l’identification des points de correspondances entre le relevé 2D et le modèle 3D, puis par une étape de triangulation pour optimiser la projection.

Figure 52 : Modèle 3D du mammouth du Patriarche (grotte de Rouffignac), et relevé infographique correspondant. Illustration : (Robert et al., 2014).

Pour la grotte Blanchard, les auteurs ont développé un système d’information nommé Cumulus dans le but de centraliser les données archéologiques et analytiques (relevés graphiques, fiches d’études des objets, microanalyses, etc.). Chaque ressource est référencée sur le modèle 3D de la grotte par un URI liée à un point 3D de l’objet. Les utilisateurs peuvent alors comparer la localisation spatiale des différentes données archéologiques recensées et accéder instantanément aux informations qui y sont associées (Figure 53).

Figure 53 : Logiciel Cumulus, proposé par Robert et al. (2014) pour l'intégration et la consultation de données archéologiques et analytiques à partir du modèle 3D. Illustration : (Robert et al., 2014).

Le système est encore expérimental et les auteurs concluent sur l’intérêt d’un système d’informations archéologiques en trois dimensions, « qui constitue à la fois un support pérenne pour la conservation

du site, un support de recherche (par exemple pour des analyses spatiales), et un support d’archives 3D pour l’ensemble des données analytiques obtenues dans la grotte ». Notons cependant que l’approche

70

hérite des limites des techniques de relevés analytiques, qui ne permettent pas d’établir informatiquement des relations sémantiques entre les régions identifiées. Ainsi, malgré leur projection précise sur le modèle 3D, ces données constituent une limite au système d’interrogation avancée que les auteurs entendent mettre en place.

Dans le cadre de l’étude de la grotte de Marsoulas, Fritz et al. (2016) proposent un workflow permettant de reprojeter les relevés réalisés en 2D sur des modèles 3D haute-résolution des panneaux concernés. La méthode proposée implique la création d’un modèle 3D par photogrammétrie, à partir duquel sont extraites les orthophotographies destinées à servir de supports aux relevés analytiques 2D. Ces images sont extraites sous différents éclairages, pour faciliter la lecture des reliefs. Le releveur retourne alors dans la grotte, charge les orthophotographies sur une tablette à l’aide du logiciel Photoshop, chaque éclairage faisant l’objet d’un calque. Face à la paroi réelle, le releveur réalise son relevé sur tablette, aidé des différents calques d’éclairage. Enfin, le document créé est renvoyé ex situ pour être traité et reprojeté sur le modèle 3D de la paroi. La projection des tracés sur le modèle 3D est utilisée pour étudier la façon dont la morphologie de la grotte a été exploitée comme dispositif artistique.

Ce protocole hybride 2D/3D exploite bien la capacité des données 3D à supporter les différents modes de projection géométrique, et illustre en outre une certaine volonté d’allier les pratiques de relevé in situ avec les capacités de traitement apportées par l’informatique. Cependant, les tracés sont projetés sous la forme de textures bitmap, les géométries sous-jacentes sont donc discrétisées ce qui constitue une perte d’un point de vue géométrique. Par ailleurs, il semble que les structures d’annotations établies lors du relevé in situ par le biais des calques ne soient pas conservées lors de la projection 2D/3D. Enfin, la charte graphique employée pour la codification des observations n’étant pas citée dans l’article, nous pouvons supposer qu’elle constitue un document annexe du modèle 3D généré à l’issue du processus, et qu’elle n’est donc pas encore, à ce stade de l’étude, exploitable pour l’interrogation des données résultantes.