Applications pour la recherche de contenus 3D

Dans cette section nous présentons trois applications (Search Engine 3D [Funkhouser et al., 2003], GIDeS [Fonseca et al., 2004] et Digital Shape Workbench (DSW) [Albertoni et al., 2005]) issues du monde académique qui visent l’exploitation d’un ou plusieurs types de critères pour la recherche de contenus 3D. Search Engine 3D combine des critères sémantiques (mots-clés) avec des critères géométriques. GIDeS s’appuient sur les critères géométriques et topologiques. DSW privilégie l’utilisation de critères sémantiques.

3.1.3.1. 3D Search Engine [Funkhouser et al., 2003]

À l’Université de Princeton, les travaux à l’initiative de [Funkhouser et al., 2003] et poursuivis par [Min, 2004] s’intéressent à la construction d’un moteur de recherche d’objets 3D dont les requêtes sont basées sur une réplique qui reprend les principaux traits des modèles recherchés. Les requêtes peuvent être enrichies en utilisant des mots-clés afin de lever l’ambiguïté possible entre les objets distincts de formes similaires. Les auteurs optent pour une mixité entre les recherches à base de contenus et les approches classiques à base de mots-clés. Les approches classiques de recherche par mots-clés se montrent insuffisantes pour le contenu 3D. Les auteurs reprochent aux méthodes à base de mots-clés le manque de robustesse qui apparaît lorsque les objets (et les fichiers qui les contiennent) ne comportent pas d’information textuelle auto-descriptive, ou lorsque bien que présente, elle s’avère insuffisamment descriptive.

En même temps, les auteurs s’accordent sur le fait qu’une recherche uniquement basée sur le contenu (au moyen de descripteurs de forme) montre certains manques : des objets ayant quasiment la même forme peuvent représenter des choses différentes. Pour pallier les lacunes des

approches présentées, un système capable de combiner les deux approches (textuelle et à base d’exemples) a été mis au point. L’organisation du système est présentée dans la Figure 3.14. La partie off-line du système assure l’indexation textuelle et l’indexation de la forme (2D et/ou 3D) des objets 3D.

Figure 3.14 Organisation du système de recherche proposé par [Funkhouser et al., 2003].

L’indexation textuelle correspond à l’extraction des noms présents dans le code modélisant les objets 3D. Par exemple, lorsque l’on manipule des documents VRML, l’Indexer

extrait le contenu des attributs DEF ou des éléments WorldInfo. La sélection des termes à indexer est réalisée en utilisant l’approche TF-IDF/Rocchio [Rocchio, 1971]. La partie géométrique des objets est transformée en polygones afin de pouvoir être plus facilement voxélisable. Ensuite, chaque objet ainsi voxélisé (en utilisant une grille de 64x64x64 voxels) est analysé afin de calculer le descripteur de surface sphérique (en utilisant 32 sphères) tel qu’indiqué dans la section 3.1.1.1.

L’indexeur 2D sert à caractériser les contours des objets 3D en considérant treize directions orthogonales pour les projections 2D. Cette approche d’indexation 2D des objets a été mise en place afin de supporter une recherche selon des dessins 2D fournis par les utilisateurs.

Afin de valider leur prototype, les auteurs ont réalisé trois types de tests : i) tests pour évaluer la pertinence de l’utilisation de la technique des sphères harmoniques ; ii) tests pour quantifier la plus-value obtenue suite à l’enrichissement d’une méthode de recherche ; et iii) tests pour caractériser l’utilisation de l’outil faite par des utilisateurs sur le Web. Pour la collection de modèles considérés (1890 modèles de meubles et diverses fournitures mises à disposition par Viewpoint²⁸) la courbe rappel/précision de leur méthode est meilleure que d’autres techniques implémentées pour l’occasion qui s’appuient sur les moments [Divarkan, 2004], les images de Gauss [Horn, 1984] ou encore la distribution de la forme [Osada et al., 2002]. La deuxième série d’expériences a démontré l’intérêt et la complémentarité des recherches multimodales. Dans la troisième série, les utilisateurs ont la possibilité de reformuler leurs requêtes plusieurs fois afin de lever certaines ambiguïtés lorsqu’ils utilisent uniquement une des trois méthodes de recherche. Les mesures réalisées montrent que l’utilisation des itérations qui s’appuient sur la similarité de formes est plus efficace que les itérations s’appuyant uniquement sur la similarité textuelle.

Des critiques peuvent être apportées à ces travaux et notamment en ce qui concerne l’utilisation des index 2D. Lors de l’indexation, on ne considère que les contours extérieurs des objets, toute information liée à la texture ou aux contours intérieurs est ignorée. En ce qui concerne l’indexation 3D, les auteurs traitent les objets comme un tout, il n’est pas possible de rechercher et récupérer uniquement les parties d’un modèle. De plus, l’indexation ne traite que

de la forme de l’objet. Des attributs tels que la structure, la couleur, la texture ne sont pas pris en compte.

3.1.3.2. GIDeS [Fonseca et al., 2004]

[Fonseca et al., 2004] proposent GIDeS, un système pour la création de modèles géométriques 3D en utilisant une technique de sketch combinée à des processus de recherche et de suggestion. Cette proposition a été développée dans l’esprit de favoriser la réutilisation des données dans le domaine de la CAO.

Le processus de recherche est mis à contribution dans le but d’inclure des objets déjà créés au sein de nouvelles scènes 3D. L’inclusion/récupération d’un objet se fait de manière interactive. À tout moment le système suggère à l’utilisateur un ensemble d’objets 3D de la collection, similaire à ce que l’on est en train de dessiner/construire. Par exemple, l’utilisateur commence par dessiner un contour 2D. Le système lui propose un ensemble de modèles 3D qui sont similaires au contour 2D sous la forme d’une liste de suggestions sélectionnables. L’utilisateur choisit l’objet le plus proche de ce qu’il cherche parmi les suggestions faites par le système. Cet objet peut être ensuite complété par de nouveaux éléments géométriques fournis par l’utilisateur. Par la suite, le système calcule un nouvel ensemble d’objets suggestions. Ainsi, après quelques itérations les utilisateurs arrivent à retrouver l’objet recherché. Lors des mesures, les auteurs ont observé au plus quatre itérations pour aboutir à l’identification de l’objet.

Figure 3.15 Architecture de base pour la recherche d’objets dans GIDeS d’après [Fonseca et al., 2004].

Le système GIDeS s’appuie sur une architecture initialement imaginée pour la recherche à base de sketch d’images complexes. L’architecture est présentée dans la Figure 3.15. Elle est découpée en trois modules qui gèrent respectivement : la classification, la mise en correspondance et l’indexation, l’interface et la requête. La classification correspond au processus de caractérisation d’objets 3D préexistants dans le système. Chaque objet est considéré d’un point de vue géométrique et topologique. La signature topologique concerne les relations spatiales entre les facettes des objets 3D et la signature géométrique concerne les arêtes des

objets 3D. Les objets sont tous définis suivant le paradigme B-rep (voir section 1.2.2). Pour chaque objet 3D on considère deux graphes décrivant respectivement les liens entre les facettes et les arêtes des objets 3D. Chaque graphe est ensuite analysé et on calcule des descripteurs qui s’appuient sur les valeurs principales de la matrice d’adjacence des graphes [Cvetkovic et al.,

1997]. Les descripteurs sont ensuite insérés dans deux structures d’indexation de type NB-Tree

[Fonseca et al., 2003] adéquates pour l’indexation de données multidimensionnelles. Pour construire une structure NB-Tree, on projette les données dans un espace 1D en considérant la norme euclidienne de chaque donnée. Ensuite, les points sont triés en utilisant les méthodes

B+tree. Lorsqu’une requête est émise par un utilisateur, les descripteurs associés aux graphes des arêtes et des facettes de la surface requête sont calculés. Les descripteurs obtenus sont comparés à l’ensemble des descripteurs indexés dans les structures NB-Tree existantes. La mesure de similarité reflète la distance entre les vecteurs multidimensionnels correspondant aux descripteurs de la requête et de l’objet candidat.

L’approche proposée par les auteurs a le mérite de s’intéresser à une nouvelle approche d’utilisation à base de requêtes de données 3D dans un environnement de conception. Cependant, les critères utilisés par les auteurs ne semblent pas les plus opportuns. Les descripteurs ne sont pas robustes par rapport aux multiples représentations (versions plus ou moins détaillées) d’un même objet.

3.1.3.3. Digital Shape Workbench [Albertoni et al., 2005]

Le Réseau d’Excellence AIM@SHAPE²⁹ propose dans [Albertoni et al., 2005] une solution pour la recherche de contenu en utilisant uniquement des critères de haut niveau. Présentés dans le chapitre précédent (voir section 2.4.5), ces critères couvrent une large palette d’information concernant : le processus d’acquisition d’une forme 3D, les caractéristiques de la forme en tant que fragment média et la description des futures utilisations de la forme. En plus de ces outils formels de description de formes, les auteurs proposent une architecture logicielle nommée DSW (Digital Shape Workbench) pour la recherche de l’information au sein d’un entrepôt de formes (voir la Figure 3.16).

Figure 3.16 L’architecture générale de Digital Shape Workbench [Albertoni et al., 2005].

Cette architecture formelle vise à établir les bases d’une plate-forme de recherche pour la modélisation, le stockage et l’exploitation de formes par des outils logiciels spécifiques. Au cœur de l’architecture se trouve le serveur responsable de la représentation des connaissances organisées en ontologies relatives aux formes. L’architecture est munie d’une série de services permettant d’inférer des connaissances et de rechercher des formes 3D.

Les modèles et les outils logiciels sont répartis de manière distribuée sur le réseau et sont accessibles à travers une API commune. Le moteur d’inférence et de recherche (Search Inference Engine) s’attache à offrir une bonne qualité de service lors de la recherche des formes dans la base de connaissances. Les auteurs misent sur l’utilisation des ontologies modélisées en OWL [McGuinness et al., 2004] afin de pouvoir mettre en œuvre des raisonnements déductifs à l’aide de moteurs d’inférence spécifique OWL tels que Racer³⁰. Les mécanismes d’inférence permettent d’éviter les problèmes inhérents aux processus de recherche classique (synonymie, utilisation de termes différents, annotation incomplète, etc.). Le moteur de recherche propose une interface unifiée pour l’accès aux sémantiques relatives aux formes (Shapes Repository), aux outils d’analyse et traitement (Tools Repository) et aux publications scientifiques réalisées en rapport avec la caractérisation de formes et des outils associés (Publications Repository).

Les outils du module Management Tools sont employés pour la création, l’édition, la validation, le téléchargement, la navigation et la visualisation des ontologies et des sémantiques associées aux formes, aux outils et aux publications. Une première expérimentation d’un outil issu de cette catégorie, permettant d’annoter et transformer quelques formes 3D basiques (maillages triangulaires), est présentée dans [Danovaro et al., 2007].

L’intégration au sein de l’entrepôt de connaissances des informations relatives aux outils laissent les auteurs envisager dans le futur la formulation de requêtes qui ne concernent pas uniquement une sélection de formes selon un critère sémantique, mais également de mettre en place des traitements en vue d’une transformation de l’état initial d’une forme. Ainsi des requêtes telles que : « transformer une forme d’une représentation 3D à une autre », ou « mesurer la similarité entre deux formes », peuvent être évaluées par les outils dans le module Processing Support Tools car les informations nécessaires à l’utilisation automatique des outils de traitement sont stockées dans l’entrepôt Tool Repository.

Le processus qui a mené à établir l’architecture DSW constitue une première étape dans la quête des auteurs vers le développement d’une plate-forme à large échelle pour la formalisation, le traitement et le partage des connaissances sémantiques relatives aux formes 3D et à leurs futures applications.

Cette première partie consacrée à l’analyse de critères relatifs à la recherche de données 3D montre une large variété de solutions concernant l’analyse des propriétés de bas niveau de la géométrie, de l’apparence ou de la topologie des données 3D. Cependant, la dimension sémantique des données 3D reste assez peu explorée.

Dans la section suivante nous nous intéressons aux systèmes qui, en plus de la possibilité de retrouver telle ou telle donnée 3D, permettent de les intégrer au sein de nouvelles scènes 3D.