Composition de modèles préexistants

Malgré tout, se servir d’un ensemble de modèles 3D préexistants pour guider la reconstruction est une idée qui a séduit un grand nombre de chercheurs. Certains ont même poussé le principe encore plus loin. La reconstruction n’est plus simplement guidée par un modèle 3D, mais utilise de multiples modèles 3D préexistants pour composer le résultat final lui-même.

Geosemantic Snapping for Sketch-Based Modeling de Shtof et al. [SAG+13] effectue la composition du modèle final à partir de primitives 3D simples. Après avoir fourni le dessin qu’il désire reconstruire, l’utilisateur sélectionne une des 6 primitives géomé- triques disponibles dans le système et la fait glisser sur le contour de l’élément du dessin correspondant. Le système déforme alors la primitive de manière à la faire correspondre au dessin. Les éléments 3D sont automatiquement orientés et attachés les uns aux autres à chaque ajout d’une nouvelle primitive par l’utilisateur (fig. 2.22). Cette méthode est cependant limitée aux pièces mécaniques qui sont des objets pouvant être décomposés en géométrie simple (cube, sphère, cône, etc.).

Figure 2.22 – AvecGeosemantic Snapping for Sketch-Based Modeling [SAG+13] l’uti- lisateur sélectionne et dispose des primitives géométriques sur le croquis. Celles-ci sont placées de manière à correspondre aux contours dessinés et à s’assembler ensemble.

Pour permettre la production de résultats composés d’éléments plus complexes que de simples primitives géométriques, une solution adoptée par de nombreux travaux est d’élargir la base de données de composants 3D. Interactive sketching of urban procedural

models de Nishida et al. [NGDA+16] permet, en combinant un ensemble de grammaire procédurale, la reconstruction d’un bâtiment 3D (fig. 2.23). L’utilisateur dessine chaque composant du bâtiment dans un ordre précis. Pour chacun d’entre eux, le système re- tourne la grammaire procédurale permettant de produire le résultat le plus proche de celui esquissé par l’utilisateur. Ces grammaires sont ensuite fusionnées en une seule re- présentant le bâtiment dans son intégrité.

Sketch-to-Design de Xie et al. [XXM+13] se sert des informations sur le contexte pour composer le modèle final (fig. 2.24 (a)). L’utilisateur commence par sélectionner un modèle 3D référent, tel qu’une chaise, qui servira de base à sa composition. Il des- sine ensuite, selon l’angle de vue de son choix, sur le composant du modèle actuel qu’il désire changer. Le système, connaissant la nature du modèle initiale, est capable de com- prendre à quel composant de ce modèle correspond le dessin de l’utilisateur. Il cherche alors dans sa base de données 3D un modèle possédant un composant se rapprochant de

Figure 2.23 – Processus de génération de Interactive sketching of urban procedural

models [NGDA+16]. À partir du dessin des éléments du bâtiment fournis par l’utilisateur (a) le système recherche, dans sa base, les morceaux les plus proches (b) et s’en sert pour générer le bâtiment (c).

celui esquissé par l’artiste. Le modèle initial est ensuite modifié en remplaçant la partie d’origine par celle retrouvée dans la base. Similairement Modeling By Example de Fun- khouser et al. [FKS+04] et Sketch-Based Search and Composition of 3D Models de Lee et Funkhouser [LF08] permettent la composition de modèles complexes et variés (fig. 2.24 (b) et (c)). Le premier système possède une base de données de modèles complets, dans laquelle l’utilisateur peut chercher les éléments de son choix à l’aide d’un dessin ou d’un champ de texte. Il dispose ensuite d’outils permettant de couper du modèle retrouvé la partie 3D qu’il désire incorporer au modèle original, à l’endroit spécifié manuellement par l’utilisateur. Le second système, lui, rend la composition plus automatique : la base de données est constituée de parties prédécoupées, et non pas de modèles complets, supprimant ainsi toutes les étapes de découpe manuelle à faire par l’utilisateur. Le posi- tionnement sur le modèle des parties récupérées dans la base est fait automatiquement à l’endroit où l’utilisateur a dessiné l’élément. De plus, cette seconde méthode ne se limite pas à la reconstruction d’un modèle 3D composé de multiples éléments, mais permet également de réaliser des scènes complètes où chaque composant correspond en réalité à un objet de la scène tel qu’un bureau, une chaise et un écran dans une salle.

La reconstruction d’une scène par composition, plutôt que par la modélisation d’un seul objet 3D, est d’ailleurs un sujet qui a été à l’origine de plusieurs travaux. Avec

MagicCanvas de Shin et Igarashi [SI07] l’utilisateur produit une scène en dessinant les

objets qui la composent les uns après les autres (fig. 2.25 (a)). Ce système utilise une base de données où chaque objet 3D est associé à 16 projections 2D correspondant à 16 points de vue différents. Chaque fois qu’un objet est dessiné, il recherche dans la base de données la projection 2D la plus proche de ce dessin et en déduit l’objet 3D associé. Ce modèle est alors placé dans la scène à l’endroit où le dessin a été effectué. À chaque récupération d’un modèle depuis la base de données, un ensemble d’options est proposé à l’utilisateur dans deux panneaux différents. Le premier permet de changer l’objet récupéré, permettant à l’utilisateur de sélectionner un autre modèle parmi l’ensemble

Figure 2.24 – Exemples de modèles composés à l’aide de différentes méthodes : (a) une chaise réalisée avec Sketch-to-Design [XXM+13] , (b) une chaise conçue avec Modeling

By Example [FKS+04] et (c) un pégase ainsi qu’une salle bureautique créés avec Sketch-

Based Search and Composition of 3D Models [LF08].

des candidats récupérés dans la base, ce qui est utile lorsque le résultat par défaut ne correspond pas aux attentes de l’artiste. Le second permet de modifier l’orientation de l’objet dans la scène.

Sketch2Scene de Xu et al. [XCF+13] propose une solution plus automatique. Le sys- tème a appris les relations sémantiques entre les éléments pouvant composer une scène en se servant d’un ensemble de scènes 3D comme données d’apprentissage. Pour récupérer un modèle 3D depuis la base de données, le système se servira alors à la fois de l’esquisse 2D de cet élément et des autres composants 3D déjà récupérés et de leurs esquisses. En ayant plusieurs éléments comme données d’entrée, il est capable de déterminer la nature du nouvel objet en se servant des relations sémantiques apprises pour trouver quel élé- ment 3D correspond à la disposition de l’objet esquissée par l’utilisateur par rapport aux autres éléments déjà trouvés. Ainsi la sélection du bon modèle 3D et son positionnement sont ici complètement automatiques. Des exemples de scènes reconstruites avec cette méthode sont présentés fig. 2.25 (b).

L’ensemble de ces méthodes souffre cependant d’une limitation proche de celles se servant d’a priori pour effectuer la reconstruction 3D. Pour composer le modèle final, ces systèmes utilisent des modèles 3D préexistants ; cependant cela signifie également que tous les modèles dont un ou plusieurs des composants ne correspondent pas à ceux présents dans la base ne sont pas reconstructibles. De plus, la création de la base de données 3D sur laquelle reposent ces méthodes requiert souvent beaucoup de temps et d’effort.

Figure 2.25 – La composition de scènes avec différentes méthodes : (a) salle bureautique conçue avec MagicCanvas [SI07], (b) 2 scènes modélisées avec Sketch2Scene [XCF+_13].