La sélection d’un objet dans un EV3D est une tâche consistant à identifier un objet 3D, un ensemble d’objet ou une partie d’un objet afin de le sélectionner pour réaliser une autre tâche avec celui-ci (Steed 2006). Classiquement l’identification de l’objet 3D s’effectue avec une tâche de navigation (cf. partie précédente V.2). Lors de la validation de la sélection de l’objet, la tâche de sélection s’accompagne d’une tâche de manipulation de l’objet (cf. partie suivante V.4). La sélection est donc étroitement liée aux tâches de navigation 3D et de manipulation 3D. L’état de l’art très complet de Argelaguet et Andujar (Argelaguet and Andujar 2013) permet d’avoir un aperçu des techniques ou métaphores d’interaction existantes en réalité virtuelle ou avec l’utilisation d’une souris.
Comme pour la navigation, nous réduisons le spectre de l'état de l'art concernant les techniques d’interaction pour la sélection dans un EV3D à celles utilisant un smartphone. Nous proposons de les regrouper en deux catégories : celles où le smartphone sert à la fois de dispositif d’entrée et de dispositif pour la visualisation de l’EV3D et celles dans lesquelles l’utilisation du smartphone est associée à un écran distant servant à la visualisation de l’EV3D. Dans chacune de ces catégories nous regrouperons les travaux existants suivant le type d’interaction : tactile, tangible ou autour du smartphone.
V.3.1 EV3D affiché sur l’écran du smartphone
V.3.1.1 Interaction tactile
Une technique classique utilisée avec la souris pour sélectionner un objet 3D est le lancer de rayon (Argelaguet and Andujar 2013; Jankowski and Hachet 2014). Un rayon est lancé à partir du pixel sélectionné par le curseur de la souris afin de trouver le premier point d’intersection avec un objet 3D de l’EV3D. Des techniques comme les boites englobantes des objets 3D permettent d’accélérer le calcul de l’intersection du rayon. Si le rayon intersecte un objet 3D celui-ci est alors sélectionné pour permettre, par exemple, une tâche de manipulation.
Le principe du rayon virtuel est facilement adaptable sur smartphone en remplaçant la sélection d’un pixel avec la souris par le doigt sélectionnant un pixel sur l’écran tactile. Les travaux de Daiber (Daiber, Li, and Krüger 2012) utilisent cette technique pour sélectionner un objet. Combinée à l’interaction tangible pour naviguer (cf. partie V.2.1.2), l’inclinaison du smartphone pour changer le point de vue permet de sélectionner de manière intuitive et rapide des objets qui seraient cachés les uns derrières les autres (Daiber, Li, and Krüger 2012). Pour résoudre le problème de sélection d'un objet dans un EV3D dense contenant beaucoup d’objets 3D et d’occultation entre objets, la technique Dual-Finger (Telkenaroglu and Capin 2012) propose l’utilisation d’un deuxième doigt pour contrôler un facteur de zoom déplaçant le point de vue autour du rayon afin d’affiner la position du rayon ou de déterminer un offset à appliquer à la position du rayon (cf. Figure 51, page suivante).
V.3.1.2 Interaction tangible
L’utilisation tangible du smartphone pour sélectionner un objet 3D est liée à la tâche de navigation 3D dans l’EV3D. Ces techniques d’interaction ont été détaillées dans la partie V.2.1.2. La validation finale de la cible avec ces techniques se réalise classiquement avec un lancer de rayon et l’utilisation de l’écran tactile (cf. partie précédent V.3.1.1). À titre d’exemple, nous pouvons citer l’application Google Sky Map (Ouilhet 2010) qui affiche les étoiles et les constellations visibles dans le ciel en
orientant et déplaçant physiquement le smartphone. La sélection d’une étoile en touchant son image sur l’écran tactile avec le doigt, permet d’afficher les informations complémentaires la concernant.
V.3.1.3 Interaction autour du smartphone
Le seul exemple de technique existante pour valider la sélection d’un objet 3D affiché sur l’écran du smartphone est la technique T(ether) (Lakatos et al. 2014). Une représentation virtuelle de la main et des doigts interagissant derrière le smartphone est affichée dans l’EV3D permettant à l’utilisateur de physiquement sélectionner un objet 3D ou un sommet d’un objet 3D. La validation s’effectue en établissant un contact physique entre le pouce et l’index de la main. Le même principe est utilisé : avec le majeur et le pouce pour créer un objet ou un sommet ; avec l’annulaire et le pouce pour supprimer un objet ou un sommet (cf. Figure 52). L’utilisateur a donc l’impression de sélectionner physiquement l’objet 3D qui est virtuellement affiché derrière le smartphone. Il ne s'agit en fait ni plus ni moins que d'une forme de langage gestuel destiné à être utilisé autour d'un smartphone.
Figure 51 : Technique Dual-Finger utilisant un lancer de rayon (au niveau de la croix blanche) et un facteur de zoom pour sélectionner un objet 3D (Telkenaroglu and
Capin 2012)
Figure 52 : Technique T(ether) utilisant la main de l’utilisateur derrière le smartphone pour sélectionner,
créer ou supprimer un objet 3D (Lakatos et al. 2014)
V.3.2 Smartphone et écran distant
L’utilisation du smartphone pour sélectionner un objet dans un EV3D affiché sur un écran distant a également été étudiée dans la littérature.
V.3.2.1 Interaction tactile
Une première illustration du principe d’interaction à distance avec un smartphone, bien que n’utilisant pas d’EV3D, est la technique ARC-Pad (McCallum and Irani 2009). L’écran tactile du smartphone est utilisé pour contrôler la position absolue ou relative d’un curseur de souris affiché sur un écran distant. Comparée au contrôle relatif d’un touchpad classique, cette technique basée smartphone pour sélectionner un objet est plus rapide, tout en garantissant une bonne précision. Les travaux de Nancel et al. (Nancel et al. 2013) améliorent la fonction de transfert de la technique ARC-Pad et ajoutent le contrôle avec un second doigt. Il propose aussi d’ajouter la direction du regard de l’utilisateur afin d’augmenter la vitesse de sélection. L’utilisation du regard a aussi été explorée dans les travaux nommés Still Looking (Stellmach and Dachselt 2013). La technique TouchGP combine le regard et un geste de translation ou de toucher pour respectivement affiner la position du pointeur de sélection ou
Sélection 3D
valider la sélection. La technique HdLens ajoute une lentille de zoom (paradigme Focus + Contexte, cf. partie V.2.2.3) pilotée par l’écran tactile pour obtenir une précision de sélection plus importante. Le regard ainsi que le geste de toucher sur l’écran tactile sont utilisés pour valider la sélection. Les trois solutions existantes détaillées jusqu’à présent n’utilisent pas à proprement parler des objets 3D dans un EV3D. Mais celles-ci peuvent être réutilisées dans un contexte similaire pour sélectionner un objet 3D notamment la technique HdLens qui ajoute une troisième dimension avec la gestion de la lentille de zoom.
Liang et al. (Liang, Williams, et al. 2012) ont réalisé une étude afin de générer des directives de conception pour manipuler des objets 3D à distance à l’aide d’un smartphone. L’implémentation de leur technique d’interaction affiche sur l’écran du smartphone une grille carrée alignée sur une zone de l’EV3D afin de permettre à l’utilisateur d’identifier la zone d’impact de ses actions dans l’EV3D et de guider ces actions physiques sur l’écran du smartphone. Au niveau de la tâche de sélection, leur étude propose d’utiliser la surface tactile pour classiquement sélectionner les objets 3D au premier plan avec un lancer de rayon. L’arrière du smartphone dispose aussi d’une surface tactile permettant de sélectionner de la même manière l’objet en arrière-plan (cf. Figure 53). Cette solution permet de sélectionner un objet 3D caché par un autre mais atteint vite ses limites dans un EV3D contenant un nombre important d’objet 3D.
Figure 53 : Principe d’utilisation de l’arrière d’un smartphone pour sélectionner un objet en arrière-plan
(Liang, Williams, et al. 2012)
V.3.2.2 Interaction tangible
Les travaux de Lee et al. (Lee et al. 2011) illustrent l’utilisation tangible d’un smartphone pour sélectionner un objet 3D affiché sur un écran distant. Il propose d’adapter la technique de la main virtuelle (virtual hand) très répandue en réalité virtuelle (Bowman et al. 2004) en utilisant le smartphone. Les mouvements de la main virtuelle dans le plan de l’écran distant sont commandés par les mouvements physiques du smartphone, captés par le gyroscope de celui-ci. Les mouvements en profondeur de la main virtuelle sont commandés en effectuant un balayage de haut en bas de l’écran du smartphone avec un doigt. Afin de valider la sélection, c’est-à-dire que la main virtuelle saisisse l’objet 3D, l’utilisateur doit effectuer un mouvement de toucher sur l’écran du smartphone. La même interaction est utilisée pour relâcher l’objet 3D. Cette solution a l’avantage de ne pas utiliser de capteur 3D externe pour implémenter l’interaction mais entrainera probablement des erreurs de positionnement dues au gyroscope lors d’une évaluation utilisateur. Elle permet aussi la manipulation 3D de l’objet sélectionné que nous verrons dans la partie suivante (V.4 page 125).
V.3.2.3 Interaction autour du smartphone
Comme nous l’avons vu pour la tâche de navigation 3D (cf. partie V.2.2.3 page 120), très peu de travaux existent traite de la sélection d’un objet affiché sur un écran distant en utilisant une interaction autour d’un smartphone. Néanmoins nous pouvons citer les travaux de Voida et al. (Voida et al. 2009) qui proposent d’utiliser un smartphone avec le paradigme Focus + Contexte. L’utilisateur manipule le smartphone au-dessus d’une table tactile distante afin d’afficher sur l’écran du smartphone une vue focus des données. La sélection de l’objet s’effectuant sur l’écran du smartphone, un facteur de zoom sur la vue focus permet de s’approcher d’un contexte en trois dimensions.