Type

En interaction homme-machine, à notre connaissance, la littérature fait état de deux types d’interaction gestuelle : l’interaction gestuelle dans lequel le geste est libre ou bien le geste est contraint par une surface. Ces deux types d’interaction peuvent être instrumentés. Dans le cas du geste libre, l’inter- action peut être par exemple réalisée à l’aide d’une télécommande ou d’un téléphone mobile. Dans le cas où le geste est contraint par une surface, il peut être effectué à l’aide d’un stylo numérique [Malacria et Lecolinet,2008], d’un écran tactile, d’une tablette graphique, etc.

Le geste libre correspond à la forme du geste la moins restrictive. Il est seulement contraint par les limites physiologiques du mouvement des par- ties du corps dans l’espace. Le geste contraint par une surface correspond à l’interaction dite tactile. Dans ce contexte, le geste est supporté par une sur- face qui offre un certain confort d’utilisation et un espace de guidage grâce au retour haptique passif résultant du contact du doigt avec cette surface. Finalement, le geste instrumenté correspond au geste effectué à l’aide d’un instrument. Dans cette configuration, la ou les mains manipule(nt) un instru- ment, généralement un dispositif mobile équipé de capteurs d’orientation, qui permet de digitaliser les mouvements du geste dans l’air. Les gestes réalisés dans cette condition peuvent dépendre de certains facteurs tels que la pré- sence d’un écran embarqué comme dans le cas des téléphone mobiles, qu’il est en général nécessaire de voir pour accomplir l’action. Dans d’autres cas, cet instrument peut aussi jouer le rôle du prolongement du bras à la manière d’une baguette magique [Wilson et Shafer,2003].

Ces deux types de gestes partagent des propriétés susceptibles de four- nir une catégorisation générale du geste de la main. Nous verrons que, en fonction du type de geste, ces propriétés s’expriment différemment. Elles dé- terminent la fonction du geste et son anatomie.

4.2.2 Fonction

Pour décrire les fonctions du geste nous reprenons la définition deCadoz [1994] qui définit le canal gestuel par trois fonctions : une fonction épistémique, ergotiqueou sémiotique.

La fonction épistémique du geste décrit un geste exploratoire permettant d’acquérir de l’information grâce aux différents récepteurs de la main (Fi- gure4.6). Ce geste fait intervenir le sens tactilo-kinesthésique ou haptique et

le sens proprioceptif. Le sens haptique est le résultat de la stimulation des récepteurs de la peau, des muscles des tendons et des articulations générée par l’exploration manuelle avec contact d’un objet dans l’espace [Gentaz et al., 2008]. Le sens proprioceptif, quant à lui, interprète les signaux du mouve- ment du corps. Plus précisément, cela inclut la perception de la position et le mouvement des membres du corps, la perception de la tension et la force, la perception de l’effort et la perception de l’équilibre [Proske et Gandevia, 2012]. Cette fonction peut être illustrée par le geste résultant du déplacement de la main pour apprécier la texture, la température, la rigidité ou toute autre propriété d’une surface.

D’ailleurs, de nombreux travaux s’intéressent à tirer avantage de cette ca- pacité. Par exemple, certains systèmes comme TeslaTouch [Bau et al., 2010] et REVEL[Bau et Poupyrev,2012] utilisent le principe de l’électrovibration pour altérer virtuellement la texture d’une surface. Il est alors possible de perce- voir le relief d’une image de la main ou encore d’altérer la perception de la texture d’un objet. D’une autre manière, la technologie STIMTAC [Biet et al., 2007] permet d’altérer le coefficient de friction d’une surface tactile comme dans Surfpad pour faciliter le pointage [Casiez et al., 2011]. Le sens proprio- ceptif peut aussi jouer un rôle dans l’exploration gestuelle. Roudaut et al. [2013] utilisent le mouvement de la surface sous le doigt pour transmettre des symboles sous forme de geste 2D. Le mouvement de la surface entraîne un mouvement passif du doigt le long d’un chemin. Une autre voie qu’ex- plore Follmer et al. [2012] est la capacité à distinguer la déformation d’un objet. Grâce à un système pneumatique, les auteurs altèrent la forme d’un objet dynamiquement.

La fonction ergotique exprime la capacité de la main à transmettre de l’éner- gie aux objets qu’elle manipule. Elle rejoint la définition des gestes manipu- lateurs dans [Quek et al., 2002; Karam et m. c. schraefel, 2005] comme des gestes dévolus au contrôle d’entité par l’application d’une relation étroite entre le mouvement du geste de la main et du bras, et l’entité manipulée. Ils représentent également l’axe lexical de la classification deScoditti et al.[2011] qui décrivent les actions physiques appliquées au dispositif. Cette fonction compte deux types de gestes qui sont distingués dans [Wobbrock et al.,2009; Baglioni et al., 2009; Ruiz et al.,2011] : les gestes physiques et les gestes méta- phoriques. Les gestes physiques sont un transfert direct des gestes du monde physique dans le monde numérique à l’image de la manipulation directe. Par exemple, déplacer une photographie posée sur une table du doigt dans le monde réel se réalise de la même manière sur une surface interactive. Les gestes métaphoriques sont des actions sur un objet qui empruntent des tech-

Figure 4.6: Fonction épistémique : l’utilisateur explore des textures tactiles virtuelles sur un objet réel [Bau et Poupyrev,2012].

niques de manipulation utilisées pour d’autres objets. Un exemple est l’action d’éloigner son téléphone portable de son visage pour pour diminuer le niveau d’agrandissement de l’affichage de l’écran comme on manipulerait une loupe [Ruiz et al.,2011]. Ces gestes sont aussi appelés gestes pantomimiques [Wexel- blat,1994].

La fonction sémiotique désigne la capacité des messages à fournir des in- formations destinés à l’environnement. Cette catégorie comprend les gestes sémaphoriquesde [Quek et al., 2002] qui sont communicatifs par le fait qu’ils communiquent via un univers de symbole à la machine. Ils sont générale- ment utilisés pour communiquer à distance avec les systèmes [Karam et m. c. schraefel, 2005]. Aussi appelés gestes symboliques [Wexelblat, 1994; Hum- mels et Stappers, 1998; Wobbrock et al., 2009; Ruiz et al., 2011], ils sont une description visuelle ayant une signification particulière et permettent d’in- voquer une commande. Cette représentation peut prendre la forme d’une posture statique de la main ou d’un tracé dessinant un symbole [Wobbrock et al.,2009]. Les gestes de nature déictique forment la catégorie des gestes qui permettent de sélectionner un élément, un groupe d’éléments ou un empla- cement [Wexelblat, 1994; Karam et m. c. schraefel, 2005]. Ils sont différents des gestes symboliques par le fait qu’ils servent à cibler ou indiquer l’identité d’un élément particulier. Enfin les gestes abstraits sont les gestes qui n’ont au- cun lien sémantique avec la commande ou la tâche à laquelle ils sont associés. Par exemple, les gestes directionnels popularisés grâce aux Marking Menus [Kurtenbach et al.,1993] font partie de cette catégorie. Notons que ces gestes directionnels correspondent aussi aux gestes abstraits dans [Wobbrock et al.,

2009;Ruiz et al.,2011].