Medical TapTap

Au delà du pointage d’une cible, nous avons étudié la confirmation de la sélection d’une cible, qui actuellement est faite avec une pédale médicale. Cela nous a amenés à créer Medical TapTap, une technique d’interaction mobile au pied.

Figure 9.6 –Pédale médicale de l’OrthoPilotR. Elle est de plus équipée d’un arceau, non visible ici, permettant de la déplacer en la soulevant avec la pointe du pied.

9.3.1 Existant : Pédale médicale

De nombreux systèmes de CAO utilisent une pédale médicale pour l’interaction chirurgien-ordinateur (9.6). Souvent relié par câble aux systèmes de CAO, ce périphérique est histo-riquement présent dans les blocs opératoires pour contrôler des outils comme les bistouris électriques ou, en chirurgie orthopédique, les perceuses-fraiseuses et les scies oscillantes ou réciproques. La pédale médicale présente les avantages d’être relativement mobile, simple d’utilisation, reconnaissable au toucher et surtout, elle préserve l’asepsie des chirurgiens, dont les membres inférieurs ne sont pas stériles et peuvent toucher un tel objet.

Pour l’OrthoPilotR, la pédale est un périphérique incontournable pour l’interaction chirurgien-ordinateur. En effet, lors d’une chirurgie, la pédale est utilisée de nombreuses fois car elle dispose de trois boutons (figure 9.6). Grâce à la distinction entre appui long (dépassant 3 secondes) et appui court, elle propose un vocabulaire de 6 commandes, sou-vent suffisant pour les interactions simples comme l’acquisition d’un point anatomique. Lorsque l’interaction nécessite un dispositif de pointage, par exemple pour planifier la pose de la partie fémorale d’une prothèse totale de genou (section précédente), le chi-rurgien utilise le Virtual Pointer, qui permet de contrôler un curseur avec le palpeur par ray-casting (chapitre 2 section 2.4.2) et la pédale pour confirmer la sélection.

La mobilité des pédales médicales est cependant améliorable, car un chirurgien bouge autour de la table d’opération. Il peut s’éloigner de la pédale et avoir du mal à la retrouver sous la table d’opération et à la ramener vers lui pour l’utiliser. Ces difficultés peuvent également apparaître à un moment où le chirurgien ne peut pas se déplacer en raison des opérations chirurgicales en cours – s’il est contraint de garder en main certaines structures anatomiques par exemple.

Pour compléter notre démarche d’amélioration de l’interaction chirurgien-ordinateur dé-diée aux tâches de pointage, nous avons étudié la phase de confirmation de la sélection faite avec une technique de pointage. La technique d’interaction Medical TapTap que nous présentons dans cette section vise à remplacer la pédale, pour la validation de la sélection des cibles mais aussi pour la spécification de commandes à l’OrthoPilotR. En effet Medical TapTap, une technique d’interaction gestuelle du pied, a le potentiel de remplacer totalement la pédale médicale pour l’interaction chirurgien-ordinateur, tout en bénéficiant d’une mobilité supérieure à celle de la pédale. Cette technique utilise pour la détection des gestes le Myo armband (figure 9.7), un bracelet pouvant être porté au poignet ou à la cheville. Nous n’avons cependant pas connaissance d’utilisation podale de ce périphérique. Le premier prototype de cette technique a été implémenté chez Aesculap par Sylvain Guy, stagiaire ENSIMAG 2A durant l’été 2015.

Domaine applicatif : la chirurgie augmentée. Intégration des recherches 182

Figure 9.7 – Bracelet Myo. Image issue dehttps://www.myo.com/techspecs.

9.3.2 Interaction gestuelle podale 9.3.2.1 Bracelet Myo

Le bracelet Myo (https://www.myo.com/) mesure 1,14 cm d’épaisseur (figure 9.7) et 19 cm de diamètre, extensibles à 34 cm. Il pèse 93 g. Outre sa structure élastique, il est composé de 8 blocs enrobés d’acier chirurgical se plaçant au contact de la peau de l’utilisateur. Ces blocs sont les électrodes de capteurs électromyographiques, qui détectent l’activité électrique des muscles de l’utilisateur.

Le Myo est également équipé de 9 capteurs inertiels : un accéléromètre à 3 axes, un gyro-scope à 3 axes et un magnétomètre à 3 axes. Il envoie ses données par technologie sans-fil Bluetooth. Son processeur ARM Cortex M4 permet de produire des retours haptiques sous forme de vibrations plus ou moins longues. Le Myo est un périphérique autonome qui se charge par micro-USB. Sa batterie lui permet de fonctionner une journée entière sans rechargement. Thalmic Labs Incorporation (https://www.thalmic.com/), fournit avec le bracelet Myo un kit de développement logiciel pour systèmes Windows, Mac, iOS et Android.

Le Myo a été utilisé par Haque et al. [62] pour concevoir un dispositif de pointage mains-libres sur le modèle de celui présenté par Vogel et Balakrishnan en 2005 [133]. Les auteurs montrent ainsi qu’un dispositifgrand public équipé de capteurs électromyographiques et de capteurs inertiels tel que le Myo permet d’implémenter à moindre coût un système de pointage à distance utilisable. D’autres travaux [82, 108] utilisent ce périphérique pour l’interaction gestuelle avec les mains dans des contextes d’utilisation spécifiques, respectivement en voiture et pour la réalité virtuelle. Dans nos travaux, le Myo est utilisé à la cheville pour définir une technique d’interaction gestuelle podale.

9.3.2.2 Interaction gestuelle podale

De nombreux travaux ont exploré les interactions gestuelles aux pieds. En 2004, Pakkanen et Raisamo [103] étudient le potentiel des interactions podales pour les tâches spatiales (déplacer un objet virtuel par exemple) ne nécessitant pas une grande précision. Pour cela, ils utilisent un trackball de grande taille utilisé soit avec le pied, soit avec la main. Leurs résultats expérimentaux montrent que les interactions podales conviennent à de telles tâches, à condition que celles-ci ne soient pas temporellement fortement contraintes, c’est-à-dire que l’utilisateur ait suffisamment de temps pour utiliser la technique d’inter-action au pied, moins rapide que la technique d’interd’inter-action à la main. L’acceptabilité de leur système d’interaction podale est cependant assez faible, selon les auteurs, en raison de la nouveauté de ce type d’interaction. Plusieurs travaux s’intéressent aux interactions podales pour des contextes d’utilisation variés.

Plusieurs études sur l’interaction au pied sont destinées à contrôler un smartphone resté dans la poche. Crossan et al. [39] conçoivent un langage de tapotements des pieds dé-tectés par le pack de capteurs JAKE (http://code.google.com/p/jake-drivers), qui contient accéléromètres, magnétomètres et système de communication à distance Blue-tooth. Cette technique permet d’interagir avec un smartphone sans le sortir de sa poche. Les auteurs comparent cette utilisation sans contact visuel aux utilisations classiques : smartphone en main et smartphone en poche, sorti pour chaque tâche. Ils montrent ainsi la faisabilité et la pertinence de telles techniques pour les interactions courtes (moins de 4 tapotements des pieds). Alexander et al. [8] étudient aussi les gestes et les déplacements du pied pour l’interaction mains libres avec un smartphone. Les auteurs fournissent un ensemble de recommandations pour la conception de techniques d’interaction gestuelle avec le pied, par exemple utiliser un vocabulaire gestuel assez restreint ou éviter les coups de pied vers l’arrière avec le talon pour définir un geste.

Considérant un autre contexte d’utilisation que celui de l’interaction avec un smartphone, Sangsuriyachot et Sugimoto [113] détectent les translations et les rotations des pieds avec un périphérique de leur conception. L’objectif est d’interagir simultanément avec les mains et les pieds avec une table interactive.

Pour interagir debout avec un ordinateur, Saunders et al. [114] présentent la technique d’interaction Tap-Kick-Click. Le vocabulaire gestuel est composé de séquences de taps

(figure 9.8 en haut) – des tapotements de tout ou partie du dessous du pied sur le sol – et de kicks – des petits coups de la pointe du pied. Les gestes sont effectués dans une zone semi-circulaire autour de chaque pied (figure 9.8 en bas). Les deux zones (une pour chaque pied) sont partagées en plusieurs zones cibles, typiquement 3 zones par pied. Dans cette étude, la détection des taps et deskicks repose sur la caméra de profondeur d’un Kinect (chapitre 2 section 2.3.2) et des capteurs de force placés sur les chaussures de l’utilisateur.

Domaine applicatif : la chirurgie augmentée. Intégration des recherches 184

Figure 9.8 –En haut, les 4 actions du pieds de la technique Tap-Kick-Click et leurs icônes respectifs : (a)tap de la pointe, (b) tap du talon, (c) tap du pied entier et (d)

kick. En bas, (a) les zones cibles autour de chaque pied, (b) le retour visuel d’untap de la pointe du pied droit dans la zone arrière, tandis que le pied gauche est dans la zone

de repos, au centre des cibles. Image modifiée de [114].

Enfin, les Kickables, présentés par Schmidt et al. [117], sont des objets tangibles conçus spécifiquement pour l’interaction podale. Les kickables peuvent reproduire de nombreux contrôles standards, comme les boutons, les interrupteurs (va-et-vient), les curseurs ou les molettes, en contraignant par leur forme les mouvements possibles et en guidant ainsi les utilisateurs lors de l’interaction (figure 9.9).

Figure 9.9 – Exemples de contrôles reproduits par 5 types de kickables : (a) curseur guidé (à une dimension), (b) interrupteur guidé, (c) sélecteur d’un élément d’une tessel-lation, (d) curseur non-guidé (potentiellement à deux dimensions, comme une souris),

(e) bouton par franchissement. Image issue de [117].

Au delà de différents contextes d’utilisation de l’interaction aux pieds, des travaux plus génériques, soulignant une certaine maturité de cet axe de recherche, ont visé à établir un espace de conception de gestes au pied. Nous relevons deux espaces de conception [48, 119].

Pour étudier l’espace de conception des gestes du pied, Scott et al. [119] considèrent une détection optique très précise (figure 9.10). Cet espace contient 4 mouvements de base du pied (figure 9.10) :

Figure 9.10 – À gauche, les 4 mouvements de base du pied définis par Scott et al. [119]. À droite, l’espace d’interaction exploré : chaque intervalle angulaire définit une

cible à atteindre. Image issue de [119].

— lever la pointe du pied ou dorsiflexion, — lever le talon ou plantar flexion,

— tourner le pied autour de la cheville ou heel rotation et — tourner le pied autour de la pointe du pied ou toe rotation.

À partir de ces 4 mouvements, ils définissent un éventail de cibles angulaires (figure 9.10) et soulignent le fort potentiel de ladorsiflexion et de laplantar flexion. Les auteurs utilisent également les capteurs inertiels d’un smartphone laissé dans la poche de l’utili-sateur pour détecter des gestes du pied. Ils concluent par des recommandations pour la conception de vocabulaires gestuels pour le pied.

Enrichissant l’espace des mouvements du pied, Fukahori et al. [48] proposent un voca-bulaire de gestes aux pieds (figure 9.11) qui exploitent la pression. Ceux-ci sont détectés grâce à des chaussettes équipées de 8 capteurs de pression chacune. L’utilisateur déclenche des commandes en changeant la distribution de pression de ses pieds sur le sol (figure 9.11). Cette gestuelle est d’une grande discrétion, quasi-invisible pour un observateur

Figure 9.11 – Exemple de langage gestuel proposé par Fukahori et al. [48] et établi par une démarche de conception centrée-utilisateur. Image issue de [48].