Modélisations temporelles du geste

2.1. Forme canonique du geste

En considérant le geste comme un processus dynamique, qui s’inscrit dans le temps, il semble nécessaire de définir les caractéristiques temporelles de sa production et de déterminer son couplage avec l’interface. Les contributions scientifiques dans le domaine de la psychologie et de la linguistique nous donnent un cadre théorique général pour la compréhension du procès de la réalisation du geste. Il s’agit d’analyser la forme canonique du geste et le cours kinésique du mouvement en segments temporels afin de déterminer le moment de la « phrase gestuelle¹⁶⁹ » qui intéresse notre modèle d’interaction. Kendon distingue trois phases principales : la préparation, la phase nucléaire (apogée ou trait), et la rétractation¹⁷⁰.

- La phase de préparation correspond à l’impulsion préparatoire qui met la main en mouvement après une phase de repos.

169 KENDON Adam. Current issues in the study of gesture. In Biological Foundations of Gesture Hillsdale. New Jersey, Lawrence Erlbaum Associates, 1986, pp. 23-47

170

« Preparation, nucleus (peak or stroke) and retraction » In KENDON Adam. Current issues in the study of

gesture. In Biological Foundations of Gesture Hillsdale. New Jersey, Lawrence Erlbaum Associates, 1986, pp.

- La phase « nucléaire » (nucleus) correspond au geste porteur de sens car il possède « une forme définie et des propriétés dynamiques avancées¹⁷¹ ». Il s’agit du moment où le geste prend sa forme la plus substantielle, où le geste exprime toute son intentionnalité. Au cours de cette phase, la gesticulation peut être simple ou complexe selon le nombre de mouvements (stokes) décrit par la phrase gestuelle. De plus, le geste nucléaire peut être statique (les mains ne décrivent aucun mouvement) ou dynamique (mouvements internes de la main et/ou mouvements du bras).

- La phase de rétraction correspond au retour de la main en position de repos ou à son repositionnement pour la réalisation d’un nouveau geste et dans ce cas, la rétractation n’est que partielle.

Les phases de préparation et de rétractation sont généralement relativement rapides alors que la phase nucléaire est caractérisée par un mouvement plus complexe et plus long. Il convient également de caractériser la « manualité » (handedness) du geste, à savoir s’il est réalisé à une main (dominante/non dominante) ou à deux mains.

2.2. Etats du système

Aux mouvements de la main correspond différents états de la main qu’il est possible de définir grâce aux étapes définies par Dean Rubine¹⁷² qui distingue quatre étapes principales de l’interaction avec le système :

- L’attente (WAIT state) correspond à l’état d’un système qui attend le début du geste de l’utilisateur.

- L’acquisition (COLLECT state) des données qui commence lorsque le geste débute. Durant cette phase, le système capture l’ensemble des données recueillies par le périphérique d’entrée avant de l’analyser et de l’interpréter. Dans le cas des interfaces tactiles, nous pouvons associer le début de cette phase lorsque l’utilisateur touche l’écran alors qu’aucun autre contact n’est présent.

171

KENDON Adam. Current issues in the study of gesture. In Biological Foundations of Gesture Hillsdale. New Jersey, Lawrence Erlbaum Associates, 1986, pp. 23-47

172 RUBINE Dean Harris. The Automatic Recognition of Gestures. Thèse. Carnegie Mellon University, Pittsburgh, USA 1991

- La manipulation (Manipulate state) intervient lorsque le geste a été analysé et classifié. Ce moment est soit explicite s’il correspond à un événement généré par le périphérique ou implicite si la classification est établie selon des paramètres d’interaction (la pose prolongé d’un geste dont la classification est réalisée au bout d’un temps donné). Enfin, la classification du geste peut également se faire alors que le geste lui-même n’est pas terminé et lorsque le système a collecté suffisamment d’informations pour l’identifier sans ambiguïté. Lorsque cette phase commence, le système est en mesure de fournir le feedback correspondant au geste identifié.

- L’exécution (EXECUTE state) intervient lorsque l’utilisateur a terminé l’interaction. Dans le cas des interfaces tactiles, c’est le moment où l’utilisateur retire ses doigts de l’écran ou de l’objet de la manipulation. Le système revient alors à son état d’attente prêt pour analyser un nouveau geste.

Le schéma ci-dessous permet de mettre en relation les étapes de la phrase gestuelle et les états d’un système tactile. Dans ce modèle, j’écarte donc de l’analyse système les mouvements effectués lors de la préparation du geste. Nous verrons que le choix, a priori, de ces modalités de couplage entre le geste et le système sera revu et précisé lors des phases de tests de l’environnement de développement.

Phrase gestuelle

Etat système ATTENTE AQUISITION MANIPULATION EXECUTION

PRÉPARATION NOYAU RETRACTION

2.3. Discret / continu

Il s’agit de définir le flux du geste selon son couplage temporel avec le système. Il peut être discret si la commande attendue par le geste intervient lorsque celui-ci est terminé. C’est le cas lorsque l’utilisateur trace à l’écran le signe de point d’interrogation afin d’ouvrir une fenêtre d’aide. Le système attend la fin du geste avant d’appliquer un algorithme d’interprétation de mouvement. Le flux peut être continu si le système analyse le geste dès le moment où la main touche l’écran et associe le geste à la modification progressive d’éléments graphiques. C’est le cas d’un simple glisser / déposer où le système déplace l’objet en temps réel en fonction de la position du ou des points de contact.