Les études existant dans la littérature en IHM et se basant principalement sur les théories de Laban montrent que l’utilisation de qualités de mouve-ment en IHM est prometteuse. Cependant, cela requiert un cadre de modé-lisation des nouvelles possibilités d’interaction impliquant cette expression corporelle. Notre travail de recherche est né de ce besoin. Il propose un for-malisme définissant les qualités de mouvement ainsi qu’une modélisation pour leur utilisation comme modalité d’interaction. Cette utilisation peut se baser sur un glossaire existant de qualités de mouvement issu de la théorie de Laban, comme c’est le cas dans les travaux en IHM précédemment ci-tés. Elle peut aussi se baser sur un glossaire propre à un chorégraphe (des textes descriptifs des qualités, des extraits vidéos de performances de quali-tés de mouvement, un glossaire, des schémas...etc.) ou un glossaire élaboré à partir d’un usage idiosyncratique dans un contexte artistique.
Les applications impliquant des interactions basées sur les qualités de mou-vement, que nous avons développées, ne reposent pas sur les catégories d’effort de Laban à cause de leur trop grande généralité. Nous avons choisi de nous baser sur le glossaire développé par la compagnie Emio Greco |PC (détaillé dans la section 3.5) avec laquelle nous avons collaboré tout au long de la thèse. Cependant, Les méthodes que nous proposons peuvent être re-spécifiés dans le cadre d’autres approches chorégraphiques, pour peu que l’on dispose d’une bonne connaissance préalable du vocabulaire étudié.
Analyse de Qualités de
Mouvement
4.1 Vue d’ensemble de la reconnaissance de gestes
Le domaine de la reconnaissance de gestes a connu un grand essor durant les 20 dernières années à travers diverses applications telles que la recon-naissance de la voix, de l’écriture, la surveillance automatique, la rééduca-tion, la performance numérique ou les jeux vidéo (Mitra et Acharya, 2007). Aujourd’hui, avec la commercialisation d’outils de captation du mouve-ment du corps entier, tels que la Microsoft Kinect1, l’intérêt pour ce do-maine est d’autant plus d’actualité. Nous nous limiterons dans cette section aux travaux appliqués à la danse, qui proposent des méthodes d’analyse et de reconnaissance de gestes à partir de données du mouvement capté. 4.1.1 Des systèmes de captation
On peut affirmer que les contraintes techniques liées au mode de captation choisi, influencent la reconnaissance du geste. Pour cette raison, nous pro-posons dans cette section une vue d’ensemble des systèmes de captation, et en particulier ceux utilisés dans la danse. Ceci a fait l’objet d’un article d’ouvrage auquel nous avons contribué, à l’occasion du TanzKongress en 2009, (Bevilacqua et al., 2011a).
Différents types de systèmes de captation portables permettent de mesurer certaines caractéristiques du mouvement d’une partie du corps à laquelle ils sont reliés. Par exemple, les accéléromètres et gyroscopes miniatures permettent d’obtenir les inclinations, les vitesses de rotations et les accé-lérations du mouvement de la partie du corps à laquelle ils sont fixés. Ces
1. Le site Internet de la Microsoft Kinect, accédé le 29/10/2012 http://www.microsoft.com/en-us/kinectforwindows/
types de capteurs sont présents dans l’industrie des jeux vidéos notamment avec la manette de la console Wii2. Il existe aussi des capteurs de flexion qui mesurent l’angle d’une jointure. En règle générale, tous ces capteurs sont reliés à des émetteurs de données sans fil.
Les systèmes de captation vidéo sont efficaces pour capter la posture du corps entier et le mouvement à distance. Par exemple, un système de ca-méra unique permet de suivre la silhouette du danseur dans l’installation DS/DM qui est étudiée dans notre thèse. Un grand nombre de logiciels d’analyse du mouvement, dont Eyesweb (Camurri et al., 2000), reposent sur l’extraction de la silhouette du corps entier de l’utilisateur ou de cer-taines parties du corps. Récemment, la commercialisation de la caméra infra-rouge Microsoft Kinect a permis de démocratiser la captation vidéo en 3D pour un certain nombre d’applications scientifiques, artistiques ou industrielles.
Les systèmes optiques 3D de captation de mouvement, initialement déve-loppés pour des études de biomécanique ou pour l’animation, permettent la reconstruction 3D d’un squelette. Néanmoins, ils nécessitent le port d’une combinaison et l’utilisation de petits marqueurs réfléchissants sur le corps. De ce fait, ces systèmes sont généralement complexes à manipuler en temps réel et dans des situations de performance. Pendant la thèse, nous avons testé le système de captation 3D Optitrack avec 12 caméras infra-rouge, et ce pour le développement du projet CLOUD.
Même si la plupart des systèmes de captation reposent sur les mouvements du corps, de nombreux autres types de captations sont possibles en utili-sant des signaux physiologiques. Par exemple, des mécanismes tels que l’activation musculaire peuvent être mesurés à partir de l’activité électrique des capteurs mis en contact avec la peau (électromyographie). Ces systèmes ont été intégrés dans des spectacles de danse, comme ceux de la compagnie Palindrome, ou dans des spectacles de musiques electroniques (Tanaka et Knapp, 2002). Cette captation peut être particulièrement utile dans le cas de la danse car elle rend compte d’éléments importants où l’activité muscu-laire ne produit pas de mouvements perceptibles visuellement, tels que le « pré-mouvement ». Par ailleurs, d’autres types de mesures physiologiques existent, comme les mesures de la respiration, des battements du cœur, de la conductivité électrique de la peau ou encore de l’activité électrique du cerveau (EEG). Cependant ces mesures sont encore très peu utilisées dans le domaine de l’IHM (l’émergence des interfaces cerveau-machine repré-sente un cas particulier que nous ne traiterons pas ici).
2. Le site Internet de la Wii, accédé le 29/10/2012 http://www.nintendo.fr/NOE/fr_FR/wii_54.html
4.1.2 Des modèles de reconnaissance du geste
Les modèles fréquemment utilisés dans la littérature pour des tâches de reconnaissance d’actions ou de reconnaissance de gestes à partir des don-nées captées sont les modèles de Markov cachés (ang. Hidden Markov Mo-dels(HMM)). A cet effet, le cadre traditionnel des HMM a connu plusieurs adaptations et extensions dues aux contraintes liées aux types de vocabu-laire gestuel auxquels ils sont appliqués. Par exemple, dans le cas de la danse, nous ne disposons généralement que de peu d’exemples de réfé-rence. Afin de prendre en compte cette contrainte, Rajko et al. (2007) géné-ralisent les HMM, avec un modèle appelé SNM (ang. semantic network mo-dels), qui réduit significativement la phase d’ entrainement. Cette contrainte est aussi une des spécificités de l’algorithme de suivi de gestes (ang. ges-ture follower(GF)) développé à l’Ircam pour le contexte de la performance par Bevilacqua et al. (2010). Le GF génère un HMM à partir d’un seul et unique exemple enregistré, en associant un état caché à chaque trame du signal gestuel. Cette implémentation a été initialement conçue pour la pro-blématique d’alignement temporel du geste mais a démontré sa capacité à effectuer aussi des tâches de reconnaissance temps réel de gestes dansés (Bevilacqua et al., 2011a), de gestes musicaux (Bevilacqua et al., 2012) ou même de suivi de voix (Beller, 2011).
Cependant, les problématiques spécifiques à l’analyse et à la reconnais-sance de gestes dansés n’ont que très peu été abordées et comportent tou-jours des défis en informatique. Parmi les travaux remarquables de la litté-rature, un certain nombre proviennent du groupe de recherche Média, Art et Ingénieriede l’université de l’Arizona. Ils ont produit des systèmes mul-timodaux (retour sonore et visuel) interactifs pour la danse comportant des outils de reconnaissance de gestes dansés à partir de données issues de cap-tation optique 3D du mouvement du corps entier d’un ou de plusieurs in-terprètes sur scène (Qian et al., 2004, James et al., 2006). Ils se sont aussi inté-ressés a la tâche de reconnaissance de phrases chorégraphiques structurées en séquences de mouvements dansés (Dyaberi et al., 2004). Pour cela, ils uti-lisent une méthode reposant sur une formulation de graphes topologiques où chaque état représente une séquence dansée. De plus, ils ont été parmi les premiers dans le domaine de la reconnaissance automatique, à s’intéres-ser à la notion de qualité de mouvement. Pour cela, ils se sont appuyés sur l’analyse du mouvement de Laban (LMA) (Laban, 1963). Plus précisément, Swaminathan et al. (2009) ont utilisé récemment des réseaux dynamiques bayesiens pour l’analyse des qualités de formes issues de la LMA.
La caractérisation du geste proposée par la LMA est suffisamment géné-rique pour s’appliquer à toute une palette de types de gestes. Elle donne, de ce fait, une portée quasiment universelle à cette théorie. Cette géné-ricité, issue de la LMA, semble avoir de l’attrait puisque la plupart des
modèles d’analyse de gestes dansés reposent sur les théories labaniennes. Cette généricité est défendue par Bouchard et Badler (2007) qui utilisent des descriptions du mouvement de haut niveau, issues des paramètres d’ef-forts de Laban, capables de décrire de façon générale tout mouvement. Ceci leur permet d’obtenir un outil capable de segmenter n’importe quel mouvement suivant ces descripteurs labaniens, sans en avoir enregistré un exemple de référence pendant la phase d’ entrainement. Leurs descripteurs d’efforts sont obtenus en entrainant des réseaux de neurones uniquement à partir d’enregistrements de 12 types de mouvements de référence, repré-sentant 3 nuances des 4 classes d’efforts de Laban (espace, temps, poids et flux). En outre, la LMA est aussi utilisée dans certaines méthodes d’extrac-tion d’émod’extrac-tions à partir d’un geste quelconque du corps entier (Camurri et al., 2000, Clay et al., 2009). Par exemple, Camurri et al. (2000) ont déve-loppé dans leur logiciel Eyesweb, un algorithme de catégorisation automa-tique de gestes en quatre émotions primaires (colère, peur, tristesse et joie) qui prend en entrée des descripteurs de haut niveau inspirés de la LMA. Par ailleurs, la LMA a été utilisée dans des applications de reconnaissance de gestes en robotique : ainsi Rett et Dias (2007), Rett et al. (2008) ont im-plémenté, dans leur robot Nicole, une méthode probabiliste basée sur une approche bayesienne, lui permettant de reconnaitre en temps réel des sé-quences de gestes définies dans la LMA.
Enfin, citons les travaux de synthèse de gestes basés sur des modèles pro-babilistes ayant comme point de départ la LMA. Les travaux remarquables proviennent du groupe de recherche autour de Norman Badler qui se sont très tôt intéressés à la notion de qualités de mouvement à travers le for-malisme de Laban. Leur système, appelé Emote, permet de synthétiser un geste en faisant varier des paramètres qui en contrôlent les qualités, pour animer de façon réaliste un personnage virtuel (Chi et al., 2000, Zhao, 2001). Plus récemment, Zhao et Badler (2005) ont proposé un modèle d’appren-tissage, conçu pour un contexte performatif, qui permet l’acquisition et la synthèse de gestes en apprenant les qualités de mouvement en temps réel.