La première méthode de reconnaissance basée sur des méthodes d’iden-tification de paramètres d’équations dynamiques, est une méthode expli-cite ne nécessitant pas d’apprentissage à partir de gestes de référence en-registrés. De plus, cette méthode s’affranchit d’une éventuelle couche de traitement du signal permettant de caractériser les qualités de mouvement par des descripteurs de plus haut niveau, puisque l’équation dynamique joue elle-même ce rôle. Cette approche reste générale car le modèle phy-sique (simple) que nous avons développé peut être enrichi pour carac-tériser d’autres qualités issues d’autres vocabulaires gestuels. De plus, la méthode d’identification de paramètres par filtrage particulaire est tout à fait générique. Les équations dynamiques peuvent par exemple provenir des modèles du contrôle moteur. Elles peuvent aussi être définies à partir de méthodes cinématiques et/ou dynamiques inverses qui ont en général pour but de déterminer les paramètres physiques d’un modèles en fonction du retour désiré et des contraintes appliquées.
En revanche, la deuxième méthode statistique nécessite d’enregistrer des gestes de référence pour les composants du vocabulaire. Cette méthode peut être vue comme une « boîte noire » qui prend en compte une com-binaison complexe d’éléments du geste mais ne permet pas d’avoir une formulation explicite caractérisant les qualités de mouvement. Pour la pro-blématique de reconnaissance de qualités de mouvement, l’utilisation de ce genre de méthodes requiert forcément une couche de traitement du signal pour constituer des paramètres de haut niveau caractérisant les qualités de mouvement. Cette méthode peut donc être utilisée dans divers contextes et avec divers vocabulaires gestuels, même lorsqu’aucune équation explicite caractérisant les gestes du vocabulaire n’est formalisée. Mais cela néces-site de disposer d’exemple de gestes de référence pour entrainer le modèle ainsi que d’une connaissance du vocabulaire suffisante pour élaborer les descripteurs de qualités de mouvement.
Modèles Physiques pour la
Représentation de Qualités de
Mouvement
La mise en œuvre de dispositifs interactifs basées sur les qualités de mou-vement (QM) qui informent le danseur de ses qualités de moumou-vement, re-quiert la réalisation de retours visuels capables de reproduire ou de dialo-guer en temps réel avec ces qualités. Nous proposons de répondre à cette problématique en mettant à profit les possibilités offertes par l’informa-tique graphique en retours visuels basés sur des modèles physiques. Nous utilisons ces modèles pour générer des comportements similaires à des qualités de mouvement du danseur. Nous avons développé dans la thèse deux types de modèles physiques masses-ressorts (ang. mass-spring systems (MSS)), le premier est d’échelle fine et le deuxième d’échelle massive. Ces deux différents types de MSS ont été intégrés dans deux dispositifs évalués dans les deux expérimentations détaillées dans les chapitres 7 et 8 ainsi que dans l’annexe A de ce manuscrit.
Les approches exposées dans ce chapitre et utilisées pour la visualisation et le contrôle en temps réel de MSS (fins ou massifs) reposent sur des pré-sets empiriques de paramétrage de modèles physiques.
Les sections qui suivent présentent d’abord une rapide vue d’ensemble de l’utilisation des modèles physiques et particulièrement les modèles masses-ressorts en réalité virtuelle et augmentée. Par la suite, nous expliquerons nos motivations à utiliser de tels modèles puis nous présenterons le for-malisme mathématique et l’implémentation sur processeur graphique des MSS. Nous discuterons par la suite les avantages et limitations que pré-sentent ces modèles. Enfin, nous clôturerons le chapitre avec une section sur les méthodes de paramétrage des MSS développées pendant cette thèse.
5.1 Vue d’ensemble des modèles physiques en réalité
virtuelle et augmentée
Les interfaces offrant des animations basées sur des modèles physiques ont trouvé un terrain fertile pour leur application dans le domaine informa-tique, et particulièrement en réalité virtuelle et augmentée. La modélisation physique peut être définie comme une approche qui a pour but de simuler des effets visuels dynamiques (les comportements) en prenant en compte les conditions physiques (température, onde, vitesse, etc.) et les interactions qui sont en jeu.
Les modèles physiques qui sont largement utilisés en réalité virtuelle et augmentée sont ceux issus de la mécanique des fluides, les modèles parti-culaires communément appelés « systèmes de particules », et les systèmes masses-ressorts (MSS).
5.1.1 Les modèles de mécanique des fluides
Les modèles de comportement inspirés des équations dynamiques de la mécanique des fluides, tels que ceux de (Stam, 1999), sont la base de plu-sieurs travaux récents en simulation de fumée, de nuages, de feux ou d’autres phénomènes naturels impliquant les écoulements de fluides. Cependant, ces modèles sont coûteux en calcul et assez difficiles à mettre en œuvre. Dans la plupart des applications en informatiques graphiques, le réalisme du rendu et de l’animation est prioritaire par rapport à la précision phy-sique. A titre d’exemple, des rendus de nuages dans les simulateurs de vol ou les jeux vidéos peuvent être réalisés avec des modèles basés sur les sys-tèmes de particules (Dobashi et al., 2000). L’avantage de syssys-tèmes particu-laires par rapport aux modèles issus de la mécanique des fluides et reposant sur les équations de Navier-Stokes, c’est qu’ils permettent de simuler des effets physiques d’écoulement des fluides (en particulier les phénomènes turbulents) avec des calculs bien plus simples. Citons à titre d’exemple, le projet CLOUD, auquel j’ai contribué, notamment en mettant en place le système Optitrack de captation de mouvement 3D (ang. Motion Capture) utilisé. Delprat et al. (2011a,b) y proposent une expérience interactive cor-poralisée de la matière, où l’utilisateur se transforme en un nuage–avatar qui conserve une forme humaine ou devient une masse trouble sans limites perceptibles. Pour concevoir le nuage–avatar, j’ai aussi encadré deux sta-giaires qui ont développé une simulation en temps réel de deux types de nuages à l’aide d’un générateur de particules. Ces modèles interagissaient en temps réel avec le mouvement du corps de l’utilisateur capté.
5.1.2 Les systèmes masses-ressorts
Les MSS peuvent être définis comme des graphes non orientés dont les noeuds sont des masses ponctuelles et les arêtes des liens élastiques aux-quels les masses sont connectées, qu’on appellera dans ce manuscrit, des « ressorts ». Une masse ponctuelle est un point matériel sans taille utilisé dans la modélisation physique. Le terme « particule » désigne, quant à lui, un point géométrique ayant une taille, utilisé dans la visualisation et dont les coordonnées sont celles issues de la modélisation physique. On appel-lera « connexion », la liaison entre particules dans la visualisation. Dans un MSS, la dynamique de chaque masse est contrôlée par la somme des forces élastiques issues des ressorts auxquels elle est connectée et des forces issues de l’environnement où elle évolue.
Les MSS sont souvent utilisés en Réalité Virtuelle et Augmentée à travers des logiciel d’animation 3D (Maya, 3DStudio Max, Blender...) pour la mo-délisation physique du mouvement ou la simulation de déformations d’ob-jets géométriques. Il existe une littérature abondante liée aux nombreux travaux conduits au laboratoire ICA ainsi qu’à l’ACROE en modélisation physique par masses-interactions, concept qui élargit les MSS à des types de liens autres que les liens élastiques. Leurs travaux utilisent la modélisa-tion physique pour la synthèse d’images et l’animamodélisa-tion 2D/3D, pour le son, l’acoustique et la musique ou pour l’interaction gestuelle et la perception haptique (Hsieh et Luciani, 2005, Cadoz, 1999).
Les MSS présentent aussi un intérêt dans les applications à destination du monde artistique. Par exemple, des librairies telles que PMPD1, ont été développées pour les environnements de développement Pure Data ou Max/MSP/Jitter. Elles sont composées d’un ensemble d’objets externes, qui permettent le contrôle et l’utilisation relativement simple de MSS pour la composition audio-visuelle (Momeni et Henry, 2006) tout en tirant partie des capacités des environnements en termes d’interaction ou de traitement du signal.
Enfin, les MSS ont été explorés pour assurer une cohérence multimodale lorsqu’on parle d’instruments audio-visuels car ils permettent de générer à partir d’un même phénomène physique des retours visuels et sonores. Par exemple, Allegra est un instrument qui permet des effets visuels et sonores à partir d’une captation vidéo de la position d’objets lumineux et offre des rendus et des comportements complexes grâce au mouvement d’un grand nombre de masses-ressorts calculés en GPU. D’ailleurs pour l’élaboration des MSS présentés dans ce chapitre, nous sommes partie de la base logi-cielle qui avait été développée par Christian Jacquemin pour Allegra (Jac-quemin, 2008).
Un autre exemple d’utilisation des MSS pour la cohérence multi-modale est la plate-forme à laquelle nous avons contribuée appelée GAVIP (Gestu-ral Audio Visual Interactive Plateform)2. GAVIP a été développée par six doctorants du LIMSI et de l’Ircam, Baptiste Caramiaux, Marc Rébillat, Tifa-nie Bouchara, Geatan Parseihian, Matthieu Courgeon et moi-même. Elle a fait l’objet d’une publication dans la conférence international Digital Audio Effects (DAFx-11) (Caramiaux et al., 2011). Notre plate-forme permet de dé-velopper des environnements immersifs où l’utilisateur interagit avec des objets spatiaux, audios et visuels en mouvement. Les paramètres sonores, visuels et spatiaux de ces objets sont générés par un même MSS contrôlé en temps réel par le geste de l’utilisateur. Ceci garantit une certaine cohérence dans la synthèse du phénomène spatio-audio-visuel .
Dans notre travail, l’utilisation des MSS a pour objectif d’explorer les paral-lèles possibles entre les qualités de mouvement du danseur et une visuali-sation abstraite et métaphorique de leurs comportements.