Dans cette section, nous présentons la problématique et les contraintes liées à la reconnaissance de qualités de mouvement en temps réel. Nous intro-duisons ensuite les deux modèles de reconnaissance de qualités de mou-vement développés dans la thèse et qui répondent à notre « cahier des charges ».
4.2.1 La problématique
La curiosité de comprendre la notion de qualités de mouvement remonte à ma pratique personnelle de la danse contemporaine. Elle s’est formalisée en problématique de recherche, au tout début de la thèse, lors de ma collabo-ration avec la compagnie EG|PC et particulièrement de mes échanges avec Bertha Bermudez (chercheuse et danseuse de la compagnie et coauteur de l’article (Fdili Alaoui et al., 2013)). Nous sommes partie du glossaire, élaboré par la compagnie, notamment à partir des théories labaniennes, qui décrit les qualités de mouvement des composants de leur atelier, appelé Double Skin/Double Mind (DS/DM)(Bermudez, 2009, Bermudez et Fernandes, 2010, Bermudez et al., 2011). Notre problématique s’est alors cristallisée sur l’éla-boration de méthodes computationelles capables de traiter ces qualités de mouvement dansé issues de DS/DM en temps réel (Fdili Alaoui et al., 2013, 2012, 2011). Plus précisément, l’objectif était d’élaborer des méthodes re-connaissance qui identifient une qualité de mouvement et lui donnent un label parmi ceux du vocabulaire étudié (le label qui correspond au mieux à la qualité exécutée).
La difficulté de cette problématique est liée à la nature même des gestes qui sont en jeu en danse moderne et contemporaine et particulièrement dans DS/DM. Souvent, ces gestes ne s’exécutent pas à partir d’une tra-jectoire ou d’une posture spécifique. Il s’agit plutôt de gestes produits en « jouant » sur les qualités et dynamiques du mouvement. Les composants de DS/DM, décrits dans la section 3.5, en sont un exemple très parlant, car ils peuvent prendre différentes trajectoires ou postures dans le temps mais sont caractérisés par des dynamiques et des qualités spécifiques et formali-sées. Ceci suggère que nos modèles computationnels doivent être capables de se baser sur des caractéristiques de plus haut niveau représentant les qualités de mouvement modélisées et non uniquement sur les trajectoires gestuelles. De plus ils doivent pouvoir prendre en compte les variations inter-individuelles d’exécution des qualités de mouvement.
Nous avons choisi dans la présente thèse d’étudier le vocabulaire déve-loppé par la compagnie Emio Greco |PC, plutôt que les catégories d’effort de Laban en raison de leur trop grande généricité. Ce choix est motivé par notre objectif qui est, rappelons-le, d’élaborer des modèles de recon-naissance automatique prenant en compte des nuances très fines du geste étudié en mettant l’accent sur ses caractéristiques qualitatives spécifiques. Grâce à cela, notre approche permet d’obtenir des résultats de reconnais-sance de qualités de mouvement, qu’une approche labanienne, générique, ne permettrait pas d’obtenir. L’approche proposée dans la thèse peut être re-spécifiée dans le cadre d’autres vocabulaires chorégraphiques, pour peu que l’on dispose d’une bonne connaissance préalable des qualités de mou-vement étudiées.
4.2.2 Les contraintes
La problématique présentée plus haut implique un certain nombre de contrain-tes pour le système d’analyse :
1. Une phase d’apprentissage réduite : nous ne disposons pas d’une base de données fournie de plusieurs exemples d’exécution de quali-tés. Néanmoins il est possible d’enregistrer un nombre réduit d’exem-ples de référence de chaque composant du vocabulaire.
2. L’invariance par changement d’échelle temporelle : le système doit être capable de s’adapter aux différentes progressions temporelles de la performance et ainsi reconnaître un composant même s’il est exé-cuté plus lentement ou plus rapidement.
3. L’adaptation par rapport au système de captation : le système de re-connaissance doit pouvoir traiter des données provenant de systèmes de captation divers, notamment de captation vidéo.
4.2.3 Les modèles de reconnaissance de qualités de mouvement développés dans la thèse
La figure 4.1 illustre les deux modèles développés dans la thèse afin de reconnaitre en temps réel une qualité de mouvement et lui donner un label parmi ceux du vocabulaire étudié. La figure détaille les différentes étapes que comportent les méthodes proposées et que nous présentons dans les deux sections qui suivent.
Notre première préoccupation a été de nous pencher sur l’aspect dyna-mique sous-jacent aux qualités de mouvement de DS/DM, à savoir l’évolu-tion temporelle des paramètres gestuels de posil’évolu-tion, vitesse et accéléral’évolu-tion. Nous sommes partie de l’intuition que les dynamiques étudiées étaient similaires aux comportements dynamiques pouvant être générés par un modèle physique masse-ressort (MSS) régi par des forces élastiques et vis-queuses et constitué par une masse accrochée à un ressort et contrainte de se déplacer dans une seule direction. De cette intuition, découlera aussi la modélisation des visuels par MSS décrits dans le chapitre 5. Cette « simila-rité physico-réaliste », définie dans la section 5.2, fait d’ailleurs l’objet d’une expérimentation décrite dans le chapitre 7, qui montre que les MSS sont de bons candidats pour produire des rendus visuels dynamiques qui seront associées par les utilisateurs aux qualités de mouvement de DS/DM. A partir de cette intuition, l’idée était de modéliser explicitement les dy-namiques de DS/DM exécutées par une extrémité du corps (ici, la main), à partir de l’équation de la dynamique du modèle constitué d’une masse et d’un ressort. Nous avons donc développé un premier modèle de recon-naissance de qualités de mouvement qui repose sur cette modélisation ex-plicite. Ensuite, à partir de cette structure déjà définie, la phase de recon-naissance en temps réel de qualités de mouvement a consisté à identifier les
Calcul de vraisemblance Vecteur de paramètres An a lyse te mp o re lle R e co n n a issa n ce C la ssi fi ca ti o n C a p ta ti o n d u mo u ve me n t Mo d é lisa ti o n Identification de paramètres Vraisemblances Paramètre 1 Paramètre 2 Temps Window Méthode 1 Méthode 2 HMM Modèle Dynamique Descripteurs du geste Position Vitesse Accélération
Matrice de Données Matrice de Données
FIGURE4.1 – Modélisation des qualités de mouvement : les deux méthodes développées.
paramètres du système dynamique les mieux adaptés aux données expéri-mentales grâce à des méthodes d’identification de paramètres (ang. fitting) telles que la méthode des moindres carrés ou la méthode de filtrage parti-culaire. Ce premier modèle ne nécessite ni apprentissage à partir de gestes de référence enregistrés, ni descripteurs gestuels décrivant les qualités de
mouvement, puisque l’équation dynamique elle-même joue ce rôle. De ce fait, l’invariance par changement d’échelle temporelle est garantie puisque le modèle s’affranchit d’exemples de référence avec lequel le geste, exécuté éventuellement plus lentement ou plus rapidement, aurait pu être com-paré.
Dans un deuxième temps, nous nous sommes intéressée à des méthodes de reconnaissance automatique de mouvement issue du domaine de l’ap-prentissage automatique. Nous avons exploré ce champ afin de dévelop-per une méthode qui soit en mesure de prendre en compte la combinaison d’un grand nombre de paramètres gestuels en parallèle et de considérer les qualités de mouvement dans leur globalité, au-delà des caractéristiques dynamiques. Pour ce faire, nous avons adopté une approche combinant des descripteurs gestuels de haut niveau (ang. features) définis pour carac-tériser les qualités de mouvement étudiées, avec un algorithme qui permet d’apprendre des structures a partir de données enregistrés et de classifier le geste en entrée parmi les classes du vocabulaire étudié.
Précisément, nous avons choisi d’utiliser l’algorithme de suivi de geste (GF) développé au sein de l’équipe IMTR à l’Ircam par Bevilacqua et al. (2010) qui est une des deux équipes où a été conduite la présente thèse. La raison de ce choix est que le GF est particulièrement adapté aux contraintes que nous avons définies dans la section précédente, puisqu’il repose sur une phase d’apprentissage réduite basée sur un seul geste de référence par classe étudiée. De plus, il permet une certaine invariance par changement d’échelle temporelle parce qu’il permet de reconnaître un geste même s’il est exécuté plus lentement ou plus rapidement. Dans la méthode que nous proposons, le GF prend en entrée nos descripteurs de qualités de mouve-ment. Pendant la phase de modélisation, il utilise des méthodes basées sur un formalisme probabiliste afin d’apprendre la structure d’un HMM à par-tir des données. Enfin, pendant la phase de reconnaissance, il calcule des valeurs de vraisemblance qui représentent les probabilités que chacun des modèles ait généré les qualités du mouvement en entrée.