Percussion a´ erienne:
am´ elioration de la d´ etection des coups dans le jeu d’un
percussionniste
——–
DEA d’Acoustique, Traitement du Signal, et Informatique Appliqu´ es ` a la Musique Universit´ e de la M´ editerrann´ ee, Aix-Marseille II
Vincent Goudard
vincent.goudard [at] ircam.fr
——–
Sous la direction de:
Myriam Desainte-Catherine Christophe Havel Sylvain Marchand
9 septembre 2004
2
R´ esum´ e
Ce m´ emoire pr´ esente le travail r´ ealis´ e durant mon stage de DEA ATIAM
1au SCRIME
2sur le projet de percussion a´ erienne (pr´ ec´ edemment nomm´ e ‘percussion virtuelle’).
Ce stage de recherche a comme objectif une analyse des gestes de percussioniste, en vue d’une meilleure d´ etection des coups, et d’une reconnaissance des gestes et enchaˆınements de la per- cussion classique. Le jeu d’un percussioniste a ´ et´ e ´ etudi´ e, dans les conditions d’utilisation de cet instrument virtuel. Enfin, un mod` ele de pr´ ediction lin´ eaire a ´ et´ e d´ evelopp´ e servant ` a la fois les besoins de correction des valeurs issues des capteurs, et d’anticipation de la d´ etection des impacts.
MOTS CLEFS : Interaction Homme-Machine, Instrument de musique digital, Percussion, Ana- lyse gestuelle, Pr´ ediction Lin´ eaire
This thesis describes the work achieved during my master ATIAM internship at SCRIME, on the air percussion (formerly known as ‘virtual percussion’).
This research internship aimed at analysing percussionist’ gestures, for a better impacts’ de- tection, and classical percussion strikes recognition. The gestures of a percussionist were in- vestigated, while playing this virtual instrument. Also, a linear prediction model was used to both correct the incoming sensors data in real-time, and anticipate the impacts detection.
KEY WORDS : Human Computer Interaction, Digital Musical Instrument, Percussion, Ges- ture Analysis, Linear Prediction
1Acoustique, Traitement du Signal, et Informatique Appliqu´es `a la Musique
2Studio de Cr´eation et de Recherche en Informatique et Musique Electroacoustique
Table des mati` eres
1 Structure du rapport 5
2 Remerciements 6
3 Introduction 7
3.1 Le SCRIME . . . . 7
3.2 Le projet ‘M´ etamorphose’ . . . . 7
4 Recherches d´ ej` a men´ ees 9 4.1 Sur le contrˆ ole gestuel . . . . 9
4.2 Sur les caract´ eristiques des gestes . . . . 9
4.2.1 Les types de gestes par David Efron . . . . 9
4.2.2 Les gestes instrumentaux . . . . 10
4.2.3 Le cas des gestes de percussion . . . . 10
4.3 La correspondance entre geste et contrˆ ole . . . . 11
4.4 Ant´ ec´ edents sur la percussion a´ erienne au SCRIME . . . . 13
4.4.1 Technologie . . . . 13
4.4.2 Instruments . . . . 14
4.4.3 D´ etection des impacts . . . . 14
4.4.4 Reconnaissance des coups . . . . 15
4.4.5 Reconnaissance des enchaˆınements . . . . 16
5 Mod´ elisation 18 5.1 Mod` ele g´ en´ eral . . . . 18
5.2 Mapping entre capteurs et param` etres gestuels . . . . 20
5.3 Mapping entre param` etres gestuels et sonores . . . . 21
6 Acquisition de donn´ ees 22 6.1 Mat´ eriel utilis´ e . . . . 22
6.2 M´ ethode . . . . 22
6.3 Premi` ere acquisition : r´ eaction de l’instrumentiste face ` a un DMI . . . . 23
6.3.1 L’importance du jeu en contexte . . . . 23
6.3.2 Influence du retour auditif . . . . 24
6.4 Deuxi` eme acquisition : plus proche du jeu naturel ? . . . . 24
6.4.1 Influence du retour auditif . . . . 25
6.4.2 Influence des gestes d’accompagnement . . . . 25
6.5 Troisi` eme acquisition : les mˆ emes s´ equences avec le son . . . . 26
TABLE DES MATI ` ERES 3
7 Analyse des signaux 27
7.1 Visualisation . . . . 27
7.1.1 Visualisation des donn´ ees brutes et des param` etres . . . . 27
7.1.2 Visualisation des m´ eta-donn´ ees . . . . 28
7.1.3 Visualisation dynamique . . . . 28
7.2 Valeurs erron´ ees . . . . 29
7.2.1 Distorsion de l’espace . . . . 29
7.2.2 Valeurs aberrantes . . . . 30
7.3 Algorithme de correction . . . . 34
7.3.1 LPC et m´ ethode de Burg . . . . 35
7.3.2 Description de l’algorithme de correction . . . . 36
7.4 D´ etection des impacts . . . . 38
7.5 Analyse des types de coups . . . . 40
7.5.1 Extraction de statistiques de vitesse et acc´ el´ eration . . . . 40
7.5.2 Extraction des types de coups par corr´ elation . . . . 40
8 R´ esultats 41 8.1 Correction des donn´ ees . . . . 41
8.2 D´ etection des impacts . . . . 42
8.3 Analyse de types de coups . . . . 44
8.3.1 Analyse des param` etres . . . . 44
8.3.2 Extraction des types de coup . . . . 44
9 Bilan et perspectives 47 9.1 Bilan . . . . 47
9.2 Perspectives . . . . 47
A M´ ethode de Burg 49 B Extraits du code Matlab 50 B.1 Extraction des param` etres de la LPC . . . . 50
B.2 Correction des donn´ ees . . . . 51
B.3 D´ etection des impacts . . . . 56
B.4 Etude statistique . . . . 57
B.5 Reconnaissance des coups . . . . 59
Bibliographie 61
Table des figures
3.1
La partition de M´etamorphose 7 ( cC.Havel). . . . 8
4.1
La chaˆıne de contrˆole d’apr`es Joel Ryan. . . . 12
4.2
Les flocks of birds mont´es sur les baguettes de batterie. . . . 13
4.3
Un ´editeur d’instrument permet de placer des volumes dans l’espace. . . . 15
4.4
Les diff´erents types de coup. . . . 16
4.5
Automate de reconnaissance des enchaˆınements. . . . 17
5.1
Mod`ele g´en´eral pour la partie analyse gestuelle percussion a´erienne. . . . 19
6.1
L’influence des conditions de jeu : Enregistrement de coups types et Performance r´eelle. . . 23
6.2
La partition jou´ee `a 3 nuances et tempi diff´erents. . . . 24
6.3
Les gestes d’accompagnements : inspiration sur la pulsation avant un fris´e. . . . 25
7.1
Le rep`ere d´efini par rapport `a la base ´emettrice. . . . 27
7.2
Animation en 3 dimensions : baguette gauche et droite. . . . 29
7.3
Etude de la distorsion statique de l’espace´. . . . 30
7.4
Retournement des axes par franchissement du plan (oYZ). . . . 31
7.5
Discontinuit´e des valeurs d’angle. . . . 31
7.6
Les donn´ees bloqu´ees dues `a une saturation des capteurs. . . . 32
7.7
Influence de perturbations ´electromagn´etiques sur les donn´ees. . . . 33
7.8
Probl`emes de contact. . . . 34
7.9
Pr´ediction d’unfris´e par mod`ele LPC coefficients calcul´es par la m´ethode de Burg. . . . . 35
7.10
R´eponse en fr´equence du filtre pour la pr´ediction du fris´e. . . . 35
7.11
Erreur quadratique de pr´ediction des 100ms en fonction de l’ordre et la taille du mod`ele LPC37 7.12
Valeurs maximales de l’acc´el´eration et de sa d´eriv´ee. . . . 39
8.1
Position non corrig´ee, et corrig´ee.. . . . 41
8.2
Correction des sauts d’angle.. . . . 42
8.3
D´etection de l’impact sans anticipation. . . . 43
8.4
D´etection de l’impact avec anticipation. . . . 43
8.5
Statistiques pour l’acc´el´eration tangentielle autour de l’impact. . . . 44
8.6
Statistiques pour la norme de la vitesse autour de l’impact. . . . 45
8.7
Similarit´e pour un enchaˆınement de coups. . . . 46
Chapitre 1
Structure du rapport
Ce rapport est compos´ e de 7 parties.
La 1` ere partie pr´ esente le SCRIME ainsi que le projet M´ etamorphose dans lequel s’inscrit le d´ eveloppement de la percussion a´ erienne pr´ esent´ ee dans ce rapport.
La 2` eme propose une revue des diff´ erentes ´ etudes d´ ej` a men´ ees sur le geste en g´ en´ eral, et le geste instrumental en particulier, afin de situer cette ´ etude dans un contexte plus g´ en´ eral.
Sont pr´ esent´ es ´ egalement dans cette partie les d´ eveloppements r´ ealis´ es par les groupes d’´ etudiants ayant travaill´ e sur la percussion a´ erienne du SCRIME.
Un mod` ele g´ en´ eral est propos´ e pour la percussion virtuelle dans la 3` eme partie.
La 4` eme partie explique le d´ eroulement et la m´ ethodologie des s´ eances d’acquisition de donn´ ees du geste de percussionniste.
La 5` eme partie pr´ esente les programmes r´ ealis´ es pour l’´ etude et l’analyse des donn´ ees des capteurs.
La 6` eme partie exhibe les r´ esultats de ces programmes : correction de donn´ ees erron´ ees, d´ etection d’impacts, et reconnaissance de coups.
La 7` eme partie dresse un bilan du travail r´ ealis´ e, et indique les d´ eveloppements possibles pour la suite de ce projet.
Enfin, des d´ etails math´ ematiques, ainsi que des extraits du code Matlab sont mis en annexes.
Chapitre 2
Remerciements
Je tiens ` a remercier tout d’abord les personnes qui encadraient ce stage : Myriam Desainte- Catherine qui m’a accueilli au SCRIME pour ce stage sur un sujet qui me tenait ` a coeur ; Christophe Havel qui est ` a l’origine de ce projet pour les discussions sur la composition (et pour ses cours sur Max/MSP !) et Sylvain Marchand pour ses conseils. Un grand merci au percussionniste Cl´ ement Fauconnet, pour sa bonne humeur et sa patience face aux caprices de la technologie. Je remercie ´ egalement l’´ equipe p´ edagogique du DEA, et particuli` erement Cy- rille Defaye, et G´ erard Assayag pour leur disponibilit´ e tout au long de cette ann´ ee enrichissante.
Je tiens aussi ` a remercier les personnes que j’ai cˆ otoy´ ees durant ce stage : Julien Villain pour son aide au milieu de l’h´ ecatombe des machines. . . , Nicolas Louis qui a g´ en´ ereusement digita- lis´ e la vid´ eo des mesures, Fran¸ cois Dumeaux –aka Dr¨ ucpa Dracous–, pour la musique et le th´ e tout l’´ et´ e. . .
Je tiens aussi ` a remercier particuli` erement Gy¨ orgi Kurt´ ag, pour ses conseils et les discussions sur le geste, la musique, le rapport avec les machines, qui ont ´ et´ e tr` es enrichissantes.
Merci ` a Christian Eloy de m’avoir permis de suivre les cours d’´ electroacoustique du Conserva- toire National de la R´ egion de Bordeaux, les compositeurs Jean-Michel Rivet, Laurent Soulier, David Trescos, ainsi qu’aux ´ etudiants de la classe d’´ electroacoustique, pour des discussions, des ´ ecoutes, et des ´ echanges qui m’ont fait connaˆıtre davantage cette musique.
Je remercie ´ egalement ` a Jean-Patrick Allant pour les cours de percussions qu’il m’a gracieuse-
ment donn´ e, et dont les r´ eflexions ont sˆ urement guid´ e mon approche de l’analyse du geste de
percussion.
Chapitre 3
Introduction
3.1 Le SCRIME
Le SCRIME
1est une cellule d’activit´ e rassemblant artistes et scientifiques. Son objectif est de permettre aux premiers de b´ en´ eficier d’un transfert de connaissances scientifiques et aux se- conds d’une expertise musicale. Les membres du SCRIME sont des chercheurs en informatique musicale du LaBRI, et des compositeurs issus pour la plupart de la section ´ electroacoustique du Conservatoire National de R´ egion de Bordeaux.
Rattach´ e administrativement au Laboratoire Bordelais de Recherche en Informatique (LaBRI), le SCRIME r´ esulte d’une convention de coop´ eration entre le Conservatoire National de R´ egion de Bordeaux, l’ENSEIRB (Ecole Nationale Sup´ erieure d’Electronique, Informatique et Radio- communications de Bordeaux), et l’Universit´ e Bordeaux I.
La recherche fondamentale men´ ee au SCRIME concerne principalement la mod´ elisation in- formatique du son (analyse, transformation et synth` ese), et l’aide ` a la composition (calcul symbolique) ; tandis que la recherche appliqu´ ee concerne davantage les interfaces musicales Homme-Machine (logiciels p´ edagogiques, et instruments virtuels).
3.2 Le projet ‘M´ etamorphose’
Christophe Havel, compositeur membre du SCRIME, est ` a l’origine du projet ‘M´ etamorphose’, initi´ e en 2000 : il souhaite cr´ eer et r´ ealiser un spectacle musical associant des instrumentistes traditionnels (interpr` etes et improvisateurs) ` a un m´ eta-instrument ´ electroacoustique.
L’originalit´ e de ce projet r´ eside dans l’utilisation du formidable potentiel gestuel et musical d’instrumentistes professionnels, en l’appliquant ` a un instrument autre que leur instrument traditionnel. Chaque musicien joue ainsi virtuellement, avec ses propres r´ eflexes m´ ecaniques et auditifs, et des capteurs adapt´ es ` a son instrument. L’ensemble des informations recueillies est alors envoy´ e vers un ordinateur qui g´ en` ere des sons en fonction d’une partition ´ ecrite ` a l’avance. Mais ` a la diff´ erence d’une ´ ecriture traditionnelle, la partition consiste en divers en- vironnements de r´ eactions aux sollicitations instrumentales. L’oeuvre est alors d´ efinie par la forme g´ en´ erale propos´ ee aux instrumentistes, les environnements et les modes de jeu associ´ es, et la facture des sons ´ electroniques. La formation alors envisag´ ee ´ etait : guitare, saxophone,
1Studio de Cr´eation et de Recherche en Informatique et Musique Electroacoustique
8 Introduction
percussion et th´ er´ emin.
Pour les deux premiers instruments, le probl` eme de la captation du geste fut confi´ ee aux instruments MIDI d´ ej` a existants
2, quant au th´ er´ emin, il fournit un signal audio directement utilisable. Ces informations de jeu instrumental (MIDI ou audio) sont alors collect´ ees sur l’ordinateur pilotant les sons g´ en´ er´ es en fonction de la partition, dans le logiciel Max/MSP
3.
‘M´ etamorphose 1’ pour guitare MIDI, saxophone MIDI et th´ er´ emin, a ainsi ´ et´ e pr´ esent´ ee au Moli` ere – Sc` ene d’Aquitaine en Mai 2000.
En revanche, le cas du percussionniste est beaucoup plus d´ elicat, car il s’agit de capter et de reconnaˆıtre une gestique se d´ eroulant en trois dimensions, sans qu’il n’y ait de frappe sur des points pr´ ecis. Les pads MIDI couramment employ´ es par les batteurs voulant disposer de sons de synth` ese, r´ eduisent consid´ erablement la finesse du jeu, la ramenant ` a un simple d´ eclenchement, avec contrˆ ole du volume. De plus, il g´ en` erent des bruits percussifs parasites dont on aimerait se passer.
Il ´ etait donc n´ ecessaire de trouver une autre alternative, permettant de s’affranchir de ces d´ esagr´ ements, et de rendre mieux compte de la richesse gestuelle du percussionniste. Le projet de la percussion a´ erienne fˆ ut lanc´ e la mˆ eme ann´ ee par la section scientifique du SCRIME. Plu- sieurs groupes d’´ etudiants ont commenc´ e l’´ etude d’un dispositif de percussion a´ erienne depuis 2001, et en novembre 2003 eu lieu la premi` ere performance avec le dispositif de percussion virtuelle pour la cr´ eation de ‘M´ etamorphose 7’, avec saxophone MIDI et percussion a´ erienne.
Fig. 3.1 –
La partition de M´etamorphose 7 ( cC.Havel)2Saxophone MIDI de Yamaha, et guitare MIDI
3Logiciel modulaire de traitement du signal en temps r´eel. Voir[PZ03]
Chapitre 4
Recherches d´ ej` a men´ ees
Les bras ont des mouvements soutenus, li ´es, s’apparentant en ce sens `a la ligne m ´elodique. De temps `a autre, en une forme spatiale d ´efinie ou mouvement, ils marquent la pulsation. Ils se d ´eploient en “glissant” le long des plans de l’espace, mais parfois aussi, ils se d ´eroulent en un mouvement centrifuge, dans une des directions spatiales, ou reviennent dans un mouvement centrip `ete.[TrpOA93]
4.1 Sur le contrˆ ole gestuel
L’analyse du geste instrumental est un domaine assez r´ ecent qui a commenc´ e ` a ´ emerger ` a la fin des ann´ ees 1970, avec l’´ etude des interfaces pour l’IHM
1appliqu´ ee ` a la synth` ese sonore [Las77] [Flo78]. L’´ etude du geste instrumental arrive peu de temps apr` es[Abb82].
L’application ` a la percussion n’apparaˆıt qu’au d´ ebut des ann´ ees 90, notamment grˆ ace au d´ eveloppement du ‘Radio-Baton’ par Robert Boie[RBS89] aux Laboratoire de la ‘Bell Tele- phone’ en 1989.
Durant les deux derni` eres ann´ ees, le domaine des interfaces musicales a pris suffisamment d’im- portance pour que lui consacr´ e une conf´ erence annuelle sp´ ecifique. D´ ebutant par un workshop au CHI
22001, le NIME
3est devenue une conf´ erence internationale ind´ ependante. Un poster sur la percussion a´ erienne ´ etudi´ ee ici a ´ et´ e pr´ esent´ e [DCH04] ` a la derni` ere ´ edition du NIME.
4.2 Sur les caract´ eristiques des gestes
4.2.1 Les types de gestes par David Efron
Dans son ´ etude[Efr72] des diff´ erents gestes de conversation entre groupes ethniques voisins de New York, David Efron distingue trois fonctions principales du geste : spatio-temporelle, interlocutionnelle, et linguistique. Les gestes spatio-temporels repr´ esentent le mouvement pur, libre de tout contexte de conversation, dont les gestes de percussionniste semblent faire partie.
Ces gestes peuvent selon lui ˆ etre cat´ egoris´ es selon 5 aspects : – rayon (ampleur du mouvement)
– forme
1‘Interaction Homme-Machine’
2Computer Human Interaction
3‘New Interfaces for Musical Expression’
10 Recherches d´ ej` a men´ ees
– plan (direction et orientation)
– partie du corps effectuant le mouvement – tempo (ou fr´ equence)
La classification de David Efron, bien que tr` es g´ en´ erale, fournit un ´ eclairage certain sur les caract´ eristiques du geste utiles pour leur analyse.
4.2.2 Les gestes instrumentaux
Depuis l’av` enement dans les ann´ ees 1960 de la synth` ese sonore et des synth´ etiseurs grand pu- blics, le d´ eveloppement des interfaces de contrˆ ole n’a cess´ e de se d´ evelopper, avec en parall` ele, une ´ etude des gestes instrumentaux permettant [d’essayer] de comprendre ce qui fait la richesse du jeu des instrumentistes, sur les instruments traditionnels.
Une bibliographie assez exhaustive sur ce sujet a ´ et´ e ´ etablie par Marcello Wanderley et Marc Battier[WB00], qu’il serait superflu de reproduire ici.
Cependant, et comme le sujet propos´ e ici concerne la reconnaissance de gestes de percus- sionnistes, et afin de d´ efinir un vocabulaire qui sera r´ e-utilis´ e plus loin dans ce rapport, je soulignerai deux classifications int´ eressantes des gestes instrumentaux :
Classification de Fran¸ cois Delalande
Fran¸cois Delalande propose [Del88] la classification suivante : – Gestes effectifs : ceux qui produisent effectivement le son.
– Gestes d’accompagnement : des autres parties du corps notamment de la tˆ ete, des jambes. . .
– Gestes figuratifs : ceux sont les gestes per¸ cus par le public ` a travers le son produit, mais qui n’ont pas de correspondance directe avec un mouvement.
Classification fonctionnelle de Claude Cadoz
Claude Cadoz propose [Cad88] une classification plus fonctionnelle :
– Les gestes d’excitation fournissent l’´ energie n´ ecessaire ` a l’apparition du ph´ enom` ene sonore. Il peuvent ˆ etre ‘instantan´ es’
4, ou bien ‘continus’.
– Les gestes de modification-modulation changent les propri´ et´ es de l’instrument, et affectent la relation entre le geste d’excitation et le son produit. Ils peuvent ˆ etre param´ etriques (e.g. un vibrato) ou bien structurel (e.g. la sourdine d’une trompette).
– Les gestes de s´ election consistent en un choix entre divers ´ el´ ements similaires dans un instrument. Ni ils ne fournissent d’´ energie ` a l’instrument, ni ne modifient les propri´ et´ es de l’instrument.
4.2.3 Le cas des gestes de percussion Ant´ ec´ edents
Relativement peu d’´ etude du geste de percussionniste ont ´ et´ e r´ ealis´ ee, les syst` emes utilis´ ees ne permettant souvent pas une ´ etude ad´ equate : l’acquisition par cam´ era
5est souvent limit´ ee par
4Soit percussifs comme dans notre cas, mais aussi pinc´es comme pour la harpe par exemple. Wanderley souligne la diff´erence de geste entre ces deux types d’excitation [Wan01] p34
5E.g. avec VNS ou BigEye du STEIM.
4.3 La correspondance entre geste et contrˆ ole 11
une faible fr´ equence d’´ echantillonage
6, ou bien entraˆıne un calcul tr` es lourd pour l’extraction de la position des baguettes.
Les acc´ el´ erom` etres, comme ceux utilis´ es dans la ‘percussion augment´ ee’ d´ evelopp´ ee ` a La Kitchen[CH03], qui souffrent moins des perturbations que les capteurs ´ electro-magn´ etiques et dont les signaux sont ´ echantillonables ` a une fr´ equence ´ elev´ ee, peuvent se r´ ev´ eler tr` es int´ eressants pour une ´ etude plus fine de la dynamique du geste. Malheureusement, ils ne renvoient pas la position absolue dans l’espace n´ ecessaire pour disposer d’un set de percussion virtuelle avec des positions d´ efinies dans l’espace r´ eel, comme c’est l’intention dans ce projet.
Le geste de percussionniste dans les classification propos´ ees
Au regard des classifications de gestes pr´ ec´ edemment cit´ ees, il convient de remarquer plusieurs choses concernant la percussion, dont les gestes complexes se situent ` a la fronti` ere entre ces cat´ egories :
– Les gestes que l’on cherche ` a analyser et reconnaˆıtre sont essentiellement des gestes effectifs et d’excitation.
– Les gestes de modulation sont intimement li´ es aux gestes d’excitation : la r´ esonance de la percussion va d´ ependre du temps de contact avec la baguette ; contact qui modifie, dans un temps pouvant se r´ eduire ` a la milliseconde, la structure de l’instrument.
– Les gestes de s´ election consistant en des d´ eplacements de la baguette en vue du choix d’un instrument ` a frapper, sont ´ egalement tr` es li´ es aux gestes d’excitation. En effet, alors que l’on peut d´ efinir assez pr´ ecis´ ement le d´ ebut d’un geste d’excitation, pour la guitare par exemple par le moment o` u l’on commence ` a tirer la corde, le geste de percussion commence par un ´ elan dont le d´ ebut est le prolongement continu d’un geste ‘de s´ election’.
Gestes d’accompagnement dans la percussion
Les gestes d’accompagnement qu’ils soient de la tˆ ete, du pied, ou bien des mains, sont souvent une fa¸ con pour le musicien de marquer une pulsation, qu’elle soit de l’ordre du tempo, de la mesure, ou de la phrase musicale. Cette fonction musicale est ´ evidemment essentielle dans le cas de la percussion : certes la percussion ne se r´ eduit sˆ urement pas au marquage de la pulsation, mais plus que tout autre instrument, elle y contribue.
4.3 La correspondance entre geste et contrˆ ole
L’ensemble du projet de la percussion a´ erienne implique des choix de design qui permettent difficilement de dissocier la partie analyse de la partie synth` ese : les choix pour l’une d´ ependant fortement de l’autre. Il existe un vaste domaine, encore peu formalis´ e
7, sur les fonctions de correspondance, ou ‘mapping’ en anglais, entre les donn´ ees instrumentales issues des capteurs et le contrˆ ole de la synth` ese sonore.
6‘Dans les conditions optimales, on peut atteindre 8 frappes par seconde.’[God97]. NB : Avec une fr´equence d’´echantillonage de 50Hz.
7M. Wanderley a proc´ed´e `a une revue des strat´egies de mapping, soulignant que ‘Peu de travaux ont ´et´e propos´es sur le mapping pour la musique interactive’ [Wan01]. Remarquons toutefois que ce domaine connaˆıt aujourd’hui une forte investigation notamment dans les conf´erences du NIME
12 Recherches d´ ej` a men´ ees
En effet, le contrˆ ole de la synth` ese sonore d´ epend encore beaucoup de la particularit´ e de ses divers algorithmes, et il n’existe pas encore d’interface g´ en´ erale pour piloter l’ensemble des algorithmes de synth` ese sonore. De la mˆ eme fa¸ con, les informations issues des capteurs sur les gestes instrumentaux d´ ependent des types de capteurs, de l` a o` u on les place. . . etc. et il n’y a pas –encore ?– de standard permettant une relation clairement d´ efinie entre ces deux ensembles de signaux, malgr´ e de nombreuse contribution durant la derni` ere d´ ecennie.
Les premiers travaux de Joel Ryan
Un des premiers ` a proposer une th´ eorie coh´ erente sur les correspondances entre interfaces gestuelles et production musicale fˆ ut Joel Ryan du STEIM, qui d´ efinit la chaˆıne de contrˆ ole suivante :
performer sensor digitizer communication
recognition interpretation
mapping composition
Fig. 4.1 –
La chaˆıne de contrˆole d’apr`es Joel RyanLes strat´ egies de mapping propos´ ees se retrouvent autour d’une mˆ eme classification g´ en´ erale en trois cat´ egories :
o Un vers un
o Un-vers-plusieurs ou divergent o Plusieurs-vers-un ou convergent
La cat´ egorie Plusieurs vers plusieurs ´ etant une combinaison ´ evidente des cat´ egories pr´ e-cit´ ees.
Cette formalisation, si elle propose une repr´ esentation g´ en´ erale n’´ evoque cependant pas la na- ture des variables de mapping, ni celle de leurs relations.
Les apports plus r´ ecents
Une division des fonctions de correspondance en deux couches a ´ et´ e propos´ ee par [MWR98], avec une couche de variables interm´ ediaires. Selon Marcello Wanderley, ces variables interm´ ediaires sont ‘approximativement bas´ ees sur des variables perceptives comme la couleur du timbre, le volume sonore et la hauteur, mais peuvent ˆ etre bas´ ees sur des autres caract´ eristiques percep- tives du son, ou n’avoir aucune relation avec la perception, ´ etant alors arbitrairement choisies par le compositeur ou l’instrumentiste’[Wan01](p.73).
Plus r´ ecemment, Lo¨ıc Kessous et Daniel Arfib [KA03] ont propos´ e une division suppl´ ementaire
qui se rapproche de celle propos´ ee ici (cf 5.2), en ins´ erant une couche de param` etres perceptifs
li´ es aux geste.
4.4 Ant´ ec´ edents sur la percussion a´ erienne au SCRIME 13
4.4 Ant´ ec´ edents sur la percussion a´ erienne au SCRIME
Plusieurs groupes d’´ etudiants ont particip´ e ` a l’´ elaboration de ce projet, commenc´ e en 2000.
Ils ont a la fois contribu´ e au d´ eveloppement de programmes pour l’acquisition de donn´ ees et leur analyse, et ` a la mod´ elisation du probl` eme de la d´ etection des coups ` a partir du cahier des charges fournis par le compositeur.
Malheureusement un probl` eme chronique est l’absence de synth` ese des travaux pr´ ec´ edents par les groupes d’´ etudiants ayant successivement travaill´ e sur la percussion a´ erienne. Cela pose un probl` eme ` a la fois au niveau de la mod´ elisation qui est faite, mais aussi un probl` eme de compatibilit´ e des applications d´ evelopp´ ees, chaque groupe ´ etant pratiquement reparti ` a z´ ero
`
a chaque fois.
Chacun de ces groupes a cependant apport´ e une approche diff´ erente, et l’ensemble du travail r´ ealis´ e porte les fruits d’une r´ eflexion sur le sujet avec ses int´ erˆ ets comme ses oublis.
J’ai donc commenc´ e ce stage par une revue des travaux d´ ej` a r´ ealis´ es. Plutˆ ot que les pr´ esenter chronologiquement, j’en rapporte ici les choix par rapports aux principaux th` emes.
4.4.1 Technologie
Capteurs
Au niveau des capteurs, le projets a connu une premi` ere phase avec le radio-baton
8. Mais ra- pidement, ` a cause de la faible fr´ equence d’´ echantillonage
9, et surtout de la faible surface de jeu disponible
10, le radio-baton a ´ et´ e remplac´ e par les ‘flocks of bird’ (voir fig. 4.2) permettant une acquisition de la position et de l’angle des capteurs dans une sph` ere d’environ 1m de rayon, et
`
a une fr´ equence d’une centaine de Hertz.
Fig. 4.2 –
Les flocks of birds (Ascension Technology) mont´es sur les baguettes de batterie8[RBS89]
9De 50Hz, `a l’´epoque, mais de r´ecents travaux[SD02] ont remis le radio-baton `a jour en utilisant une carte son pour l’´echantillonnage.
10Se situant au dessus d’une table de 60cm de cot´e environ.
14 Recherches d´ ej` a men´ ees
Analyse de donn´ ees et synth` ese sonore
La premi` ere version pr´ esentant une synth` ese sonore est impl´ ement´ ees enti` erement avec le logiciel jMax
11, mais afin de dissocier la synth` ese sonore de l’analyse, cette solution est modifi´ ee
`
a partir des travaux suivant : une machine sous Linux effectue l’analyse de donn´ ees capt´ ees, et les donn´ ees analys´ ees sont envoy´ ees ` a un MacIntosh ´ equip´ e du logiciel Max/MSP
12qui g` ere la synth` ese sonore sans ˆ etre gˆ en´ e par la lourdeur de l’analyse gestuelle.
4.4.2 Instruments
Si la premi` ere version prototype avec le radio-baton[GM00] ne proposait pas de d´ efinition spa- tiale d’instruments, le passage a un plus grand espace de jeu avec les flocks of birds n´ ecessitait la possibilit´ e de d´ efinir des zones de l’espace repr´ esentant les percussions.
Ainsi le groupe d’´ etudiant suivant[MBD01] d´ efini 3 types instruments :
o Instruments ‘frapp´ es’ (percussifs) : les sons sont g´ en´ er´ es par des impacts : une inter- section entre une surface active et une baguette. La vitesse de la baguette au moment de l’impact d´ etermine l’amplitude du son produit. La distance entre point d’impact avec un point ou ligne de r´ ef´ erence d´ etermine la distorsion du son produit (cette derni` ere caract´ eristique a ´ et´ e pr´ evue dans la mod´ elisation mais non impl´ ement´ ee) o Instruments ‘secou´ es’ (type maracas) Les changement de vitesse et/ou de direction pro- duisent des sons. L’amplitude du changement de vitesse d´ etermine l’amplitude du son produit.
o Instruments ‘toggles’ (continus) : les sons sont g´ en´ er´ es en fonction de la position dans l’espace de l’instrument : l’entr´ ee d’une baguette dans le volume de l’instrument d´ eclenche un unique son continu dont le volume est fonction de la vitesse d’entr´ ee ; la sortie de la baguette stoppe le son.
Les instances de ces instruments sont caract´ eris´ ees par : o Le type de l’instrument.
o Position, volume et formes (disque, cylindre, sph` ere, cˆ one, quadrilat` ere, et parall´ el´ epip` ede.) o Surfaces et volumes actifs.
Cette premi` ere version ne fonctionnait pas ` a cause d’un probl` eme avec la biblioth` eque d’acqui- sition des flocks of birds. Le groupe suivant[BBS01] reprendra l’id´ ee g´ en´ erale en ne conservant une reconnaissance des impacts que dans les volumes plutˆ ot qu’` a travers les surfaces des ins- truments.
Enfin, en 2003 S´ ebastien Lebreton[Leb03] d´ eveloppe un ´ editeur d’instruments virtuels, avec une interface graphique 3D (fig.4.3 ).
4.4.3 D´ etection des impacts
L’id´ ee propos´ ee ` a la base de la percussion a´ erienne est que l’impact n’est pas le simple r´ esultat d’une collision entre la baguette et la surface de l’instrument, mais plutˆ ot un geste particulier, pouvant ˆ etre r´ ealis´ e dans le vide (comme c’est le cas de toute fa¸ con dans la percussion a´ erienne), et qui assure un transfert d’´ energie entre la baguette et la percussion. Les diff´ erentes ´ etudes men´ ees aboutirent g´ en´ eralement ` a une segmentation du geste en 3 phases :
11[DSOB03]
12[PZ03]
4.4 Ant´ ec´ edents sur la percussion a´ erienne au SCRIME 15
Fig. 4.3 –
Un ´editeur d’instrument permet de placer des volumes dans l’espace– Le d´ ebut du coup, c’est ` a dire le d´ ebut du mouvement d’´ elan menant ` a l’impact, caract´ eris´ e par un d´ epassement de seuil de la vitesse. Nous verrons plus loin qu’un franchissement de seuil de vitesse ne semble pas adapt´ e ` a la d´ etection d’un d´ ebut de coup en tant que d´ etection d’intention. Elle semble en effet davantage caract´ eris´ ee par une acc´ el´ eration significative qu’une vitesse.
– L’impact, caract´ eris´ e par le changement de direction de la baguette. Pour palier le retard qu’entraˆıne l’attente d’un changement de direction, ce crit` ere avait ´ et´ e remplac´ e par un franchissement n´ egatif de seuil de vitesse, fix´ e empiriquement ` a la moiti´ e de la vitesse maximale atteinte durant la phase d’´ elan, et rendant l’instant pr´ ecis de l’impact assez al´ eatoire temporellement. Nous verrons plus loin comment ce probl` eme a ´ et´ e r´ esolu grˆ ace ` a la pr´ ediction.
– La fin du coup, caract´ eris´ e par un retour ` a une position ‘de repos’ basse (down), haute (up, piston), pouvant ´ eventuellement correspondre au d´ ebut du coup suivant, ou bien par un blocage ` a la position de l’impact (´ etouff´ e).
L’analyse des coups ne prenait alors que la direction verticale en compte, avec des coups suppos´ es ˆ etre frapp´ es vers le bas. Elle a r´ ecemment ´ et´ e ´ etendue aux 3 dimensions en 2003, en conservant le mˆ eme algorithme et en rempla¸ cant la vitesse selon l’axe z, par la norme du vecteur vitesse dans l’espace tri-dimensionnel.
4.4.4 Reconnaissance des coups
Dans les objectifs initiaux de la percussion a´ erienne, il avait ´ et´ e envisag´ e, d’une part de re- connaˆıtre les impacts et les types de coups. Les types de coups sont ceux qui ont ´ et´ e d´ efinis par le percussionniste Fran¸ cois Dupin pour l’enseignement de la percussion classique.
Il existe 4 coups de base :
o down : le mouvement commence assez loin de l’instrument, le frappe et revient l´ eg` erement
16 Recherches d´ ej` a men´ ees
o up : le mouvement commence beaucoup plus pr` es de l’instrument, le frappe et remonte assez haut. Ce coup apparaˆıt essentiellement dans un ‘fla’
o piston : le mouvement est celui d’un va-et-vient.
o ´ etouff´ e : le mouvement est arrˆ et´ e brusquement apr` es l’impact, en cherchant ` a bloquer la r´ esonance par contact entre la baguette et la surface de frappe.
Il faut remarquer que dans l’esprit du percussionniste, il ne s’agit pas de taper la percussion, mais vraiment (sauf pour le cas du coup ´ etouff´ e) de transmettre une ´ energie, ` a la mani` ere du karat´ eka. Cette fa¸ con de penser le geste en anticipant le retour de la baguette
13a deux objectifs :
o ˆ Etre prˆ et au plus tˆ ot et avoir le maximum d’´ elan pour la frappe suivante.
o Avoir un temps de contact avec l’instrument le plus bref possible pour permettre une r´ esonance maximale de son corps.
Les diff´ erents types de coups propos´ es par Fran¸ cois Dupin ont ´ et´ e mod´ elis´ es lors des 3 pre- miers stages, d’apr` es leur ‘allure th´ eorique’, par des seuils sur la position [GM00], et la vitesse [BBS01], ` a divers instants entre le ‘d´ ebut du coup’ et la ‘fin du coup’.
z
up
1 2
up : descente lente t
1
piston 3 down 4
étouffé z
piston, down, étouffé : t descente rapide
Fig. 4.4 –
Les diff´erents types de coupUne ´ etude statistique [SP02] est envisag´ ee ensuite afin de d´ eterminer au plus tˆ ot le type de coup et diminuer la latence. Malheureusement, les r´ esultats de cette ´ etude, sous la forme de grands tableaux de chiffres, ne sont pas interpr´ et´ es pour trouver quels seraient les crit` eres d’analyse int´ eressants ; et l’algorithme de reconnaissance est rest´ e le mˆ eme.
4.4.5 Reconnaissance des enchaˆınements Les enchaˆınements que l’on cherche ` a reconnaˆıtre sont :
o Le fla qui consiste en une succession rapide d’un Up et d’un Down.
13Cette technique n’est pas propre `a la percussion classique : voir les explications donn´ees dans [Van88]
4.4 Ant´ ec´ edents sur la percussion a´ erienne au SCRIME 17
o Le fris´ e ou roulement qui consiste en une succession rapide de pistons.
D` es le premier stage sur la percussion a´ erienne, une reconnaissance des enchaˆınements a
´
et´ e envisag´ ee comme la reconnaissance d’un succession de coups, et mod´ elis´ ee par des au- tomates(fig.4.5). Cette solution avait alors ´ et´ e abandonn´ ee car trop lourde en calcul.
Fig. 4.5 –
Automate de reconnaissance des enchaˆınements d’apr`es [GM00]Chapitre 5
Mod´ elisation
Both sound and human movement can be represented at various abstaction levels. A mapping will be faster to learn when movement features are mapped to sound features of the same level[Nak00]
5.1 Mod` ele g´ en´ eral
Au regard des travaux cit´ es dans le chapitre pr´ ec´ edent, il convient de d´ efinir un mod` ele pour la percussion a´ erienne sur lequel baser les d´ eveloppements. Ce mod` ele (voir fig 5.1) se base sur des mod` eles d´ ej` a propos´ es pour les DMI
1, ainsi que sur les r´ eflexions issues d’une table ronde organis´ ee avec des chercheurs du LaBRI, des compositeurs, et des percussionnistes.
Remarquons que le mod` ele pr´ esent´ e n’explicite qu’une partie du design du syst` eme, celle concernant l’analyse du geste. La partie synth` ese fait en effet partie du travail de composition, et n’est pas fix´ ee dans ce projet. D’autre part, un module de visualisation des baguettes et de d´ efinition des instruments existe et n’est pas repr´ esent´ e ici.
La partie analyse re¸ coit comme donn´ ees d’entr´ ee :
– Les donn´ ees issues des capteurs : position Px, Py, Pz, et angle Ax, Ay, Az.
– Les donn´ ees contenue dans le fichier d´ efinissant le set de percussion : pour chaque ins- trument : son nom, son type (percussif ou continu), sa forme (sph` ere, cylindre, boite, clavier), sa position et ses dimensions.
Une correction et pr´ ediction par LPC est effectu´ ee en amont de l’extraction des param` etres, et qui est expliqu´ ee dans la section 7.3.
Les diff´ erents param` etres envoy´ es en sortie sous forme de message OSC
2sont :
– Les impacts (date, No de l’instrument, position relative dans l’instrument, angle et v´ elocit´ e)
– Le type de coup reconnu.
– Des m´ eta param` etres : tempo, sym´ etrie . . .
1Digital Musical Instrument : (Instrument de Musique Num´erique). Est d´efini dans [Wan01] comme ‘un instrument comprenant une interface gestuelle s´epar´ee d’une unit´e de synt`ese sonore.’
2Open Sound Control : protocole d’´echange de donn´ee asynchrone d´evelopp´e par le CNMAT [WF97]. NB : tous les messages OSC sont dat´es
5.1 Mod` ele g´ en´ eral 19
correction et prediction
LPC
detection impacts
extraction coups
extraction notes
parametresmeta instrument
informationsset birds data
impact on/off
effectif/ancillaire type de coup
position
tempo
messages
OSC Max/MSP SON
Mapping signal -> parametres gestuels
Fig. 5.1 –
Mod`ele g´en´eral pour la partie analyse gestuelle percussion a´erienne20 Mod´ elisation
5.2 Mapping entre capteurs et param` etres gestuels
Des param` etres cat´ egoriels
L’analyse des gestes de percussion propos´ ee ici, comprend une couche de variables interm´ ediaires symboliques abstraites, mais celles-ci ne sont ni des caract´ eristiques perceptives du geste ou du son, ni des variables ‘arbitrairement choisies’ par le compositeur. Les coups que l’on cherche ` a reconnaˆıtre, sont des ´ el´ ements d’une base gestuelle du percussionniste, issues d’un formalisme propos´ e par le percussionniste Fran¸ cois Dupin. ´ El´ ements d’une base, au sens o` u l’on pourrait repr´ esenter la gestique du percussionniste en utilisant une combinaison de ces ´ el´ ements de base. Cette repr´ esentation ne permet certes pas de repr´ esenter l’ensemble du mouvement dans toute sa richesse, mais pr´ esente deux avantages principaux :
o Disposer pour le compositeur d’une premi` ere repr´ esentation quantifi´ ee du continuum gestuel, sous forme symbolique, ` a laquelle il sera possible d’attacher des attributs per- ceptifs.
o Reconnaˆıtre une certaine expertise du geste propre au percussionniste professionnel.
Selon Christophe Havel, cette discr´ etisation du continuum gestuel est une ´ etape n´ ecessaire (quoique qu’insuffisante) pour la composition musicale, qui consiste en la manipulation de rapports, d’intervalles, entre des valeurs d´ efinies sur une ´ echelle
3.
Un autre int´ erˆ et de cette segmentation cat´ egorielle, est d’envisager ` a terme une analyse de la gestuelle utilisant toute la science issue de la linguistique, d´ ej` a appliqu´ ee avec succ` es ` a la notation musicale classique
4, et de certains type de jeu de percussion
5.
Dans cette segmentation, il est envisag´ e de rendre ´ egalement compte des gestes ancillaires, dans la mesure o` u ceux-ci r´ epondrait ´ egalement de certaines figures typiques, afin qu’ils puissent
´
eventuellement participer de la synth` ese sonore. Nous verrons plus loin (Cf 6.4.2), qu’un type de geste ce type a ´ et´ e identifi´ e. Cependant, comme il a ´ et´ e d´ ej` a dit, la gestique complexe de la percussion ne se laisse pas forc´ ement r´ eduire ` a une succession de figures types. Aussi, consid´ erant que l’ambigu¨ıt´ e du geste fait partie int´ egrante du jeu d’un instrumentiste, on a pens´ e qu’il serait int´ eressant que l’interface renvoie ` a chaque fois les diff´ erents coups possibles, avec leur probabilit´ e respective, afin que cette ambigu¨ıt´ e puisse ˆ etre prise en compte dans le dispositif de synth` ese.
Des param` etres continus
Les param` etres gestuels utilis´ es pour piloter la synth` ese sonore ne pourraient se r´ esumer ` a des cat´ egories finies sans r´ eduire de fa¸ con drastique la capacit´ e de modulation propre ` a tout instrument digne de ce nom. Une ´ etude des param` etres influant la production sonore dans la percussion serait ` a envisager, mais n’est malheureusement pas possible avec le mat´ eriel dispo- nible dans cet ´ etude, trop fragile et ` a la fr´ equence d’´ echantillonage trop faible pour analyser ces ph´ enom` enes transitoires.
On en restera donc ` a supposer l’influence probable de l’´ energie cin´ etique, du temps et de la surface de contact au moment de l’impact, ainsi que du lieu d’impact. Aussi, ce sont les donn´ ees de position et de vitesse qui sont renvoy´ ees de mani` eres continues. Les impacts seront cod´ es
3Entretiens personnels avec C.Havel
4Voir notamment les travaux de l’´equipe Repr´esentation Musicale, de l’IRCAM.
5Voir notamment les travaux de B.Bel et J.Kippen[KB] sur les tablas et le syst`eme rythmique indien.
5.3 Mapping entre param` etres gestuels et sonores 21
avec un d´ ebut et une fin (` a la mani` ere des messages MIDI note on/off), plutˆ ot que sous forme purement ´ ev´ enementielle ; ce qui permet de contrˆ oler le temps de ‘contact’ entre la baguette et l’instrument.
On peut ´ egalement supposer l’influence probable de param` etres plus g´ en´ eraux sur le mouve- ment des baguettes, comme leur synchronicit´ e, leur ´ ecartement, ou encore l’impr´ evisibilit´ e (par rapport ` a un mod` ele LPC par exemple). . .
5.3 Mapping entre param` etres gestuels et sonores
Cette tˆ ache est laiss´ ee au compositeur et est directement impl´ ement´ ee dans Max/MSP, comme partie int´ egrante de la composition. Le choix des mati` eres sonores, et des relations entre pa- ram` etres constitue un environnement ´ electronique, avec lequel plusieurs musiciens peuvent jouer.
Le mapping utilis´ e jusqu’alors par C. Havel consiste principalement en un d´ eclenchement de sons ` a la d´ etection d’un impact dans un instrument. Le volume sonore de ce son est contrˆ ol´ e par la vitesse maximale avant l’impact, et un filtrage est appliqu´ e en fonction de l’angle de la baguette, afin de modifier le timbre.
La synth` ese granulaire, est utilis´ ee comme un instrument continu
6, dont le volume sonore est contrˆ ol´ e par l’axe Z, les autres degr´ es (X, Y, et les angles) contrˆ olant divers param` etres de la synth` ese : position dans l’extrait sonore, taille du grain, vitesse de lecture, al´ ea. . . proposant ainsi une mani` ere originale de contrˆ oler ce type de synth` ese, dans une v´ eritable exploration d’un extrait sonore.
6Cf. 4.4.2
Chapitre 6
Acquisition de donn´ ees
The source of a sound in an interactive computer based instrument is not some abstract or concrete concept of instrument, or even the algorithm(s) that have been written, but it is the gesture of the performer, the excitation moment(. . . )[Pai04]
Il faut remarquer que dans l’esprit du percussionniste, il ne s’agit pas de taper la percussion, mais vraiment (sauf pour le cas du coup ´ etouff´ e) de transmettre une ´ energie, ` a la mani` ere du karat´ eka. Cette fa¸ con de penser le geste en anticipant le retour de la baguette
1a deux objectifs :
o ˆ Etre prˆ et au plus tˆ ot et avoir le maximum d’´ elan pour la frappe suivante.
o Avoir un temps de contact avec l’instrument le plus bref possible pour permettre une r´ esonance maximale de son corps.
6.1 Mat´ eriel utilis´ e
Le dispositif d’acquisition consistait en :
o Les flocks of birds,renvoyant les donn´ ees de position et d’angle.
o Une biblioth` eque g´ erant la communication entre les flocks of birds et le PC.
o Un programme analysant les donn´ ees des flocks et renvoyant les informations de position, angle, et impacts au MacIntosh par messages OSC
2, que je modifiai pour que ces donn´ ees soient enregistr´ ees dans un fichier s´ epar´ e.
o Un Macintosh avec le logiciel Max/MSP pour la synth` ese sonore.
o Une cam´ era num´ erique pour la 1` ere s´ eance d’enregistrement afin de pouvoir observer les gestes dans leur contexte global.
6.2 M´ ethode
Des donn´ ees avaient d´ ej` a ´ et´ e acquise par un groupe pr´ ec´ edent [SP02], et une analyse statistique r´ ealis´ e sur les types de coups. Cependant, outre la faible quantit´ e de donn´ ees, cette analyse pr´ esentait deux inconv´ enients majeurs : elles ne prenaient en compte que l’axe vertical, et surtout, les coups ´ etaient ´ etudi´ es compl` etement hors-contexte. La premi` ere acquisition de donn´ ees m’a fait comprendre l’importance de ce point : j’ai rapidement dˆ u revoir la m´ ethode,
1Cette technique n’est pas propre `a la percussion classique : voir les explications donn´ees dans [Van88]
2Open Sound Control[WF97]
6.3 Premi` ere acquisition : r´ eaction de l’instrumentiste face ` a un
DMI 23
me rendant compte au fˆ ur et ` a mesure –des mesures– de diff´ erents probl` emes li´ es ` a l’utilisation de la percussion a´ erienne, et que je d´ ecris ci-apr` es.
6.3 Premi` ere acquisition : r´ eaction de l’instrumentiste face ` a un DMI
Lors de la premi` ere s´ eance d’acquisition de donn´ ees, le jeu du percussionniste consistait ` a ex´ ecuter les frappes ‘types’ qui avaient d´ ej` a ´ et´ e envisag´ ees. J’avais alors pu emprunter une cam´ era de l’´ equipe ‘Image et Son’ du LaBRI, pour pouvoir visionner le mouvement dans son ensemble en mˆ eme temps que j’observais les donn´ ees issues des flocks of birds.
6.3.1 L’importance du jeu en contexte
Ce qui apparaissait le plus clairement sur l’enregistrement vid´ eo, ´ etait le manque d’implication et de concentration du percussionniste pour ces mesures (fig. 6.1). En effet, les flocks of birds
´
etant un mat´ eriel particuli` erement capricieux, il me fallait tr` es fr´ equemment les r´ einitialiser, ce qui ´ etait tr` es ennuyeux pour le percussionniste. De plus, l’enregistrement de coups isol´ es n’´ etant pas en soi un exercice passionnant, on peut supposer que l’expressivit´ e musicale ´ etait tout ` a fait absente dans cette exp´ erience.
Ainsi, tous les autres mouvements d’accompagnement
3du reste du corps, qui apparaissent dans une situation de perfomance musicale, n’ont pas ici l’influence qu’ils pourraient exercer. J’avais
´
egalement demand´ e ` a Cl´ ement de jouer une s´ equence contenant diff´ erent coups, afin d’avoir un jeu plus en contexte. L’observation de la vid´ eo me confirma cette n´ ecessit´ e ; malheureusement un bug dans le programme d’acquisition fit que seule les donn´ ees issues d’une baguette furent enregistr´ ees.
Fig. 6.1 –
L’influence des conditions de jeu : Enregistrement de coups types et Performance r´eelle3Cf. classification de F. Delalande, section 4.2.2.
24 Acquisition de donn´ ees
6.3.2 Influence du retour auditif
Une autre question int´ eressante concerne le retour auditif qu’a le percussionniste de ce qu’il joue. Le syst` eme actuel pose en effet le probl` eme de ne pas d´ etecter tous les coups, et d’en d´ eclencher d’autres ` a certains moment o` u il n’y aurait pas du en avoir, cela ` a cause de donn´ ees erron´ ees issues des capteurs et de d´ efauts de l’algorithme de d´ etection des impacts. Or la s´ eance de mesures qui consistait ` a ’enregistrer 20 downs piano, puis 20 mezzoforte, puis 20 forte, puis 20 Ups piano. . . etc.’ prenait l’allure d’un test dont le r´ esultat aurait ´ et´ e valid´ e par le d´ eclenchement d’un son, correspondant ` a une d´ etection correcte de l’impacte.
Ainsi, alors que le but ´ etait d’enregistrer les gestes ‘naturels’ d’un percussionniste profession- nel, j’avais l’impression en regardant les images que le percussionniste cherchait ` a d´ eclencher le son, quitte ` a en modifier son jeu. Cette attitude est ´ egalement li´ ee au fait que dans une situation de concert, le percussionniste cherche ` a d´ eclencher les sons
4.
6.4 Deuxi` eme acquisition : plus proche du jeu naturel ?
Cette fois, nous avons enregistr´ e uniquement des s´ equences de jeu r´ eel, bas´ ees sur une parti- tion d’exercices rythmiques (fig. 6.2). J’avais demand´ e pr´ ealablement ` a Cl´ ement Fauconnet de pr´ eparer une partition contenant tous les types de coup et le maximum de diversit´ e dans l’en- chaˆınement de coups. Pour aider ` a l’analyse, la s´ equence ´ etait jou´ e ` a trois tempi d´ efinis, afin de pouvoir comparer les gestes lors de mouvement rapides et lents, et faciliter la segmentation.
Les s´ equences ont donc ´ et´ e jou´ ees avec l’aide d’un m´ etronome, aux tempi 60, 100, et 132. Le jeu au m´ etronome constituait en soi un ´ ecart par rapport au jeu libre pratiqu´ e par Cl´ ement en situation de performance r´ eelle, mais repr´ esentait une aide certaine pour pouvoir observer l’influence du tempo d’ex´ ecution sur des gestes semblables.
Fig. 6.2 –
La partition jou´ee `a 3 nuances et tempi diff´erents4D’autant plus que l’´ecriture de C. Havel qui joue sur l’interaction entre les diff´erents instruments, ne facilite pas toujours la perception de correspondance entre geste et son
6.4 Deuxi` eme acquisition : plus proche du jeu naturel ? 25
6.4.1 Influence du retour auditif
J’avais aussi d´ ecid´ e de r´ ealiser ces enregistrement sans le syst` eme de synth` ese sonore, afin que le retour auditif ne viennent pas influencer le jeu. En effet, le d´ eclenchement des sons ´ etant encore tr` es al´ eatoire, il me semblait qu’il valait mieux ´ eviter ce retour auditif.
Le jeu de Cl´ ement ce jour l` a ´ etait sans doute plus proche d’un jeu naturel, mais il me confiait ` a la fin des mesures que l’absence de son pour les ‘fris´ es’ lui rendait difficile le comptage des coups pendant ces roulements. Il est int´ eressant de voir que c’est pour les frappes o` u le percussionniste utilise le plus le rebond sur la peau, que le retour sonore devient une aide d’autant plus importante. Il semblerait que le percussionniste contrˆ ole alors sa gestique davantage par le retour auditif que kinesth´ esique.
6.4.2 Influence des gestes d’accompagnement
L’hypoth` ese de l’influence des gestes ancillaires ou d’accompagnement dans la performance r´ eelle se trouve confirm´ ee dans les s´ equence de jeu, avec notamment les gestes consistant ` a marquer la pulsation. On voit sur la figure 6.3, que le percussionniste marque le temps avant de commencer un roulement, comme pour prendre appui. Remarquons que ce geste s’accompagne fr´ equemment d’une inspiration synchrone, comme pour pr´ eparer un plongeon en apn´ ee, lors de traits instrumentaux rapides.
Fig. 6.3 –
Les gestes d’accompagnements : inspiration sur la pulsation avant un fris´e26 Acquisition de donn´ ees
On peut aussi remarquer que le mouvement des baguette suit une certaine sym´ etrie tendant possiblement ` a ´ etablir un ´ equilibre, une stabilit´ e au niveau du reste du corps. Ainsi la baguette gauche aura tendance ` a remonter quand la droite descend et vice-versa.
6.5 Troisi` eme acquisition : les mˆ emes s´ equences avec le son
Nous avons refait une s´ eance de mesure sur la mˆ eme partition, et avec les mˆ emes tempi et nuances, pour avoir davantage de donn´ ees sur lesquelles ´ etablir des mesures statistiques. Mais suite aux remarques de Cl´ ement, les mesures furent faites avec le rendu sonore cette fois l` a.
C’est en jouant un exercice rythmique tr` es carr´ e avec le m´ etronome que le mauvais fonction- nement de la d´ etection fˆ ut le plus flagrant. Le tac intransigeant du m´ etronome, soulignait les retards al´ eatoires des d´ eclenchements ; et le retour auditif des mauvais d´ eclenchements sonores avait un effet tr` es visible sur la difficult´ e du percussionniste qui faisait la grimace pour ar- river ` a rester au tempo, en ayant dans les oreilles un son tr` es d´ ecorr´ el´ e.
5Le retour auditif actif
6constitue donc une voie primordiale dans la chaˆıne d’un Instrument de Musique Digital, d’autant plus que le retour tactile est inexistant dans le cas de la percussion a´ erienne.
5L`a encore, pr´ecisons que le percussionniste est relativement habitu´e `a jouer avec un retour sonore d´ecorr´el´e, car la plupart des ‘M´etamorphoses’ de Christophe Havel sont des pi`eces dans lesquelles les gestes des instru- mentistes influencent le son d’un m´eta-instrument davantage qu’ils ne produisent un son correspondant au son attendu d’un instrument traditionnel ; cependant il n’y a jamais dans ces pi`eces de tempo fixe comme celui d’un m´etronome, rendant la d´ecorr´elation moins perceptible et donc moins gˆenante.
6Retourpassif/actif : Le retourpassif d´esigne les bruits issus des caract´eristiques physiques de l’instrument digital –inexistante dans le cas de la percussion a´erienne–, tandis que le retouractif d´esigne le r´esultat sonore produit par une action particuli`ere de l’instrumentiste. (Voir [Wan01] p17).
Chapitre 7
Analyse des signaux
7.1 Visualisation
Une des premi` eres choses que j’ai eue ` a r´ ealiser ´ etait un ensemble de programmes me permet- tant une visualisation ais´ ee des diff´ erents param` etres, pour les diff´ erents fichiers.
7.1.1 Visualisation des donn´ ees brutes et des param` etres
Un programme a ´ et´ e r´ ealis´ e en Matlab permettant une repr´ esentation temporelle des donn´ ees avec 3 fenˆ etres permettant l’observation simultan´ ee des 3 axes de l’espace, ainsi qu’un menu pour choisir quelle donn´ ee (position, angle, vitesse, acc´ el´ eration) afficher.
Position et angle
Les valeurs de position et d’angle, dans un espace (Oxyz) centr´ e sur la base ´ emettrice (Cf.
fig7.1), sont renvoy´ ee directement par la biblioth` eque d’acquisition libflock, sous la forme de valeurs flottantes entre -1 et 1.
Fig. 7.1 –
Le rep`ere d´efini par rapport `a la base ´emettriceVitesse, Acc´ el´ eration axiale et tangentielle
La vitesse est calcul´ ee pour chaque axe comme la diff´ erence entre la position re¸ cue et la position pr´ ec´ edente :
v(n) = p(n) − p(n − 1)
28 Analyse des signaux
L’acc´ el´ eration est calcul´ ee pour chaque axe comme la diff´ erence entre la derni` ere vitesse calcul´ ee re¸ cue et la vitesse pr´ ec´ edente :
a(n) = v(n) − v(n − 1) = p(n) − 2p(n − 1) + p(n − 2)
L’acc´ el´ eration tangentielle est calcul´ ee comme le produit scalaire entre l’acc´ el´ eration sur les 3 axes, et la direction. La direction est ´ egale au vecteur vitesse divis´ ee par sa norme.
a
tan(n) =
~a(n)
k~~v(n)v(n)ksi k~ v(n)k > 0
0 sinon
7.1.2 Visualisation des m´ eta-donn´ ees
Certaines donn´ ees calcul´ ees de fa¸ con automatique ` a partir des enregistrements ont ´ et´ e enre- gistr´ ees dans des fichiers s´ epar´ es, afin d’´ eviter de toutes les re-calculer ` a chaque observation d’un enregistrement. Elle sont conserv´ ees dans un fichier de m´ eta-donn´ ees, comprenant les informations d´ etaill´ ees ci-apr` es.
Pourcentage de pr´ ediction
Afin de pouvoir ´ etudier les courbes en tenant compte de la correction ´ eventuellement apport´ ee par l’algorithme de pr´ ediction, le pourcentage de pr´ ediction est repr´ esent´ e par des barres verticales (en jaune) au niveau de chaque ´ echantillon.
Impacts d´ etect´ es
L’algorithme de d´ etection d’impacts rend compte des diff´ erentes ´ etapes ` a franchir pour la d´ etection effective d’un impact
1. Cet affichage permet d’´ etudier le comportement de l’algo- rithme de d´ etection des coups face ` a la diversit´ e des situations.
Notation manuelle des coups
A d´ efaut d’avoir une d´ etection parfaite des impacts et afin de pouvoir r´ ealiser une analyse statistique, un programme permet l’indication manuelle des coups sur une s´ equence de donn´ ees, par observation directe en cliquant sur les courbes. Cette segmentation manuelle a ´ et´ e utile pour une analyse statistique des param` etres de vitesse et d’acc´ el´ eration autour des positions d’impact (Cf. section 7.5)
7.1.3 Visualisation dynamique
Afin d’observer dynamiquement l’´ evolution des baguettes, un programme
2permet de rendre une animation en trois dimensions des capteurs avec un rep` ere pour indiquer leur angle par rapport ` a la base ´ emettrice.
1Cf. section 7.4
2Adapt´e d’un programme de la collection ‘Bird I/O for Matlab’ d´evelopp´e par Nathan Delson [Del01]
7.2 Valeurs erron´ ees 29
Fig. 7.2 –
Animation en 3 dimensions : baguette gauche et droite7.2 Valeurs erron´ ees
7.2.1 Distorsion de l’espace
Les donn´ ees de position et d’angle issues des capteurs sont calcul´ ees ` a partir de la valeur du champ ´ electromagn´ etique au niveau des capteurs et suppose une certaine uniformit´ e du champ statique. Cette condition qui n’est que partiellement respect´ ee entraˆıne une d´ eformation de l’espace repr´ esent´ e par les valeurs issues des capteurs par rapport ` a l’espace r´ eel. Ces d´ eformations posent un probl` eme dans les applications de r´ ealit´ e virtuelle o` u l’utilisateur doit manipuler des objets dans le monde r´ eel, dont la position est en d´ ecalage par rapport ` a ce qu’il peut voir sur un ´ ecran.
Cependant dans notre cas, le percussionniste ne voit pas les percussions et il s’adapte et compense ce d´ ecalage en testant ‘auditivement’ l’espace. Il est d’ailleurs assez raisonnable de penser qu’un percussionniste ne se sert que tr` es peu de sa vue pour savoir o` u taper ; s’il on en juge le regard d’un percussionniste quand il joue, il sert g´ en´ eralement davantage ` a assurer un
´
equilibre global du corps en se fixant un point d’horizon.
Lorsqu’on parle de mouvements complexes, le cerveau cr ´ee une ‘plate-forme de guidage inertiel stabilis ´ee’ : la t ˆete. La stabilisation est en rotation et l’angle que fait la t ˆete avec l’horizon d ´epend de la direction du regard.[TrpOA93]
Une ´ etude exhaustive des probl` emes de calibration des capteurs ´ electromagn´ etiques ´ et´ e men´ ee par Kindratenko[Kin00], et des techniques de calibration permettent de corriger ces erreurs. Un
´
etude sommaire a ´ et´ e r´ ealis´ e pour mesurer cette distorsion (Cf. fig.7.3), consistant en la mesure de positions statiques du capteur sur un support quadrill´ e tous les 10cm. Cette mesure n’a pas montr´ e de d´ eformation suffisamment significative
3pour qu’un algorithme de calibration de l’espace (qui alourdirait encore le calcul sens´ e tourner en temps r´ eel) soit impl´ ement´ e.
3Inf´erieure `a 5% sur une distance de 80cm
