HAL Id: hal-00879603
https://hal.inria.fr/hal-00879603
Submitted on 4 Nov 2013
HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.
Les Passages : Une métaphore pour la Collaboration Musicale en Réalité Virtuelle
Pierre-Marie Plans, Florent Berthaut
To cite this version:
Pierre-Marie Plans, Florent Berthaut. Les Passages : Une métaphore pour la Collaboration Musicale en Réalité Virtuelle. 25ème conférence francophone sur l’Interaction Homme-Machine, IHM’13, Nov 2013, Bordeaux, France. �hal-00879603�
Les Passages : Une m ´etaphore pour la Collaboration Musicale en R ´ealit ´e Virtuelle
Pierre-Marie Plans
Potioc, INRIA Bordeaux Sud-Ouest 351 cours de la lib´eration
33400, Talence, France pierre.plans@gmail.com
Florent Berthaut
Department of Computer Science University of Bristol, UK
florent@hitmuri.net
INTRODUCTION
La d´emocratisation des dispositifs d’interaction et d’affichage 3D ainsi que l’´emergence d’instruments de musique immersifs [2] [7] permet maintenant de con- stituer des orchestres 3D immersifs afin d’exp´erimenter de nouveaux modes de jeu et de composition. Ces exp´erimentations peuvent s’appuyer sur de nombreux travaux sur les environnements virtuels collaboratifs qui ont soulev´e les questions th´eoriques sous-jacentes et propos´e `a la fois des classifications, des m´ethodes d’´evaluation et des solutions. Cependant, la collabora- tion musicale pr´esente certaines contraintes sp´ecifiques qui doivent ˆetre prises en compte dans les techniques et m´etaphores de collaboration 3D afin de permettre la constitution d’orchestres virtuels. Dans cet article, nous proposons tout d’abord une classification des modes de collaboration qui combine les classifications existantes en r´ealit´e virtuelle et en informatique musicale. Nous pr´esentons ensuite lesPassages, une m´etaphore graphique 3D qui vise `a couvrir la totalit´e des modes de collaboration d´efinis. Nous d´ecrivons finalement son impl´ementation au sein de l’instrument Drile.
Figure 1. Vue d’un musicien jouant de Drile dans un trio avec les Passagesvers les deux autres musiciens en bas `a gauche. Il a tout
d’abord enregistr´e une boucle de percussion et une boucle m´elodique et les a synchronis´e en construisant un arbre (`a droite).
Il a ensuite partag´e un outil de modification de hauteur avec le musicien qui se trouve derri`ere lui (Passagede gauche) afin que celui-ci puisse jouer dans la mˆeme gamme. Il a ´egalement partag´e
un son avec le musicien `a sa droite (Passagede droite) afin que ce dernier le duplique pour cr´eer nouvelle s´equence. Il est maintenant
en train de s´electionner la racine de l’arbre qu’il a cr´e´e afin de le manipuler.
COLLABORATION 3D ET MUSICALE
Nous proposons une classification qui combine les modes de collaboration en musique et ceux en envi- ronnements virtuels. D’un cˆot´e elle s’appuie sur les travaux en informatique musicale, notamment [6] [3]
ainsi que sur l’analyse d’orchestres existants et sur des interviews de compositeurs et musiciens impliqu´es dans des orchestres num´eriques, notamment au SCRIME `a l’Universit´e de Bordeaux et au CCRMA `a l’Universit´e de Stanford. De l’autre cˆot´e, elle reprend les travaux sur les environnements virtuels collaboratifs notamment la classification des modes de coop´eration de Margery et al. [5], les notions d’avatarset d’awarenessd´evelopp´ees par Benford [1], ainsi que la gestion de collaboration par groupes dont un exemple est [4]. Cette classification comprend trois cat´egories.
La cat´egorie Communication inclut la r´eception d’informations sur les autres musiciens, notamment leur activit´e musicale (´etat des processus) et leur ´etat dans l’espace virtuel, ainsi que l’envoi de directives soit par l’indication de manipulations `a r´ealiser soit par des messages de commande ou de synchronisation.
La cat´egorie Coop´eration comprend les manipulations musicales collaboratives. Ainsi les processus sonores entiers ou leurs param`etres peuvent ˆetre ´echang´es et partag´es entre plusieurs musiciens puis manipul´es de mani`ere compl´ementaire ou concurrente. On retrouve ici les notions utilis´ees dans la classification des niveaux de coop´eration.
La cat´egorieOrganisationregroupe la gestion de groupes de musiciens afin que chaque action de communication ou de coop´eration puisse ˆetre effectu´e individuellement ou par groupe. Une hi´erarchie de groupe peut ainsi inclure un groupe global avec tous les utilisateurs, plusieurs niveaux de sous-groupes puis chaque musicien individuellement.
LES PASSAGES Principe
La m´etaphore que nous proposons respecte `a la fois les modes de collaboration d´efinis ci-dessus et les contraintes inh´erentes `a la r´ealit´e virtuelle, telles que la possibilit´e d’avoir des utilisateurs ´eloign´es aussi bien dans l’espace physique que dans l’espace virtuel.
Les Passages s’appuient sur la m´etaphore des por- tails, couramment utilis´ee dans les jeux vid´eos de tir `a la premi`ere personne pour se t´el´eporter dans l’environnement virtuel, chaque portail ´etant connect´e `a un autre via une sorte de vortex.
Chaque musicien poss`ede un ensemble dePassages, cha- cun connect´e `a unPassaged’un des autres musiciens de
l’orchestre, comme l’illustre la Figure 2. Ainsi deux mu- siciens n’ont pas besoin d’ˆetre physiquement ou virtuelle- ment cˆote `a cˆote pour collaborer.
Figure 2. Musiciens (carr´es) dans l’environnement virtuel vus du dessus avec leursPassages(ronds) respectifs.
Les fonctionnalit´es desPassagesr´epondent `a la classifica- tion ´elabor´ee. Dans le cadre de l’organisation, les musi- ciens peuvent arranger leur espace de travail en cr´eant des groupes par positionnement/chevauchement des passages.
Ils peuvent ainsi partager des objets avec ces groupes.
La coop´eration est support´ee grˆace aux fonctionnalit´es de partage d’objets ou de parties d’objets 3D par place- ment de ceux-ci dans les diff´erents niveaux des passages.
Lorsqu’un objet est plac´e dans le niveau de partage indi- viduel, une version fantˆome (Ghost) de cet objet est cr´e´ee dans la zone de partage individuel duPassage connect´e.
Lors du partage par groupe, lesGhostssont plac´es dans les zones individuelles desPassages´emetteurs et r´ecepteurs.
Le musicien peut aussi envoyer des objets 3D par place- ment dans le niveau d’envoi et se d´eplacer dans l’espace de travail de ses collaborateurs en utilisant les cordes.
La communication est r´ealis´ee par l’affichage de l’activit´e musicale refl´et´ee par les changement d’apparence desPas- sages, mais aussi par le partage de messages (appel´es Signes) et compteurs. Les cordes indiquent les positions des autres musiciens. Enfin il est possible de visualiser au travers d’un passage la vue d’un autre musicien et de manipuler les ghosts de ses objets afin de montrer une ma- nipulation `a effectuer.
Partage global Partage de groupe Partage individuel Envoi individuel
Corde
Figure 3.Passagesd’un utilisateur lors d’une collaboration `a 4 et principales fonctionnalit´es. Les sph`eres blanches sont partag´ees par
l’utilisateur. Les sph`eres de couleur correspondent aux ghosts d’objets.
Impl ´ementation
L’impl´ementation a ´et´e r´ealis´ee directement dans l’instrument Drile `a l’aide d’objets 3D composites et de flux de particules illustrant les diff´erences de comporte- ments des niveaux. Les manipulations d’objets 3D et de Passages ont ´et´e impl´ement´ees grˆace `a la m´etaphore du rayon virtuel.
Drile est un instrument de musique 3D immersif qui s’appuie sur la construction en temps-r´eel d’arbres de s´equences musicales [2]. La collaboration dans Drile
`a l’aide des Passages, telle qu’illustr´ee sur la Figure 1 consiste `a partager et ´echanger des noeuds ou sous-arbres et des outils musicaux entre musiciens. Ceci permet par
exemple de s’appuyer sur la s´equence cr´e´ee par un autre musicien pour en construire une nouvelle ou encore de faciliter la collaboration entre utilisateurs experts qui cr´eent les arbres et utilisateurs novices qui les manipulent.
Le partage par groupe peut servir `a synchroniser plusieurs s´equences `a un mˆeme tempo ou `a s’assurer que tous les musiciens utilisent la mˆeme gamme. Les diff´erents sons disponibles ´etant regroup´es sous forme de sc`enes
`a diff´erents emplacements de l’environnement virtuel, la collaboration distante des Passages donne ainsi la possibilit´e `a chaque musicien d’avoir un rˆole musical pr´ecis tout en ´echangeant avec les autres musiciens.
CONCLUSION
LesPassagessont une m´etaphore graphique 3D qui per- met `a plusieurs musiciens de collaborer au sein d’un en- vironnement virtuel immersif selon les modes existant dans les orchestres de divers genres musicaux. Certaines fonctionnalit´es restent `a ajouter `a l’impl´ementation au sein de l’instrument Drile, telles que la d´emonstration de gestes en utilisant les Passagespour interagir sur les objets des autres musiciens, ou la fusion des zones de partage individuel pour la collaboration en face `a face.
Afin d’´evaluer l’apport des Passages et d’affiner leur impl´ementation, nous pr´evoyons de mener une ´etude util- isateur pour mesurer le ressenti des musiciens ainsi que leurs performances lors de tˆaches de collaboration musi- cale. Une autre ´evaluation, du cˆot´e artistique, consistera
`a mettre en œuvre des pi`eces orchestrales existantes grˆace auxPassages. Finalement, nous travaillons actuellement au d´eveloppement d’un framework et d’une biblioth`eque logicielle permettant d’int´egrer les possibilit´es de collabo- ration musicale, et en particulier les modes que nous avons d´efini dans notre classification, `a n’importe quel instru- ment num´erique. Il sera ainsi possible de partager des processus sonores, d’envoyer des messages, de visualiser l’activit´e d’autres musiciens et de les grouper dynamique- ment que ce soit depuis un instrument virtuel immersif que depuis un instrument sur mobile ou depuis un contrˆoleur gestuel.
BIBLIOGRAPHIE
1. Benford, S., Bowers, J., and Fahlen, L. Supporting cooperative work in virtual environments.The Computer Journal(1994), 653–668.
2. Berthaut, F., Desainte-Catherine, M., and Hachet, M. Drile: An Immersive Environment for hierarchical live-looping. InNew Interface for Musical Expression(Sydney, Australia, June 2010), page 192.
3. Jord`a, S. Multi-user instruments: Models, examples and promises.
InProceedings of the 2005 conference on New Interfaces for Musical Expression (NIME’05(2005), 23–26.
4. Linebarger, J. M., and Kessler, G. D. Groupmorph: A group collaboration mode approach to shared 3d virtual environments for product design. InProceedings of ACM Collaborative Virtual Environments 2002 (CVE ’02), 30 September-2 October 2002 (2002), 145–146.
5. Margery, D., Arnaldi, B., and Plouzeau, N. A general framework for cooperative manipulation in virtual environments.Virtual
Environments’ 99(1999), 169–178.
6. Weinberg, G. Interconnected musical networks – bringing expression and thoughtfulness to collaborative music making. Tech.
rep., Massachusetts Institute of Technology Media Laboratory, 2003.
7. Zappi, V., Gaudina, M., Brogni, A., and Caldwell, D. G. Virtual sequencing with a tactile feedback device. InHAID(2010), 149–159.
