Motivation

Nous avons vu dans la section pr´ec´edente que les gestes de s´election et d’excitation pour les instruments 3D immersifs peuvent ˆetre r´ealis´es de mani`ere efficace avec

Pii-vert. Les gestes de modulation, gestes qui permettent de modifier les param`etres d’un instrument, n’ont cependant pas ´et´e abord´es. Comment manipuler les param`etres gra-phiques des widgets r´eactifs 3D, et donc les param`etres sonores qui leur sont associ´es ? Nous d´ecrivons dans cette section la technique d’interaction graphique que nous pro-posons : les tunnels.

4.2.2 Principe

Les tunnels sont des composants graphiques 3D compos´es d’une centaine de cy-lindres creux horizontaux mis bout `a bout, comme on peut le voir sur la figure 4.16. Ils sont associ´es `a un ou plusieurs param`etres graphiques chacun ayant une ou plusieurs ´echelles. Les cylindres qui composent les tunnels prennent les valeurs des param`etres graphiques, suivant l’´echelle utilis´ee. Ainsi un tunnel associ´e `a la hauteur (taille sur l’axe Y) pr´esente une variation de taille sur ses cylindres, et donc prendre la forme d’un cˆone.

Les tunnels modifient les param`etres graphiques des objets 3D qui les traversent, en leur affectant les valeurs correspondant aux ´echelles de modulation et `a leur po-sition (horizontale). Par exemple, un objet 3D pass´e `a l’int´erieur du tunnel pr´ec´edent est r´etr´eci lorsqu’il se trouve `a l’extr´emit´e gauche du tunnel et tr`es ´etir´e lorsqu’il est `a l’extr´emit´e droite.

Les param`etres graphiques des widgets r´eactifs 3D ´etant connect´es aux param`etres sonores comme d´ecrit dans le chapitre 3, les tunnels permettent de moduler les proces-sus sonores associ´es.

Les tunnels sont d´efinis par l’utilisateur dans des fichiers XML, comme pr´esent´e en annexe.

Utilisation

Quand le musicien ne veut moduler qu’un seul objet audiovisuel 3D, il peut le saisir (par exemple en effectuant un geste ”Pressure” avec Piivert) et le placer `a l’int´erieur d’un tunnel. L’activation de la modulation se fait donc verticalement si le musicien veut ”sauter” `a une valeur pr´ecise, ou horizontalement s’il souhaite commencer par une extr´emit´e. La modification du param`etre s’effectue ensuite horizontalement. Si le musicien ressort l’objet du tunnel sans l’avoir relˆach´e, le param`etre graphique reprend sa valeur initiale (celle qu’il avait avant d’entrer dans le

tunnel). Si par contre il le relˆache pendant qu’il est dans le tunnel, il garde la valeur correspondant `a sa position une fois sorti. Ceci permet d’effectuer des modulations temporaires et de retrouver facilement la valeur initiale, ce qui peut ˆetre utile par exemple pour des variations de hauteur suivant une m´elodie, ou pour revenir `a une valeur n’´etant pas pr´esente dans l’´echelle actuelle du param`etre. Cette modulation d’un

108 CHAPITRE 4. INTERACTION

FIG. 4.16 – Tunnels `a un seul param`etre (graphique/sonore) : (`a gauche) Transparence/-Caract`ere bruit´e, Teinte/Hauteur, Espacement/R´everb´eration, (`a droite) Taille/Volume, Vitesse de rotation/Tempo

seul objet peut ˆetre vue sur la figure 4.17 . Les tunnels utilisent le principe de l’affor-dance [57], leur forme sugg`ere en effet leur utilisation. En l’occurrence, le fait qu’ils soient creux et allong´es induit l’action de d´eplacer les objets `a l’int´erieur de ces tunnels.

FIG. 4.17 – Modulation d’un seul objet en le passant `a travers un tunnel (`a gauche) et modulation quasi simultan´ee de plusieurs objets 3D en manipulant un seul tunnel (`a droite)

Le musicien peut ´egalement vouloir moduler le mˆeme param`etre de plusieurs ob-jets simultan´ement ou successivement. Il peut donc saisir un tunnel et le d´eplacer sur les objets 3D, comme pr´esent´e sur la figure 4.17 Si ces derniers sont align´es vertica-lement, cela permet d’affecter la mˆeme valeur `a plusieurs objets 3D rapidement, par exemple pour transposer une s´erie de processus sonores en un seul geste. S’ils sont align´es horizontalement, le musicien peut r´ealiser certains effets, tels que des ”fade-out” (diminution du volume) sur plusieurs processus.

4.2. TUNNELS 109 ´

Echelles

Les param`etres des tunnels peuvent comporter plusieurs ´echelles. Ceci permet d’avoir `a la fois des modulations continues et des modulations discr`etes. Les ´echelles continues sont d´efinies par une valeur de d´ebut et une valeur de fin. Une interpola-tion lin´eaire est ensuite appliqu´e pour obtenir les valeurs du param`etre. Les ´echelles discr`etes sont elles d´efinies par un vecteur de valeurs du param`etre. Dans le cas d’un mapping avec la hauteur d’un processus sonore, des num´eros de notes (0-48) peuvent ´egalement ˆetre utilis´es pour d´efinir l’´echelle. Elles sont converties en valeurs brutes du param`etre.

La figure 4.18 montre plusieurs ´echelles possibles pour un mˆeme param`etre.

FIG. 4.18 – Plusieurs ´echelles pour la teinte (gauche) et la taille (droite).

Le passage d’une ´echelle `a une autre peut se r´ealiser en s´electionnant le tunnel avec Piivert et en effectuant un geste ”Hit”.

R´esolution

Puisque la valeur de param`etre affect´ee `a l’objet 3D d´epend de sa position dans le

tunnel, plus un tunnel est long, plus la r´esolution des param`etres est ´elev´ee. En effet, comme le montre le sch´ema 4.20, puisque la pr´ecision de positionnement des objets 3D est fixe (li´ee `a la pr´ecision du suivi 6DDL), ´etirer un tunnel augmente le nombre de positions possibles pour l’objet, et donc la pr´ecision. De plus, agrandir un tunnel permet d’acc´eder plus facilement aux diff´erentes valeurs d’une ´echelle discr`ete, puisqu’elles sont plus larges. A contrario, les modulations rapides mais peu pr´ecises peuvent ˆetre effectu´ees plus rapidement en r´eduisant la longueur du tunnel.

L’´etirement se r´ealise avec deux mains, en saisissant chaque extr´emit´e avec un rayon de Piivert et en ´ecartant/resserrant les mains, comme on peut le voir sur la fi-gure 4.19.

110 CHAPITRE 4. INTERACTION

FIG. 4.19 – Les tunnels peuvent ˆetre ´etir´es afin d’augmenter leur r´esolution.

FIG. 4.20 – Pr´ecision des tunnels. Les objets du haut et du bas ont la mˆeme valeur, d´efinie par leur position horizontale. En bas le tunnel ´etir´e permet d’acc´eder `a un plus grand nombre de valeurs du param`etre.

Combinaison de param`etres

Plusieurs param`etres peuvent ˆetre associ´es `a un seul tunnel, comme pr´esent´e sur la figure 4.21. On obtient ainsi des mappings geste-son de type ”one-to-many”, le d´eplacement horizontal permettant de modifier plusieurs param`etres sonores simul-tan´ement selon diff´erentes ´echelles. Cependant, s’il y a s´eparation perceptive des pa-ram`etres graphiques, comme expliqu´e dans le chapitre 3, les mappings audiovisuels restent de type one-to-one, ce qui permet de visualiser les param`etres sonores modifi´es s´epar´ement.

Organisation spatiale

Les tunnels, tout comme les widgets r´eactifs 3D, peuvent ˆetre agenc´es librement dans l’environnement virtuel, comme un batteur positionnerait les ´el´ements de sa bat-terie. Ainsi la configuration de tunnels peut ´evoluer au cours d’une performance, le musicien d´efinissant leurs positions/tailles/acc`es, suivant les modulations qu’il souhaite effectuer dans diff´erentes parties.

4.2. TUNNELS 111

FIG. 4.21 – Combinaison de 2 et 3 param`etres sur des tunnels. En haut, Taille (continu) et teinte (discret). En bas, Transparence (discret), teinte (continu) et espacement (dis-cret)

4.2.3 Perspectives

Les tunnels permettent donc d’effectuer les gestes de modulation graphique discrets et continus. Ils offrent une pr´ecision r´eglable, des combinaisons de param`etres conte-nant chacun plusieurs ´echelles, et peuvent ˆetre utilis´es aussi bien pour la modification d’un seul ou de plusieurs objets 3D.

Cependant, les tunnels pourraient ˆetre am´elior´es sur plusieurs points.

– L’axe horizontal empˆeche d’utiliser le param`etre de largeur (´etirement sur l’axe X) Il faudrait alors pouvoir orienter le tunnel selon l’axe Y afin de prendre en compte ce param`etre.

– Pour l’instant les param`etres sont combin´es sur une seule dimension (axe hori-zontal). Il pourrait ˆetre int´eressant d’avoir des tunnels `a deux ou `a trois dimen-sions, bien que cela poserait le probl`eme de l’activation et du saut `a une valeur pr´ecise des param`etres.

– Les tunnels `a une dimension pourraient ˆetre d´efinis non plus comme des cy-lindres, mais comme des courbes dans l’espace, ce qui permettrait d’avoir des ”chemins 3D” de modulation pr´ed´efinis, qui peuvent ˆetre int´eressants musicale-ment.

Chapitre 5

Drile : un environnement virtuel

immersif pour le live-looping

hi´erarchique

Reality is that which, when you stop believing in it, doesn’t go away.

Philip k. Dick

Dans ce chapitre, nous pr´esentons Drile, un instrument multi-processus bas´e sur le live-looping hi´erarchique, pr´esent´e dans le chapitre 2, en nous appuyant sur les wid-gets r´eactifs 3D et sur les techniques d’interaction musicales pour les environnements virtuels d´ecrits dans les chapitres pr´ec´edents. Nous d´ecrivons ensuite deux installations mat´erielles qui tiennent compte des probl´ematiques li´ees `a la mise en œuvre de perfor-mances musicales.

5.1 Drile

Drile[11] est un instrument 3D immersif qui permet d’utiliser la technique du

live-looping hi´erarchique, c’est `a dire de construire et de manipuler des arbres de live-looping. Cet instrument s’appuie sur le concept des widgets r´eactifs 3D, sur l’utilisation de Piivert et des tunnels. Un musicien l’utilisant est repr´esent´e sur la figure 5.1. Une vid´eo de l’instrument est visible sur http ://vimeo.com/9206485 .