Bilan (1) : interfaces gestuelles, DMI et contrôleurs MIDI

Arrêtons-nous à présent dans la présentation du corpus pour dresser un premier bilan des changements apportés par l’utilisation des interfaces gestuelles. Le changement

142. Comme la controversée synchronisation automatique, qui permet d’aligner rythmiquement deux morceaux de manière automatique, controversée car le « beat-matching » fait à l’oreille est considéré dans le milieu du mixage comme une compétence caractéristique du DJ.

143. https://www.gak.co.uk/en/pioneer-ddj-rz-dj-controller/122731

135

majeur qui s’opère avec l’utilisation de DMI et de contrôleurs MIDI dans les performances musicales se situe tout d’abord au niveau des objets. Au lieu d’un instrument de musique, objet délimité et autonome (parfois aussi composé : le violon et son archet, les timbales et les baguettes ou même la guitare électrique et son ampli), que manipule un musicien, on doit ici considérer un ensemble d’objets, dont trois entités sont essentielles et l’une au moins n'est pas un objet matériel : l’interface, le logiciel hébergé par un ordinateur, et le ou les haut-parleurs. A ces trois éléments s’ajoutent des câbles de connexion, des unités de transmission, de conversion et d’amplification des signaux.

2.4.3.1. L’interface

L’interface est l’objet que le performeur tient dans ses mains, et c’est l’objet visible, présenté au spectateur. Elle est le support du geste et de l’engagement physique du performeur. Elle est au contact du corps du musicien, et c’est elle qui va définir les gestes possibles. Chaque interface, par sa morphologie, définit des possibilités gestuelles ; on peut parler d’ « affordances¹⁴⁴ » : ce sont les possibilités d’agir offertes par un objet. Les affordances proposent un lien, une forme de relation entre un agent et son environnement.

Par exemple, un interrupteur permet un contrôle on/off ou binaire, un curseur permet d’être tourné, des boutons permettent qu’on appuie dessus, des gants permettent qu’on lève les bras et qu’on tourne les poignets… Il y a des gestes visibles, d’amplitude importante, comme c’est le cas avec les tether-controllers : on les empoigne dans les deux mains, on les lève au-dessus de la tête ou les repose au sol. Et il y a des gestes discrets et peu visibles, comme avec les Hands ou le Méta-Instrument, où les mouvements de pression des doigts sur les manettes sont imperceptibles.

Par leurs possibilités gestuelles, les interfaces confèrent un certain type de présence du performeur sur scène. Elles créent ainsi des configurations d’espace : une possibilité de présence physique et d’engagement corporel du musicien sur scène. Par exemple, avec les tether-controllers, les mouvements se font autour d’un point fixe, la base des câbles rétractables. Avec les Hands, le performeur est plus libre de se déplacer, mais seuls comptent les mouvements de ses bras et de ses mains. Les déplacements du performeur

144. Baptiste BACOT, « Geste et instrument dans la musique électronique : organologie des pratiques de création contemporaines » (thèse de doctorat, Paris, EHESS, 2017). On doit la théorie des

« affordances » à James Gibson, qui crée le nom affordance en anglais à partir du verbe to afford. James J.

G^IBSON, « The Theory of Affordances », dans Perceiving, Acting, and Knowing: Toward an Ecological Psychology, éd. par Robert Shaw et John Bransford (New Jersey: Lawrence Erlbaum Associates, 1977), p. 67‑82. A la suite de Baptiste Bacot et à défaut d’une traduction française satisfaisante, nous utilisons directement le mot anglais.

136

et ses mouvements qui n’impliquent pas ses bras sont des gestes extra-musicaux, non nécessaires au jeu, mais qui peuvent contribuer à l’expressivité visuelle de la performance. Lorsque l’interface est un pad ou un clavier, l’utilisateur se tient debout, penché au-dessus de la table, seuls les mains et les doigts sont effectivement actifs. Tout le reste du corps se mobilise autour de la surface de contrôle, mais sans avoir de rôle actif avec l’interface.

Les instruments de musique classiques offrent aussi des possibilités gestuelles caractéristiques de leur morphologie propre, mais ces gestes possibles sont contraints par les propriétés sonores de l’objet physique : les gestes effectués par le musicien sont ordonnés à la réponse sonore de l’objet-instrument. Avec les interfaces, à une possibilité de geste n’est assignée aucune réponse sonore spécifique, car celle-ci dépend du logiciel ; elle peut même varier si on modifie le code. On peut parler de « dislocation du contrôle¹⁴⁵ » pour désigner cette séparation de l’interface (qui permet un contrôle) et du logiciel (qui produit le son contrôlé).

Les interfaces proposent un espace scénique, mais elles sont muettes : elles ne produisent aucun son par elles-mêmes. Romain Bricout parle ainsi d’ « instruments aphones¹⁴⁶ ». Elles définissent une nouvelle catégorie organologique : elles offrent la possibilité (« affordent ») d’un geste, qui n’est pas geste d’excitation, mais peut seulement être geste de déclenchement ou de contrôle. La classification des gestes musicaux de Cadoz (voir 1.1.3.2, p. 40) ne s’applique plus aux interfaces numériques : il n’y a plus de geste d’excitation. L’excitation proprement dite, c’est-à-dire la mise en vibration d’un corps physique pour la diffusion d’une onde sonore, s’effectue dans le haut-parleur, où les variations de courant électrique mettent la membrane en mouvement, c’est-à-dire loin du geste de contrôle du musicien. Mais c’est dans le logiciel que se définit le signal sonore, et le rôle du haut-parleur est de le restituer le plus fidèlement possible. Le signal est une suite de nombres régie par une fonction mathématique, représentant des vibrations. Ce sont des vibrations virtuelles (informatiquement simulées), elles existent sous forme informationnelle. Elles sont traduites en ondes sonores par le haut-parleur.

145. MIRANDA et WANDERLEY, New digital musical instruments.

146. BRICOUT, « Les interfaces musicales ».

137

2.4.3.2. Le logiciel

Cette entité de l’instrument numérique est fondamentale : elle définit à la fois les sons, les gestes efficaces, et la relation qui les lie. Et c’est une composante immatérielle, elle est codée en langage de programmation. Le logiciel permet d’abord de rendre musicalement efficaces les gestes réalisés avec l’interface : un capteur mesurant une donnée non utilisée par le logiciel serait inefficace, et avec lui le geste qui l’active. Le logiciel définit ainsi la manière dont les données issues des mouvements sont utilisées dans la synthèse sonore : une rotation du poignet peut avoir une influence sur le volume sonore, ou bien sur le timbre du son… Le processus qui lie les données issues des capteurs de l’interface aux paramètres sonores est le mapping. On peut le définir de manière explicite, en assignant à chaque donnée entrante un ou des paramètres sonores à contrôler, ou bien on peut le générer par des algorithmes de machine learning*, comme c’est le cas avec le Weckinator (voir p. 116) : à partir un certain nombre de couples geste-paramètre sonore, le logiciel construit lui-même un mapping complet¹⁴⁷.

Dans le logiciel se définissent premièrement les sons possibles. Parmi les systèmes présentés jusqu’ici se distinguent deux manières d’utiliser le logiciel. La première, caractéristique des contrôleurs à pads et plus courante dans les musiques pop et électro, est celle où on utilise un logiciel d’édition musicale, livré prêt à l’emploi avec une bibliothèque sonore intégrée (Ableton, Cubase, Logic Pro¹⁴⁸…). On y choisit les sons que l’on veut pouvoir jouer avant ou pendant le concert : ils sont déjà disponibles, on peut parfois aussi les modifier par de réglages. La seconde approche consiste à développer soi-même le logiciel. On utilise alors les langages de programmation Max/MSP, SuperCollider, ChucK… On définit soi-même les mécanismes de synthèse sonore et les paramètres de contrôle. C’est cette approche qui est utilisée avec le Karlax dans la pièce de Mays, avec le Lady’s glove, les Hands, et dans la majeure partie de notre corpus.

Dans cette approche, on définit les algorithmes de synthèse qui peuvent être utilisés, ainsi que le mapping. Pour Waisvisz, c’est ce qui constitue la principale aire artistique¹⁴⁹ : il s’agit d’imaginer des mondes sonores, de les matérialiser par des algorithmes et de

147. Rebecca FIEBRINK et coll., « Toward understanding human-computer interaction in composing the instrument », dans Proceedings of the International Computer Music Conference (Ann Arbor, MI:

Michigan Publishing, University of Michigan Library, 2010).

148. Voir plus loin 2.5.1.1, p. 168.

149. William BUXTON et coll., « Electronic Controllers in Music Performance and Composition », dans Marcelo M. Wanderley et Marc Battier (éd.), Trends in Gestural Control of Music, p. 415‑438 (Paris:

Ircam - Centre Pompidou, 2000).

138

construire des moyens de les faire évoluer par le jeu avec l’interface. Ainsi, dans le logiciel, on « compose » les sons « en puissance », par le design des mécanismes qui pourront élaborer le signal sonore. Le mapping est à la fois une partie de l’instrument et une partie de la composition¹⁵⁰. En effet, souvent les musiciens choisissent de faire varier le contenu sonore au cours d’une pièce ou d’une performance, et ainsi, le code contient aussi la structure de la pièce, en tant que changements de mappings ou de matériau sonore.

Deux techniques différentes existent dans ce domaine précis de la préparation des sons d’un instrument numérique : une technique par la programmation directe et une technique par patches*. Dans l’approche par programmation, le luthier ou le compositeur doit être lui-même, ou être assisté par, un programmeur informatique. Celui-ci écrit et développe le code logiciel pour la synthèse sonore. Avec les langages de programmation SuperCollider ou ChucK par exemple, le développeur doit écrire les fonctions mathématiques pour construire le signal sonore, établir tous les paramètres variables. Cela donne des pages écrites de codes (voir Figure 27).

Dans l’approche par patches, caractéristique du logiciel Max/MSP, le programmeur n’écrit pas lui-même les fonctions mathématiques, mais manipule des unités graphiques, qui représentent des fonctions. Ce sont des bornes, des sortes de boîtes, avec des entrées et des sorties. Chaque borne réalise une ou des opérations avec les données d’entrée, pour donner le résultat en sortie. Ces unités sont appelées patches. On peut les connecter entre elles, les ordonner en les positionnant sur l’espace de travail (voir Figure 28). Et on peut condenser une configuration en une nouvelle fonction autonome, ce qui forme un nouveau patch, effectuant des opérations plus complexes (il y a donc une récursivité). Cette approche permet à des compositeurs de pouvoir créer un programme informatique sans avoir besoin de maîtriser un langage de programmation : nul besoin d’écrire des pages de code, on construit un programme en manipulant manuellement les unités. Un patch pouvant généralement continuer de fonctionner alors qu’on le modifie, le compositeur peut travailler à tâtons et affiner son programme à l’oreille. Comme le soulignent justement Alain Bonardi et Jérôme Barthélémy, cette approche par patches requiert toujours des compositeurs une certaine manière de conceptualiser le signal sonore très

150. M. A. J. BAALMAN, « Interplay between composition, instrument design and performance », dans Till Boverman et coll. (éd.), Musical Instruments in the 21st Century (Singapour: Springer, 2017), p. 225‑241.

139

différente de l’écriture de partitions classiques, et elle peut se révéler assez peu flexible musicalement¹⁵¹.

Figure 27 : Un exemple de code très simple écrit dans SuperCollider. La première ligne définit une onde sinusoïdale de fréquence 440 Hz ; le groupe de lignes suivant définit une onde sinusoïdale dont la fréquence dépend de la position horizontale de la souris sur l'écran de l’ordinateur, à laquelle on ajoute

un bruit rose d’amplitude 0,5.

Figure 28 : Un exemple très simple de patch Max/MSP¹⁵². Chaque rectangle correspond à une opération.

Les deux premiers définissent chacun une sinusoïde (de fréquences respectives 100 et 200 Hz), elles sont ensuite additionnées dans le rectangle suivant, puis le résultat est multiplié par 0,25.

151. Alain BONARDI et Jérôme BARTHELEMY, « Le patch comme document numérique : Support de création et de constitution de connaissances pour les arts de la performance », dans Actes du dixième colloque international sur le document électronique (CIDE 10), Nancy, 2007, p. 163‑174.

[https://hal.archives-ouvertes.fr/hal-01161067, consulté le 31 mai 2019].

152. BONARDI et BARTHELEMY, « Le patch comme document numérique ».

140

Figure 29 : Un patch Max/MSP pour synthétiser une note¹⁵³.

153. https://fr.audiofanzine.com/environnement-de-developpement-audio/cycling-74/Max-MSP/forums/t.49444,patchs-max-msp.html (consulté le 23/09/2019).

141 Figure 30 : Un exemple de patch particulièrement complexe, réalisé par Olivier Pasquet dans

Max/MSP¹⁵⁴.

Quelle que soit la forme que prend le programme informatique, il est une unité non matérielle mais fondamentale de l’instrument numérique. C’est là qu’est défini le matériau sonore disponible à l’instrument. Le matériau est défini en puissance : ce sont ses modes de production qui sont définis. On compose les opérations qui pourront construire et modifier un signal numérique, qui sera ensuite transformé en signal sonore par les haut-parleurs.

Un même système matériel peut être utilisé avec différents programmes de synthèse sonore, changeant aussi bien les sons disponibles que la manière de les déclencher et de les contrôler avec les gestes. Ainsi l’instrument devient autre, même si l’interface reste la même.

2.4.3.3. Le haut-parleur

Le haut-parleur est l’extrémité de tout instrument électronique. C’est la partie qui rayonne le son, interface finale obligatoire entre l’électronique et l’environnement

154. BONARDI et BARTHELEMY, « Le patch comme document numérique ».

142

matériel, celle qui communique à l’air le produit de la synthèse et du traitement sonores.

Le haut-parleur, par la vibration de sa membrane, est le seul élément qui produit effectivement le son qui arrivera jusqu’aux oreilles de l’auditeur. L’électronique règne dans la partie captation de geste, synthèse, amplification, traitements, donc dans toute la fabrication du signal. Celui-ci ne devient son qu’après être passé par le haut-parleur.

D’acoustique, il n’y a que le haut-parleur, qui n’a a priori aucun rapport avec le geste, si ce n’est celui que construit le système informatique et électronique. Le haut-parleur et le geste sont les deux extrémités de l’instrument, qui marchent ensemble mais pourtant ne se touchent pas. Tous deux constituent les données esthétiques d’une performance : le visible et le sonore.

La diffusion du son par haut-parleur oblige à penser sa disposition dans l’espace : est-ce que ce sera une ou deux enceintes, intégrées au corps de l’instrument, ou bien une enceinte externe, positionnée à côté du musicien, ou encore est-ce que le son sera diffusé via l’ensemble des baffles dispersées dans tout l’espace, le son étant éventuellement mixé avec celui des autres instruments ? Diffusion mono, stéréophonique, 5.1, ambisonique*, sont autant de possibilités de diffusion sonore. Suivant le nombre, la puissance, la disposition des haut-parleurs dans l’espace, l’expérience du spectateur (ainsi que celle du musicien) sera différente. La localisation ou délocalisation des sources influe sur la manière de percevoir la causalité des sons, et donc de percevoir l’instrument, à la fois pour le musicien et pour l’auditeur. La diffusion du son fait donc partie du choix de l’instrumentation de la performance. Ces questions ne se posent pas dans le paradigme acoustique : le son provient nécessairement des instruments eux-mêmes. On peut tout de même réfléchir à la disposition des instruments dans l’espace, mais l’instrument n’est pas séparable de la source sonore. Dans les musiques amplifiées, on cherche souvent à se rapprocher d’une position réaliste de la source sonore : le son amplifié proviendra de la même direction que celle de l’instrument lui-même. Le problème de la spatialisation est arrivé avec la musique acousmatique*, où, l’instrument ayant disparu, le mouvement du son dans l’espace est libéré de tout élément matériel.

Une exception à la présence du haut-parleur existe : certains instruments pour lesquels on a choisi de revenir à un rayonnement acoustique du son. Ils utilisent un transducteur qui en vibrant va exciter la plaque d’une caisse de résonnance par exemple, auquel cas on a une résonance et un rayonnement acoustiques en fin de chaîne de

143

production du son. C’est le cas par exemple de la Contravielle¹⁵⁵ et du Manta¹⁵⁶, instruments conçu par Jeff Snyder. Ce sont des instruments au fonctionnement électronique et numérique, mais qui comportent une caisse de résonance : en bout de chaîne, le signal électrique est transmis à un transducteur qui fait vibrer une plaque de bois. Ces instruments allient au design sonore un paramètre physique très complexe : les modes de vibration du corps vibrant et de la caisse de résonance, qui endossent le rôle haut-parleur, mais ont un comportement physique bien plus complexe, ce qui affecte le son¹⁵⁷. La fabrication du son est donc partagée entre la synthèse numérique et la résonance acoustique du transducteur et de la caisse de résonance. Ces instruments hybrides, numériques mais à diffusion acoustique, sont cependant une exception.