Les interfaces visuelles et la caméra comme interface

Les enjeux des interfaces informatiques sont capitaux en matière de création. Celles- ci proposent, voire même imposent des approches en fonction des impératifs conceptuels sur lesquels elles sont construites. Les interfaces graphiques basées sur la ligne de temps par exemple sont loin d’être exemptes d’orientations esthétiques et suggèrent entre autres une conception linéaire de la forme. Comme le mentionne le compositeur Fausto Romi- telli, « le problème principal est celui de personnaliser l’usage des machines, c’est-à-dire de l’adapter à ses propres besoins créatifs afin que ceux-ci ne deviennent pas un instru- ment ultérieur d’homologation imposant des sonorités et des traitements standardisés » [Romitelli, 2005]. Les recherches en matière d’interaction homme-machine (IHM) dé- bordent sans aucun doute du champ délimité par les musiques visuelles tout en y étant rattachées. Si nous avons été habitués par les musique visuelles à apprécier la cohabi- tation de l’image et du sonore en tant qu’œuvre, les interfaces visuelles à la création musicale proposent un alliage son-image situé en amont de celles-ci, au sein même du processus de création. Celles-ci s’incarnent sous la forme d’œuvres, d’outils de création ou encore les deux.

Le séquenceur graphique open source Iannix, inspiré des travaux de Iannis Xenakis (1922-2001), est au nombre de ces exemples. Il s’agit d’un outil servant à synchroniser des événements sonores, visuels ou autres en temps réel via le protocole de communica- tion réseau Open Sound Control (OSC). Contrairement à cette fameuse ligne de temps imposée par plusieurs plateformes, la mise en séquence d’évènements avec Iannix s’ef-

58 fectue en dehors d’une conception linéaire, à deux dimensions, de la temporalité. Le sé- quenceur est aussi scriptable, ce qui permet de le personnaliser ; sa dimension graphique est capitale à son usage.

Audio Graffiti du compositeur Zack Settel est à la fois une interface graphique à la création musicale et une installation sonore interactive. Munis de capteurs de position- nement à ultrasons et de casques d’écoute, les participants épinglent en quelque sorte des sons sur un mur virtuel, à la manière d’un graffiti. Ils peuvent ensuite réécouter leurs sons et ceux laissées par les autres participants. La perspective audio de chacun est per- sonnalisée et envoyée par casque d’écoute sans fil. Celle-ci est même géolocalisée de sorte que le résultat entendu dépend à la fois de l’emplacement des participants et des sons-graffitis laissés sur le mur virtuel. Une interface visuelle renvoie une représentation graphique du positionnement des usagers et des sons-graffitis. L’œuvre témoigne d’une approche spatiale ou volumétrique du mixage et sa dimension graphique conditionne grandement son usage.

Il existe des centaines d’interfaces graphiques à la création musicale dont plusieurs sont disponibles sur téléphone intelligent. Après avoir été limitée à certains foyers dif- ficiles d’accès, l’informatique musicale est maintenant démocratisée au point où il est possible de composer n’importe où avec son iPhone.

Parallèlement aux interfaces visuelles à la création musicale, certains créateurs ont développé un corpus d’œuvres faisant usage de capteurs optiques (photo-potentiomètre, caméra, kinect) à titre d’interfaces musicales. David Rokeby (1960), un des pionniers

sur ce terrain de recherche, rapporte à juste titre que « les instruments ont toujours été, jusqu’à un certain point, partie prenante du processus compositionnel » [?]. La gymnas- tique inhérente au jeu de tous les instruments et interfaces musicales offrent une étendue de possibilités, une perspective sur le sonore, inscrite à l’intérieur même de leur physi- calité. À titre d’exemple le piano, par son architecture, oriente inévitablement l’écriture musicale s’y adressant en fonction d’une conception bidimensionnelle du sonore.3Cette conception de l’écriture musicale ramenée essentiellement à l’usage de hauteurs et de durées constitue en quelque sorte la spécificité langagière du piano, et par extension, de presque tous nos instruments d’orchestre. Bien évidemment, ces instruments possèdent aussi des timbres et la musique concrète instrumentale s’affaire à en exploiter les mul- tiples possibilités. Des œuvres comme Bajo el volcan (2012) du compositeur mexicain Julio Estrada (1943) ou encore Mouvement (1982) d’Helmut Lachenmann (1935) dé- montrent sans équivoque la pertinence de ce courant. Mais ce serait occulter la nature profonde de ces instruments que de nier que cette lutherie est orientée pour faciliter d’abord et avant tout l’interprétation de hauteurs et de durées. La conception d’une in- terface musicale permet de prendre en charge la dimension physique des instruments et d’échapper, le cas échéant, à cette condition.

Very Nervous System (1986-1990) de David Rokeby est un incontournable dans le domaine. L’œuvre fait usage de caméras combinées à divers modules d’analyse d’images de sorte que les mouvements exécutés par l’utilisateur engendrent différentes sonorités.

3_{On peut évidemment ajouter ici une troisième dimension, celle des intensités, qui demeure par contre} périphérique aux autres paramètres fondamentaux (hauteurs, durées).

60 D’abord conçue comme installation sonore et présentée en galerie, l’œuvre fait aussi l’objet de performances en concert et d’intégration à l’espace public.

Figure 4.4 : Very Nervous System, David Rokeby (1986-1990). (c) David Rokeby, 2008

Light Music (2004) du compositeur et réalisateur Thierry de Mey (1956) épouse les mêmes contours que la proposition de Rokeby. L’œuvre se situe à mi-chemin entre un travail de nature chorégraphique et musical. Un musicien, seul au milieu de la scène et sans partition, effectue une gestuelle des mains au travers d’un faisceau lumineux. En arrière scène, on peut observer une retransmission vidéo sur grand écran des mains de l’interprète. Les gestes du performeur sont captés par caméra pour être ensuite analy- sés par un programme informatique et les données recueillies par ces analyses servent ensuite à alimenter une série de paramètres de synthèse sonore de sorte que le public perçoive la gestuelle de l’interprète comme moteur de transformation du son.

Figure 4.5 : Light Music, Thierry de Mey (2004). Reproduit avec l’autorisation de l’ar- tiste.

Ces propositions de Rokeby et de Mey héritent directement des travaux entrepris entre autres par les Vasulkas dès le tout début de l’art vidéo et sont intimement liés par conséquent au développement des musiques visuelles. Cet usage de la caméra comme outil d’acquisition de signal et éventuellement d’analyse à dessein musical témoigne de la diversité des manifestations du genre.