1.1 - LA RELATION INSTRUMENTALE COMME SITUATION DE REFERENCE 18
1.2 - PERIPHERIQUES GESTUELS - RETOUR D'EFFORT 20
1.3 - CORDIS-ANIMA 22
1.4 - ENVIRONNEMENTS POUR LA CREATION 34
1.5 - CONCLUSION: ICI APPARAIT LE PARADIGME DE LA SIMULATION MULTISENSORIELLE
INTERACTIVE D’OBJET PHYSIQUE 38 Chapitre 2 Nouveaux outils, nouvelles démarches 39
2.1 - LES INSTRUMENTS ELECTROACOUSTIQUES 40
2.2 - L’ENREGISTREMENT SONORE 42
2.3 - LA SYNTHESE, L’ANALYSE, LA PSYCHOACOUSTIQUE 44
2.4 - LA COMPOSITION ASSISTEE PAR ORDINATEUR ET LES PROCESSUS D’ENGENDREMENT 46
2.5 - LES INTERFACES GESTUELLES, LES SYSTEMES TEMPS REEL 48
2.6 - LA SIMULATION INTERACTIVE ET MULTISENSORIELLE D’OBJETS PHYSIQUES 51
Conclusion : penser physique 59
Contexte et bibliographie
Partie II : Interaction Homme-Machine
Partie III : Le processus de création avec GENESIS. Analyse des Tâches
Partie IV : Choix généraux pour l’environnement GENESIS
Partie V : Fonctionnalités fondamentales de l’atelier de lutherie GENESIS
Partie VI : Fonctionnalités évoluées du mode lutherie
Conception de GENESIS
Partie VII : Simulation et Phénomènes
Chapitre 1
L
E CONTEXTE DE NOS TRAVAUX1.1 - La relation instrumentale comme situation de référence
En tant que phénomène communicationnel qui recourt à un mode d’émission complétant le mode vocal naturel, la musique fait nécessairement appel à ce qui est la fonction première de l’instrument : convertir une manifestation gestuelle en un phénomène sonore.
Dans la situation traditionnelle, si l’on entend par-là en absence de relais énergétique (amplification électrique), l’énergie du son émis prend sa source dans le geste de l’instrumentiste et nécessite une chaîne matérielle effectuant cette transformation. La matérialité de l’instrument est alors importante, car elle conditionne aussi bien les catégories de signaux sonores qui pourront être produits que la nature et l’allure des gestes qui les produiront. La relation instrumentale est donc au cœur du processus de communication en jeu (figure 1).
Geste Images Sons Artiste geste et toucher vue ouïe Sensation tactilo-kynesthésique & instrument
Figure 1 : la relation instrumentale
L'ACROE a très tôt postulé que la variété et l’expressivité des sons produits par synthèse nécessitaient la prise en compte de cette dimension instrumentale et matérielle1
[Cadoz&al.81], [Cadoz.94b], [Cadoz.99b].
La relation instrumentale a été souvent tacitement ou volontairement écartée dans les utilisations musicales de l'ordinateur2. Tacitement parce que pendant longtemps, le temps réel qu'elle suppose n'était pas accessible. Volontairement parce que certains ont vu dans l'ordinateur la possibilité de s'affranchir du corps dans la création pour se consacrer aux aspects conceptuels et formels, et peut-être découvrir une nouvelle manière de faire la musique.
1 Cette remarque vaut par ailleurs pour toutes les formes d’expression qui impliquent le corps face à un intermédiaire matériel, c’est-à-dire pour l’ensemble des arts instrumentaux du temps. Ce document concerne directement le son et la musique, mais les recherches menées au laboratoire concernent aussi les arts graphiques.
2 Une remarque similaire peut à nouveau être faite pour d'autres arts instrumentaux abordés avec l’ordinateur.
Plus récemment, de nombreuses techniques et interfaces gestuelles conçues à des fins musicales ont été proposées pour tenter de reconstituer une relation instrumentale. Cependant, la correspondance qu'elles établissent entre geste et processus informatique reste souvent artificielle. Elles sont appliquées à des principes de synthèse ou de traitement du son qui n'intègrent en rien le principe de l'interaction gestuelle menant au concept de la relation instrumentale. Elles se résument le plus souvent au contrôle par gestes d'un processus qui auparavant était mené sans interaction. Elles opèrent généralement par l'ajout d'un étage de contrôle temps-réel externe au processus de synthèse lui-même.
A l’inverse, l'ACROE-ICA a considéré la Relation Instrumentale comme un principe fondateur de l’ensemble de ses recherches en informatique musicale. Dès 1976 elle est considérée comme une situation de référence maintes fois éprouvée, qu'il convient d'analyser et d'étudier. Sa réhabilitation devient un objectif central et générique.
L’ACROE-ICA a ainsi progressivement assemblé les éléments d'un outil informatique pour la création permettant de recréer les conditions d'une relation instrumentale. Essayons d'en définir rapidement les contours.
Par définition la relation instrumentale n'apparaît qu'en phase de jeu. Pendant cette phase l'ordinateur est nécessairement le lieu d'un calcul en temps réel ou simulation. Il doit à ce moment être capable d'interagir par plusieurs canaux sensoriels avec l'artiste : la simulation est donc devenue interactive et multisensorielle.
Cet outil va donc comprendre, outre le calculateur, un ensemble de périphériques matérialisant l'interaction multisensorielle. Le formalisme CORDIS-ANIMA intervient alors à deux niveaux. D'abord il va permettre de décrire l'instrument simulé. Il fournira ensuite l'algorithme de la simulation.
Artiste Formalisme CORDIS-ANIMA. Instrument simulé Moteurs de simulation Calculateur Périphériques Visuel Gestuel Sonore Interaction temps -réel Relation instrumentale
Met tre en oeuvre l’ensemble, concevoir l’instrument à simuler, etc .
Environnement
Figure 2 : les quatre éléments de l'outil de création
Calculateur, formalisme moteur de simulation, périphériques et environnement
Cependant, cet ensemble ne peut fonctionner que si un environnement en assure la cohérence et permet de pratiquer le langage CORDIS-ANIMA pour concevoir les instruments simulés.
Plusieurs environnements ont déjà été développés au laboratoire, suivant la finalité du système (son ou image) et le type d'utilisateur (chercheur ou artiste). C'est précisément sur le logiciel GENESIS, environnement utilisateur pour la version musicale de l'outil de création que nos recherches se sont portées.
Avant d'entrer dans la problématique conduisant à la conception de cet environnement nous décrirons rapidement les caractéristiques des deux éléments les plus importants qu'il devrait regrouper1 : les périphériques (et parmi eux principalement le Clavier Rétroactif Modulaire TGR), et le formalisme CORDIS-ANIMA.
1.2 - Périphériques gestuels - retour d'effort
Par périphériques, nous entendons ici l'ensemble des dispositifs matériels qui, connectés au calculateur, permettent pendant la simulation en temps réel l'existence d'une relation instrumentale multisensorielle. L'intérêt du laboratoire pour le son et l'image l’a conduit à considérer les dispositifs communiquant avec trois sens humains : l'ouie, la vue et la perception tactilo-kinesthésique2.
La nature et la technologie des périphériques dépendent en général des propriétés prises en considération dans la relation sensorielle.
Les périphériques visuels et sonores sont, pour l'essentiel, des périphériques courants : écran ou système de visualisation 2D, et système électroacoustique, le cas échéant additionnés d’une couche logicielle d'adaptation à la simulation.
Les recherches de l'ACROE ont ainsi principalement porté sur les périphériques gestuels où des avancées importantes ont été effectuées.
Le canal gestuel est fin, complexe. Il a fait l’objet d’une étude poussée, initiée dès la création du laboratoire [Gibet.87], [Cadoz.94b]. Elle a permis de dégager une typologie du geste instrumental qui a guidé la technologie des interfaces gestuelles. Nous en résumons les grandes lignes.
1.2.1 -Une Typologie du geste instrumental
L'observation de situations de jeu typiques montre que les gestes instrumentaux relèvent suivant leur fonction de trois catégories : sélection, modification et excitation [Cadoz.99b]. Il est intéressant de considérer ces trois catégories du point de vue de l'échange énergétique mis en jeu lors de la réalisation du geste.
Les gestes de sélection et de modification ne mettent en jeu, dans le cas général, qu'un très faible échange d'énergie. Ce sont en général des actions essentiellement porteuses d'information.
1 Nous déciderons dans la suite de ne permettre dans les premières versions de GENESIS que des simulations en temps-différé. C’est le cas de la version 1.5 actuellement diffusée. Ce choix essentiel pour nos travaux sera justifié précisément. L’architecture de GENESIS a cependant été conçue pour faciliter la connexion au simulateur temps-réel, qui interviendra prochainement. Nous supposerons cette connexion réalisée dans les premières parties du document. Ainsi, nous caractériserons le potentiel de l’environnement GENESIS dans toute sa généralité, indépendamment des choix ultérieurs dictés par des considérations matérielles.
2 Le sens tactilo-kinesthésique regroupe la perception tactile (sensibilité de la peau) et la perception des efforts (cellules nerveuses sensibles des muscles).
En revanche, le geste d'excitation se caractérise par un échange énergétique important, contrôlé par le musicien. Il entre dans la catégorie des gestes ergotiques.
Dans la situation traditionnelle c'est en effet par ce geste que s'effectue l'apport d'énergie que l'instrument transforme en phénomène acoustique. Mais l'essentiel ici est que cet apport d'énergie ne peut se faire que s'il y a réaction de la part de l'instrument1. Or c'est au travers de ce geste que l'instrumentiste va exprimer sa sensibilité. L’interaction cohérente qui existe entre l’instrument et l’instrumentiste engage une dépense d’énergie, un effort porteur d’expression. Ce dernier participe intimement à la genèse du son. Le canal gestuel n'est donc pas seulement un canal de communication. On doit le considérer également comme un canal d'interaction énergétique ou canal ergotique, maillon essentiel de la relation instrumentale.
1.2.2 -La famille des TGR©
Les périphériques gestuels simples et courants, tels la souris ou les périphériques MIDI, peuvent être utilisés pour la réalisation de gestes de sélection ou de modification mais ne sont pas suffisants.
Pour rendre compte d’un échange énergétique entre instrumentiste et objet virtuel, il faut pouvoir simuler la réaction de cet objet virtuel à l'effort de l’opérateur. Seul un système à retour d’effort, c'est à direun ensemble capteur/effecteur dont la partie active est contrôlée par la simulation, permet de réaliser un tel couplage [Cadoz&al.84], [Cadoz&al.90b].
Les caractéristiques mécaniques et électromécaniques exigées par ces périphériques ont été déduites de l'étude parallèle de la sensibilité tactilo-kinesthésique et de la motricité humaine. Nous en résumons maintenant les principales.
La reproduction des transitoires est essentielle. Le canal doit donc offrir une bande passante importante au passage d'informations entre la simulation calculée et le périphérique gestuel, et ce dans les deux sens. Mais pour la même raison, le périphérique doit disposer d'une grande puissance en régime transitoire, afin de répondre correctement à des sollicitations brusques (percussion avec une extrémité dure, un ongle par exemple). On peut situer la bande passante en puissance de l'ensemble du système effecteur (électronique, électromécanique, mécanique) à plusieurs KHz, dans la mesure où, par exemple, les couches externes de l'épiderme humain sont sensibles dans cette plage de fréquence. La valeur pic de cette puissance mécanique doit être par ailleurs aussi proche que possible de la puissance musculaire humaine. Enfin, des contraintes relatives au système de captation du geste doivent en outre être prises en considération, comme l'encombrement, la modularité ou encore la possibilité d'une adaptation morphologique (touche, pantographe ou joystick).
1 On peut noter que certains instruments nécessitent des intermédiaires entre le corps et la structure sonore : archet, plectre pour les gestes d'excitation, le système de pédale de la harpe de concert ou le slide de la guitare pour les gestes de modification… Ces intermédiaires gestuels font alors partie de l'instrument, et c'est avec eux qu'interagit l'artiste. Remarquons aussi que certains instruments ne requièrent qu'une ou deux des trois catégories de gestes. Les timbales, par exemple, ne nécessitent qu'un geste de d'excitation et de sélection du percuteur. Le cas de l'orgue d'église est particulier, puisqu'il ne demande pas de geste d'excitation (l'ouverture d'un tuyau étant la combinaison d'un geste de sélection et de modification). Dans le cas de l'orgue électronique ou du clavier-synthétiseur, l'expressivité du geste "d'excitation" reste très limitée, même si l'on a vu dernièrement se développer des touchers plus sensibles (vélocité ou ‘after touch’). Une interaction gestuelle cohérente s’avère par contre particulièrement essentielle et porteuse d’expressivité dans le cas des gestes d’excitation entretenue, comme celui que demande le violon par exemple.
Face à ces contraintes très exigeantes, qui dépassent celles qui sont généralement retenue pour la conception des périphériques gestuels, l'ACROE-ICA développe une technologie spécifique qui prend corps dans famille de Transducteurs Gestuels Rétroactifs TGR©1.
1.3 - CORDIS-ANIMA
Le formalisme CORDIS-ANIMA est le cadre formel de l'outil pour la création artistique. C'est à la fois un langage, c'est-à-dire un ensemble d'éléments et de règles de combinaison, un système de représentation, et un ensemble d'algorithmes. Il permet la conception, la représentation et la simulation des modèles sonores et visuels. Nous présentons ici les principes qui ont gouverné sa genèse puis nous résumons l'ensemble du formalisme [Cadoz&al.90a].
1.3.1 -Interface transducteur - simulation : point de communication
Le formalisme CORDIS-ANIMA porte l'empreinte des caractéristiques bi-directionnelles de la communication entre les périphériques, en particulier les TGR©, et la simulation.
Deux univers sont reliés par les périphériques : celui, réel, de l'instrumentiste, et celui de la simulation.
Pour pouvoir être reportée dans la simulation, l'interaction physique entre l'instrumentiste et le périphérique doit être traduite. En raison des caractéristiques du calculateur, elle ne peut l'être que sous la forme d'un nombre fini de signaux discrétisés.
Par ailleurs, la communication dans les systèmes numériques est par essence unidirectionnelle. Le caractère bidirectionnel de l’interaction entre la simulation et l'extérieur nécessite donc la circulation de deux ensembles de signaux, l'un montant l'autre
descendant, transitant par deux canaux séparés et regroupés par un couple(s) d'entrée-sortie (figure 3).
Transducteur Instrumentiste
Signal sortant
Univers réel Electromacanique, électronique informatique
Simulation
Interaction gestuelle
Signal entrant
Figure 3 : L'interaction simulation/transducteur nécessite deux canaux unidirectionnels de sens opposés
1 Transducteur Gestuel Rétroactif. Nom donné aux périphériques gestuels qui permettent de capter des mouvements gestuels pour les envoyer à l’ordinateur, et de produire des effets mécaniques (forces et/ou déplacements) commandés par l’ordinateur et destinés à la perception tactilo-proprio-kinesthésique de l’opérateur.
Le transducteur gestuel rétroactif (TGR©) est un capteur de position et un effecteur de force . Il communique donc avec la simulation selon ces deux dimensions mesurables. Comme des transducteurs capteur de force et effecteurs de position sont également envisageables, deux types de points de communication entre la simulation et le transducteur doivent en fait être considérés : celui fournissant un signal de position à la simulation et retournant un signal de force vers le périphérique, et son symétrique. Comme enfin ces points vont acquérir par la suite une grande importance, un nom leur a été attribué : respectivement point L et point M (figure 4).
L M
X
X
F
F
Figure 4 : Les deux types de point de communication entre la simulation et l'extérieur : point M et point L.
Les variables échangées sont des forces (F) et des positions (X)
1.3.2 -Principes générateurs du formalisme
Par ailleurs la conception du formalisme CORDIS-ANIMA répond à plusieurs principes :
• Modularité : le formalisme doit être modulaire. Il faut donc définir ce que sont les modèles minimaux ou modules élémentaires, qui constitueront les briques indivisibles.
• Caractère générateur : à l'inverse, ces modules élémentaires, associés à des règles d'assemblage, doivent pouvoir donner lieu à la génération de structures complexes.
• Accès à l'expérimentation : chaque module élémentaire doit être « expérimentable » au sens de la relation instrumentale. Son comportement doit donc être perceptible via les canaux gestuels, visuels et sonores. Cette propriété est naturellement extensible aux objets complexes.
• Cohérence : les principes de la communication simulation-transducteur sont étendus à la communication entre modules. Tout module doit donc être susceptible d’interagir avec son environnement (virtuel dans la simulation ou réel par le transducteur) via un canal montant et un canal descendant, porteurs respectivement de deux variables duales l'une étant nécessairement une force et l'autre position. Selon le même principe toute communication entre modules se fait via l'un des points de communication L ou M définis plus haut.
• Economie : les algorithmes des modules sont choisis de manière à présenter une complexité minimale.
1.3.3 -Réseaux d’interaction par les points M et L - règles de connexion
Des principes de cohérence et de modularité se déduit la forme générale externe d'un modèle CORDIS-ANIMA. Toute partie de modèle, qu'elle soit reliée à une autre partie de la simulation ou à un périphérique, communique avec l'extérieur via des points de communication de type M ou de type L (figure 5).
L F X M X F X F M F X L X F M L F X Modèle Cordis-Anima
Figure 5 : Surface d'un modèle répondant au formalisme CORDIS-ANIMA
Le même principe de cohérence conditionne en outre les règles de connexion inter-modules via leurs points de communication. La force est une variable intensive : les sorties de force de plusieurs points L peuvent se sommer à l'entrée de force d'un point M. En revanche, il n'est pas possible de connecter les sorties de position de plusieurs points M à l'entrée d'un point L, car il n'est pas possible de donner un sens physique à la combinaison de plusieurs positions. Les règles de connexions s'énoncent alors de la manière suivante (figure 6) :
• La connexion de deux points de communication consiste à utiliser la sortie de l'un comme entrée de l'autre et réciproquement. En conséquence, ne sont connectables que des points de type opposés : un point M avec un point L.
• On peut connecter plusieurs points L à un même point M. La force entrante dans le point M est alors la somme des forces sortantes des divers points L. La position entrante dans les divers points L est la position sortante du seul point M commun auquel ils sont connectés.
X F M L <=> M L M
+
L L L X X X X F1 F3 F2S
Fi <=> M L L LFigure 6 : Règles de connexion entre modèles
Sur ce schéma, les arcs de cercles représentent l'intérieur des modèles. Un point de communication M peut être connecté à plusieurs points L. Un point de communication L ne peut pas être connecté à plusieurs points M.
1.3.4 -Elément matériel <MAT> et élément de liaison <LIA>
La forme extérieure des modules élémentaires, c'est-à-dire leurs points de communication, se déduit alors du principe de modularité et de leur caractère générateur.
Si les modules élémentaires n'avaient qu'un point de communication, il serait impossible, compte tenu des règles de connexion, de générer des modèles complexes. Il faut donc introduire plusieurs points de communication dans un même module. Un rapide examen des cas possibles montre que l'unique base ayant le caractère générateur est constituée d'une part d'un module à un point M, d'autre part d'un module à deux points L.
Ces types de modules sont définis par leur « connectique », c'est à dire leur aptitude à échanger avec l'extérieur. Le premier, élaborant une position à partir d'une force, est appelé élément matériel ou <MAT>. Le second, qui permet de connecter entre eux les points matériels, est appelé élément de liaison ou <LIA>.
M L
X
F X
1F
1X
2F
2L
Figure 7 : forme externe des modules élémentaires <MAT> et <LIA>.
Du fait des règles de connexion, seule la combinaison
de modules à 1 point M et de modules à deux points L possède le caractère générateur . La zone grise représente ici l'intérieur du module, et notamment son algorithme.
1.3.5 -Dimension de l'espace de simulation et spatialité des objets CORDIS-ANIMA
Jusqu'à maintenant, pour simplifier la présentation, les signaux de force et position échangés entre les modules par leur point de communication ont été supposés unidimensionnels.
En fait, CORDIS-ANIMA permet par construction de modéliser un espace de simulation tridimensionnel (voir n-dimensionnel avec n quelconque), dans lequel la position d'un point matériel est repérée sur trois axes (n axes) et les forces ont trois composantes (n composantes). Les signaux échangés entre les points de communication sont alors tridimensionnels (n-dimensionnels), et on parle de vecteurs force et vecteurs
position.
Une simulation tridimensionnelle (dans laquelle les signaux sont tridimensionnels) communique avec le transducteur par trois paires de voies, chaque paire contenant une voie montante et une descendante. Chaque paire (montante - descendante) correspond sur le TGR© une touche de commande. Trois touches sont donc nécessaires pour interagir avec une simulation tridimensionnelle. Un joystick à trois degrés de liberté peut être monté sur ces trois touches et réaliser une adaptation morphologique. Il décomposera le mouvement de la main qui le contrôle selon trois composantes. Une matrice réversible de changement de repère géométrique permet de reconstituer, côté simulation, le mouvement de la main à partir des signaux des trois touches (figure 8).
P3 F3 L P1 P2 F1 F2
Matrices de changement de repère
X F X Y Z Fx Fy Fz Modèle Cordis-Anima
Figure 8 : communication TGR / simulation dans le cas d'une simulation 3D.
La matrice de changement de repère permet de transformer
les coordonnées des trois touches dues au système d'adaptation morphologique en projection suivant les 3 axes de l'espace réel.
Les modules du formalisme CORDIS-ANIMA intègrent la notion de spatialité, en ce