La quête de stratégies de contrôle intuitif pour la synthèse a passionné compositeurs et mu-siciens depuis la réalisation des premiers sons sur ordinateur par M. Mathews (Mathews,1963).
2.2. Contrôle intuitif des sons
FIGURE 2.3 – Matrices de cohérence entre les trajectoires visuelles (en ligne) et les sons (en colonne). Le degré de cohérence est représenté par le niveau de couleur : la cohérence augmente avec le niveau de noir. Figure extraite de (Merer et al.,2013).
Un grand nombre d’interfaces et de stratégies de contrôle a été proposé, visant pour la plupart des applications musicales (Wanderley and Battier,2000;Gobin et al.,2003;Moog,1987). La modélisation physique permet un contrôle basé sur les caractéristiques physiques de la source, cependant elle demande une certaine expertise dans la connaissance des paramètres physiques pour atteindre la qualité sonore souhaitée. Dans le cas de la synthèse par modèle de signal, le contrôle nécessite la manipulation d’un grand nombre de paramètres qui ne sont pas intuitifs pour des non experts. Les travaux de D.L. Wessel constituent une des premières propositions de navigation dans un espace sonore perceptif par synthèse (Wessel,1976,1979). Pour cela, il s’est basé sur l’espace de timbre défini par Grey(1977) et a proposé un schéma de contrôle temps-réel basé sur la synthèse additive. Les paramètres de contrôle étaient reliés aux deux premières dimensions de l’espace de timbre : l’enveloppe du spectre d’énergie et le temps d’attaque (ou bien sur la synchronicité temporelle des différentes composantes). Plus récemment, des stra-tégies de contrôle à partir d’une description verbale du timbre (Gounaropoulos and Johnson, 2006), par machine learning(Jehan and Schoner,2001), par variations de descripteurs acous-tiques (feature-based synthesis (Caetano and Rodet, 2011; Hoffman and Cook, 2006,2007)) ont été proposées.
Les avancées récentes de l’équipe dans le domaine du contrôle intuitif de la synthèse sonore ont permis de mieux comprendre les relations entre les paramètres de synthèse et les attributs perceptifs relatifs à l’évocation d’une source sonore. En accord avec les invariants présentées dans le paragraphe précédent (section 2.1), nous avons défini un paradigme d’étude appelé {action-objet} dans lequel le son est décrit comme le résultat perceptif d’une action sur un ob-jet. Afin de permettre une utilisation intuitive des modèles de synthèse, nous proposons alors un contrôle par des descriptions sémantiques qui ont pour but de traduire le ressenti de l’au-diteur sous forme de mots désignant des attributs perceptifs de la source sonore liés à l’objet et à l’action effectuée. La stratégie de contrôle est fondée sur une architecture à trois niveaux : (a) le haut-niveau utilisant ces descriptions sémantiques associés au ressenti, (b) un niveau
Chapitre 2. Informer par le son termédiaire associé aux caractéristiques acoustiques du signal et par conséquent aux invariants morphologiques sonores (structuraux et transformationnels), (c) le bas-niveau dédié aux pa-ramètres du modèle de synthèse (Figure 2.4). La mise en correspondance entre ces différents niveaux est le mapping. Afin de proposer un contrôle intuitif, la construction de ce mapping a nécessité de prendre en compte la perception des sons dans son aspect le plus large en incluant le point de vue cognitif.
Dynamique* Texture*sonore* ACTION OBJET • IMPACTER) • ROLLER) • COULER) • FROTTER) • ….) • PLAQUE) • VENT) • EAU) • FEU) • …) Paramètres*de*contrôle*intui7fs* Représenta7on*du*signal* Paramètres*de*synthèse* Invariants)morphologiques)sonores)) Invariants**
transforma7onnels* Structuraux*Invariants**
Modèle)source)/)résonance)
Signal*d’excita7on* Banque*de*filtres*
FIGURE 2.4 – Paradigme {action/objet} permettant de générer et contrôler intuitivement des sons et de créer des métaphores sonores en combinant virtuellement des actions et des objets.
Le niveau supérieur donne à l’utilisateur la possibilité de définir les caractéristiques percep-tives de l’objet (telles que la nature du matériau, la taille et la forme, etc.) et l’excitation (force, la dureté du marteau, la position d’impact, etc.) à l’aide de descriptions verbales. La Figure2.5 présente l’interface haut niveau du synthétiseur actuel proposant à l’utilisateur les catégories de sons d’interactions solidiennes (en haut) et de liquides (en bas). La couche intermédiaire est basée sur des descripteurs acoustiques (amortissement, inharmonicité, rugosité, etc.) liés aux in-variants morphologiques sonores (Aramaki et al.,2007b,2008,2009b). La couche inférieure est constituée de paramètres de synthèse (e.g. coefficient d’amortissement, amplitude et fréquence des composantes).
Ce synthétiseur propose une navigation intuitive dans des espaces sonores d’actions (impact, roulement, frottement, grattement), de matériaux perçus (bois, métal, verre, pierre, plastique) et de formes d’objets (corde, barre, membrane, plaque, coque). La navigation continue à travers ces espaces est basée sur une manipulation des morphologies sonores. Des sons prototypiques sont définis pour chaque catégorie par un ensemble de valeurs particulières des paramètres du modèle, permettant ainsi des transitions continues entre ces prototypes par interpolation de ces paramètres (Aramaki et al.,2006b;Aramaki and Kronland-Martinet,2006;Aramaki et al.,
2.2. Contrôle intuitif des sons
2009c,a,2011;Conan et al.,2013c,b,2014b).
Pour le roulement, des contrôles haut niveau additionnels ont été proposés dans un module spécifique, tels que les caractéristiques de la bille qui roule (taille, l’asymétrie de forme et vi-tesse) et l’irrégularité de la surface sur laquelle la bille roule (Conan et al., 2013a). En outre, une méthodologie de contrôle intuitif pour un modèle de son de frottement non linéaire (grince-ment, couinement etc.) a été proposée. Le mapping entre les descripteurs dynamiques (vitesse, pression) et des paramètres de synthèse est inspiré des diagrammes de Schelleng et permet des transitions cohérentes entre les différents régimes de friction non linéaires.
FIGURE2.5 – Interface haut-niveau du synthétiseur de sons de l’environnement (sons d’interac-tions solidiennes et sons de liquide) proposée à l’utilisateur.
Métaphores sonores Les notions d’action et d’objet peuvent être prises au sens large, l’action étant associée à une dynamique sonore (évolution temporelle) et l’objet à une texture sonore (contenu timbral). Cette approche est assimilable au concept d’objet sonore proposé par Schaef-fer (1966) et qui est défini selon deux critères fondamentaux : matière (contenu sonore) et facture (évolution temporelle). En pratique, le paradigme {action-objet} s’adapte naturellement à une approche de la synthèse par modèle source/filtre, où l’information perceptive sur l’objet est contenue dans la partie filtre, et l’information sur l’action dans la partie source. Ainsi en se basant sur le principe de la synthèse croisée, il est possible de faire vivre des textures sonores inertes à la base en appliquant des dynamiques sonores. Les travaux de fin de thèse de Simon Conan abordent spécifiquement la création de métaphores sonores à partir d’hybridations entre des textures stationnaires et les invariants associés à l’évocation de différentes actions. Sur la base d’une série de tests perceptifs, nous avons montré l’avantage de notre méthode par rapport à une approche de design sonore plus classique consistant à additionner les flux sonores (Conan, 2014). La partie droite de la Figure2.5(espace de navigation carré) montre le contrôle
Chapitre 2. Informer par le son tant la création de ces métaphores (en positionnant le curseur sur “hybrid”). La validation de ces métaphores est en cours.