Contrôle intuitif d'un synthétiseur d'environnements sonores spatialisés

HAL Id: hal-00546833

https://hal.archives-ouvertes.fr/hal-00546833

Submitted on 14 Dec 2010

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Contrôle intuitif d’un synthétiseur d’environnements sonores spatialisés

Charles Verron, Mitsuko Aramaki, Richard Kronland-Martinet, Grégory Pallone

To cite this version:

Charles Verron, Mitsuko Aramaki, Richard Kronland-Martinet, Grégory Pallone. Contrôle intuitif

d’un synthétiseur d’environnements sonores spatialisés. 10ème Congrès Français d’Acoustique, Apr

2010, Lyon, France. �hal-00546833�

10`eme Congr`es Fran¸cais d’Acoustique

Lyon, 12-16 Avril 2010

Contrˆ ole Intuitif d’un Synth´etiseur d’Environnements Sonores Spatialis´es

Charles Verron ¹ , Mitsuko Aramaki ² , Richard Kronland-Martinet ¹ , Gr´ egory Pallone ³

1

CNRS-LMA, 31 Chemin Joseph Aiguier, F-13402 Marseille cedex, {verron,kronland}@lma.cnrs-mrs.fr

2

CNRS-INCM, 31 Chemin Joseph Aiguier, F-13402 Marseille cedex, aramaki@incm.cnrs-mrs.fr

3

Orange Labs, Avenue Pierre Marzin, F-22307 Lannion cedex, gregory.pallone@orange-ftgroup.com

La cr´ eation d’ambiances sonores 3D interactives constitue un enjeu majeur dans le domaine de la R´ ealit´ e Virtuelle, en particulier, pour des applications n´ ecessitant un rendu sonore temps-r´ eel (e.g., bruitage, jeux vid´ eo, infrastructure CAVE. . .). Dans ce contexte, un synth´ etiseur spatialis´ e d’environnements sonores 3D compatible avec les formats audio existants (multicanal, Ambisonics, binaural) a ´ et´ e mis en œuvre.

Une strat´ egie de contrˆ ole intuitif de ce synth´ etiseur, bas´ ee sur une organisation hi´ erarchique des sons, est propos´ ee. Ainsi, les sc` enes auditives sont construites en combinant des sources ´ el´ ementaires cat´ egoris´ ees en Solides (impact. . .), Liquides (pluie, vague. . .) et A´ erodynamiques (vent, feu. . .) et chaque source est mod´ elis´ ee comme une combinaison de cinq “atomes” signifiants du point de vue signal. Contrairement aux proc´ ed´ es commun´ ement utilis´ es, ce synth´ etiseur pr´ esente l’avantage de combiner modules de synth` ese et de spatialisation au mˆ eme niveau de la g´ en´ eration du son, offrant ainsi de nouvelles possibilit´ es de contrˆ ole simultan´ e du timbre et de la position spatiale des sources via des descripteurs haut-niveau (e.g., taille, intensit´ e, largeur de source. . . ). Grˆ ace ` a son faible coˆ ut de calcul, cette architecture permet de cr´ eer en temps r´ eel des sc` enes complexes 3D comportant un grand nombre de sources.

1 Introduction

Aujourd’hui, les techniques utilis´ ees pour le rendu d’environnements sonores sont bas´ ees principalement sur l’utilisation de sons pr´ e-enregistr´ es (tables d’onde).

De larges banques de sons sont collect´ ees pour repr´ esenter l’ensemble des ´ ev` enements sonores du monde virtuel. Cette m´ ethode de sonification est actuel- lement largement utilis´ ee mais pr´ esente des limitations.

Tout d’abord, il est n´ ecessaire d’enregistrer les sons et de les stocker, ce qui peut repr´ esenter de grosses quan- tit´ es de m´ emoire ` a allouer et des temps de chargement longs. Mais surtout, l’interactivit´ e est par nature limit´ ee avec des sources pr´ e-enregistr´ ees.

Nous explorons ici une approche diff´ erente de celles bas´ ees sur les sons enregistr´ es pour sonifier un monde virtuel. Nous nous int´ eressons ` a la synth` ese sonore temps-r´ eel, qui consiste ` a calculer dynamiquement le son ` a g´ en´ erer, via des algorithmes informatiques d´ edi´ es.

Nous souhaitons simuler par synth` ese les ´ ev´ enements de la vie de tous les jours, autres que la musique et la pa- role, regroup´ es sous le terme de sons d’environnement.

L’avantage de cette approche r´ eside dans les possibilit´ es de contrˆ ole accrues par rapport au simple d´ eclenchement de tables d’onde.

Nous avons r´ ealis´ e un synth´ etiseur de sons d’environ- nement int´ egrant en son coeur des modules de spatia- lisation pour une restitution sonore multicanale [1]. La combinaison de la synth` ese et de la spatialisation nous a permis d’utiliser des propri´ et´ es sp´ ecifiques du mod` ele additif [2] pour positionner les sources de mani` ere ef- ficace et simuler leur extension spatiale dans la sc` ene.

Ce synth´ etiseur permet la cr´ eation de sources sonores diverses, regroup´ ees dans les trois cat´ egories de sons

d’environnement propos´ ees par Gaver [3] : les sons de solides en vibration, les sons a´ erodynamiques et les sons de liquides. Nous avons ´ egalement propos´ e une strat´ egie pour le contrˆ ole du synth´ etiseur, bas´ e sur une d´ ecomposition atomique des sons d’environnement [4].

Le pr´ esent papier vient compl´ eter ces travaux. Il est articul´ e en deux parties. Tout d’abord nous d´ ecrivons la d´ ecomposition atomique de sources repr´ esentatives des trois cat´ egories de sons d’environnement. Ensuite nous d´ efinissons un ensemble de contrˆ oles intuitifs pour mani- puler l’extension spatiale et le timbre de ces sources. Ce travail a ´ et´ e int´ egr´ e au synth´ etiseur temps-r´ eel qui per- met d´ esormais de g´ en´ erer des sources sonores diverses (pluie, vent, feu, vagues, impacts...), de les contrˆ oler via des param` etres haut-niveau, et de les manipuler dans un espace virtuel immersif.

2 D´ ecomposition atomique de sons d’environnement

Les ´ etudes qui ont ´ et´ e propos´ ees pour la synth` ese

des sons d’environnement ont permis de d´ egager des

mod` eles de synth` ese, bas´ es aussi bien sur la physique

des sources que sur l’analyse de signaux enregistr´ es

[5, 6, 7, 8]. Dans [1] nous avons pr´ esent´ e une approche

g´ en´ erale bas´ ee sur le mod` ele additif [2] pour reproduire

des sources environnementales diverses par synth` ese ad-

ditive. Le moteur de synth` ese propos´ e permet de g´ en´ erer

ces sources sous la forme de sinuso¨ıdes et de bruit

filtr´ e variant au cours du temps. La manipulation di-

recte des param` etres bas-niveau de la synth` ese addi-

tive (i.e., fr´ equences et amplitudes des sinuso¨ıdes, en-

veloppe spectrale du bruit) n’est pas toujours simple.

Pour cette raison, nous avons d´ efini cinq atomes pa- ram´ etriques, qui se veulent plus intuitifs que les pa- ram` etres bas-niveau de la synth` ese additive et offrent un premier niveau de contrˆ ole au synth´ etiseur [4]. Le param´ etrage des atomes et leur agencement temporel pour reproduire une source donn´ ee est r´ ealis´ e ` a partir de mod` eles pr´ esent´ es dans la litt´ erature, et de mani` ere empirique, en analysant des spectrogrammes de sources naturelles et en ´ evaluant le r´ esultat perceptif obtenu par resynth` ese. Nous pr´ esentons ici comment combiner les cinq atomes pour former diff´ erentes sources environne- mentales : des sons d’impact, du vent, des “whooshs”

(i.e., souffles d’air produits par un object fendant l’air), du feu, de la pluie et des vagues.

Impacts Utilisant le mod` ele d´ ecrit dans [9], les sons d’impact sont r´ ealis´ es ` a partir de deux atomes :

– L’impact modal, qui est une somme de M si- nuso¨ıdes d´ ecroissant exponentiellement d’ampli- tude a m , de fr´ equences f m , de phases Φ m et de coefficient d’amortissement α m :

x(t) =

M

X

m=1

a m cos 2πf m t + Φ m e ^−α

^t – L’impact bruit´ e, qui est une somme de B sous-

bandes de bruit s b (t) d´ ecroissant exponentielle- ment, d’amplitudes a b et de coefficient d’amortis- sement α b :

x(t) =

B

X

b=1

a _b s _b (t)e ^−α

^t

Vent et whooshs Partant du mod` ele de synth` ese d´ ecrit dans [8], les sons de vent et de whooshs sont r´ ealis´ es par superposition d’atomes bruit bande-

´ etroite, qui sont des bruits filtr´ es par un filtre variant au cours du temps, dont l’enveloppe spectrale au temps t est donn´ ee par :

X (f ) =

( a(t) si |f − f 0 (t)|< ^B(t) ₂ a(t)e ^{−α(t) |f−f}

^(t)|−

si |f − f 0 (t)|> ^B(t) ₂ avec f 0 (t) la fr´ equence centrale, a(t) le gain du filtre, B(t) la bande passante et α(t) la pente du filtre.

Feu Nous synth´ etisons le feu comme une somme de cr´ epitements, de sifflements et de bruits de flammes, conform´ ement au mod` ele d´ ecrit dans [8]. La synth` ese n´ ecessite la combinaison de trois atomes :

– L’impact bruit´ e pour les cr´ epitements.

– Le bruit large-bande pour le sons des flammes (dans les basses fr´ equences) et pour les siffle- ments (dans les hautes fr´ equences). Il s’agit d’un bruit dont l’enveloppe spectrale est d´ efinie par morceau sur 32 sous-bandes ´ equi-r´ eparties sur une ´ echelle ERB (Equivalent Rectangular Band- width). Chaque sous-bande s b (t) a une amplitude variable dans le temps a b (t) :

x(t) =

32

X

b=1

a _b (t)s _b (t)

– Le bruit bande-´ etroite pour les sifflements r´ esonants.

Pluie Nous synth´ etisons un son de pluie comme une somme de gouttes qui tombent dans de l’eau, ou sur un mat´ eriau rigide, et d’un bruit d’ambiance qui simule un tr` es grand nombre de gouttes. Utilisant les mod` eles d´ ecrits dans [7, 8], la synth` ese est r´ ealis´ ee ` a partir de trois atomes :

– L’impact bruit´ e pour les gouttes tombant sur des feuilles ou une surface rigide.

– L’impact chirp´ e pour les gouttes tombant dans un liquide. Il s’agit d’une sinuso¨ıde d’amplitude initiale a, de phase ` a l’origine φ et de fr´ equence f (t) variant dans le temps. L’amplitude suit une d´ ecroissance exponentielle de coefficient d’amor- tissement α :

x(t) = a cos 2π

Z t

0

f (ν)dν + φ e ^−αt – Le bruit large-bande pour le bruit diffus d’am-

biance repr´ esentant un tr` es grand nombre de gouttes.

Vagues Les sons de vagues sont r´ ealis´ es ` a partir de l’atome bruit large-bande, les amplitudes dans les 32 sous-bandes ´ etant contrˆ ol´ ees avec la m´ ethode d´ ecrite dans [10]. La vague est d´ ecoup´ ee en cinq ´ etapes suc- cessives : la crˆ ete de la vague se d´ etache (´ etape 1), elle entre en collision avec la surface de l’eau se trouvant dessous (´ etape 2), la surface se stabilise (´ etape 3), l’eau s’avance sur la plage (´ etape 4) et se retire (´ etape 5) avant le d´ eferlement d’une nouvelle vague. Les param` etres de synth` ese utilis´ es sont [10] :

– la dur´ ee des cinq phases de la vague ; – les amplitudes de chaque phase ; – la brillance de chaque phase ;

– une couleur spectrale fixe d´ efinie sur 32 sous- bandes ERB.

3 Contrˆ oles haut-niveau

Dans cette partie nous proposons un ensemble de contrˆ oles haut-niveau pour simuler l’extension spa- tiale et manipuler le timbre des sources environnemen- tales d´ ecrites pr´ ec´ edemment. Ces contrˆ oles sont li´ es

`

a la nature physique des sources et constituent des exemples de mapping pour g´ erer l’ensemble des atomes du synth´ etiseur de mani` ere intuitive.

3.1 Extension spatiale

Pour obtenir une source ´ elargie, nous avons pro- pos´ e de dupliquer la source originale en huit points de l’espace, chaque source ponctuelle ´ etant une version d´ ecorr´ el´ ee obtenue ` a partir des mˆ emes param` etres de synth` ese [1]. Un test perceptif a permis d’´ evaluer les pos- sibilit´ es offertes par cette approche. La m´ ethode donne de bons r´ esultats, principalement pour les sons bruit´ es et relativement stationnaires, tels que le vent ou les vagues.

Dans le cadre de notre d´ ecomposition atomique

des sons d’environnement, les atomes impulsifs corres-

pondent le plus souvent ` a des sons brefs bien localis´ es

spatialement (par exemple un cr´ epitement de feu). La

m´ ethode d’extension spatiale par d´ ecorr´ elation et du-

plication fonctionne pour ce type d’´ el´ ements. Elle peut

ˆ etre utilis´ ee pour transformer un cr´ epitement isol´ e en une source large et diffuse. Cependant cela ne corres- pond pas toujours ` a une situation naturelle. On s’at- tend plutˆ ot, dans le cas du feu, ` a percevoir un ensemble de cr´ epitements sous la forme de sources ponctuelles lo- calis´ ees. Il semble alors plus judicieux de cr´ eer l’effet d’´ elargissement en r´ epartissant les atomes impulsifs au- tour de l’auditeur.

Nous avons choisi de combiner ces deux approches (duplication et r´ epartition des atomes) pour ´ elargir les sources environnementales du synth´ etiseur. Pour la pluie, les gouttes d’eau (impacts bruit´ es et chirp´ es) sont spatialis´ ees ind´ ependamment autour de l’auditeur, et le bruit de fond (bruit large-bande) est dupliqu´ e dans les sources secondaires. Pour le feu, les cr´ epitements (im- pacts bruit´ es) sont repartis spatialement ; le bruit des flammes (bruit large-bande) et les sifflements (bruits large-bande et bande-´ etroite) sont dupliqu´ es. Le vent et les whooshs sont constitu´ es uniquement de bruits bande-

´ etroite, qui sont dupliqu´ es dans les sources secondaires.

Les vagues, constitu´ ees uniquement de bruit large- bande, sont ´ egalement dupliqu´ ees pour ˆ etre ´ elargies. En- fin, les sons d’impact peuvent ˆ etre ´ elargis individuelle- ment par duplication des composantes modales, si celles- ci sont assez nombreuses, ou r´ epartis autour de l’audi- teur dans le cas d’impacts multiples (pour simuler une

“pluie d’impacts” ´ etal´ ee spatialement).

Pour gagner en efficacit´ e, les atomes impulsifs ne sont pas tous spatialis´ es ind´ ependamment, mais re- group´ es dans huit sources secondaires. Cette m´ ethode s’apparente au clustering spatial de sources propos´ e par Tsingos et al. dans [11]. Ainsi quel que soit le nombre d’impacts ` a synth´ etiser (il peut s’agir de plusieurs cen- taines dans le cas de gouttes de pluie ou de cr´ epitements de feu) le nombre de sources ` a spatialiser est toujours limit´ e ` a huit.

Pour conclure, l’effet d’extension spatiale des sources sonores int´ egr´ e au synth´ etiseur combine deux ap- proches : la duplication et la r´ epartition des atomes.

Les atomes bruit´ es continus sont d´ ecorr´ el´ es et du- pliqu´ es, alors que les atomes impulsifs sont repartis dans huit sources secondaires autour de l’auditeur. Des tests d’´ ecoute informels ont montr´ e que cette approche com- bin´ ee est pertinente pour ´ elargir de mani` ere r´ ealiste des sources environnementales contenant du bruit station- naire et des impulsions, comme du feu ou de la pluie.

L’extension spatiale leur conf` ere une dimension plus im- mersive qu’une simple source ponctuelle.

3.2 Sons de solides

Nous consid´ erons ici les sons de solides en vibration, et plus sp´ ecifiquement les sons d’impact. Des contrˆ oles haut-niveau ont ´ et´ e propos´ es dans [9]. L’utilisateur peut orienter la synth` ese en fonction de propri´ et´ es de la source qu’il souhaite simuler, i.e., le mat´ eriau consti- tuant l’objet, sa forme et sa taille, la force d’excitation, la duret´ e du maillet et la position de l’impact sur l’objet.

Nous reprenons ici certains de ces contrˆ oles haut-niveau, qui ont ´ et´ e impl´ ement´ es dans le synth´ etiseur.

Force La force de l’impact est li´ ee ` a la quantit´ e d’´ energie qui est communiqu´ ee au syst` eme r´ esonant. Ce

contrˆ ole agit d’abord sur le volume du son synth´ etique.

De plus, Aramaki et al. proposent de lier la force avec la brillance et le temps d’attaque du son de synth` ese [9]. Un impact plus fort correspond ` a un son au contenu spectral plus riche en fr´ equences aigu¨ es et au temps d’at- taque plus court.

Mat´ eriau Notre perception du mat´ eriau d’un ob- jet frapp´ e est principalement li´ e ` a l’amortissement et au contenu spectral du son d’impact. Le contrˆ ole du mat´ eriau propos´ e dans [9] exploite ces indices percep- tifs. L’analyse de sons d’impact r´ eels ` a permis d’extraire des profils d’amortissement et des profils spectraux ty- piques de diff´ erents mat´ eriaux, comme le bois, le verre et le m´ etal. Aramaki et al. proposent ensuite de naviguer entre les mat´ eriaux en appliquant des techniques d’in- terpolation sur les param` etres de synth` ese pour passer d’un profil ` a l’autre (morphing).

Forme de l’objet Dans [9] les auteurs proposent de relier la forme de l’objet ` a l’inharmonicit´ e du son de synth` ese. Nous avons repris cette m´ ethode dans le synth´ etiseur. Trois prototypes de formes sont dispo- nibles pour un objet, conduisant ` a des profils d’harmo- nicit´ e diff´ erents : 1D (forme lin´ eaire), 2D (membrane ou plaque) et 3D (forme complexe). A titre d’exemple, la simulation d’une forme lin´ eaire conduit ` a un son har- monique alors qu’une plaque r´ esonante produira un son inharmonique.

Point d’impact Lorsqu’un objet est excit´ e ` a diff´ erents endroits, le son r´ esultant connaˆıt des va- riations de timbre. L’objet gardant toujours la mˆ eme forme, ses fr´ equences propres sont conserv´ ees. Cepen- dant, l’´ energie donn´ ee aux modes de r´ esonance varie avec le point d’impact, celui-ci pouvant tomber sur un ventre ou sur un noeud pour un mode donn´ e. Dans [9]

les auteurs proposent de simuler ces variations de timbre en appliquant un filtrage sur le son g´ en´ er´ e, les creux et bosses du filtre variant selon le point d’excitation sur l’objet.

3.3 Sons a´ erodynamiques

3.3.1 Vent

Comme nous l’avons vu dans la premi` ere partie, le vent est constitu´ e d’atomes bruit bande-´ etroite, dont les param` etres sont la largeur de bande, la fr´ equence centrale, la pente de l’enveloppe spectrale et l’enve- loppe temporelle (gain variable au cours du temps). Des tests d’´ ecoute informels ont montr´ e que la superposi- tion de trois atomes bruit bande-´ etroite donne de bons r´ esultats perceptifs. Ici nous pr´ esentons deux contrˆ oles haut-niveau, qui ont ´ et´ e int´ egr´ es au synth´ etiseur : la force et la “froidure” du vent.

Force Ce contrˆ ole est bas´ e sur les travaux de Far-

nell [8] qui propose de modifier conjointement l’ampli-

tude et la fr´ equence de r´ esonance des bruits filtr´ es en

fonction d’un param` etre qui simule la vitesse du vent.

Cette vitesse est astucieusement g´ en´ er´ ee par un oscilla- teur basse-fr´ equence auquel est ajout´ e un bruit passe- bas pour simuler des rafales et autres bourrasques. Soit a ₀ la vitesse moyenne du vent, a ₁ l’amplitude et f ₀ la fr´ equence de la sinuso¨ıde, et b(t) les perturbations al´ eatoires qui simulent des rafales soudaines, la vitesse du vent est donn´ ee par :

v(t) = a ₀ + a ₁ sin(2πf ₀ t) + b(t)

La composante b(t) est obtenue par filtrage passe- bas d’un bruit blanc, avec une fr´ equence de coupure tr` es basse (autour de 1Hz). Le param` etre de vitesse du vent agit sur l’amplitude et la fr´ equence centrale des filtres passe-bande dans lesquels sont inject´ es du bruit blanc.

Les fr´ equences centrales varient proportionnellement ` a la vitesse :

f c (t) = k 0 v(t − τ) + k 1

o` u k 0 et k 1 sont des constantes. L’introduction d’un retard τ diff´ erent pour chaque filtre permet de cr´ eer des variations entre les composantes bruit´ ees qui aug- mentent le naturel du son. Dans le synth´ etiseur, les re- tards des trois atomes bruit bande-´ etroite formant le vent sont fix´ es ` a τ = 0, τ = 1.74 et τ = 0.14 secondes respectivement.

Le contrˆ ole haut niveau “force du vent” couple la vitesse moyenne a 0 , l’amplitude de la sinuso¨ıde a 1 et l’amplitude des perturbations b(t). Soit F le contrˆ ole de la force du vent, variant de 0 (pas de vent) ` a 1 (vent fort), le param` etre de vitesse du vent s’exprime alors :

v(t) = F 1 + 1

4 sin(2πf ₀ t) + b(t)

La vitesse agit ensuite sur la fr´ equence de coupure et l’enveloppe temporelle (gain) des atomes bruit bande-

´ etroite, comme d´ ecrit pr´ ec´ edemment.

Froidure Si l’enveloppe temporelle et la fr´ equence de coupure sont d´ efinies par la force du vent, il est n´ ecessaire de sp´ ecifier les largeurs de bande, les pentes et les gains relatifs des trois atomes de bruit bande-´ etroite utilis´ es. Nous avons introduit un contrˆ ole appel´ e “froi- dure du vent” qui agit sur ces param` etres. Le contrˆ ole de froidure intervient ´ egalement sur les valeurs de k 0

et k 1 qui r´ egissent la relation entre vitesse du vent et fr´ equences centrales des atomes. Nous avons d´ efini deux jeux de valeurs (“presets”) pour ces cinq param` etres, correspondant ` a deux types de vent tr` es diff´ erents. Le premier correspond ` a un vent r´ esonnant, ´ evoquant un vent glacial sur la banquise. Le second est un vent tr` es bruit´ e, qui ´ evoque une tempˆ ete dans des arbres. Le contrˆ ole de froidure r´ ealise simplement une interpolation lin´ eaire des param` etres pour passer progressivement du vent glacial ` a la tempˆ ete dans les arbres. Les valeurs in- term´ ediaires de froidure permettent d’obtenir diff´ erents types de vent.

3.3.2 Whooshs

Tout comme le vent, les whooshs sont simul´ es par une somme de trois atomes bruit bande-´ etroite. Les am- plitudes des atomes sont fix´ ees ` a 0.1, 0.5 et 1, leurs lar- geurs de bande ` a 43Hz et leurs pentes ` a ¹⁰⁰ _f

s

, ¹¹⁰⁰ _f

s

et ⁵⁰⁰ _f

s

respectivement, f _s ´ etant la fr´ equence d’´ echantillonnage.

Ces valeurs donnent de bons r´ esultats perceptifs pour si- muler des souffles d’air correspondant ` a un objet (petit ou grand) fendant l’air. Les contrˆ oles haut-niveau pro- pos´ es sont la dur´ ee, la taille de l’objet, et l’´ etendue de son mouvement.

Dur´ ee Le contrˆ ole de dur´ ee permet ` a l’utilisateur de sp´ ecifier les temps d’attaque t 1 et de relˆ achement t 2

du son. L’analyse temps-fr´ equence d’enregistrements de whooshs nous a conduit ` a d´ efinir une enveloppe d’am- plitude v(t) sous la forme de deux exponentielles, l’une croissante pour la phase d’attaque, l’autre d´ ecroissante pour la phase de relˆ achement :

v(t) =

e ^α

^(t−t

⁾ pour 0 < t ≤ t 1

e ^−α

^(t−t

⁾ pour t 1 < t ≤ t 2

Les coefficients d’amortissement α 1 et α 2 sont cal- cul´ es pour former l’enveloppe de mani` ere ` a ce qu’elle soit exponentiellement croissante de 10 ⁻⁴ ` a 1 en t 1 secondes, puis exponentiellement d´ ecroissante de 1 ` a 10 ⁻⁴ en t 2 se- condes. Cette enveloppe agit sur le gain et la fr´ equence centrale des atomes de bruit bande-´ etroite constituant le whoosh. Ce proc´ ed´ e est similaire ` a celui pr´ esent´ e pour le param` etre de vitesse du vent.

Taille de l’objet Le param` etre v(t) d´ efini dans le paragraphe pr´ ec´ edent contrˆ ole ´ egalement la fr´ equence de coupure des atomes du whoosh, via une relation lin´ eaire :

f c (t) = k 0 v(t) + 20 (1) Le contrˆ ole “taille de l’objet” (not´ e T aille) sp´ ecifie la valeur de k 0 pour les trois atomes du whoosh :

k 0 = cst.2

(2) o` u cst est ´ egale ` a 900 pour le premier atome du whoosh, 1200 pour le deuxi` eme et 1500 pour le troisi` eme. T aille varie entre 0 et 127 par souci de compa- tibilt´ e avec la norme MIDI [12]. La relation sp´ ecifi´ ee par les ´ equations 1 et 2 est satisfaisante perceptivement : la brillance du son diminue lorsque la taille de l’objet augmente. Une ´ etape de calibration serait n´ eanmoins n´ ecessaire pour d´ eterminer plus finement la relation entre la taille de l’objet exprim´ ee en centim` etres par exemple, et la valeur de k 0 correspondante.

Mouvement Un son de whoosh ´ etant provoqu´ e par un objet en mouvement, il est naturel de faire varier la position de la source virtuelle autour de l’auditeur du- rant le son. C’est pourquoi nous proposons un contrˆ ole appel´ e “mouvement” qui agit sur la position du whoosh au cours du temps, et assure un son rotatif autour de l’auditeur en augmentant lin´ eairement l’azimut de la source virtuelle :

θ(t) = θ(t 0 ) + M t t ₂

M ´ etant la valeur du contrˆ ole de mouvement, qui

peut varier de 0 (pour un son fixe) ` a 720 (pour deux

tours complets).

3.3.3 Feu

Pour le feu, nous proposons dans le synth´ etiseur trois contrˆ oles de haut-niveau, qui permettent d’obtenir diff´ erents types de sons allant d’un bruit de chaudi` ere ` a un feu de forˆ et, en passant par un feu de chemin´ ee. Ces contrˆ oles sont la densit´ e des cr´ epitements, la taille des flammes et l’intensit´ e globale.

Densit´ e de cr´ epitements Les impacts bruit´ es simu- lant les cr´ epitements sont d´ eclench´ es al´ eatoirement en suivant une loi de Poisson. A chaque trame, il y a une chance sur λ qu’un impact soit d´ eclench´ e (λ ´ etant le nombre moyen de cr´ epitements qui tombent par unit´ e de temps). Le gain et la densit´ e λ des cr´ epitements sont modifiables interactivement.

Taille des flammes La taille des flammes est simul´ ee au travers du gain des quatre premi` eres bandes ERB de l’atome bruit large-bande pr´ esent dans le feu. Le contrˆ ole taille des flammes amplifie ou diminue l’´ energie du son dans ces bandes de fr´ equence. Pour apporter de la “vie” au bruit des flammes, celui-ci est ´ egalement mo- dul´ e par un bruit tr` es basse fr´ equence (fr´ equence de cou- pure autour de 1Hz).

Intensit´ e Le param` etre intensit´ e du feu est un contrˆ ole global qui agit simultan´ ement sur la densit´ e et le gain des cr´ epitements, ainsi que sur la taille des flammes et le gain des sifflements pour transformer un petit feu de chemin´ ee en un brasier ardent. Le bruit basse fr´ equence modulant la taille des flammes est

´ egalement reli´ e lin´ eairement au contrˆ ole intensit´ e du feu, pour g´ en´ erer des fluctuations d’amplitude plus grandes lorsque l’intensit´ e augmente.

La figure 1 montre une repr´ esentation graphique du feu et illustre l’int´ erˆ et des contrˆ oles haut-niveau dans un cadre audio-visuel : une forte interaction image/son peut ˆ etre obtenue en contrˆ olant les deux modalit´ es par les mˆ emes param` etres haut-niveau.

3.4 Sons de liquides

3.4.1 Pluie

Les contrˆ oles haut-niveau propos´ es pour le son de pluie sont la densit´ e de gouttes, le gain du bruit d’am- biance et l’intensit´ e globale. La figure 2 illustre ces pos- sibilit´ es de contrˆ ole : on y voit la densit´ e des gouttes et le volume du bruit d’ambiance augmenter au cours du temps pour simuler une pluie de plus en plus forte.

Densit´ e de gouttes Tout comme pour les cr´ epitements du feu, les gouttes (qu’il s’agisse de gouttes sur une surface rigide ou liquide) sont d´ eclench´ ees al´ eatoirement en suivant une loi de Poisson.

Il est possible pour l’utilisateur de sp´ ecifier la densit´ e temporelle et le gain des gouttes qui tombent dans l’eau, de mˆ eme pour les gouttes qui tombent sur une surface rigide.

Figure 1 – Exemples de contrˆ oles haut-niveau du feu agissant simultan´ ement sur le rendu visuel et sonore.

L’utilisateur peut contrˆ oler la taille des flammes et la densit´ e des cr´ epitements pour simuler diff´ erentes

intensit´ es de feu (image+son).

Bruit d’ambiance Le bruit d’ambiance de la pluie, r´ ealis´ e via un atome bruit large-bande, peut ˆ etre contrˆ ol´ e ind´ ependamment des gouttes. Il est possible de sp´ ecifier son gain et sa couleur. Un preset de couleur est fourni ` a l’utilisateur. Il provient d’une analyse d’un son de pluie r´ eelle, via un vocodeur ` a 32 canaux sur une

´ echelle ERB, comme d´ ecrit dans [13].

Intensit´ e Le contrˆ ole de l’intensit´ e de la pluie agit si- multan´ ement sur l’ensemble des param` etres pr´ ec´ edents : le gain des gouttes sur les feuilles, le gain des gouttes dans l’eau, leurs densit´ es, le gain du bruit d’ambiance.

Ce contˆ ole global permet de simuler une transition conti- nue entre une pluie fine et une pluie forte. En pratique le mapping consiste en une relation lin´ eaire ou expo- nentielle entre la valeur de l’intensit´ e de la pluie et les param` etres de gain et de densit´ e des gouttes. Cette strat´ egie procure une bonne ad´ equation entre le contrˆ ole et le rendu sonore, mais une calibration plus ajust´ ee doit encore ˆ etre r´ ealis´ ee.

3.4.2 Vagues

Les contrˆ oles haut-niveau que nous proposons sont la taille des vagues et la r´ egularit´ e de l’enchaˆınement temporel entre deux vagues successives.

Taille Nous avons sp´ ecifi´ e les param` etres de synth` ese

(i.e., enveloppe temporelle, brillance, amplitude et cou-

leur) pour deux vagues de r´ ef´ erence associ´ ees ` a des tailles

diff´ erentes : petite et grande. Pour synth´ etiser une vague

de taille interm´ ediaire, nous r´ ealisons une interpolation

lin´ eaire des param` etres de synth` ese.

Figure 2 – Exemples de contrˆ oles de haut-niveau pour la pluie. La densit´ e de gouttes et le volume du bruit d’ambiance peuvent ˆ etre modifi´ es interactivement pour

passer de fa¸ con continue de quelques gouttes ` a une grosse averse.

R´ egularit´ e Ce contrˆ ole ajoute une valeur al´ eatoire aux dur´ ees des cinq phases du d´ eferlement de la vague.

Toutes les vagues d´ eferlent de la mˆ eme mani` ere si la r´ egularit´ e est ` a 1. Sinon, les dur´ ees des cinq phases sont diff´ erentes d’une vague ` a l’autre. Cela permet d’´ eviter les r´ ep´ etitions et d’augmenter le r´ ealisme de la sc` ene de mer.

4 Conclusion

Nous avons d’abord pr´ esent´ e une d´ ecomposition ato- mique adapt´ ee ` a plusieurs types de sons d’environne- ment : des impacts, du vent, des whoosh, du feu, des gouttes, de la pluie et des vagues. Pour d´ eterminer les combinaisons d’atomes appropri´ ees, nous nous sommes inspir´ es de mod` eles existants (qu’ils soient bas´ es sur la physique ou le signal) et avons examin´ e avec attention des repr´ esentations temps-fr´ equence d’enregistrements.

A l’avenir, cette d´ emarche devrait permettre de d´ efinir de nouveaux atomes, si les cinq propos´ es ne suffisent pas pour reproduire un son particulier, et de d´ eterminer leur param´ etrage pour reproduire d’autres sources environ- nementales.

Nous avons ensuite propos´ e un ensemble de contrˆ oles haut-niveau pour g´ erer les atomes du synth´ etiseur de mani` ere intuitive. L’utilisateur peut modifier in- teractivement la position et l’extension spatiale des sources sonores. Il dispose ´ egalement d’un ensemble de moyens d’agir sur les propri´ et´ es physiques des sources, par exemple, l’intensit´ e de la pluie, la den- sit´ e de cr´ epitements d’un feu ou la taille d’une vague.

Les contrˆ oles pr´ esent´ es ont ´ et´ e valid´ es par des tests d’´ ecoute informels. Une calibration plus rigoureuse se- rait n´ ecessaire. Des exemples sonores sont disponibles

en ligne [14].

Pour agir sur la sc` ene sonore toute enti` ere, nous en- visageons de d´ efinir des contrˆ oles manipulant plusieurs sources simultan´ ement, par exemple les vagues, le vent et la pluie pour r´ ealiser une sc` ene de tempˆ ete de mer interactive. Toutes ces sources doivent ˆ etre reli´ ees d’une mani` ere ou d’une autre dans le synth´ etiseur, pour assu- rer la coh´ erence de la sc` ene globale. L’int´ egration de ce type de fonctionnalit´ es est actuellement en cours d’in- vestigation.

R´ ef´ erences

[1] Verron C., Aramaki M., Kronland-Martinet R., Pallone G. “A 3D Immersive Synthesizer for Envi- ronmental Sounds”. accepted to IEEE Transactions on Audio, Speech, and Language Processing . [2] Serra X., Smith J.O. “Spectral modeling synthe-

sis : A sound analysis/synthesis system based on a deterministic plus stochastic decomposition”. Com- puter Music Journal 14 (4), (1990) 12–24.

[3] Gaver W.W. “What in the World Do We Hear ? An Ecological Approach to Auditory Event Percep- tion”. Ecological Psychology 5(1), (1993) 1–29.

[4] Verron C., Aramaki M., Kronland-Martinet R., Pallone G. “Controlling a Spatialized Environmen- tal Sound Synthesizer”. Proceedings of the 2009 IEEE Workshop on Applications of Signal Proces- sing to Audio and Acoustics (2009).

[5] Cook P.R. Real Sound Synthesis for Interactive Ap- plications . A. K Peters Ltd. (2002).

[6] Dobashi Y., Yamamoto T., Nishita T. “Real- time rendering of aerodynamic sound using sound textures based on computational fluid dyna- mics”. ACM Transactions on Graphics (Proc. SIG- GRAPH 2003) 22 (3), (2003) 732–740.

[7] van den Doel K. “Physically-based Models for Li- quid Sounds”. Proceedings of ICAD 04-Tenth Mee- ting of the International Conference on Auditory Display (2004).

[8] Farnell A. Designing sound, procedural audio for games and film. Applied Scientific Press (2008).

[9] Aramaki M., Gondre C., Kronland-Martinet R., Voinier T., Ystad S. “Thinking The Sounds : an Intuitive Control of an Impact Sound Synthesizer”.

Proceedings of ICAD 09 - 15th International Confe- rence on Auditory Display (2009).

[10] Marque E. “Synth` ese de sons d’environnement pour la r´ ealit´ e virtuelle”. Master’s thesis, Master jeux et m´ edias interactifs num´ eriques (2009).

[11] N. Tsingos E.G., Drettakis G. “Perceptual audio rendering of complex virtual environments”. ACM Transactions on Graphics 23(3), (2004) 249–258.

[12] http ://www.midi.org/ .

[13] Verron C., Aramaki M., Kronland-Martinet R., Pallone G. “Analysis/Synthesis and Spatialization of Noisy Environmental Sounds”. Proceedings of ICAD 09 - 15th International Conference on Audi- tory Display (2009).

[14] www.lma.cnrs-mrs.fr/∼kronland/CFA/index.html .