L’activité de l’équipe au cours de la période 2007-2012 est conforme aux objectifs fixés dans le projet UMR présenté en 2005, tout particulièrement en ce qui concerne les recherches menées sur la perception des sons environnementaux et les applications en design sonore allant des travaux menés sur les alarmes à ceux consacrés à l’aide à la navigation.
La description morphologique d’un son environnemental est fortement liée aux variations, au cours du temps, de l’intensité perçue. Aussi, les travaux de l’équipe ont été concentrés depuis 2009 sur la caractérisation des profils temporels et sur la sonie des sons non stationnaires. Sur ce thème, l’équipe mène une étroite collaboration avec le LMA-CNRS à Marseille, notamment dans le projet ANR LoudNat, ainsi qu’avec l’équipe Analyse/synthèse de l’Ircam dans le projet ANR Houle. Sur le thème de la signalétique sonore, les travaux ont été poursuivis sur les alarmes sonores notamment dans le cadre du projet ANR RoadSense, et dans le cadre de différentes collaborations avec l’industrie automobile (Renault).
Par ailleurs, les questions théoriques et méthodologiques en perception et en design sonore ont été étendues au nouveau champ de recherche du design sonore interactif au travers de multiples collaborations internationales notamment dans le cadre de la COST-Action SID (Sonic Interaction Design) et du projet européen CLOSED coordonné par l’équipe. Les différents membres de l’équipe ont notamment participé à plusieurs workshops au niveau international ainsi qu’à l’organisation de l’ICAD en 2008 à Paris (International Conference in Auditory Display), en collaboration avec l’équipe EAC. Sur ce nouveau thème du design sonore interactif, l’équipe mène différents projets en collaboration avec l’équipe IMTR de l’Ircam, plus récemment dans le cadre du projet ANR Legos.
Il faut noter que la composante appliquée est toujours une part importante de l’activité de l’équipe puisqu’elle mène régulièrement des projets avec l’industrie, soit sous forme de projets de recherche, soit sous forme de thèse CIFRE. Pour finir, l’équipe s’est impliquée fortement de 2007 à 2010 dans la mise en place du Master Design Sonore qui a démarré à la rentrée 2011 à l’Ecole Supérieure des Beaux-Arts du Mans (ESBAM) en collaboration avec l’ESBAM, le LAUM et l’ENSCI.
2.6.1 Perception des sons environnementaux
2.6.1.1 Recensement, organisation et description perceptive des sons environnementaux
Le thème concernant la perception des sons environnementaux est une problématique importante que l’équipe traite depuis plusieurs années. L’objectif est de proposer une organisation et une description perceptive des sons environnementaux, et d’appliquer ces connaissances au design sonore d’objets du quotidien. Ces travaux ont été réalisés en grande partie dans le cadre du projet européen CLOSED (Closing the Loop of Sound Evaluation and Design) et du projet ANR SOR (Sample Orchestrator) terminés respectivement en septembre et juin 2009, et se poursuivent dans le cadre de deux projets ANR, respectivement Houle (2011-2014) et LoudNat (2011-2015).
2.6.1.1.1 Les classes d’événements sonores
Ces travaux ont permis de formaliser et de valider plusieurs hypothèses quant à la perception des sons environnementaux. Tout d’abord, il a été montré que leur perception repose sur trois niveaux de description : le premier permettant de définir des classes de sonsen termes de sonie, de timbre et de profils dynamiques ; le deuxième permettant de représenter ces classes en termes d’événements sonores associés à la production d’un son, on parle de relation causale ; le troisième permettant de relier ces classes à un réseau sémantique représentatif de l’organisation de nos connaissances associées à ce type de son. Les expériences menées ont révélé que le niveau de description dépend, d’une part, de la facilité à identifier l’événement sonore, et d’autre part, du niveau d’expertise des auditeurs dans le domaine du son [Lemaitre09e]. Par ailleurs, ces expériences ont permis de valider expérimentalement la taxonomie des événements sonores, proposée par W. Gaver, fondée sur différentes catégories d’état (solide, liquide, gaz) et sous-catégories d’interaction [Houix12a]. Ces résultats sont importants, et permettent d’élaborer des connaissances sur les modes de perception des sons en relation avec leur mode de production en termes d’action et de geste produit par le sujet.
Il faut noter que ce niveau intermédiaire de description des sons en termes d’événements sonores est peu mentionné dans la littérature en dehors de quelques travaux récents combinant approche perceptive, approche physique et comportement gestuel avec une source sonore. Ces travaux auront des implications pour la synthèse sonore par modèle physique mais aussi pour le domaine émergent du design sonore interactif.
2.6.1.1.2 Description du timbre et applications
Un recensement des descripteurs du timbre des sons environnementaux a été effectué à partir d’un ensemble d’études déjà publiées. Une expérience de classification des sons provenant de ces études a révélé trois classes de sons qui peuvent être décrites au niveau acoustique [Misdariis10b]. Il apparaît que la description fondée sur des similarités acoustiques est spécifique à chaque classe de sons, mais que le centre de gravité spectral (souvent interprété comme « brillant » « métallique », … ) est un descripteur commun à un grand nombre de classes de sons environnementaux, comme pour les sons musicaux. Cette synthèse concernant les descripteurs du timbre des sons environnementaux fait suite aux travaux, menés dans l’équipe depuis plusieurs années, visant à proposer un ensemble de descripteurs perceptivement pertinents pour décrire le timbre musical [Peeters11d]. L’ensemble des résultats obtenus permettra, d’une part, de développer des outils de recherche par similarités dans des bases de données sonores, et d’autre part, de proposer des descripteurs pertinents pour les études menées en design sonore.
En effet, plus récemment (de 2010 à 2011), ces travaux ont été étendus et appliqués à d’autres classes de sons dans le cadre d’un nouveau projet avec l’industrie – une société horlogère. L’un des objectifs consistait à caractériser le timbre de sonneries produites par des barres métalliques, de petites tailles, excitées par un impact. Les résultats ont révélé que les sonneries peuvent être décrites par deux dimensions correspondant respectivement à la surface modale et à la répartition fréquentielle de l’énergie. Cette étude a permis d’élaborer un cahier des charges pour la création de sonneries en adoptant un processus global de design sonore en trois phases successives – analyse, création et validation – décrit dans [Susini11c].
Pour finir, dans le cadre de la thèse d’Aurélie Frère, effectuée en partenariat (CIFRE) avec Renault et soutenue en septembre 2011 [Frere11a], le timbre des bruits de moteur Diesel a été étudié en s’intéressant à l’influence de la composante vibratoire, d’une part, et à la dimension interculturelle (France/Allemagne), d’autre part.
2.6.1.1.3 Description morphologique de la composante temporelle
L’une des propriétés importantes des sons environnementaux reste leur caractère évènementiel, c’est-à-dire leur relation à la cause qui a produit le son. Les travaux effectués [Houix12a] montrent que la composante temporelle du son produit est souvent concomitante à l’action effectuée. Dans le cadre du projet ANR SampleORchestrator (SOR), la description morphologique des sons de l’environnement a été étudiée en considérant les grandes catégories de profils représentatifs de ce type de sons, et leurs représentations graphiques. Les principaux résultats ont mis en évidence la pertinence de la démarche dans le cas des profils dynamiques ; des classes de morphologie ont été formalisées et associées à des profils types, symbolisés graphiquement : stable, impulsif, train d’impulsions, roulement, crescendo, decrescendo [Minard10b]. Le travail se poursuit par la modélisation de ces classes en termes de descripteurs acoustiques (séries temporelles multiples) et l’extraction automatique des profils prototypes permettant de définir symboliquement chacune des classes [Koliopoulou12a].
2.6.1.1.4 Sonie des sons environnementaux
La description morphologique d’un son environnemental est fortement liée aux variations, au cours du temps, de l’intensité perçue (sonie ou « loudness » en anglais). Ces variations donnent lieu à trois types de perception : instantanée, à court terme et à long terme (impression globale). Les efforts de l’équipe se sont concentrés sur la perception de deux classes de profils : crescendo et decrescendo.
Ces travaux s’inscrivent dans le nouveau champ de recherche consacré à la sonie des sons non stationnaires. Une question soulevée concerne l’asymétrie en termes de sonie et de durée perçues : un crescendo est perçu plus fort et plus long qu’un decrescendo. Ces travaux sont menés depuis 2009 en collaboration avec le LMA-CNRS, et plus récemment dans le cadre du projet ANR Blanc LoudNat (2011-2015). Les derniers résultats indiquent que la sonie relative à l’impression globale d’un crescendo est plus importante comparativement à un decrescendo [Susini07a], que la sonie d’un son crescendo est liée à la sonie de fin [Susini10a] correspondant à une intégration d’environ 300ms de la fin du signal et que cet effet est persistant sur quelques secondes [Susini11b].
D’autre part, l’asymétrie en durée disparaît pour des durées au-delà de 500ms, et par conséquent l’asymétrie avérée en sonie pour des durées au-delà de 2s est fondée sur un autre mécanisme perceptif [Vannier12a].
2.6.1.1.5 Mémoire auditive et sons environnementaux
Dans le cadre des travaux sur les sons environnementaux, l’équipe s’est penchée sur la question du stockage en mémoire des sons environnementaux. Des expériences menées par Rowe (1976)7 et De Gelder (1997)8 ont permis de mettre en évidence des différences entre mots et sons environnementaux uniquement pour l’effet de récence dans une tâche de rappel sériel, montrant un avantage pour les mots. Une première série d’expériences menée dans l’équipe a mis en évidence l’effet de la tâche – rappel sériel ou libre – sur le rappel de sons environnementaux en fin de liste [Guelton05a]. Dans une tâche de rappel libre, une deuxième série d’expériences visant à comparer des listes de sons environnementaux et de mots associés montrent de nouveau une différence pour l’effet de récence en faveur des mots [Moumne09a]. La différence observée entre les deux listes est donc robuste à travers le type de tâches, et semble permettre de converger vers l’explication proposées par De Gelder pour un codage différent en mémoire.
2.6.1.2 Contrôle perceptif de la synthèse par modèle physique
L’objectif de ce thème d’étude est de pouvoir proposer des interfaces de haut niveau permettant un contrôle de la synthèse, notamment dans le cadre de l’utilisation d’un logiciel comme Modalys. Des approches préliminaires ont permis de proposer, pour des modèles simples, une relation entre dimensions perceptives pertinentes et paramètres des modèles [Derio05a] [DosSantos06a]. Une autre approche possible est de considérer des classes génériques de sources sonores, et non plus des modèles spécifiques. Cette nouvelle direction a été prise sur la base d’un environnement de synthèse sonore (SDT – Sound Design Toolkit9. Nous nous sommes intéressés à des catégories de matériaux (bois, métal, verre, plastique). Nous avons identifié les caractéristiques acoustiques compatibles avec la synthèse SDT (fréquences, gains et amortissements modaux), et nous avons construit un corpus d’étude représentatif pour une expérience de catégorisation aboutissant à la labellisation des sons suivant la typologie étudiée. Dans ce processus expérimental, nous avons introduit des techniques de Machine Learning afin d’orienter le choix des stimuli présentés et converger plus rapidement vers la définition des classes : parmi plusieurs techniques testées, les meilleures performances ont été obtenues avec un modèle de Perceptron. Pour l’instant, les résultats ne permettent pas d’obtenir de meilleures conclusions que ceux de la littérature : la différenciation entre 2 grandes classes (verre, métal) vs. (plastique, bois) [Ludlow08b].
2.6.1.3 Reproduction du rayonnement
Le travail sur la reproduction du rayonnement s’est focalisé de manière exploratoire sur deux points principaux. D’une part, celui de la Synthèse Additive Spatiale (SAS) qui étudie le principe de couplage d'un moteur de synthèse sonore basé sur la décomposition modale avec un moteur de synthèse du rayonnement capable de reproduire au mieux la fonction de pondération spatiale (directivité) de chacun des modes ; deux études ont alimenté cette réflexion : l’une sur le violon [Misdariis06a] et l’autre sur les instruments à trous latéraux [Misdariis10a]. D’autre part, celui de l’approche perceptive qui part de l’hypothèse que le contrôle du rayonnement permet de réduire l’écart entre un son provenant soit d’une source réelle soit d’un dispositif électro-acoustique ; les résultats d’une étude préliminaire [Lang07a] montrent globalement un effet significatif du rayonnement sur la perception, notamment en termes de distance et de largeur de source.
2.6.2 Signalétique sonore
Dans la continuité des travaux menés tout particulièrement dans le cadre des thèses de Clara Suied et de Julien Tardieu, la création d’une signalétique sonore pour les interfaces homme/machine (IHM) est un domaine d’application important en design sonore dans lequel l’équipe s’est investi depuis plusieurs années en collaboration régulière avec des compositeurs (Hiroshi Kawakami, Andrea Cera, Sébastien Gaxie). Le processus de design sonore en trois phases – analyse, création et validation – décrit dans [Susini11c] peut être véritablement engagé pour la création de signalétiques sonores puisqu’il s’agit de sons sur support numérique qui présentent l’avantage d’être facilement manipulables et intégrables dans un système électronique et informatique. Dans notre démarche, nous considérons des prérequis nécessaires pour la création de ces sons, que nous formulons à partir
7 Rowe, E.J., Rowe, W.G., Stimulus suffix effects with speech and nonspeech sounds. Memory and Cognition, 1976, 4, 128-131.
8 De Gelder, B., Vroomer, J., Modality Effects in Immediate Recall of Verbal and Non-Verbal Information, European Journ. of Gognitive Psychology, 1997, 9 (1), 97-110
9 www.soundobject.org/SDT
de recherches menées en perception sur des sons contrôlés en laboratoire mais aussi sur des sons existants d’IHM. Au cours de la période 2007-2012, trois projets ont été réalisés dans ce domaine.
2.6.2.1 Etude des alarmes : application aux bandes audio-tactiles
La question des alarmes sonores a été de nouveau abordée dans le cadre du projet ANR RoadSense.
L’objectif final du projet est de prévenir les sorties involontaires de voies de circulation en optimisant les alertes sonores et vibratoires produites par les bandes de marquage audio tactiles. L’objectif de la première phase du projet menée par l’équipe PDS a consisté à étudier l’intensité de l’effet de la composante vibratoire par rapport à la composante sonore sur la réaction d’un conducteur. Dans un paradigme expérimental de mesure du temps de réaction simple [Suied08a], deux situations ont été comparées: unimodale (stimulus sonore uniquement) et bimodale (stimulus sonore et vibratoire). Les signaux sonores et vibratoires utilisés correspondent à un motif enregistré sur piste – passage d’un véhicule sur une bande audio-tactile – répété en faisant varier l’intervalle de temps entre deux motifs (IOI – Inter Onset Interval). Les résultats des expériences confirment ceux de la littérature : plus l’IOI est petit, plus les temps de réaction sont courts. Par ailleurs, il n’y a pas d’effet significatif de la composante vibratoire sur les temps de réaction [Houix12b]. Ce résultat permet de s’affranchir de cette composante pour affiner le design de la composante sonore.
2.6.2.2 Sonification d’une structure hiérachique
Nous nous intéressons aux processus de sonification d’une structure hiérarchique d’IHM (type ordinateur de bord – projet Findability). Plusieurs approches de type earcons, auditory icons, mixtes – exploitant le potentiel d’hybridation du moteur de synthèse par modélisation physique, Modalys – ou musème (Tagg, 1982)10 ont été conçues par le compositeur associé au projet (A. Cera). Des tests de validation menés par Renault montrent, en première approche, que la sonification est bien appréciée et acceptée par les utilisateurs et que les relations sons/fonctions définies sont majoritairement pertinentes dans le cadre de l'application visée [Langlois10a] [Misdariis11a]. Plus récemment, une étude complémentaire au projet a été menée en collaboration avec l'Université de Toulouse, Le Mirail (PETRA) afin de valider, par mesures oculométriques, l'hypothèse selon laquelle la sonification de l'interface de navigation permet de limiter les détournements du regard en situation de conduite. Les premiers résultats obtenus (en cours d’analyse) valident cette hypothèse.
2.6.2.3 Design sonore du Véhicule Electrique (VE)
Suite au concours remporté en 2009 par l'équipe, associée au compositeur Andrea Cera, le projet de design sonore du VE Renault s’est déroulé en 2010-2011. Il a pris la forme d’un projet central concernant l’un des véhicules de la gamme (Zoé) et de projets connexes focalisés sur des "concept-car" (notamment DeZir). Le travail a consisté, dans un premier temps, à intégrer les spécifications provenant des différents secteurs impliqués dans le projet (Design, Produit, Ingénierie) puis à proposer des esquisses prenant en compte la dimension interactive du problème. A l’issue de plusieurs itérations, une solution prototype a été retenue par un Comité de Décision interne sous la forme de trois variations d'une même base. Le portage vers la technologie embarquée a donné lieu à plusieurs séances de mise au point statique et dynamique [Misdariis12a]. Dans la lignée de ce travail, et sur la base de l’expérience acquise, l’étude de la détectabilité du VE en milieu urbain se poursuit autour de deux grands axes : i) l'influence des propriétés sonores sur la perception de présence et d’allure d’une source en mouvement ; ii) la typologie de l’environnement sonore urbain et la caractérisation des conditions représentatives de l’usage d’un VE [Gruson12a].
2.6.3 Design sonore interactif
La nouvelle problématique de l'interaction dans le design sonore a été au centre d'une partie des travaux menés récemment par l'équipe. Le design sonore interactif consiste notamment à considérer le son comme l’un des principaux canaux pouvant véhiculer de l’information et des qualités esthétiques/émotionnelles, dans un contexte interactif. Il s’agit de mettre en place une interaction dynamique entre un utilisateur et un objet : la manipulation de l’objet produit des sons qui eux mêmes influencent la manipulation. Nos travaux initiés dans ce domaine visent à étudier la pertinence de l’information véhiculée par la composante sonore pour le contrôle, l’apprentissage et l’appréciation d’une action dans un processus dynamique engageant perception et action. Cette thématique étend les travaux menés sur les sons environnementaux en se plaçant dans un processus actif d’écoute.
Hormis, les nouvelles questions fondamentales que soulève ce nouveau champ de recherche, il est
10 Tagg P., Teoria degli affetti”, Analyzing popular music: theory, method and pratice, Popular Music, no. 2, pp 37-67, 1982.
nécessaire aussi de reconsidérer les approches méthodologiques concernant l’analyse et l’évaluation du son en termes esthétique et fonctionnel. Plusieurs approches – design participatif, bodystorming – et plusieurs types de mesure – évaluation subjective de l’aspect fonctionnel, mesure de la performance et impact émotionnel – ont été considérés dans des tâches impliquant trois dispositifs interactifs différents prototypés pour mener des expériences contrôlés. Les résultats sont très prometteurs :
- Le premier dispositif considéré (Spinotron) visait à évaluer l’influence du son sur les performances d’apprentissage d’un geste nécessaire pour réaliser une tâche. Les résultats montrent que – bien que les participants aient déclaré ne pas avoir été aidés par le son – les performances au cours du temps sont nettement améliorées par la présence du son [Lemaitre09b].
- Le deuxième dispositif (clavier ATM – Automatic Teller Machine) a été élaboré afin d’étudier dans quelle mesure la relation causale entre son et action pouvait renforcer la fonctionnalité perçue d’un dispositif dans une tâche donnée. Les résultats montrent qu’un son « causal » est toujours perçu plus fonctionnel après manipulation. Ce résultat est robuste lorsque le niveau de difficulté de la tâche augmente [Susini12a].
- Le troisième dispositif (Flops) a été développé pour évaluer l’impact du son sur l’expérience émotionnelle. Les résultats montrent qu’un son agréable a un impact favorable, et que l’effet est conservé lorsque la difficulté de la tâche augmente [Lemaitre09d].
Par ailleurs, dans le cadre d’une collaboration avec l’équipe IMTR de l’Ircam, la question du geste a été abordée lorsqu’il s’agit d’imiter des sons causaux et non causaux. Deux types de gestes sont produits selon le type de sons ; respectivement un geste imitant la production du son et un geste suivant les contours du son [Caramiaux11a]. Cette problématique combinant geste et son soulève des questions fondamentales notamment en termes d’apprentissage sensorimoteur avec des systèmes interactifs sonores dans différents champs d’application comme la musique, la réhabilitation et le design sonore interactif (thèse en cours d’Eric Boyer et projet ANR LEGOS).