L’ « audition virtuelle » :

L’audition est le sens lié aux sons. C’est-à-dire que notre sens de l’audition sera mis de l’avant lorsque nous entendons un son, quelque chose de sonore autour de nous (Garner 2020). Le son possède plusieurs caractéristiques telles que le timbre, l’intensité et la hauteur tonale (O’Callaghan 2009). Celui-ci a été le sujet de nombreuses études anthropologiques (Feld et Brenneis 2004, Samuel et al. 2010, Schulze 2018), mais également en sciences sociales et dans plusieurs autres domaines. De toutes ses approches, deux ont retenu mon attention soit celle du son comme objet proposé par le philosophe Robert Pasneau ainsi que l’approche du philosophe Casey O’Callaghan axée sur la conception du son comme étant un évènement. Ces deux approches aident à concevoir le rôle du sens dans l’expérience immersive virtuelle puisqu’elles proposent des pistes d’analyses sur le rôle et la provenance du son.

21 _{Le sens olfactif peut, grâce à certaines technologies émanant des odeurs, être stimulé lors d’une expérience}

sensorielle virtuelle. Le masque Feelreal VR, sorti en 2019, permet de respirer les odeurs correspondantes à celles présentent dans l’environnement virtuel (Bastien L. 2019).

Le philosophe Robert Pasnau (1999) propose que le son soit un objet. Puisque le son à une source, cette source doit nécessairement être liée à un objet. Pour lui, le son n’est pas ambiant, mais provient d’un objet spécifique. Il est important de noter que pour Pasnau, le son reste une onde en premier lieu, mais une onde qui provient d’un objet. Il présente l’exemple du son dans une pièce avec l’exemple de la musique : « The amplification of sound, and the enclosed space, make it seem as if the sound is coming from everywhere. But we should not conclude that the sound is anywhere other than in the speakers, or in the jackhammer » (1999 : 312). Son exemple représente bien ici l’essence de son approche du son comme étant un objet. Le son existe grâce à l’élément qui le produit, que ce soit une technologie, un chien qui jappe, un livre qui tombe, etc. Bien qu’il provienne d’un objet virtuel, le son virtuel s’inscrit également dans la conception de Pasnau du son. Dans le cadre du jeu PRISON BOSS VR, les sons proviennent d’objets spécifiques dans le jeu. Que ce soit le son des pas des gardes qui patrouillent, du crayon qui tombe par terre ou du tiroir qui se ferme, le son provient toujours d’un objet. Cette approche vient s’inscrire dans mon désir de saisir l’utilisation de l’audition virtuelle, de la façon dont le son est pensé au sein du virtuel ainsi que de son influence lors du processus d’immersion sensorielle.

La deuxième approche du son discuté est celle du son comme étant un évènement. Le philosophe Casey O’Callaghan (2009) propose que le son soit indubitablement lié à un évènement :

The sounds are the events in which a medium is disturbed or changed or set into motion in a wave‐like way by the motions of bodies. Events such as collisions and vibrations of objects cause the sound events. Among the effects of sounds may be sound waves propagating through a medium and the auditory experiences of perceivers. Medium‐disturbing events are what we hear to have particular pitch, timbre, loudness, and location. (2009 : 36)

La perception auditive nous permet donc de prendre conscience de ce qui nous entoure, des évènements qui se produisent dans notre environnement direct, mais également lointain. Le son nous aide à comprendre les évènements. O’Callaghan donne l’exemple d’un meuble qui se déplace. Nous savons où se trouve ce meuble et que le son qui est produit vient de celui-

un évènement spécifique. Cet évènement doit exister pour pouvoir créer le son qui lui est associé. O’Callaghan vient donc supporter l’idée de Pasnau de l’origine du son comme ayant un objet, un emplacement spécifique. De ce fait, il propose que si les sons proviennent d’objets spécifiques, ceux-ci soient tout de même liés à des évènements, puisqu’un objet immobile ne produira pas de son. Un évènement doit se produire.

En plus de faire émerger plusieurs questionnements en lien avec l’objectif de cette recherche, ces deux théories viennent souligner quelques enjeux retrouvés au sein des études en sciences informatiques liées à la production de sons virtuels ainsi qu’à l’audition virtuelle. Le son est souvent utilisé pour provoquer des réactions ou encore des comportements précis chez l’utilisateur :

Whether it is by means of a constraining virtual camera system (Taylor, 2005), by using stylistic effect such as the thick fog shrouding the streets of Silent Hill (Konami, 1999), or by drastically reducing sources of light, game designers have, through time, found a variety of ways to force the gamer to utilise their ears in order to help their player character survive in the nightmarish worlds in which they play. (Roux-Girard et Grimshaw 2010)

Le son est utilisé pour aider les joueurs à comprendre les mécanismes du jeu et ainsi être capable d’avancer dans ce nouvel univers virtuel. L’importance de l’audition et des sons est soulignée par Alexandre, créateur du jeu PRISON BOSS VR ainsi:

Nous on met des sons spécialisés qui sont comme … ce sont des sons binauraux, ça simule l’intérieur des cavités des oreilles pour vraiment placer les sons d’en fonction d’où ils sont, des échos et des trucs comme ça. Et ça, ça joue beaucoup sur à quel point l’environnement est plausible pour tes sens, on va dire. Mais dès qu’il y a quelque chose qui est off, un son qui ne résonne pas comme il faut ou genre quelque chose dont la perspective est mauvaise ou y’a comme des choses qui kick et qui passe devant dans la perspective et qui ne devraient pas… toutes ces choses vraiment off, qui ne devraient pas en termes de physique/basique sensé s’implanter dans la réalité, tout ça nuit beaucoup à l’immersion.

Alexandre souligne donc l’enjeu de la positionnalité du son. Si, tout comme Pasnau et O’Callaghan ont mentionné, le son provient d’un objet et d’un évènement, au sein d’un environnement virtuel, le son doit être positionné avec son objet virtuel. Les créateurs doivent

tenir compte de cette réalité. Le son doit donc être manipulé de façon à ce que sa provenance ait du sens pour le joueur, au risque de nuire à l’expérience de celui-ci. Le spécialiste en création d’univers virtuel Alex Colgan (2017) énonçait cet enjeu ainsi : « Sound communicates the inception, success, failure, and overall nature of interactions and game physics, especially when the user’s eyes are drawn elsewhere (2017:1) ». Le son doit être réfléchi, il doit être intégré afin d’aider le joueur à vivre une expérience immersive sensorielle. L’intégration du son à l’intérieur de l’environnement virtuel est une étape cruciale et difficile puisque comme mentionné par Alexandre, une simple erreur de synchronisation entre l’action, l’évènement et le son peut diminuer le sentiment d’immersion du joueur et cette réalité est énoncé par plusieurs professionnels en RV : “For game developers, this is also a double-edged sword that relies on careful timing, as even being off by a quarter second can disrupt the experience.” (Colgan 2017:1). Daniel * renchérit en mentionnant que grâce au son : « le joueur va sentir que le monde vit ». Pour lui, manipuler les sens tel que l’audition permet de faire « exister le monde en plus de ce que le joueur voit [...] ». C’est pour cette raison que l’audition devient une nécessité puisqu’elle informe sur l’activité du monde virtuel, permet au joueur de naviguer à l’intérieur de celui-ci, d’en faire du sens. L’audition virtuelle est un outil que les créateurs utilisent pour réussir à « coloniser l’imaginaire » des joueurs et de permettre à ceux-ci de vivre une immersion sensorielle virtuelle.