La dichotomie du temps réel et du temps différé
1.2 Une dichotomie historique technologique
1.2.7 Un seuil relatif à la perception
T R = {x ∈ L | t(x) 6 s} T D = {y ∈ L | t(y) > s} (1.1) A partir de cette définition technologique minimale du temps réel et du temps différé, il apparaît d’une part que c’est le seuil de latence s qui permet de déterminer les ensembles
T R et T D, et il apparaît d’autre part que ces ensembles sont complémentaires dans L. Propriété (Complémentarité). Rappelons que deux ensembles sont dits complémentaires si et seulement si ils sont disjoints entre eux et que leur réunion vaut exactement l’ensemble L. Or, on peut déduire des équations1.1 que T R et T D sont disjoints et que leur réunion vaut exactement L.
Soit les trois ensembles L, T R et T D tels que T R ⊂ L, T D ⊂ L.
( T R∩ T D = ∅ T R∪ T D = L ⇒ ( T R = ∁LT D T D = ∁LT R (1.2)
Dans ce modèle ensembliste, la latence est à la fois ce qui sépare et ce qui fonde ces deux catégories complémentaires, mais il reste à définir quantitativement le seuil de latence s, car il n’y a pas encore véritablement de consensus sur sa valeur. . .
1.2.7 Un seuil relatif à la perception
La difficulté majeure pour s’accorder sur une valeur précise du seuil de latence tient au fait que ce seuil est relatif à la perception. Or, lorsqu’il s’agit de perception, les choses apparemment simples ou banales se révèlent souvent étonnamment compliquées lorsqu’on tente de les étudier. D’une part, nos connaissances sur le fonctionnement du cerveau res-tent encore largement lacunaires, et d’autre part, les résultats qui concernent la perception varient fréquemment d’une recherche à l’autre selon la population étudiée, le protocole expérimental, les définitions du sujet de recherche et d’autres contingences qui échappent à la mesure. Ces difficultés d’étude et de consensus dans le champ de la perception se vérifient à propos du seuil de latence, qui, à notre connaissance, n’a d’ailleurs pas été directement étudié en tant que « critère de séparation quantitatif entre le temps réel et le temps différé ».
Cependant, la latence a fait directement ou indirectement l’objet de nombreuses études de psychologie expérimentale, de psychoacoustique, d’acoustique musicale, de conception d’interfaces homme-machine ou encore de neurosciences, avec des résultats souvent diffé-rents et contestés par articles interposés. En effet, ce domaine de recherche est actif depuis fort longtemps – Henri Piéron a publié par exemple un article intitulé Recherches sur les 25
Chapitre 1. La dichotomie du temps réel et du temps différé
lois de variation des temps de latence sensorielle en fonction des intensités excitatrices
dans La revue psychologique en 1923 – mais les sociétés téléphoniques s’intéressaient déjà à ce sujet depuis la fin du xixesiècle ; par ailleurs, les progrès des appareils de mesure et des sciences expérimentales ont régulièrement renouvelé l’intérêt des études sur la perception du temps jusqu’à aujourd’hui.
Quelques résultats actuels
D’une manière générale, les chiffres avancés dans les différentes études sont compris entre 1 ms et 100 ms (parfois jusqu’à 250 ms), ce qui donne une première idée des échelles de temps concernées. Mais plus précisément, dans le domaine psychoacoustique, Stephen McAdams évoque un intervalle de 30 ms à 50 ms pour le seuil de fusion et de ségrégation perceptive de deux sources acoustiques :
Les sons provenant de sources indépendantes commencent et s’arrêtent rarement en même temps. Une fois dépassé un seuil limite de décalage d’attaque (à peu près 30 à 50 ms), l’oreille détecte la présence de deux sources. Cette régularité correspond au principe du destin commun de la théorie de la Gestalt. [...] Les composantes qui commencent avec un décalage de moins de 30 ms ont tendance à fusionner percep-tivement en un seul événement auditif (Rasch, 1978). Lorque ce décalage dépasse 50-60 ms, il en résulte souvent une perception de deux sources distinctes. Même dans un son complexe harmonique continu, si un harmonique s’arrête et recommence, il est perçu séparément comme un son pur superposé sur un son complexe. [McAdams, 1994, p. 314–315]
En fait, le seuil de latence au-delà duquel une activité interactive ne peut plus avoir lieu dépend largement des modalités de cette activité, de sa nature et de la quantité des sens impliqués dans l’interaction. Dans leur article The Quest for Low Latency, Lago et Kon pointent avec ironie l’obsession de la latence la plus faible possible, pour tenter de revenir à une définition qui prend en compte les véritables besoins par rapport à une utilisation particulière d’un système :
Low latency processing is usually a goal in real-time audio applications ; howe-ver, it is not clear how little latency is to be considered low enough. [...] So, in order to assess the quality of an interactive system regarding its latency and jitter32 cha-racteristics, we need to understand their effects on the user’s perception so that we can define maximum acceptable values for these parameters on such system. The ac-ceptable limits for latency and jitter on an interactive system may vary a lot. [Lago
et Kon, 2004]
Ils rappellent quelques valeurs pour indiquer les ordres de grandeurs en jeu dans les applications musicales, à partir de plusieurs résultats de recherche en psychoacoustique : – la perception stéréophonique peut descendre jusqu’à 20 µs dans les déviations
tem-porelles interaurales pour analyser le positionnement spatial (Pierce33) ;
32. Le grand dictionnaire terminologique de l’Oqlf donne pour jitter les traductions suivantes : « scin-tillement », « fluctuation » ou « instabilité » (d’un signal). Il s’agirait ici plutôt de l’instabilité.
33. Pierce, J. (1999). Hearing in time and space. In P. Cook (Ed.), Music, Cognition, and Computerized
sound : an Introduction to Psychoacoustics, pp. 89–103. Cambridge : MIT Press.
1.2. Une dichotomie historique technologique
– la variation dans nos battements d’une pulsation régulière avec le bout des doigts peut descendre jusqu’à 4 ms (Rubine et McAvinney34) ;
– la détection consciente de variations temporelles dans une séquence de pulsations entendues a lieu vers 6 ms (Friberg et Sundberg35) ;
– la perception du délai entre une action (manuelle) et sa réaction (sonore) peut descendre jusqu’à 20 ms, par une compensation cependant non-consciente (Wing36) ; – des asynchronies de 50 ms sont tout à fait courantes pour des notes supposées
si-multanées dans un contexte musical, même en musique de chambre (Rasch37) ; – le simple fait de placer les haut-parleurs à 3 ou 4 mètres ajoute une latence de 10 ms
(étant donnée la célérité du son), et l’éloignement relatif de 10 mètres entre les sections d’un orchestre (par exemple entre les cors et les violons) induit une latence de 30 ms pour le public ;
– au piano, le temps qui s’écoule entre l’enfoncement d’une touche et l’attaque effective varie notablement : de 30 ms pour une note jouée staccato et forte, jusqu’à 100 ms pour une note jouée piano (Askenfelt et Jansson38).
Finalement, les auteurs proposent de s’en tenir à une latence minimum comprise entre 20 et 30 ms pour les applications musicales :
We hope we have been able to argue convincingly that somewhat large latencies, maybe up to 20–30ms, are pretty much acceptable for most multimedia and music applications. [Lago et Kon, 2004]
Il faut préciser plusieurs points. D’une part, les possibilités de synchronisation sont variables selon le type de son, en particulier la morphologie de l’attaque (les seuils diffèrent sensiblement entre un tuba et un glockenspiel. . .) ; à ce titre, l’expérience la plus exigeante reste sans doute celle du marteau39). D’autre part, les résultats perceptifs sont toujours très variables selon les individus40.
34. Rubine, D. and P. McAvinney (1990). Programmable finger-tracking instrument controllers. Computer
Music Journal 14(1), 26–40.
35. Friberg, A. and J. Sundberg (1995). Time discrimination in a monotonic, isochronous sequence.
Journal of the Acoustical Society of America 98(5), 2524–2531.
36. Wing, A. M. (1977). Perturbations of auditory feedback delay and the timing of movement. Journal
of Experimental Psychology : Human Perc. and Performance 3(2), 175–186.
37. Rasch, R. A. (1979). Synchronization in performed ensemble music. Acustica 43, 121–131.
38. Askenfelt, A. and E. V. Jansson (1990). From touch to string vibrations. I : Timing in the grand piano action. Journal of the Acoustical Society of America 88(1), 52–63.
39. Lire par exemple l’article Sensitivity to haptic-audio asynchrony [Adelstein et al., 2003] : « This paper
describes a psychophysical study of detectable time delay between a voluntary hammer tap and its auditory consequence (a percussive sound of either 1, 50, or 200 ms duration). The results show Just Noticeable Differences (JNDs) for temporal asynchrony of 24 ms with insignificant response bias. »
40. Dans la même étude avec le marteau, les auteurs rapportent par exemple des différences importantes entre les sujets. Ils suggèrent d’ailleurs de ne prendre en considération que les minima (de 5 à 8 ms) dans le développement des interfaces « haptiques » : « While the average JNDs measured are relatively
small, one participant in particular had 5-8 ms JNDs with 75% thresholds of only 8-10 ms. As a practical consideration for the design of multimodal haptic-auditory displays and auditory enhancements to haptic interfaces, the data for this individual observer suggest synchronization requirements that may undercut those for unimodal tactile temporal separation (10-30 ms) and begin to approach those for auditory fusion (1-2 ms) (Gescheider, 1967). » [Adelstein et al., 2003].
Chapitre 1. La dichotomie du temps réel et du temps différé
Ponctualité ou épaisseur ?
Fixer de façon autoritaire le seuil de latence s à une valeur unique permet d’utiliser le modèle ensembliste le plus simplement possible, par exemple pour étudier l’histoire du processus de la migration logicielle vers le temps réel. Néanmoins, le fait que la plupart des valeurs numériques concernant la latence sont indiquées sous la forme d’un intervalle semble nous enjoindre de considérer un intervalle de type ]smin; smax] au lieu d’une valeur unique. Il existe d’ailleurs un parallèle topologique entre le problème de la ponctualité ou de l’épaisseur du seuil de latence et celui de la ponctualité ou de l’épaisseur de la notion du présent41. Ainsi, l’idée d’une frontière floue, qui entame du point de vue de la définition dichotomique traditionnelle le cloisonnement entre temps réel et temps différé, pourrait mieux correspondre à la réalité qu’un seuil fixé arbitrairement. Or, prendre en compte un intervalle pour appréhender la latence fait apparaître une nouvelle catégorie-limite ou catégorie-frontière à interroger.
Si nous appelons T I cette troisième catégorie (pour Temps Intermédiaire), que nous conservons le formalisme ensembliste précédent, et que nous reprenons les conclusions de Lago et Kon sur ce que peut être une latence raisonnable pour les applications musicales, alors cette nouvelle catégorie s’écrit de la façon suivante : T I = {x ∈ L | 20 ms < t(x) 6 30 ms}. Les valeurs des deux bornes peuvent évidemment être remplacées par d’autres en fonction des besoins, car il s’agit seulement d’un principe de substitution du seuil s à valeur unique par un intervalle de la forme de T I (]smin; smax]).
Ainsi, l’épaisseur du seuil de latence permet sans doute de désigner à travers la ca-tégorie T I soit des logiciels à vocation temps réel mais faillibles – c’est-à-dire dont le temps de réaction ou de calcul pourrait parfois être perçu comme gênant lors de leur utilisation –, soit des logiciels à vocation temps différé avec un potentiel interactif impor-tant, éventuellement en passe de devenir des logiciels temps réel. On pressent que cette catégorie intermédiaire ne peut caractériser durablement que relativement peu de logi-ciels, et constituerait davantage une étape provisoire dans l’accession de certains logiciels au temps réel. Autrement dit, cette nouvelle catégorie ne devrait pas remettre en cause la dichotomie des deux catégories principales (le deuxième chapitre approfondira cette question de la séparation entre temps réel et temps différé).
En tout état de cause, c’est l’usage du système qui peut valider ou invalider une valeur précise (ou un intervalle précis), en tenant compte de l’ensemble du contexte d’utilisation (types de sons, périodicité, acoustique de la salle, individus, etc.) ; les « usagers » du système restent les meilleurs juges de l’acceptabilité concernant le temps de latence global.
* * *
De cette étude sur les définitions du temps réel et du temps différé en informatique en général, puis plus particulièrement en art et en musique, se dégagent plusieurs points :
41. « Etant essentiellement continu, le temps peut être divisé – comme Aristote l’avait déjà noté – entre l’avant et l’après, mais l’"instant" qui les sépare ne peut davantage être un morceau de temps qu’un point ne peut être confondu avec un segment de droite. [...] Topologiquement, les instruments d’une partition comme les instants et les points ne peuvent être de même nature que ce qu’ils divisent. En bref, si le présent est pour nous un morceau mobile de temps, il ne peut être qu’une espèce de présent "épais" » [Lestienne, 2007, p. 233]
1.3. Glissement sémantique vers la fonction musicale
– l’apparition de la notion de temps réel au milieu des années 60 dans les domaines industriels et financiers ;
– l’importance de la garantie du respect d’une contrainte temporelle préalablement établie, pour la définition générale du temps réel en informatique ;
– l’importance de l’instantanéité perceptive et de l’interaction homme-machine, pour la définition du temps réel en art ;
– la rupture de l’immédiateté provoquée par les ordinateurs aux débuts de l’informa-tique par rapport aux machines analogiques dans années 50 (dont le téléphone, le disque ou la radio) ;
– la tension entre l’expérience du studio analogique et celle de la lenteur du studio numérique, jusqu’à l’apparition des premiers systèmes musicaux temps réel au milieu des années 70 ;
– la dichotomie résultante du temps réel et temps différé, qui pose le problème de la définition quantitative du seuil de latence ;
– les difficultés intrinsèques à la définition du seuil de latence lorsqu’il est relatif à la perception.