La sémiotique temporelle ne semblant pas liée à la modalité sonore, le MIM a très vite cherché à la repérer également dans d'autres médias. Deux voies de recherche sont alors possibles pour répondre à une telle question : rechercher si les UST déterminées en musique se retrouvent dans d'autres modalités ou reprendre depuis son origine le protocole qui a permis leur découverte en musique de façon à reconsidérer la façon dont s'exprime la sémiotique temporelle dans la modalité explorée. C'est la première voie qui a majoritairement été suivie jusqu'en 2010, mais des recherches actuelles sur l'intermédia entre la musique et le visuel prennent aujourd'hui la seconde voie (Moreau, 2013).
Plusieurs tentatives ont donc été réalisées pour déceler des UST découvertes en musique dans des modalités non musicales. Ces tentatives ont concerné la peinture, la danse, la vidéo, les sculptures lumineuses et la littérature numérique. Elles se sont fondées, soient sur les critères sémantiques de la définition des UST, soit sur l'analyse morphologique, utilisant alors les MTP. Ces approches ont été moins étudiées que dans le domaine musical.
En danse, la recherche menée par Dora Feilane s'est surtout attachée à trouver des analogies entre les figures de la danse et les UST. Une telle approche n'a pas prouvé sa pertinence. Les figures de la danse étant définies dans une sémiotique spécifique, il n'y avait aucune raison pour que les deux sémiotiques coïncident. C'est ce qu'avaient
19 chez les sujets qui la connaissaient, des ondes relatives à la structure apparaissaient et non des ondes sémantiques. On suppose qu'ils cherchaient dans ce cas à recatégoriser le morceau de musique pour déterminer l'UST finale.
compris les compositeurs qui n'ont pas tenté de trouver de relation entre les UST et une forme musicale.
Dans le domaine visuel animé j'ai analysé avec Xavier Hautbois plusieurs œuvres vidéos ou de poésie numérique en UST et MTP, dont Figures danseuses d'Alexandre Gherban, Rythm 21 de Hans Richter (Bootz & Hautbois, 2010) et une grande partie des œuvres vidéos et sculptures lumineuses exposées au centre Pompidou en 2004 dans l'exposition sons & lumières. On retrouve assez facilement des UST dans le domaine visuel, mais la diversité y est moindre : plusieurs UST n'ont pas été repérées dans ces quelques analyses. Nous verrons dans l'analyse en MTP, qu'une UST est caractérisée dans le domaine sonore par deux variables principales qui sont le volume sonore et la fréquence. Il semble que dans le visuel la densité optique ou la luminance, c'est-à-dire un paramètre énergétique, joue le rôle du volume sonore, alors que les autres paramètres (chrominance, forme, position) peuvent, sous certaines conditions, tenir le rôle de la fréquence. Par exemple, en ce qui concerne la chrominance, seules de petites différences de chrominance donnent un résultat pertinent. Je l'ai également expérimenté dans des créations visuelles, ainsi que Xavier Hautbois. La présence des UST dans le visuel animé est tellement évidente qu'Alexandra Saemmer les utilise dans sa théorie des couplages rhétoriques en littérature numérique (Saemmer, 2011).
Le cas de la peinture est intéressant. Il a été mené par Jacques Mandelbrojt et fait souvent l'objet de performances peinture/musique au MIM, l'un des performeurs lisant dans son langage (musical ou pictural) les UST de l'autre. Mandelbrojt (2008), étudie les UST en peinture à partir de la définition sémantique qu'en donnent les fiches du MIM et réalise lui-même des peintures qui tentent de rendre compte d'une UST ou d'une autre (Figure 10). Mandelbrojt remarque que le temps est virtuel dans la peinture, qu'il est reconstruit par le regard. C'est donc le regard qui "interprète" la peinture en UST. Il remarque également que la peinture étant tabulaire, il est vraisemblable qu'existent des UST multidimensionnelles, alors qu'en musique seule la fréquence est impliquée dans l'UST, le paramètre énergétique (volume sonore ou luminosité) demeurant un facteur commun aux deux domaines.
La première remarque de Mandelbrojt rejoint tout à fait la notion de chronosyntaxe introduite par le groupe mu dans l'étude du visuel statique. Dans ces médias, la sémiotique temporelle ne peut apparaître que dans une chronosyntaxe
construite à la lecture. Nous retrouverons cette syntaxe en UST reconstruite par le regard dans les analyses de la poésie concrète menées dans ce dossier. La seconde remarque demanderait une analyse plus fine, notamment en MTP, pour être validée. En effet, il existe déjà des UST multidimensionnelles en musique, qui fonctionnent par strates temporelles, et, tant dans les analyses que les simulations visuelles que nous avons réalisées Xavier Hautbois et moi-même, nous n'avons pas vu apparaître de nouvelles UST. Mais nous n'avons pas non plus cherché à explorer tout le domaine des possibles. Le risque est grand, tout de même, de confondre sémiotique iconique visuelle et chronosyntaxe temporelle. Le groupe mu a bien montré que, dans le visuel, le système plastique prenait souvent un caractère iconique, mais qu'il pouvait également s'en affranchir. On peut, également, facilement confondre dans le visuel des formes iconiques graphiques avec une exploration temporelle de ces formes. Je ne suis pas certain que Jacques Mandelbrojt ait échappé à ce piège.
Figure 10 : une peinture de Jacques Mandelbrojt20 représentative de l'UST sur l'erre.
Dans toutes ces études, y compris dans les analyses musicales, il apparaît clairement que la sémiotique temporelle est une sémiotique "faible", c'est-à-dire qu'elle n'est perçue que lorsque les autres systèmes sémiotiques sont en défaut. En effet, comme toute sémiotique iconique, elle constitue généralement un intermédiaire dans la construction du sens. Il est apparu par exemple, lors de la mise au point de la
20 Jacques Mandelbrojt, Dans les rose-thé qui se fanent, galerie virtuelle Leonardo [en ligne] http://www.olats.org/leonardo/galeries/mandel/jolierousse/8.shtml (consulté le 25/08/2014)
description en MTP, que certains exemples d'UST proposés par le MIM en 1996 étaient mal segmentés : les morceaux incriminés contenaient bien l'UST qu'ils illustraient, mais ils débutaient et se terminaient souvent en dehors de cette UST, ils étaient donc trop longs. Cela s'explique par le fait que le segment proposé répondait aussi à une sémiotique proprement musicale et non seulement sonore, le MIM ayant du mal à accepter la dimension non nécessairement musicale des UST sonores. Ces erreurs de segmentation ont entraîné des erreurs d'appréciation et des confusions entre certaines UST chez les sujets testés lors de la première expérience de validation psychologique, confusions qui ont disparu dans les expériences suivantes, suite à notre travail sur les MTP. La connaissance de la structure des UST en MTP a permis de segmenter correctement les échantillons proposés à l'audition pour qu'ils correspondent exactement à une UST. Ainsi donc, la sémiotique temporelle apparaît principalement comme une sémiotique "relais" dans un système pluricode isostimulus et elle joue un rôle important dans les productions intermédia au sens de Philadelpho Menezes21.