de l’espace-temps du livre
III.4 DANS L’INTERVALLE ENTRE LE LIVRE ET L’ÉCRAN : UNE ELLIPSE SPATIO-TEMPORELLE
Écrire pour la réalité augmentée, c’est écrire en plusieurs dimensions : texte visible et texte virtuel, espace et temps, dimensions sensorielles.
III.4.1 UN JEU DU VISIBLE ET DE L’INVISIBLE
Dans les écrits d’écran « s’opère en permanence un jeu du visible et de l’invisible 156 », selon Yves
Jeanneret, qui analyse la relation entre le texte visible sur l’écran, limité par l’exiguïté de la surface d’affichage, et ce qu’il appelle le « texte latent », c’est-à-dire un texte quasi infini présent dans la mémoire de l’appareil sous forme de données chiffrées et qui peut être actualisé par le geste du lecteur. Pour cela, celui-ci doit avoir des indices de la possible actualisation de ce qu’il ne voit pas à l’écran, ce sont les « signes passeurs », « ces signes décisifs d’accès au texte, qui appartiennent au texte visible sur l’écran, mais ont pour fonction de désigner des ressources textuelles non manifestes 157 ». Nous
proposons de transposer cette analyse à la relation entre le livre imprimé et l’actualisation de données virtuelles (dans le double sens de simulées et non manifestées) sur l’écran, qui caractérise le livre en réalité augmentée. Ici, le texte visible est imprimé et, à partir de celui-ci, l’application de réalité augmentée fait apparaître à l’écran le texte latent, en l’occurrence les « augmentations » apportées au texte visible.
Ce phénomène, Vincent Caruso, l’un des directeurs de collection et concepteurs de la collection « Histoires animées », le compare à ce qui se passe en bande dessinée : « L’aventure dans une BD elle ne se passe pas dans les cases, elle se passe entre les cases, elle se passe dans ce que vous imaginez entre les cases. La réalité augmentée pour moi c’est exactement ça, l’intérêt ne se passe pas
155 Adrian Mihalache, « Dans tous les sens, par tous les sens : lectures de l’hypermédia », dans Pascal Lardellier
et Michel Melot dir., Demain, le livre, Paris, L’Harmattan, p. 120.
156 Yves Jeanneret, Y a-t-il (vraiment) des technologies de l’information ? Villeneuve-d’Ascq, Presses
universitaires du Septentrion, nouvelle édition 2011, p. 154.
sur le livre, pas sur la tablette, mais entre les deux, dans l’espace que vous imaginez entre les deux. C’est une forme d’ellipse 158. » Il reprend ici ce que Scott McCloud explique dans L’Art invisible 159 à
propos de la bande dessinée : c’est un art des intervalles dans lequel le cerveau du lecteur comble les vides, reconstitue l’enchaînement, recrée le sens. De la même façon, l’application de réalité augmentée crée une ellipse non plus entre des cadres juxtaposés mais entre des cadres superposés, et c’est dans cet intervalle que se joue la lecture.
Les signes passeurs sont tous les éléments qui vont permettre au lecteur de comprendre par quels gestes il va pouvoir faire advenir le texte virtuel (figure 16), mais ils sont répartis entre les deux supports : ils peuvent se situer sur le livre imprimé, ce sont des symboles graphiques et icônes sur la page ou à proximité de la zone qui sera augmentée, mode d’emploi en début d’ouvrage ou sur la couverture ; à l’écran, ce sont des icônes qu’il faut cliquer, un message qui indique comment cadrer l’image du livre avec la caméra, un mode d’emploi au lancement, etc. Ce sont autant d’indices de la présence d’un texte « caché » qu’il s’agira de révéler grâce à l’application de réalité augmentée.
Signes passeurs sur le livre Signes passeurs à l’écran
Comprendre comment ça marche, « Dokeo+ »,
Nathan. Le pictogramme en haut à droite indique les pages à scanner proposant du contenu en réalité augmentée.
Dessiner comme les grands maîtres, Dessain et Tolra.
Un pictogramme « lecture » sur le livre imprimé indique que la page peut être scannée, et il est repris sur l’écran pour lancer un contenu vidéo.
Le Grand Rendez-Vous, Nathan. Peur du noir moi ? collection « Histoires animées »,
Albin Michel Jeunesse. Un message en filigrane indique le cadre dans lequel placer le livre.
Figure 16. Exemples de signes passeurs.
158 Voir l’entretien p. x.
Ce dispositif explique que l’augmentation soit conçue et sémiotisée comme une apparition, un surgissement ou encore un dévoilement. C’est l’intervalle entre le livre et l’écran qui crée la surprise, l’anticipation, la découverte, ce que traduit le terme de « magie » si souvent employé pour le désigner 160.
III.4.2 UN JEU SUR L’ESPACE ET LE TEMPS
Dans le codex, le temps de la parole est matérialisé par l’espace de l’écriture, la linéarité du texte. Le temps, c’est l’espace du livre. Dans le livre en réalité augmentée, l’intervalle entre le livre et son augmentation est un espace (le livre et l’écran juxtaposés, l’image du livre augmenté superposée à l’image du livre imprimé) qui représente du temps. En effet, si la réalité augmentée repose sur un principe de simultanéité (l’image augmentée apparaît et se « recale » en temps réel), elle réintroduit la temporalité dans le livre de plusieurs manières : l’anticipation du contenu à actualiser, la durée de l’animation et de la manipulation des éléments à l’écran, un jeu sur l’avant/après entre le livre et l’écran. C’est ce qui fait dire à Gaëlle Pelachaud qu’avec le livre animé qui rejoint aujourd’hui le virtuel, « le temps peut devenir le personnage principal du livre, un temps capricieux, indécidable 161 ». L’animation,
le mouvement, le volume en trois dimensions autour duquel on peut tourner, le son, la lumière émise par l’écran sont des augmentations autant temporelles que spatiales. Julia Bonaccorsi note que les « appareils à écran placent leurs lecteurs dans une relation aux objets qui les déterminent comme des
préparatifs. Quelque chose va advenir, que le geste inscrit dans une temporalité 162 ».
Dans la collection « Histoires animées », nous avons repéré différentes façons de jouer sur la temporalité du livre et de l’application, que nous avons tenté de schématiser.
Il est l’heure d’aller au lit maintenant ! d’Édouard Manceau joue particulièrement sur cette dimension
temporelle : les animations ont été conçues pour anticiper sur la suite de l’histoire. Le lecteur qui lit l’album seul n’en sait rien, mais s’il le lit avec l’application, il découvre des éléments qui annoncent la page suivante. L’application lui donne un temps d’avance sur l’histoire, l’anticipation contenue dans le geste d’actualisation de l’écran est intégrée à la narration elle-même.
Dans Copain ? à l’inverse, ce qui se passe à l’écran se situe un temps après la narration dans le livre. Celui-ci est composé avec de grands blancs, des espaces vides, qui sont peu à peu comblés dans
160 Julia Bonaccorsi le note également : « On peut dire que la question du volume (ce que l’on tient) est
reformulable par la question du passage d’un texte à l’autre : c’est bien dans ce passage que se tient repliée la
magie », op. cit., p. 199.
161 Gaëlle Pélachaud, introduction de Livres animés. Entre papier et écran, Paris, Pyramyd, 2016, p. 7. 162 Julia Bonaccorsi, op. cit., p. 185.
Livre
Il est l’heure d’aller au lit maintenant !
Lecture en réalité augmentée
l’application. Dans le livre, le personnage s’interroge : est-il seul ? Et grâce à la lecture en réalité augmentée, il se découvre des amis à chaque page.
Dans les autres titres, le temps de la réalité augmentée est un temps suspendu dans l’histoire, pendant lequel explorer la page, c’est une bulle temporelle qui correspond au temps de la découverte et du jeu avec les différentes animations.
III.4.3 UNE PROJECTION SENSORIELLE
Poursuivant sa réflexion sur l’ellipse entre deux cases de bande dessinée, Scott McCloud va plus loin : « À l’intérieur des cases, nous véhiculons notre message de façon visuelle. Mais entre les cases, aucun de nos sens n’est indispensable. Et c’est pourquoi tous nos sens sont impliqués 163 » (figure 17). Si
nous poursuivons l’analogie, l’application de réalité augmentée s(t)imule aussi le toucher (chatouiller, effacer la buée sur une vitre avec son doigt, faire tomber les feuilles en les touchant…) et l’ouïe (habillages sonores, voix, musique…), elle vise à recréer une expérience sensorielle complète au travers de l’activation d’éléments ponctuels. Dans les « Histoires animées », le design sonore prend en charge ce « comblement » de l’intervalle : il a été conçu pour se poursuivre tant qu’une nouvelle page n’a pas été détectée et éviter un effet de rupture d’une page à l’autre ou si on perd le repère de la page avec la caméra. L’effet d’immersion en est renforcé.
C’est par la différence entre le livre inanimé et ce qui se passe à l’écran que se crée l’expérience du lecteur, même si celle-ci est objectivement limitée à quelques gestes ou stimuli visuels et sonores. Le
163 Scott McCloud, op. cit., p. 97.
Livre Lecture en réalité augmentée Copain ? Chouette ! Peur du noir moi ? 10 Petits Monstres
Livre Lecture en réalité augmentée
lecteur, parce qu’il participe activement avec son imagination et ses sens à l’interprétation de cet intervalle, se projette affectivement dans l’histoire et y trouve un rôle.
Figure 17. Extrait de Scott McCloud, L’Art invisible, Paris, Delcourt, 2007, p. 97.
III.4.4 UNE RHÉTORIQUE DE LA DUALITÉ
Chaque auteur ou éditeur exploite plus ou moins cette capacité du dispositif, qui n’est pas liée à sa technicité mais plutôt à la réflexion de l’auteur sur les potentialités que recèle cet « art de l’ellipse ». Dès les débuts du livre en réalité augmentée, un livre comme Dr Jekyll and Mr Hyde a exploré différents types d’augmentations, c’est-à-dire de relations entre le livre imprimé et ce qui lui est ajouté, au travers d’un personnage qui lui-même portait la thématique de la dualité. Que ce soient des réalisations basiques, qui consistent à faire apparaître un objet en trois dimensions, ou plus sophistiquées en termes narratifs, ce qui se passe entre le livre et l’écran, c’est-à-dire les augmentations apportées, joue sur l’avant/après et explorent les ressorts de cette dualité. Comme dans ces publicités qui présentent deux photos juxtaposées illustrant parallèlement l’avant et l’après (un régime, des travaux, un produit capillaire…), dont l’efficacité repose sur l’imagination de ce qui, dans l’intervalle, a permis cette transformation, la superposition du livre et de l’écran crée le volume, le mouvement, la présence, la vie… même s’ils ne sont que simulés.
Livre Réalité augmentée Type d’augmentation Plan, plat, deux dimensions
Trois dimensions Volume
Disparu Recréé Présence
Fixe Inerte Animé Mouvement Vie Caché Absent Découvert Dévoilement
Vide Plein Matière
Incomplet Complet Compréhension
Mat Lumineux Lumière
Fermé Ouvert Connaissance
Muet Silencieux
Se crée ainsi une sorte de grammaire de la réalité augmentée, qui articule des types d’augmentation au service du rôle que l’on souhaite donner à l’application de réalité augmentée.
Est-ce dans l’anticipation et la reconstitution de la relation entre ces dimensions que peut se situer la spécificité de la lecture d’un livre en réalité augmentée ?