I.3 LA « MACHINERIE ÉDITORIALE » DU LIVRE EN RÉALITÉ AUGMENTÉE
I.3.2 TYPES ET NIVEAUX D’AUGMENTATION
Parmi les livres que nous avons pu consulter ou dont nous avons vu les vidéos de démonstration 71, on
pourrait distinguer plusieurs types ou niveaux d’utilisation de la réalité augmentée en fonction de plusieurs critères : type d’augmentation proposée, fonction donnée à la réalité augmentée, degré d’implication de l’utilisateur, degré d’intégration de la réalité augmentée dans le contenu du livre. Bien entendu, les combinaisons sont multiples, parfois à l’intérieur d’un même livre. On voit aussi des usages
69 Voir la partie II, p. 36.
70 Julia Bonaccorsi, op.cit., p. 22.
redondants, avec dans un même livre des QR codes, des pages en réalité augmentée, un site internet, etc. Ces typologies nous permettront de situer les productions les unes par rapport aux autres, de repérer celles qui offrent un degré plus important de complexité, mais elles ne visent pas une classification stricte.
Types d’augmentation
Même si théoriquement la réalité augmentée peut concerner aussi bien la vue que l’ouïe ou le toucher, la plupart des expériences proposées dans les livres reposent sur la vue : ce sont des éléments visuels (textes, dessins ou modélisations en 3D, animés ou non, vidéos) qui sont ajoutés. Ils sont souvent, mais pas toujours, complétés par du son (voix des personnages, ambiance sonore, bruitages, musique, bande-son des vidéos, lecture du texte…). Un travail particulièrement soigné de design sonore a par exemple été réalisé pour les « Histoires animées » d’Albin Michel, qui proposent une ambiance sonore en continu, même quand la balise visuelle est perdue par la caméra, afin de créer une véritable immersion sonore, sans rupture brusque. Les éditions Nathan proposent une édition augmentée exclusivement sonore avec Le Grand Rendez-vous, un livre d’histoires dont chaque double page renvoie à une piste sonore qui allie lecture de l’histoire et création musicale. Sur le livre figurent seulement le titre et une illustration, l’histoire n’est accessible que par l’intermédiaire d’un appareil mobile. Ce parti pris radical est néanmoins tempéré par la présence d’un livret détachable qui comporte la retranscription des textes lus.
Fonctions de la réalité augmentée
Dans beaucoup de cas, il s’agit d’expériences ponctuelles qui répondent à un engouement pour le dispositif technique, sans réflexion poussée sur sa plus-value. Dans d’autres cas, la réalité augmentée joue un rôle important dans le lien qui se crée entre le lecteur et le texte. Nous ne chercherons pas ici à établir une échelle de valeurs, mais plutôt à déterminer quels objectifs peuvent être assignés à la réalité augmentée appliquée à l’édition. Là encore, plusieurs fonctions peuvent être associées dans un même objet, à des degrés divers.
Ajouter une application de réalité augmentée à un livre peut en premier lieu avoir une fonction d’interface : il s’agit de donner accès à des contenus (textes, images, sons, jeux…) à partir d’un livre, de le rendre en quelque sorte « cliquable ». Au-delà de cette fonction première, on peut lui donner un rôle ludique (surprendre, amuser…), narratif (créer une ambiance, compléter l’histoire, montrer ce qui était caché, anticiper la suite, donner un rôle…) ou encore pédagogique (expliquer un mécanisme, un phénomène, montrer un savoir-faire, donner un mode d’emploi). Actuellement, ce sont les fonctions ludiques et pédagogiques qui sont les plus exploitées, sans doute parce que la fonction narrative nécessite un travail d’écriture spécifique, plus long et plus complexe.
Plusieurs niveaux d’implication de l’utilisateur
La question de la classification des applications et usages de la réalité augmentée est récurrente. Les spécialistes de ce domaine cherchent à construire une échelle basée sur le degré d’interaction entre le
monde réel et la surcouche numérique 72. Prolongeant une classification faite par le Dr Sung-Hoon Hong
vice-président de Samsung Electronics, lors du Virtual Reality Summit de San Diego en décembre 2016, ils arrivent ainsi à cinq niveaux :
Niveau Description
0 Affichage d’éléments numériques dans le champ de vision de l’utilisateur. Pas d’interaction entre monde réel et monde virtuel.
Exemple : Head up display (voitures, lunettes).
1 Calage des éléments virtuels par rapport au monde réel en temps réel. Pas d’interaction entre monde réel et monde virtuel.
2 Calage des éléments virtuels par rapport au monde réel en temps réel.
Interaction à partir de la reconnaissance d’éléments dynamiques (visages, objets…). Exemple : L’Oréal MakeUp Genius
3 Prise en compte de la totalité de l’environnement réel dans l’interaction. Exemple : Hololens (Microsoft)
4 Les éléments virtuels agissent dans le monde réel.
L’utilisation du terme « interaction », s’il est courant de la part des acteurs de ce domaine, pose problème dans la mesure où il est un argument promotionnel qui ne recouvre pas de réalité technique 73.
C’est pourquoi nous nous placerons plutôt, dans le cas du livre en réalité augmentée, du point de vue du degré d’implication de l’utilisateur. Nous pourrions distinguer trois niveaux.
Un premier niveau correspond à utiliser le système de reconnaissance d’images comme un hyperlien, suivant le principe du QR Code : un symbole visuel recèle une URL et, une fois scanné par un appareil adapté, ouvre une page web ou déclenche la lecture d’un fichier vidéo à l’écran, par exemple. Le symbole visuel est de plus en plus souvent remplacé par l’image de la page du livre ou d’une illustration. À proprement parler, si la reconnaissance d’image n’est pas couplée à une superposition d’éléments virtuels sur une captation de l’environnement réel, on ne parle pas de réalité augmentée. Mais certains cas sont à la limite : on trouve par exemple le cas de livres qui, une fois scannés, font apparaître par- dessus l’image du livre des « boutons » à activer, qui eux-mêmes ouvrent une page web ou une vidéo (figures 3 et 4). Le livre imprimé est le support d’hyperliens sous forme d’images, que l’utilisateur n’a qu’à activer.
72 Nous nous appuyons ici sur des documents de travail mis à disposition par Grégory Maubon, auteur du blog
augmented-reality.fr.
Figure 3. Capture d’écran à partir de l’application qui accompagne le livre de Gabriel Martín Roig, Dessiner comme
les grands maîtres, Paris, Dessain et Tolra, 2016. Dans cet
exemple, le scan de la page du livre fait apparaître un bouton de lecture par-dessus l’image de la page. Son déclenchement provoque le lancement d’une vidéo plein écran sur le smartphone ou la tablette.
Figure 4. Capture d’écran à partir de l’application qui accompagne le Guide du Routard. Grande Guerre 14-18
Chemins de mémoire, Paris, Hachette, 2015. Un clic
sur les icônes en superposition active le téléphone, l’application de géolocalisation ou le navigateur du smartphone.
Dans un deuxième niveau, la réalité augmentée est utilisée pour faire apparaître des éléments, le plus souvent visuels, superposés en temps réel sur l’image du livre. Il peut s’agir de vidéos, d’images virtuelles en deux ou trois dimensions, plus ou moins animées. Le rôle de l’utilisateur consiste à scanner le livre et à déclencher l’apparition des éléments virtuels, mais il peut en plus déplacer le livre ou la caméra et tourner autour des objets virtuels qui suivent l’image du livre. Ce qui apparaît à l’écran suit les mouvements conduits par l’utilisateur, mais n’est pas modifié par son action.
Figures 5 et 6. Capture d’écran à partir de l’application qui accompagne le livre de la série Ostéo pratique (3 tomes), par Nicolas Bertrand et Frédéric Zenouda, De Boëck, 2015. Ici, le scan de la page du livre fait apparaître un bouton de lecture par-dessus l’image de la page. Son déclenchement provoque le lancement d’une vidéo superposée à l’image de la page.
Figure 7. Capture d’écran de l’application qui accompagne le livre Faune et flore
d’eau douce, Hyères, Turtle prod., 2016. Le scan de la page fait apparaître une
modélisation en 3D, qui suit les mouvements du livre ou du smartphone et qui peut être vue sous plusieurs angles en modifiant l’angle de prise de vue, sous réserve que l’image de la page reste identifiable par le logiciel Vuforia. L’image en 3D est fixe.
Enfin, un troisième niveau correspond à une manipulation possible des éléments virtuels par l’utilisateur : mouvement donné à un objet en 3D, déclenchement d’une animation ou d’une modification des images virtuelles par un touch sur l’écran. On pourrait parler d’interaction plus poussée même si ce terme est à manipuler avec précaution 74. Ce type d’application de la réalité augmentée au livre est celui
qui nécessite le plus de développement. Il s’inspire des mécanismes du jeu vidéo, pour impliquer le lecteur en le rendant plus actif. Dans la collection « Histoires animées » d’Albin Michel, différentes animations peuvent être lancées sur une même page, de manière aléatoire, pour permettre une expérience renouvelée à chaque lecture.
Figures 8 et 9. Captures d’écran de l’application qui accompagne les livres Chouette ! et 10 Petits Monstres, « Histoires animées », Albin Michel. Les yeux des chauves-souris se ferment et se rouvrent quand l’utilisateur les touche. Les oreilles du personnage et les différents personnages et éléments de décor s’animent et génèrent des sons.
Degré d’intégration de la réalité augmentée dans le livre
On pourrait tenter de distinguer les livres « en » réalité augmentée, dont le contenu dépendrait fortement de la composante en réalité augmentée, et les livres « avec de la » réalité augmentée, dans lesquels celle-ci serait utilisée comme un « gadget » promotionnel. Là encore, nous essaierons de déterminer des degrés d’intégration de la réalité augmentée dans les dispositifs sans préjuger de leur pertinence.
Pour cela se pose la question de l’autonomie plus ou moins grande du livre imprimé par rapport à l’application de réalité augmentée.
Mis à part quelques exceptions (voir infra), le livre imprimé est généralement conçu comme autonome, c’est-à-dire qu’il doit pouvoir être lu seul, sans l’application de réalité augmentée, en gardant son sens et son intérêt. Rien ne le distingue à première vue d’autres livres imprimés. C’est par exemple le cahier des charges de la collection « Histoires animées ». Dans cette catégorie, nous distinguons un premier ensemble de titres dans lesquels la réalité augmentée est un ajout ponctuel, qui ne concerne que quelques pages, la couverture, les plats intérieurs ou bien des cartes détachables associées au livre. Dans ces cas-là, la réalité augmentée se situe à la marge du livre, sans y être réellement intégrée. Ce sont parfois des livres qui préexistaient, auxquels on a ajouté une « couche » de réalité augmentée (ce ne sont pas pour autant ceux qui la mettent le moins en avant dans leur communication). Un deuxième ensemble recouvre les livres dans lesquels la réalité augmentée est intégrée de manière structurelle, systématique, présente dans la plupart des pages. Elle fait partie du concept éditorial et les contenus sont conçus dès l’origine dans les deux dimensions. Parfois aussi la réalité augmentée n’est qu’une composante, un enrichissement parmi d’autres au sein d’un dispositif transmédiatique plus complexe, dont le livre imprimé peut être le centre ou bien lui-même un élément.
À la marge, quelques livres poussent la logique du livre-interface jusqu’au bout en proposant un contenu qui ne peut être accessible que via l’application de réalité augmentée, le livre seul n’étant qu’une suite de hiéroglyphes indéchiffrables ou d’images isolées. C’est le cas de quelques exemples très différents :
Between Page and Screen, une expérimentation poétique plutôt confidentielle, Night of the living dead pixels, un livre-jeu des éditions Volumique, le concept de Wonderbook de Sony dans le domaine du jeu
vidéo, et enfin Le Grand Rendez-vous de Nathan, dont nous avons parlé plus haut. Ici, la réalité augmentée fait partie intégrante du dispositif, le livre ne peut être consulté sans elle.