Approche de l’être-ensemble numérique dans les
réalités mixtes
ScnVir, un dispositif de simulation située artistique d’interaction de groupe
Thèse
Jean-Ambroise Vesac
Doctorat sur mesure en art numérique, design d’interaction
et simulation située
Philosophiæ doctor (Ph. D.)
Québec, Canada
Approche de l’être-ensemble numérique dans les
réalités mixtes
ScnVir, un dispositif de simulation située artistique d’interaction de goupe
Thèse
Jean-Ambroise Vesac
Sous la direction de :
Jocelyne Kiss, directrice de recherche
Sylvie Daniel, codirectrice de recherche
iii
Le résumé
Cette recherche-création associe la mobilité numérique immersive et la composition musicale interactive. Elle développe une approche de création en art numérique propre à favoriser l’engagement et prolonger l’expérimentation d’un dispositif artistique dans un espace public extérieur. Nous nous intéressons à l’être-ensemble numérique en réalité mixte, où présence physique et virtuelle se superposent et s’hybrident. Poursuivant et renouvelant d’anciennes traditions culturelles participatives, notre création, ScnVir offre une scène virtuelle de réalité mixte et un design d’interaction favorisant l’émergence d’expériences artistiques participatives. Notre hypothèse est que l’être-ensemble numérique, à travers ses indices communiqués par l’agentivité de groupe, favorise l’engagement et prolonge l’expérience d’un dispositif d’art numérique. Ce qui suppose que l’être-ensemble numérique émerge en fournissant des indices associés à cet état et que la simulation située est une technologie qui permet de matérialiser de tels indices au sein d’un dispositif artistique. Afin de poursuivre cette recherche, nous avons établi une démarche de recherche-création interdisciplinaire incluant l’art numérique, le design d’interaction et la géomatique, qui comporte des objectifs d’ordres conceptuel, méthodologique et artistique. Nous avons déterminé et validé des phases de l’être-ensemble numérique (l’être-là, l’hymersion et l’interaction de groupe) et des indices de l’être-ensemble numérique en simulation située (la proximité, la sociabilité, la coordination des mouvements, la réussite d’une mission). Pour la réalisation du projet, nous avons conçu un design d’interaction basé sur des mouvements simples mettant en œuvre de tels indices. Nous avons élaboré une méthodologie de création et créé une œuvre artistique appliquant les phases de l’être-ensemble numérique dans un dispositif artistique en simulation située. Pour valider notre recherche, nous avons élaboré une méthodologie hybride combinant une approche quantitative et qualitative d’analyse. Les résultats attestent que tous les participants ont accédé à la première phase de l’être-ensemble numérique, l’être-là et que tous les participants ont accédé, au moins partiellement, à la seconde phase de l’être-ensemble numérique, l’hymersion. La réussite de la seconde phase de l’être-ensemble numérique valide que notre dispositif favorise bien l’engagement des participants dans l’expérience, car l’hymersion nécessite l’engagement. Du point de vue de l’interaction de groupe, soit la troisième phase, nos résultats mettent en évidence de nombreux indices de l’être-ensemble numérique et un taux de succès de la mission cachée mitigé (28 %), ce qui nous permet d’affirmer que des formes d’être-ensemble numérique ont émergé de notre dispositif. Cependant, les participants n’ont pas tous réussi la mission cachée qui nous servait de validation quantitative de l’émergence de l’être-ensemble numérique, car les conditions expérimentales, l’implémentation du design d’interaction et notre démarche de validation démontrent des faiblesses. D’autre part, la présence de nombreux indices de l’être-ensemble numérique atteste que la simulation située est une technologie propre à mettre en œuvre l’agentivité de groupe. Ces résultats démontrent que la mise en œuvre de l’être-ensemble numérique au sein d’un dispositif artistique est possible. Pour y parvenir, des conditions sont à respecter : les phases de l’être-ensemble numérique doivent être rencontrées ; le dispositif doit permettre la communication d’indices comportementaux par l’agentivité de groupe ; les interactions de groupe doivent être médiatisées dans l’interface par des contenus médiatiques adaptés. Les résultats observés établissent que notre dispositif offre une expérimentation d’assez longue durée et donc favorise la prolongation de l’expérimentation d’un dispositif d’interaction gestuelle simple. Ainsi, nos résultats nous permettent d’affirmer que l’être-ensemble numérique favorise l’engagement et prolonge la participation à un dispositif d’art numérique dans l’espace public. Du point de vue artistique, notre démarche de création est satisfaisante, car elle offre des événements à la fois imprévisibles et significatifs, connectés à l’expérience des utilisateurs, propre à l’expression musicale et artistique. La diffusion de notre projet dans un festival reconnu valide l’intérêt de notre démarche de création et de la simulation située pour la création numérique. Les perspectives de développement artistiques sont extraordinaires. Mots clés : être-ensemble numérique, réalité mixte, simulation située, art numérique, design d’interaction, musique interactive, scène virtuelle, interaction gestuelle, interaction de groupe, agentivité de groupe
iv
The abstract
This research associate immersive digital mobility and interactive music composition. We develop an approach to creation that encourages engagement and prolongs the experimentation of an artistic installation in an outdoor public space. We are interested in digital togetherness in mixed reality, where physical and virtual presence overlap and hybridize. Continuing and renewing ancient participatory cultural traditions, our creation, ScnVir offers a virtual scene of mixed reality and interactive design that promotes the emergence of participatory artistic experiences. Our hypothesis is that digital togetherness, through its clues communicated by group agency, favors engagement and extends the experience of a digital art installation. This assumes that the digital togetherness emerges by providing clues associated with this state and that the situated simulation is a technology that makes it possible to materialize such clues within an artistic installation. In order to continue this research, we have established an interdisciplinary research-creation approach including digital art, interaction design and geomatics, which includes conceptual, methodological and artistic objectives. We have determined and validated phases of the digital togetherness (the being-there, the hymersion and the group interaction) and the indices of the digital togetherness in situated simulation (proximity, sociability, the coordination of movements, the success of a mission). For the realization of the project, we designed interactivity based on simple movements using such indices. We have developed a creative methodology and created an artistic work applying the phases of digital togetherness in an artistic installation in situated simulation. To validate our research, we have developed a hybrid methodology combining a quantitative and qualitative analysis approach. The results show that all the participants have reached the first phase of the digital togetherness, the being-there and that all the participants have acceded, at least partially, to the second phase of the digital togetherness, the hymersion. The success of the second phase of digital togetherness validates that our device promotes the commitment of the participants in the experience, because hymersion requires commitment. For the third phase involving group interaction, our results highlight many digital togetherness indices and a mitigate success (28%) for the hidden mission, which allows us to affirm that some forms of digital togetherness have emerged from our installation. However, not all the participants succeeded in the hidden mission that served us as a quantitative validation of the emergence of digital togetherness, because the experimental conditions, the implementation of interaction design and our validation process demonstrate weaknesses. On the other hand, the presence of numerous indices of the digital togetherness attests that the situated simulation is a effective technology to implement the group agency. These results demonstrate that the implementation of digital togetherness within an artistic installation is possible. To achieve this, conditions must be respected: the phases of the digital togetherness must be met; the installation must allow the communication of behavioral indices by the group agency; group interactions must be mediated in the interface by appropriate media content. The observed results establish that our installation offers an experiment of rather long duration and thus favors the prolongation of the experimentation of a device of simple gestural interaction. Thus, our results allow us to affirm that digital togetherness promotes engagement and prolongs participation in a digital art installation in the public space. From an artistic point of view, our creative process is satisfactory because it offers both unpredictable and significant events, connected to the user experience, adapted to musical and artistic expression. The diffusion of our project in a recognized festival validates the interest of our approach of creation for the digital creation. The prospects for artistic development are extraordinary.
Keywords : digital togetherness, mixed reality, situated simulation, digital art, interactive music, interaction design, virtual scene, gestual interaction, group agency, collective interaction.
v
La table des matières
Le résumé... iii
The abstract ... iv
La liste des tableaux ... ix
La liste des illustrations ... x
La liste des annexes ...xiv
Remerciements ... xv
1 Chapitre 1 : L’introduction ... 1
1.1 La mise en contexte ...1
1.2 La problématique ...2
1.3 La revue des concepts ...4
1.3.1 L’art numérique...4
1.3.2 Les réalités mixtes ...4
1.3.3 L’interaction humain-machine ...6
1.3.4 L’agentivité de groupe ...8
1.3.5 L’être-ensemble numérique ...9
1.4 Une revue de l’existant ...11
1.4.1 Projets de recherche et commerciaux en mobilité numérique ...12
1.4.2 Projet artistique d’interaction de groupe : Inferno ...13
1.4.3 Projet artistique d’interaction de groupe : Murmuration ...13
1.4.4 Projet artistique d’interaction de groupe : Quorum Sensing ...14
1.5 L’hypothèse ...14
1.6 Les objectifs ...16
1.7 La démarche méthodologique ...16
1.8 Le plan de la thèse ...18
2 Chapitre 2 – Un bref arrimage historique de la notion d’être-ensemble et de scène virtuelle ... 19
2.1 Les origines antiques ...19
2.2 La scène en plein air : préoccupations sociales ...22
vi
2.4 L’art participatif ...25
2.5 La scène rave ...26
2.6 La scène virtuelle dans l’espace public de la ville et des communautés intelligentes ...27
3 Chapitre 3 : La démarche de recherche-création ... 30
3.1 L’approche conceptuelle ...31
3.1.1 Détermination des phases de l’être-ensemble numérique dans les réalités mixtes ...31
3.1.2 Détermination des indices de l’être-ensemble numérique...40
3.1.3 Définition de l’agentivité de groupe ...37
3.1.4 Le design d’interaction ...39
3.1.5 La simulation située comme dispositif d’interaction dans l’espace public ...40
3.1.6 L’approche d’intégration de la simulation située à la création numérique ...47
3.2 Démarche de création et production ...43
3.2.1 Bref descriptif de la création ...44
3.2.2 Démarche de création de ScnVir PYV ...45
3.2.3 Le prototype et ses spécifications ...47
3.3 L’approche méthodologique hybride de validation ...48
3.3.1 La validation de l’hypothèse...48
3.3.2 Le cadre opératoire de la validation ...55
3.3.3 Les sources d’incertitude de la validation ...58
3.4 Le résumé du chapitre ...60
4 Chapitre 4 : L’élaboration du dispositif ScnVir PYV ... 61
4.1 Le concept de ScnVir PYV ...62
4.1.1 Le contexte de ScnVir PYV ...62
4.1.2 Les objectifs et intentions de l’auteur de ScnVir PYV ...63
4.1.3 L’esthétique artistique de ScnVir PYV ...64
4.1.4 L’ambiance de ScnVir PYV ...67
4.2 Les composantes de ScnVir PYV ...67
4.2.1 La structure de ScnVir PYV ...67
4.2.2 Les êtres de ScnVir PYV ...77
vii
4.3 Le design expérientiel de ScnVir PYV ...81
4.3.1 L’expérience de l’environnement de réalité mixte de ScnVir PYV ...82
4.3.2 Le design d’interaction de ScnVir PYV ... 102
4.3.3 Le design d’interaction et le renforcement des indices de l’être-ensemble numérique 104 4.3.4 L’agentivité... 108
4.4 Résumé du chapitre ... 110
5 Chapitre 5 : L’analyse des expérimentations Place d’Youville ... 111
5.1 La mise en place des expérimentations ... 111
5.2 L’analyse quantitative des résultats ... 112
5.2.1 Les résultats sans consigne... 113
5.2.2 Les résultats avec consigne... 113
5.2.3 L’analyse ... 113
5.3 L’analyse qualitative de l’expérimentation, des commentaires et des observations vidéo ... 114
5.3.1 Les réactions et impressions générales ... 115
5.3.2 La compréhension de la mission ... 115
5.3.3 Les conditions d’émergence de l’être-ensemble numérique... 117
5.3.4 L’observation de l’agentivité... 127
5.4 La synthèse ... 132
6 Chapitre 6 – L’expérience artistique ... 135
6.1 Le contexte d’exposition ... 135
6.2 La proposition artistique ... 135
6.3 La description de la création ... 136
6.3.1 Le lieu de ScnVir EAA : le stationnement Webster ... 136
6.3.2 Les enjeux sociaux et politiques du lieu ... 137
6.3.3 Les sources de référence et d’information de ScnVir EAA ... 137
6.3.4 L’esthétique artistique de ScnVir EAA ... 137
6.3.5 L’ambiance de ScnVir EAA ... 138
6.3.6 L’environnement virtuel de ScnVir EAA ... 138
6.3.7 Les êtres de ScnVir EAA ... 141
viii
6.3.9 Les amorces narratives ... 146
6.3.10 L’aspect visuel du ciel virtuel ... 148
6.3.11 La création des matériaux sonores ... 148
6.4 L’observation de l’événement ... 149
6.5 Les recommandations artistiques ... 150
6.6 Nos réflexions sur l’apport de l’être-ensemble numérique au design d’interaction ... 151
6.7 Nos réflexions sur l’expérience artistique ... 155
7 La conclusion ... 157
7.1 La synthèse de la recherche ... 157
7.2 Nos réflexions critiques ... 161
7.3 Les contributions de cette thèse : ... 165
7.4 Les recommandations ... 166
7.4.1 La phase de l’être-ensemble numérique : l’être-là ... 166
7.4.2 La phase de l’être-ensemble numérique : l’hybridation ... 168
7.4.3 La phase de l’être-ensemble numérique : l’interaction collective ... 169
7.5 Les recommandations musicales... 172
7.6 Les perspectives ... 173 8 Les références ... 175 9 Les annexes ... 183 Annexe A ... 184 Annexe B ... 185 Annexe C ... 186 Annexe D ... 187 Annexe E ... 191 Annexe F ... 192
ix
La liste des tableaux
x
La liste des illustrations
Figure 3-1 Schéma des étapes de notre recherche-création. ... 30
Figure 3-2 La reconnaissance de soi dans l'action. ... 38
Figure 3-3 Plan schématique des étapes de production. ... 44
Figure 3-4 : Trajet et zones de réussite. ... 58
Figure 4-1 : Exemple de performance visuelle. ... 65
Figure 4-2 : Axes principaux de l'esthétique sonore. ... 66
Figure 4-3 : Esquisse basée sur une photo d’archive. ... 69
Figure 4-4 : Les muses d’Alfred Laliberté. ... 70
Figure 4-5 : Description par type. ... 70
Figure 4-6 : Zone d’expérimentation. ... 71
Figure 4-7 : Segment extrait du modèle de la Ville de Québec. ... 72
Figure 4-8 : Vue des erreurs de construction du modèle. ... 73
Figure 4-9 : Vue depuis le dessous d’un auvent. ... 74
Figure 4-10 : Modèle 3D inspiré d'un nuage... 75
Figure 4-11 : Rendu et ombrage de la sculpture virtuelle. ... 75
Figure 4-12 : La boule disco. ... 76
Figure 4-13 : Exemple d'extrusion sur un plan. ... 76
Figure 4-14 : Glitch informatique. ... 77
Figure 4-15 : Exemple de textures photographiques appliquées au modèle. ... 83
Figure 4-16 : Fenêtre du logiciel de réglage de la lumière d'ambiance. ... 84
Figure 4-17 : Image du ciel pour une ambiance mystérieuse. ... 84
Figure 4-18 : Caméra au-dessus de la tête de l'avatar. ... 86
xi
Figure 4-20 : Schématisation de la composition interactive. ... 88
Figure 4-21 : Microphone binaural Roland CS-10EM. ... 90
Figure 4-22 : Distribution spatiale de la composition sonore interactive. ... 91
Figure 4-23 : Schéma de connexion de filtration d'un signal audio externe. ... 94
Figure 4-24 : Schéma de connexion d'un séquenceur externe. ... 95
Figure 4-25 : Conversion CV. ... 96
Figure 4-26 : Module de sortie du signal CV. c ... 96
Figure 4-27 : Exemple de schéma de connexion. ... 97
Figure 4-28 : Module Max4Live de conversion de la fréquence en CV. ... 97
Figure 4-29 : Conversion d’une enveloppe audio en signal CV. c... 98
Figure 4-30 : L’enveloppe sonore est convertie en LFO, relativement au tempo. ... 98
Figure 4-31 : L'enveloppe d'une piste audio contrôle la vitesse d'un oscillateur. ... 98
Figure 4-32 : Module de traitement d'une piste audio. ... 99
Figure 4-33 : Module de vocodeur et module de réverbération... 99
Figure 4-34 : Module de répétition. ... 99
Figure 4-35 : Mixage final dans Ableton Live. ... 100
Figure 4-36 : Module de synthèse granulaire avec traitement en temps réel. ... 100
Figure 4-37 : Application de synthèse granulaire. ... 102
Figure 4-38 : Un bot se dirige vers un avatar. ... 104
Figure 4-39 : Exemple de représentation visuelle de l'être-ensemble numérique de trois participants. ... 105
Figure 4-40 : Les participants se visent. ... 106
Figure 4-41 : Le ciel change de couleur. ... 107
Figure 4-42 : Changement visuel d'un bâtiment sous l'action des participants. ... 107
xii
Figure 4-44 : Les participants sous la sculpture. ... 108
Figure 5-1 : Banc sous lequel l’avatar s’est accroupi. ... 119
Figure 5-2 : Un participant pointe la localisation d’un agent virtuel. ... 120
Figure 5-3 : Les participants visent la même tour. ... 122
Figure 5-4 : Connexion visuelle entre deux participants qui se visent. ... 122
Figure 5-5 : Les participants se visent. ... 123
Figure 5-6 : Lien visuel entre les participants. ... 123
Figure 5-7 : Orientation du corps du participant. ... 124
Figure 5-8 : Un participant a découvert la mission. ... 125
Figure 5-9 : Participant indiquant avec le doigt où aller. ... 125
Figure 5-10 : Une participante est entraînée par la musique... 126
Figure 5-11 : À deux sous le grand moulin. ... 126
Figure 5-12 : Corps qui tournent. ... 127
Figure 5-13 : Participants regardant une sculpture virtuelle qui les représente. ... 127
Figure 5-14 : Déplacement de groupe. ... 130
Figure 6-1 : Délimitation de l'espace d'intervention en jaune et zone d’expérimentation en orange. ... 137
Figure 6-2 : Modélisation du stationnement. ... 139
Figure 6-3 : Détail de la structure interne du stationnement. ... 139
Figure 6-4 : Modèle du stationnement et son environnement. ... 140
Figure 6-5 : Vue élargie de la zone d’expérimentation sur le toit du stationnement. ... 141
Figure 6-6 : Deux participants en exploration. ... 141
Figure 6-7 : Modèle humanoïde androgyne. ... 143
Figure 6-8 : Texture extraite du stationnement. ... 143
xiii
Figure 6-10 Modèle et texture produite par photogrammétrie. ... 145
Figure 6-11 : Assemblage de modélisation et de photogrammétrie. ... 145
Figure 6-12 : Texture organique et formes altérées d’une colonne. ... 146
Figure 6-13 : Modèle de notre voiture réalisé par photogrammétrie. ... 147
Figure 6-14 : Voiture dans les espaces réel et virtuel. ... 147
Figure 6-15 : Photo utilisée comme ciel (sky dome). ... 148
Figure 6-16 : Les catégories de motivation dans le design d'interaction. ... 153
Figure 6-17 : La répartition de ScnVir par catégories de motivation. ... 153
Figure 7-1 : Schéma des composantes objectives et subjectives du dispositif. ... 164
Figure 7-2 : Orientation de la tablette. ... 167
Figure 7-3 : Un participant cherche à rentrer dans le Palais Montcalm. ... 169
Figure 7-4 : Mini carte de l’orientation des participants. ... 171
xiv
La liste des annexes
Annexe A : questions post-expérience………184
Annexe B : description de l’activité de recrutement………..185
Annexe C : courriel de recrutement……….186
Annexe D : formulaire de consentement……….………187
Annexe E : outil de collecte de données……….………191
Annexe F : Tableau des commentaires ……….………192 Annexe vidéo : jean-ambroise-vesac-ScnVirPYV.mp4
xv
Remerciements
Ce projet de recherche-création a débuté à l’été 2010 grâce aux encouragements de Louise Poissant, et a pris la forme d’un doctorat sur-mesure sous la direction de Jocelyne Kiss et la codirection de Sylvie Daniel. La réussite de ce doctorat a été rendue possible avec l’aide de nombreux groupes de recherche, professeurs et professionnels de recherche, que nous remercions grandement : l’Observatoire interdisciplinaire de création et de recherche en musique (OICRM), le Laboratoire audionumérique de recherche et de création (LARC), le Laboratoire de muséologie et d’ingénierie de la culture (LAMIC), Serge Lacasse, Philippe Dubé, Renée Bourassa, Benoît Duinat, Dominique Gélinas, Raphaël Bichet, Jean-Philippe Dionne, Serges Samson, Jonathan Proulx-Guimond et Marie-Andrée Forest.
Cette recherche a été soutenue financièrement par le Fonds Québec recherche Société et culture, une bourse d’excellence de l’OICRM, une bourse de Mitacs, des bourses d’excellence de la Faculté de Musique de l’Université Laval, des bourses d’excellence de l’École de Design de l’Université Laval, le programme de perfectionnement de la Faculté d’art de l’Université Laval et le programme de perfectionnement de l’Université du Québec en Abitibi-Témiscamingue. Notre création a également bénéficié du soutien du centre d’art numérique Sporobole et de La Chambre Blanche.
Marie-Eve Brisson, mes proches et ma famille m’ont épaulé tout au long de notre parcours académique; nous les en remercions.
1
1 Chapitre 1 : L’introduction
1.1 La mise en contexte
Cette recherche-création rapproche les mobilités numériques immersives et la composition musicale interactive. Elle implique une démarche interdisciplinaire en art numérique, en design d’interaction et en géomatique. Elle offre une réponse originale à la demande populaire pour des expériences artistiques collectives. En effet, les données nous indiquent que « les festivals occupent de plus en plus une part importante dans l’animation des milieux de vie » (Chaire de tourisme Uqam, 2005). Les dispositifs d’interaction de groupe dans l’espace public répondent à cette aspiration d’expression artistique participative. Nous en avons vu de nombreux exemples lors des célébrations du 375e de Montréal.
Omniprésents, les téléphones intelligents offrent de nouvelles opportunités, du fait de « l’évolution rapide des fonctionnalités numériques des terminaux mobiles qui bouleverse et bouscule la conception multimédia en exploitant des potentialités offertes par la géolocalisation, la connexion permanente, le nomadisme, l’interrelation des dispositifs, la vidéo, la reconnaissance de forme ou vocale, la contextualisation de la communication en tout moment et en tout lieu » (Lavigne, 2012). « La mobilité numérique est un domain d’étude des pratiques sociales centrées sur le mouvement concret des personnes et des objects en lien à leurs mouvements dans l’imaginaire et le virtuel » (Vannini, 2010). Ce champs d’étude est interdisciplinaire et engage les arts numériques, le design d’interaction et la géomatique. Notre projet offre une réponse innovante et interactive à cette aspiration et aux enjeux sous-jacents.
La participation démocratique à l’espace public est un aspect important de notre société qui, dans le cas qui nous intéresse, relève de l’expression artistique ou culturelle. À l’heure de l’informatique mobile, de nouveaux espaces de communication bordent nos vies et nous connectent tout en nous isolant dans une réalité de plus en plus mixte. Depuis ses origines, la société humaine ressent le besoin de participer à des événements culturels qui rassemblent et unissent chaque individu, pour un moment, dans un sentiment d’appartenance. Aujourd’hui, les dispositifs d’interaction de groupe dans l’espace public répondent à cette aspiration collective, à l’exemple du projet Body Movie de l’artiste Raphael Lozano-Hemmer qui « transforme l’espace public par la projection vidéo interactive » (Lozano-Hemmer, 2001).
2
d’interaction de groupe. Cette situation quotidienne met à disposition des gestes et des mouvements simples qui permettent de créer un design d’interaction intuitif et immédiat facilitant l’engagement et l’utilisation d’un dispositif d’interaction. À même le lieu, les réalités mixtes offrent des possibilités inédites d’expression artistique et de design expérientiel par la fusion des environnements réels et du virtuels (Milgram & Kishino, 1994). Ces possibilités d’expression et de design se révèlent appropriées pour engager l’imagination des participants dans une anticipation sociotechnique fascinante. La complexité de l’interaction de groupe offre des ramifications et des variations infinies propices pour prolonger l’expérience d’interaction sur plusieurs niveaux perceptuels hybridant plusieurs plans de réalités.
1.2 La problématique
Pour les artistes numériques, la réussite de leur œuvre se situe dans l’engagement des participants dans leur dispositif et dans la prolongation de leur expérience d’interaction. Dans le contexte d’un espace public, la réussite d’une œuvre numérique exige l’engagement de personnes pas forcément habituées à l’interactivité. C’est pour cela que les modalités d’interactions doivent rester simples, mais sans devenir trop prévisibles, ce qui rendrait l’expérience vite ennuyante.
Or, il n’y a pas aujourd’hui de médium ou de solution commerciale qui offre cela dans l’espace public. Actuellement, il n’y a pas de méthodologie établie pour mettre en œuvre des dispositifs qui prolongent l’interaction et favorisent l’engagement des participants, et ce accessible aux artistes et créateur. Il nous faut donc déterminer une démarche de création, des moyens, des composantes ainsi que des mécanismes d’interaction systémique, sociale et spatiale.
Dans cette thèse, nous considérerons qu’un dispositif artistique se localise dans un espace ouvert au public. Rappelons ce que nous indiquent nos recherches-créations précédentes sur les dispositifs d’interaction gestuelle (Vesac, 2017) : « d’une part, la simplicité d’interaction cause une perte rapide d’intérêt ; d’autre part, certains spectateurs se gardent d’interagir par appréhension du regard des autres ».
Nous comprenons les réticences de nombreux visiteurs ou curieux à s’engager dans une œuvre interactive sous le regard des autres. Le simple fait d’entrer dans le dispositif paraît difficile ; soit par timidité, soit à cause d’un handicap physique. Il est encore moins facile de commencer à interagir avec des inconnus sans l’intervention d’un animateur public. On ne sait pas comment s’y prendre. Cette immobilité convenue est une habitude culturelle inculquée par la configuration
3
traditionnelle du spectacle où le spectateur — celui qui regarde — suit passivement le déroulement de l’œuvre. Bien que vieillissante, cette configuration statique du public est encore bien présente, notamment lors des festivals de musique en plein air, par exemple aux abords de la scène Hydro-Québec du Festival d’été de Hydro-Québec. Ainsi, il existe une réelle difficulté à engager les visiteurs à interagir avec un dispositif artistique dans l’espace public, car les habitudes et les références culturelles, bien que plus nombreuses aujourd’hui, demeurent marginales, ce qui représente un défi majeur pour les artistes numériques.
Pour faciliter l’accessibilité à l’œuvre interactive, les mécanismes d’interaction sont limités aux mouvements du corps, à des gestes simples. Le geste ne demande pas d’aptitude physique particulière. Le visiteur n’a pas non plus à apprendre une procédure compliquée ou à mémoriser des codes de langage gestuel. Un geste simple n’est pas une séquence de gestes, mais un mouvement unique, facilement reconnaissable et reproductible par une machine ou un humain. Nous détaillerons notre définition du geste davantage plus loin dans le texte. Mais cette simplification entraîne un nouveau problème : les visiteurs testent les mécanismes d’interaction, jouent un petit peu avec eux et passent rapidement à autre chose, car la proposition devient rapidement prévisible et répétitive. Pris dans un temps fixé, sans le déroulement d’une trame narrative à laquelle s’accrocher, les participants peinent à poursuivre leur exploration. Le plus souvent, un dispositif d’interaction simple n’offre pas la possibilité au participant de prolonger son expérience, car elle n’est pas suffisamment diversifiée ou évolutive. La perte d’intérêt provient de « l’insatisfaisant modèle d’une communication symétrique » (Ungeheuer 2013, p. 1377) et de sa prédictibilité.
Dans le contexte de l’espace public, prolonger l’expérience artistique ne se limite pas à étendre la durée d’utilisation. Elle tente aussi de toucher plusieurs niveaux sensibles et d’arpenter leurs interrelations, par exemple la relation entre la musique et le mouvement dans l’espace. L’expérience artistique entreprend de se prolonger avec l’interaction auprès des autres, car les participants ne peuvent pas s’ignorer du fait de leur proximité physique augmentée. Il s’agit alors de développer chez les participants l’envie d’explorer de nouvelles formes d’interactions sous une esthétique participative, que cela soit lié aux lieux ou aux autres. Nous reprendrons ces points plus loin dans cette thèse. En raison de l’isolement grandissant des individus dans leur « bulle » technologique mobile, il est d’une certaine importance de proposer des projets qui poussent les gens à être curieux de leur environnement et des personnes autour d’eux. Notez que l’interaction de groupe dans l’espace public
4
a une certaine portée, car elle contribue à la liberté d’expression dans la société. Ceci est un droit1
protégé par l’Article 19 de la Déclaration universelle des droits de l’homme2 et l’Article 20 (Ibib) ajoute
que « toute personne a droit à la liberté de réunion ». 1.3 La revue des concepts
1.3.1 L’art numérique
Notre recherche est ancrée dans le domaine de l’art3 numérique. L’art numérique est à la
frontière (Fourmentraux, 2011) des arts et des sciences. Tel un flux (Chatonsky, 2016) pluridisciplinaire d’activités créatrices. « L’art numérique est un domaine de création multidisciplinaire, à la rencontre de l’art et de la science, qui prend sa matière dans le langage décrivant les données et produisant les processus informatiques » (Balpe, 2000). C’est une formalisation du monde, à l’exemple des systèmes cybernétiques, qui ne cherche pas à le représenter, mais « à en constituer un comme un double actif » (Balpe, 2000, p. 135). L’information qui constitue son matériau de prédilection donne à l’art numérique « des particularités conjointes, dont certaines relèvent de la machine et d’autres qui appartiennent au vivant » (Balpe, 2000, p. 133). L’art numérique utilise parfois les capactés des interfaces informatiques comme des extensions des facultés humaines jusqu’à en faire de véritables environnements (Ascott, 1998). Dans cette recherche-création, l’art numérique parcourt les différents plans perceptifs de l’interaction humain-machine. Elle s’inscrit dans le cadre des études des dispositifs « connectés aux sens du participant » (Grau, 2003, p. 10) par une interface gestuelle lui permettant d’interagir avec des processus médiatiques. Au sein de ce texte, « un dispositif est tout ce qui a, d’une manière ou d’une autre, la capacité de capturer, d’orienter, de déterminer, d’intercepter, de modeler, de contrôler et d’assurer les gestes, les conduites, les opinions et les discours des êtres vivants » (Agamben, 2007). Spécifiquement, notre projet explicite la capacité d’un dispositif de réalité mixte à opérationnaliser une énonciation de notre rapport au monde (Balpe, 2000).
1.3.2 Les réalités mixtes
Les réalités mixtes font référence aux technologies de l’information et des communications qui combinent, dans un même espace de représentation et au même instant, des éléments physiques du monde réel et d’autres générés par ordinateur. Dans ces dispositifs, « des objets physiques et numériques coexistent et interagissent en temps réel » (Young, 2011). Pour le dire de manière plus
1 Notre intention artistique est en un sens utopique.
2 Repéré le 15 septembre 2017 : http://www.un.org/fr/universal-declaration-human-rights/index.html
5
imagée, les réalités mixtes résultent de la fusion d’images du monde naturel et d’images artificielles (Grau, 2003, p. 7). Sans se limiter au seul aspect visuel, les réalités mixtes provoquent l’hybridation d’objets physiques et virtuels dans l’ensemble des dimensions cognitives par leur interprétation sensible et culturelle. Les réalités mixtes sont incluses dans le continuum virtuel entre l’environnement réel et virtuel et entre la virtualité et la réalité augmentée (Milgram & Kishino, 1994). La réalité augmentée est définie par la combinaison d’objets virtuels et réels qui interagissent en temps réel dans un même environnement (Azuma, et autres, 2001) et qui sont alignés visuellement ensemble comme une couche graphique reprenant la profondeur, l’espace et la texture de la réalité sur l’écran (Liestol, 2011, p. 318).
Parmi les technologies de réalité mixte et de réalité augmentée, nous préférons la simulation située. La simulation située fait partie de ces technologies qui mobilise plusieurs niveaux cognitifs de l’usager (proprioception, vision, audition), en relation à une position dans l’espace, ce qui est intéressant artistiquement, car « le monde concret, in situ, devient l’origine d’une mobilité immersive, in visu, par laquelle les réalités mixtes coexistent » (Vesac, 2014).
Ce terme a été forgé par Gunnar Liestol (Liestol, 2009) et repris dans les travaux de Sylvie Daniel. La simulation située est une technologie de l’information et des communications permettant d’interagir avec des données géolocalisées. La simulation située est une représentation 3D d’un espace utilisant la navigation GPS reportée à un équipement mobile comme moteur de déplacement. Cette technologie est une variante de la réalité augmentée qui ne fusionne pas les images réels et virtuelles sur l’écran. Elle requiert un ensemble technique composé minimalement d’un site géographique de référence et de sa représentation 3D, d’une application interactive et d’un équipement informatique mobile tel qu’une tablette tactile. Lors de l’expérimentation de la simulation située, l’utilisateur perçoit l’environnement réel immédiat simultanément à la simulation, car la simulation située « combine le réel et le virtuel » (Liestol, 2011, p. 316). Par cette combinaison, les informations virtuelles sont additionnées aux perceptions de l’usager (Feiner, 2002) et cette addition constitue un gain, une augmentation de la réalité (Liestol, 2011, p. 318). Comme nous le verrons tout au long de cette recherche-création, les spécifications de la simulation située s’adaptent aux exigences d’un dispositif d’art numérique touchant à l’interaction humain-machine.
6 1.3.3 L’interaction humain-machine
Notre approche de l’interaction humain-machine s’inspire de l’intelligence ambiante pour élaborer un dispositif inscrit dans l’environnement (Farman, 2012) qui tisse des liens entre les personnes, les machines et l’environnement et qui s’adapte au contexte grâce aux technologies mobiles. Centré sur l’utilisateur, « un tel système augmente les capacités perceptives des utilisateurs en ajoutant des informations associées à la situation » (Pascoe, 1998).
Selon Adam Greenfield, « l’informatique ambiante établit un écosystème de plateformes mobiles, d’objets, d’appareils et d’ordinateurs connectés et contextualisés traitant et faisant circuler l’information » (Greenfield, 2007, p. 20). Ce nouvel ensemble intégré est en équilibre dynamique récursif avec l’environnement. La régulation partielle de ces systèmes est contrôlée directement par les contraintes contextuelles4 (Juarrero, 1999). Les données acquises de l’environnement ont un
impact sur l’équilibre interne du programme informatique, qui réagit et modifie l’environnement en retour. « Le système intelligent est décomposé en producteurs d’activités parallèles et indépendants qui interagissent tous directement avec le monde à travers la perception et l’action. »5 (Brooks, 1991)
L’action du système est ainsi guidée par l’environnement. Par leur similarité, le facteur environnemental contraignant renvoie à la notion d’adaptation contextuelle6 (Piva, Singh, Gandetto, & Regazzoni, 2005,
p. 71 ; Dourish, 2001), qui définit un système s’adaptant au comportement de l’usager et de l’environnement par la captation de données, l’extraction d’informations et la rétroaction. Ainsi, l’informatique ambiante offre des méthodes permettant l’élaboration de dispositifs interactifs qui pénètrent et s’inscrivent dans l’environnement du « locating pervasive computing » (Farman, 2012, p. 5) grâce aux technologies informatiques mobiles.
L’approche de l’informatique ambiante tissent des liens entre les personnes, les machines et l’environnement. Forts de cette proximité, ajoutons une description plus détaillée d’une méthode qui établit un système utilisant la notion d’adaptation contextuelle. Selon les capacités cernées par Pascoe (Pascoe, 1998) : « 1) un tel système détecte l’état de la situation7 et informe l’utilisateur, ce qui
augmente ses capacités perceptives ; 2) il adapte son interface pour répondre à différentes situations ;
4 Traduction libre de : « context-sensitive-constraints ».
5 Traduction libre de : « The intelligent system is decomposed into independent and parallel activity producers which all interface directly to the world through perception and action ».
6 Nous adaptons « context aware system » en évitant le terme conscience qui ne nous semble pas approprié pour parler de processus informatique.
7
3) il trouve et utilise des ressources complémentaires s’appliquant à la situation ; 4) il ajoute des informations associées à la situation ».
Centré sur les relations humain-machine, le design d’interaction est associé à une démarche esthétique qui dépasse la seule interface écranique. L’interaction, « en impliquant de la part d’un environnement virtuel donné un retour d’information complexe et continu, suscite l’attention, l’écoute, la présence de l’utilisateur » (Sedes & Bonardi, 2004). Dès lors que l’interaction concerne la présence du participant, plusieurs niveaux d’existence entrent en jeu. Le design d’interaction accompagne l’élaboration formelle des fonctionnalités du système en vue de produire une expérience esthétique. La formalisation est une activité complexe appartenant au processus de création numérique.
La formalisation est à la base du développement d’application informatique, sans se limiter aux aspects opérationnels. « C’est un ensemble formel, comprenant des langages, des codes et des algorithmes (etc.) qui sont la réalisation de méthodes d’analyse et de représentation des phénomènes depuis le niveau de l’observation empirique jusqu’à celui de l’élaboration de théories formelles » (Borillo, 1984). La formalisation a recours à la schématisation, qui est « un ensemble de processus cognitifs et de symbolisation se basant sur deux principes complémentaires : la réduction8 et
l’organisation de l’information » (Robert, 2003). Elle procède par mise à l’échelle. La réduction est encore une fois employée pour extraire la structure d’une forme de sa matière (Blanché, 1957, p. 18). Par opposition, les particularités (motifs) qu’elle contient sont réduites « en vue de modéliser les phénomènes, en entendant par-là la mise en évidence d’éventuelles régularités qui ordonnent les phénomènes » (Borillo, 1984). La formalisation détermine des critères d’appartenance caractéristiques « décrits au moyen de règles complètes, dépourvues d’ambiguïté et effectives » (Ladrière, 1969, p. 109). Dans notre recherche, les phénomènes observés sont les relations et les interactions humain-machine qui ont pour objectif de former une expérience esthétique singulière. La formalisation informatique fait partie de notre démarche de création.
Un autre point important de notre étude qui s’appuie sur l’approche de l’interaction humain-machine repose sur la facilité d’utilisation du dispositif. Notre objectif est d’assurer son accessibilité et son utilité auprès du grand public. C’est pour cela que nous privilégions une interaction gestuelle simple. Par « interaction gestuelle », nous entendons un mode de communication entre la machine et les utilisateurs. Dans ce cadre, l’utilisateur contrôle les commandes d’une machine fondées sur des
8
instructions gestuelles. Dans ce travail, l’interaction gestuelle est limitée aux mouvements corporels desquels peut être déduite une intention découlant d’un choix individuel : être orienté vers quelque chose, aller vers quelque chose ou, simplement, être à un emplacement spécifique. Nous privilégions la simplicité, car celle-ci donne confiance au système et à son bon état de fonctionnement. À partir de ce lien de confiance, le participant s’engagera dans l’interaction et dans la proposition fictionnelle de l’art. Pour ce faire, la formalisation des relations entre les contenus (sons, lumière, images), le contexte et les participants doit rester significative, inspirante. Cette première étape est essentielle et fonde la compréhension des niveaux d’interprétation plus complexes de la proposition artistique. Cependant, cette simplicité a des limites, car ce type d’interaction est souvent trop prévisible (op. cit.).
La pertinence de ce travail repose sur l’élaboration d’une méthode destinée à contourner l’approche à la fois « globale et indifférenciée » (Vinet, 2013, p. 1) inhérente au fonctionnement des dispositifs d’installations artistiques interactives actuelles. Cette méthode n’est pas spécifique à l’interaction gestuelle, mais se prête bien à un projet artistique.
1.3.4 L’agentivité de groupe
L’agentivité de groupe est une intention d’agir partagée par un groupe et guidant ses actions effectives. La notion d’agentivité utilisée dans cette recherche fait appel à la faculté d’émergence et d’inspiration à l’action d’un objet (agent) sur un sujet, telle que définie par Alfred Gell dans sa théorie anthropologique des relations sociales entourant les œuvres d’art. L’œuvre d’art agit comme un agent ayant une influence sur des patients (les visiteurs), les destinataires de l’œuvre (Gell, 2009, p. 33). Suivant cette perspective, sans que cela soit sa finalité, l’œuvre d’art est apte à motiver le passage à l’action dans le réel. En complément, l’agentivité est un phénomène d’émergence, de dépassement des conditions initiales, provoqué par une relation expérimentale de recherche entre des agents humains et non-humains (Pickering, 1995, p. 14). L’agentivité permet ainsi au participant d’être à même de constater les conséquences de ses propres actions dans le contenu même de l’œuvre. Ce type d’interaction a pour effet d’engager la volonté du participant (Falcão, 2012) et de permettre le dépassement du niveau d’interaction opérationnelle par le couplage dynamique du participant avec l’œuvre (Hansen, 2004, pp. 145-146). Par ses choix successifs, le participant est en quelque sorte « subjectivé » : il se découvre comme sujet individuel en « reconnaissant sa manière de donner sens au réel, au moyen de son activité de symbolisation » (Richard, Wainrib, & Cahn, 2006, p. 2). De manière générale, le corps est au sein de l’interface qui l’instrumentalise. Le corps participe au dispositif, qui est pour lui comme une extension. Cette prolongation numérique du corps démultiplie
9 son action potentielle, notamment dans l’œuvre.
À la manière d’un individu, un groupe d’individus peut avoir de l’agentivité. « Quand un groupe d’individus forme un agent, les participants peuvent établir des relations entre eux de façon plus ou moins coordonnée, chacun jouant un rôle similaire »9 (List & Pettit, 2011, p. 16). Un groupe se forme
en agent selon quatre conditions interdépendantes (Bratman, 2009) : « 1) par la reconnaissance d’un objectif commun; 2) par l’implication de tous les membres du groupe pour la réussite de l’objectif; 3) par l’interdépendance des participants les uns envers les autres; 4) par la confiance partagée par tous, que chacun accepte les précédentes conditions10 ». Dans cette recherche, ces conditions sont
intégrées à la réussite d’une mission à accomplir collectivement. À différents degrés, nous considérons ces critères dans la validation de l’engagement du groupe de participants dans le projet.
1.3.5 L’être-ensemble numérique
Nous définissons l’être-ensemble numérique comme le résultat d’un acte volontaire et individuel de participation collective médiatisées par un système informatique conduisant à un état d’hybridation perceptif participatif. C’est une marque de la volonté d’être et de faire collectivement. C’est la convergence de plusieurs individus portés par un projet considéré comme une expérience commune nécessitant des actions d’équipe. Ce terme désigne « les dispositifs technologiques qui permettent une mise en contact, un échange et la constitution du sentiment de l’être-ensemble numérique dans un espace commun » (Hugon, 2011).
L’être-ensemble numérique est une qualité d’expérience d’interaction et de participation de groupe en immersion dans un dispositif médiatique, intégrant des algorithmes et codes informatiques. Cette expérience vécue en groupe compose un système humain complexe. Ce système peut se doter de stratégies que l’on regroupe sous le vocable « d’intelligence collective »11 (Michelucci, 2013, p.
85-86) (Lévy, 1997), inspirée de la notion « d’écologie de l’esprit » (Bateson, 1977) qui préserve l’unité du sujet et de son environnement . Dans ce cadre, l’être-ensemble étant une expression de l’intelligence collective, elle peut être décrite comme un phénomène émergent. De fait, l’être-ensemble réside en une expérience subjective et complexe qui est difficile à mesurer objectivement.
Dans cette thèse, nous voyons l’être-ensemble numérique comme un moment où l’interrelation
9 Traduction libre de : « When a group of individuals form an agent, they may relate to one another in a more or less coordinate manner, with each playing a similar role ».
10 Adaptation de : « 1 - shared goal; 2 – individual contribution; 3 – interdependence; 4 – common awareness ». 11 L’intelligence collective est l’habileté d’un groupe à résoudre un problème, et le processus conduisant à cette résolution.
10
du groupe d’individus est influencée par un dispositif informatique inspirée par l’intelligence ambiante. L’être-ensemble numérique est le produit des effets d’émergence d’un système complexe d’interaction humain-machine. L’être-ensemble numérique procède d’une « causalité ascendante », à l’égal d’une nouvelle propriété qui n’était pas présente dans les parties qui l’accomplissent, et qui engendre de plus des « causalités descendantes », qui sont des propriétés structurantes de ce groupe d’individus agissant sous l’effet de leur engagement collectif. Du point de vue de l’action, l’être-ensemble numérique est le comportement d’un groupe d’individus formé en collectif dans un système informatisé qui en démultiplie les effets, notamment en lien à l’organisation spatiale des agents (participants et bots). Si l’on se place du point de vue des principes proposés par Varela et Thompson, « l’émergence transversale indique la formation d’une structure fonctionnelle impliquant des systèmes organiques et des objets environnementaux, incluant des items technologiques12 » (Smith & Weintraub, 2009, p.
107). Ces effets d’émergence provoquent, dans les systèmes autodéterminés où ils apparaissent, des causalités ascendantes (du local au global), qui produisent de nouveaux processus, et des causalités descendantes (du global au local), produisant de nouvelles contraintes d’interaction13 (Varela &
Thompson, 2001).
Dans cette recherche, l’être-ensemble est une expérience vécue dans un espace public. À ce titre, elle appartient aux représentations du vivre-ensemble14. Temporairement rassemblés dans un
espace commun, les individus communiquent directement ou via les technologies mobiles : les individus y expriment leur subjectivité par des gestes culturels. Ils s’inscrivent alors dans un « rapport de force illustré par les diverses représentations constituant l’espace public […] qui n’existe pas en soi, mais s’actualise nécessairement pour un individu qui lui donne un sens, par ses actes, dans le présent toujours renouvelé des représentations » (Bonenfant, 2008). La mise en réseau de l’espace public de la ville intelligente15 et l’accélération de la communication ont un impact sur l’équilibre des forces qui le
12 Traduction libre de : « Transverse emergence indicates the formation of a functional structure involving organic systems and environmental objects, including technological items ».
13 Adaptation de : « Emergence through self-organization has two directions. First, there is local-to-global determination or ‘upward causation’, as a result of which novel processes emerge that have their own features, lifetimes and domains of interaction. *Second, there is global-to-local determination, often called ‘downward causation’, whereby global characteristics of a system govern or constrain local interactions ».
14« Le vivre-ensemble est une notion utilisée pour identifier des catégories d’expérience ou d’interaction […] dans des contextes comme ceux de la mémoire, du patrimoine ou de la performativité culturelle, en sus de ceux de l’interculturalité ». Centre interuniversitaire d’études sur les lettres, les arts et les traditions (CELAT) [En ligne]. http://www.celat.ulaval.ca/wp-content/uploads/2012/05/Programme-colloque-celat-2012-FINAL.pdf (consulté en février 2016)
15 La ville intelligente met en œuvre les technologies de l’information et des communications (TIC) « dans ses différents secteurs dans le but d’optimiser l’utilisation des infrastructures existantes. Que ce soit en matière de transport, de bâtiment, de gouvernance ou d’environnement, les nouvelles technologies peuvent contribuer à répondre aux défis urbains actuels ». Institut Technologies de
11
définissent et le constituent. La communication passe par des canaux souvent privés, qui constituent une véritable commercialisation des rapports humains. Dans cette logique marchande, les expressions alternatives du vivre-ensemble ont du mal à exister, car il y a un risque accru de discrimination des expressions artistiques.
De nouvelles opportunités font toutefois leur apparition. Le développement de la ville et de ses communautés intelligentes implique de nouveaux modes de vivre-ensemble, de nouveaux comportements sociaux collectifs, qui émergent particulièrement sous l’effet des technologies mobiles et qui constituent un changement de paradigme, « une transition technologique entraînant une mutation fondamentale de notre façon de percevoir le monde, et peut-être même de notre manière d’exister » (Greenfield, 2007, p. 20) ensemble.
Parmi les différentes formes d’expression du vivre-ensemble, nous nous concentrerons sur la participation artistique dans l’espace public. L’expression du vivre-ensemble dans l’espace public s’incarne fréquemment par une expérience de l’être-ensemble au cours d’événements culturels. Les spectacles abordent des composants participatifs pour répondre au besoin grandissant du public d’expérimenter l’être-ensemble dans des moments de jeux, d’étonnement et de joie (Beim, 2014). La prolifération de ce type de divertissement souligne le succès de cette approche. Cependant, comme nous pouvons le voir trop souvent, la participation se limite à un événement dont la structure classique reproduit les rapports de force de la société par la séparation de la scène et par la figure de la vedette. Nous voulons proposer un autre modèle d’expérience participatif et innovant rendu possible par le numérique. C’est pourquoi nous nous intéressons à l’être-ensemble numérique dans les réalités mixtes, où présence physique et virtuelle se superposent et s’hybrident.
1.4 Une revue de l’existant
Présentons quelques projets existants inspirants se rapportant à différents aspects de notre recherche. Pour l’aspect interactif, l’installation Soleil (Vesac, 2012) demande à l’expérimentateur de s’associer à un environnement sensoriel, par la transposition musicale de ses gestes et l’adaptation rythmique du dispositif à ses réactions physiologiques. « Cette œuvre demande à l’expérimentateur de prendre conscience de son comportement afin de lui donner la possibilité de l’associer à un environnement sensoriel, par la transposition musicale de ses gestes et l’adaptation rythmique du
l’information et Sociétés (ITIS) Villes intelligentes : un bref survol (2012) [En ligne]. https://www.itis.ulaval.ca/cms/site/itis/page81388.html (consulté en 2016)
12
dispositif, à ses réactions physiologiques. » (Vesac, 2017) Les prémisses de cette recherche ont émergé lors de l’exposition de notre installation interactive Soleil16. Malgré la réussite du projet relevée
d’après les commentaires des commissaires d’exposition, nous avons constaté que l’espace social dans la galerie n’avait pas été suffisamment pris en compte dans l’élaboration de notre dispositif. Cette observation nous a conduits à chercher une approche de création en art numérique mettant en œuvre une interaction de groupe dans un espace public.
1.4.1 Projets de recherche et commerciaux en mobilité numérique
Pour l’aspect de la mobilité numérique, des projets proposent notamment des solutions orientées pour la création, le jeu, la planification et la mise en valeur du patrimoine. Les possibilités d’interaction sociale offertes par ces systèmes informatiques mobiles représentent un paradigme (Coquillart, Brunnett, & Welch, 2010) qui se définit par la mise en relation de la simulation située, de la déambulation urbaine et de la possibilité de générer un point de vue unique en fonction de chaque utilisateur. Citons les projets de Sylvie Daniel, qui expérimentent la simulation située dans la prévisualisation d’aménagements urbains, dans une volonté de médiation favorisant l’acceptation sociale. La simulation située est ici utilisée pour proposer une expérience concrète qui sera une aide à la décision. Le projet de la Ville de Rennes (France)17 fut l’un des premiers à utiliser la participation
de groupe avec un système de simulation située dédié à la déambulation urbaine. D’autres projets utilisent les médias situés dans le but de générer des interactions dites créatives entre les participants, tels que le système PubliqueSpace et SharedSpace (Beale, 2005) ou le projet Reality Mining du MIT Media Lab (Eagle & Pentland, 2006). Sans vouloir faire l’anthologie des systèmes qui regroupent toutes les caractéristiques paradigmatiques énoncées par Cheok, présentons également les dispositifs de jeu vidéo qui prônent les interactions sociales urbaines situées à l’aide de systèmes de réalités mixtes, tel « Human Pacman » (Cheok, et autres, 2004) et l’un des plus connus : « Pokémon GO » (Rutkin, 2016). Les possibilités de personnaliser les interfaces leur confèrent parfois le vocable d’interface créative. Notons que si ces dispositifs intègrent des éléments pouvant être transformés et personnalisés, ils ne constituent toutefois pas des systèmes susceptibles de mettre en relief une expression singulière, artistique. Dans le domaine du patrimoine, les travaux de Gunnar Liestol s’intéressent aux médias situés qui sont conçus pour mettre à profit la relation entre
16 Présentée dans le cadre de la Biennale internationale d’art numérique de Montréal en 2014.
17 Ménard, V., Rennes teste une autre réalité augmentée. [En ligne].
13
la localisation géographique et la narration. Son projet Phalasarna18 donne un exemple de simulation
d’une reconstruction archéologique. À noter que, bien que l’interaction sociale soit une composante essentielle de l’être-ensemble, elle n’entraîne pas forcément cette expérience. Des projets de recherche récents montrent l’intérêt des chercheurs à aller au-delà d’une simple interaction sociale par le biais de l’échange de médias (Wilken, 2010) ou de contexte d’apprentissage (Erdogan, 2016), sans toutefois pouvoir parvenir à cerner les éléments indispensables à son apparition.
1.4.2 Projet artistique d’interaction de groupe : Inferno
Dans le domaine de la création numérique, la participation est souvent abordée de manière différente. Donnons un exemple de participation du public servant d’extension à l’hybridation humain-machine : dans un style industriel aux abords aliénants, le duo d’artistes composé de Bill Vorn et de Louis-Philippe Demers explore la robotique de même que l’inquiétude ressentie devant la puissance mécanique asservie par l’intelligence artificielle. Dans une de leurs dernières productions, Inferno (2016), les participants sont harnachés dans le dispositif. « La particularité de cette performance réside dans le fait que les différentes machines faisant partie du spectacle sont installées sur le corps même des spectateurs. Le public devient alors acteur de la performance. Les spectateurs peuvent parfois se déplacer librement, [mais ils sont] parfois physiquement soumis, de façon partielle ou complète, forcés à agir/réagir d’une manière ou d’une autre par les machines.19 » Ici, le terme « acteur » semble être
compris comme une présence sur scène, ou un exécutant, car le participant n’est que partiellement libre de ses mouvements. Surtout, en nous basant sur le descriptif de l’œuvre fourni par ses auteurs, nous constatons que le système ne s’adapte pas aux participants. Les processus du spectacle s’incorporent dans la chair des participants, mais sans interaction. Dans ce spectacle, et malgré l’effet de groupe de la mise en espace, la participation se limite aux personnes actives sous les regards des spectateurs, ce qui n’est pas la définition de l’être-ensemble numérique de cette thèse.
1.4.3 Projet artistique d’interaction de groupe : Murmuration
Présentons un autre projet abordant l’interaction humain-machine dans un contexte de réalités mixtes : dans un cadre d’immersion grand format, Murmuration (2015)20 est un projet « d’interaction
ludique avec des essaims de particules numériques et de manipulation en temps réel d’objets
18 Site web du laboratoire Situated Simulations Lab [En ligne]. http://www.sitsim.no (consulté en mai 2016) 19 Billvorn, Inferno [En ligne]. http://billvorn.concordia.ca/menuallF.html (consulté en janvier 2016)
20 Présenté à la Société des arts technologiques (SAT) en juin 2015. Sat, European Mobile Dome Lab [En ligne].
14
audiovisuels virtuels ou physiques »21. La particularité de ce projet de réalité mixte est de prendre en
considération le contexte social de la situation de présentation. De ce fait, le projet propose une expérience multijoueur dans un dispositif d’immersion écranique à 360 degrés. Le projet utilise des objets munis de gyroscopes qui contiennent des DEL pour appuyer la rétroaction. Ils servent d’interfaces et permettent, par leur manipulation physique, une relation portée sur un objet virtuel dans l’espace 3D de la projection. Ce contrôle direct des mouvements ainsi que la relation symétrique des mouvements des objets réels et virtuels permettent aux participants d’identifier leur apport à l’espace médiatique. Un participant qui observe la manipulation de ces objets peut constater le lien causal de cette interactivité. Il possède un certain angle de vue selon sa position dans le dôme d’immersion. Cependant, malgré l’effet panoramique de l’image, il n’y a qu’un point de vue unique, celui de la caméra virtuelle de rendu. Cette contrainte de point de vue unique limite l’interaction multijoueur. Les participants passifs sont réunis dans l’espace de projection, mais ne sont pas dans l’espace du dispositif, car l’incorporation au dispositif des participants est restreinte par la limite de point de vue. Les gestes des participants actifs sont matérialisés par une forme 3D qui prolonge leur performativité à l’écran, mais l’interaction ne dépasse pas la symétrie. Pour ces deux raisons, Murmuration propose une participation de groupe, mais qui ne correspond pas à notre définition de l’être-ensemble numérique.
1.4.4 Projet artistique d’interaction de groupe : Quorum Sensing
Pour l’interaction de groupe, l’installation Quorum Sensing (Kiss, 2003) propose un système en galerie qui reconstitue « métaphoriquement, un écosystème virtuel qui évolue selon son rythme propre et en concordance avec les mouvements du public ». En son état, ce projet artistique ne correspond pas à notre définition de l’être-ensemble numérique, mais contient des germes que nous allons développer.
1.5 L’hypothèse
L’interaction de groupe dans un espace physique public au sein d’une même installation artistique est complexe, car elle suggère une grande variété de points de vue individuels et une expérience commune. Cette complexité n’est pas abordée dans les projets que nous venons de présenter. Malgré la volonté de mettre en œuvre des interactions de groupe, dans ces réalisations cela
21 Traduction libre de la description originale du projet. SOURCE [En ligne].
15
ne s’est pas concrétisé. Comme dans une grande majorité de projets d’interaction dans l’espace public, les interactions possibles sont prédéterminées et contrôlées. En conservant un point de vue individuel et en communiquant aux autres les signes de cette exploration, le participant a très peu de liberté pour construire sa propre expérience, en dehors de sa propre imagination, à cause des limites technologiques. Nous sommes devant une difficulté : comment engager les visiteurs à participer à un dispositif d’interaction de groupe dans un espace public et conserver son intérêt ?
Nous pensons que dans ce contexte, et c’est notre hypothèse principale que l’être-ensemble numérique, à travers ses indices communiqués par l’agentivité de groupe, favorise l’engagement et la prolongation de l’expérience d’un dispositif d’art numérique.
Afin de démontrer notre hypothèse, nous devons établir que l’être-ensemble numérique émerge en fournissant des indices associés à cet état communiqués par l’agentivité de groupe et que la simulation située est une technologie qui permet de matérialiser de tels indices au sein d’un dispositif artistique. Ce qui nous emmène à une question de recherche à laquelle nous devons répondre: comment mettre en œuvre effectivement l’être-ensemble numérique au sein d’un dispositif artistique à des fins de prolongation de l’expérience et d’amélioration de l’engagement?
Cette notion d’être-ensemble demeure subjective et difficilement modélisable informatiquement. Nous allons donc centrer notre recherche sur les indices de l’être-ensemble numérique à travers l’agentivité de groupe. Ainsi, cette thèse propose de mettre en œuvre un design d’interaction qui formalise ce comportement de groupe pour rendre plus engageant et moins prévisible un dispositif d’interaction gestuelle simple sous l’effet de l’agentivité de groupe.
Selon nous, la simulation située a la capacité de mettre en œuvre un dispositif multiutilisateur habilité à analyser et à générer des environnements virtuels à partir des comportements de groupe. La simulation située semble comprendre les spécificités nécessaires pour mettre en œuvre l’être-ensemble numérique et, ainsi, produire un dispositif d’interaction gestuelle simple moins prévisible, plus engageant et adéquat à la complexité de l’interaction de groupe. Notre supposition est que la simulation située permettrait de refléter le comportement de groupe des participants et, de la sorte, rendrait visible une information qui ne serait pas directement accessible au participant individuel. Cette réflexivité opèrerait comme un agent des intentions collectivisées, soit l’agentivité de groupe.
16 1.6 Les objectifs
La conduite de cette recherche comporte des objectifs d’ordres conceptuel, méthodologique et artistique. Nous devons déterminer les phases et des indices de l’être-ensemble numérique, puis concevoir et développer une méthode permettant de les appliquer à un design d’interaction par l’agentivité de groupe. Nous devons également concevoir et le développer d’une approche permettant d’intégrer la simulation située à la création numérique. Enfin, nous produirons une création artistique mettant en œuvre ces méthodes et visant ainsi à valider leur faisabilité et leurs contributions en termes de création artistique et d’avancement des connaissances sur l’être-ensemble numérique. Nous présenterons une version de la création devant le public dans un contexte artistique professionnel qui nous permettra de valider l’intérêt de la simulation située pour la création numérique et du genre de dispositif élaboré ici.
1.7 La démarche méthodologique
Notre approche méthodologique s’inscrit dans une démarche de recherche-création. « Le terme recherche-création s’applique aux recherches dont le résultat est double : un artefact ou une performance artistique accompagnés d’une production discursive » (Paquin, 2018). Nous développerons un prototype suivant les spécifications définies selon notre hypothèse de recherche. Puis, nous mènerons des expérimentations avec des participants afin de procéder à sa validation. Enfin, une version artistique sera créée et présentée dans un cadre artistique professionnel pour apprécier son intérêt.
Il est important de constater que les aspects multidisciplinaires nécessaires à la mise en œuvre de cette thèse justifient une approche de type recherche-création qui permet l’observation de la collaboration des participants dans un dispositif issu de diverses disciplines, tels que le design d’interaction, la simulation située et les arts. Cette approche de la recherche-création contribue à l’enrichissement réciproque des champs de la théorie et de la pratique : elle ne se limite pas à une production artistique, mais tente de contribuer aux connaissances de l’être-ensemble numérique. Du fait de la complexité des projets qui nécessitent des compétences et des expertises variées qui correspondent aux différents aspects de la réalisation du projet, l’implication de plusieurs disciplines est une pratique courante en art numérique.
