Reconsidération de l’étape audio-vidéo

L’étude des résultats en différentiant la présentation d’audio et vidéo congruents et non congruents fournit les résultats suivants :

Figure 63, la présentation de contenus audiovidéo non congruents fait baisser les performances de discrimination dans les 4 conditions expérimentales. D’autre part, cette présentation ne donne pas de résultats significatifs (p>0.05 dans tous les cas).

Le test binomial donne des résultats significatifs dans deux cas où l’audio et la vidéo sont congruents : pour la condition expérimentale 1 (p-value = 0.00072 *** < 0.001) et pour la condition expérimentale 4 (p-value = 0.00002 *** < 0.001), en conclusion, pour ces deux conditions l’ajout de la vidéo à l’audio donne des résultats significatifs.

La différence entre la vidéo congruente et la vidéo non congruente pour ces deux conditions est elle aussi significative : pour la condition expérimentale 1 (p-value = 0.00018 *** <0.001) et pour la condition expérimentale 4 (p-value = 0. 9.4e-06 *** < 0.001).

Figure 63 : Comparaison des marches congruentes (vert) et non congruentes (rouge) pour les 4 conditions expérimentales. La présentation de contenus audiovidéo non congruents fait baisser la discrimination dans les 4 conditions.

En conclusion, Figure 63, même si seulement deux résultats sont significativement meilleurs pour l’audiovidéo congruents, visuellement la même tendance se dégage pour toutes les conditions expérimentales. En conséquence, la décomposition de l’étape audiovidéo en deux étapes afin d’effectuer de nouveaux tests est pertinente.

Ces résultats, Figure 64, manquent de cohérence étant donné qu’ils améliorent la discrimination pour toutes les conditions expérimentales avec des résultats significatifs (p<0.001 dans les deux cas) seulement pour CE1 et CE4, à savoir trois notes de musique identiques et Un accord en Do majeur égrené sur les 3 zones précédé des notes de l’accord référence du pas valide. En ne retenant que les présentations de contenus audiovidéo congruent, il est possible d’affirmer, au vu des résultats significatifs, que pour la première condition expérimentale, l’ajout de la vidéo à l’audio permet d’améliorer significativement la discrimination alors qu’elle n’était pas possible dans les étapes rythme et mélodie.

Il est aussi possible d’affirmer, au vu de ces résultats complémentaires, que CE4 (Un accord en Do majeur égrené sur les 3 zones précédé des notes de l’accord référence du pas valide) donne des résultats significatifs dans les trois étapes.

La CE3 (Un accord en Do majeur égrené sur les 3 zones), même si elle donne des résultats légèrement meilleurs sans l’audio vidéo non-congruent, reste moins performante que pour les étapes rythme et mélodie.

En conclusion, l’apport de la vidéo dans cette expérimentation n’est pas probant, il permet seulement de conserver les performances atteintes avec la condition expérimentale 4, la meilleure de toutes.

4.2.7 Discussion

De façon générale, les conditions expérimentales 1 et 2 ne donnent pas de résultats significatifs : dans le contexte de la marche, l’utilisation de langage de commande ne donne pas de bons résultats.

Les conditions expérimentales 3 et 4 sont beaucoup mieux comprises : des notes variées autour d’un accord de musique sont bien comprises, même en rythme seul, pour décrire et discriminer un type de marche. L’ajout de la mélodie (informations de pressions) augmente encore la compréhension. Par contre, L’ajout de la vidéo n’aide pas à améliorer l’étape mélodie. Le fait de présenter « audio et vidéo non congruents » a perturbé les utilisateurs et pourrait être l’explication du manque de performances de cette étape.

Trois cas de figure sont possibles pour expliquer cette baisse de performances :

 Premièrement, cela a même fait baisser la compréhension de la situation « audio vidéo congruents » qui aurait pu être meilleure si elle avait été présentée seule, c'est- à-dire une étape 3 avec seulement audio et vidéo congruents et une étape 4 bien séparée avec audio et vidéo non congruents

 Deuxièmement, cela peut-être lié à une surcharge d’information : la vidéo dans ce cas n’aide pas à rapprocher l’utilisateur du contexte de la marche. En conséquence, trop d’informations données sans boucle de rétroaction desservent l’objectif visé. Il faut admettre que l'apprentissage ou le distinguo entre 2 conditions se ferait plus facilement par le vécu et que le protocole développé ne permet de réagir qu'à une simulation

 Troisièmement, cela est peut-être lié à un problème de focus attentionnel : en effet, quand l’utilisateur parvient à discriminer des types de marche différents à partir de sons uniquement, c’est qu’il arrive bien à imaginer une personne en train de marcher. Le résultat est encore meilleur avec l’ajout de la mélodie. Par contre l’ajout de la vidéo déplace le focus attentionnel de l’utilisateur qui se focalise sur la vidéo et n’arrive plus à être suffisamment attentif aux informations audio.

Le premier cas de figure semble le plus probable : c’est celui qui correspondrait aux résultats révélés par (Scheef et al., 2009)68 qui montrent que non seulement l’audio et la vidéo

congruents donnent de meilleurs résultats que l’audio seul mais aussi que l’audio et la vidéo non congruents donnent aussi de meilleurs résultats que l’audio seul. Bien sûr, nos résultats ne vont pas dans ce sens mais nous pensons que la séparation de l’étape audiovisuelle comme proposé précédemment pourrait y mener.

68

Cette expérimentation est un prolongement de (Effenberg, 2005) voir note de bas de page numéro 59 de ce présent document. Comme celle-ci, elle utilise uniquement un son dont la fréquence varie selon la hauteur du saut. Son objectif vise à montrer les aires du cerveau qui s’activent.

Il est intéressant à ce stade de revenir sur les hypothèses de départ :

Hypothèse 1 : est-il possible, par le biais de sons, d’informer un utilisateur qu’il adopte une marche normale ou pathologique ?

L’expérimentation a montré que cela est possible.

Hypothèse 2 : Le rythme seul permet de faire la différence entre une marche saine et une marche pathologique

L’expérimentation a montré que ce rythme donne des indices suffisants pour valider cette hypothèse. Cela est confirmé par une étude récente de (Schaffert & Mattes, 2015) qui mettent l’accent sur l’importance de donner des indices pendant l’exécution du geste du sportif qu’ils appellent indice intra cyclique.

Hypothèse 3 : L’ajout d’une mélodie à ce rythme permet de faire encore plus cette différence

L’expérimentation, à nouveau, montre que l’information mélodique est un facteur améliorant la discrimination.

Hypothèse 4 : L’ajout d’une modalité visuelle aide à la discrimination

Hypothèse 5 : La modalité ajoutée, qu’elle soit ou non congruente avec la modalité audio donne de meilleurs résultats que la modalité audio seule

L’hypothèse 4 n’est pas validée dans notre expérimentation. Cependant, comme cela a été vu, le résultat est certainement biaisé par l’utilisation en même temps de vidéos congruentes et non-congruentes.

L’hypothèse 5 n’est pas validée. Au contraire il serait possible d’affirmer que l’ajout de vidéo congruente donne de meilleurs résultats que la modalité audio seule. De la même façon, il serait possible d’affirmer que l’ajout de vidéo non-congruente donne de moins bons résultats. Mais Nous ne pouvons pas affirmer cela en nous basant sur notre protocole, il faudrait le modifier comme cela a été proposé pour avoir une réponse sans biais.

4.2.8 Conclusion

Dans ce chapitre nous avons présenté une expérimentation déclinant différentes techniques de sonification afin de comparer leur aptitude à véhiculer de l’information dans une forme compréhensible et interprétable par les utilisateurs. Nous avons proposé une correspondance entre des attributs baropodométriques spatiotemporels et les messages destinés à l’utilisateur. Nous avons aussi abordé un aspect mélodique par le biais d’accords et de notes de musique pour présenter cette information à l’utilisateur.

Une succession monotone de notes ou d’accords ne suffit pas pour discriminer une marche normale d’une marche pathologique. Une mélodie liée à des variations de pression sur ces successions monotones ne suffit pas non plus.

Une succession de notes de musique égrenées en un accord de musique suffit pour discriminer une marche normale d’une marche pathologique. Une mélodie liée à des variations de pression sur cette succession de notes augmente encore la discrimination. Avec l’ajout de la présentation des notes correspondant à la marche de référence, les performances sont encore meilleures.

Enfin, si l’ajout d’informations visuelles n’a pas été validé comme aidant à une meilleure discrimination, nous restons persuadés que cette condition mériterait d’être à nouveau testée avec un autre protocole qui présenterait uniquement des vidéos congruentes à l’audio.

En conclusion, les résultats qui se dégagent de cette expérimentation méritent d’être évalués dans une nouvelle expérimentation réalisée dans un contexte de marche réelle. En effet, de notre point de vue, si les résultats sont corrects dans le cas de (Effenberg, 2005), c’est parce que le couple vidéo/audio concerne une action bien moins complexe que celle que nous avons évaluée (un saut à pied joints couplé à un seul son variant en hauteur versus une marche linéaire couplée à trois sons dont la hauteur augmente ou diminue). En conséquence, la charge mentale demandée est bien plus importante. Dans le contexte d’une marche réelle, la charge mentale serait moindre étant donné que le retour sonore serait directement dépendant du comportement de l’utilisateur et qu’il constaterait immédiatement les variations issues de la correction de sa démarche.

La section suivante présentera entre autres les actions à accomplir pour modifier l’architecture modulaire de l’application ayant servi à l’expérimentation numéro 2 dans le but de la convertir en une application embarquée sur dispositif de type smartphone.

Les sections précédentes nous ont aidés à comprendre le biofeedback, ses tenants et ses aboutissants. Les éléments qui le composent ont été organisés dans un cadre de conception de biofeedback. Nous avons appréhendé les différentes modalités d’interaction en sortie avec l’utilisateur et avons expliqué notre choix de la modalité sonore (situation de marche, embarqué, ne pas entraver les gestes de la vie quotidienne).

Nous avons ensuite présenté les différentes utilisations du son dans le biofeedback et avons proposé une solution qui a été peu explorée jusqu’à présent, à savoir l’utilisation de sons organisés autour d’accords de musique.

Une première expérimentation a permis de déterminer le nombre de niveaux de pression que les utilisateurs pouvaient discriminer. Cela a servi de base à la mise en place d’une deuxième expérimentation.

Cette deuxième expérimentation a permis de vérifier des hypothèses relatives à la manière d’organiser les sons afin de décrire des informations spatiotemporelles. En vérifiant ces hypothèses, nous nous sommes penchés sur les effets générés par l’utilisation d’un matériau sonore en particulier. Cela a permis de comparer différentes conditions expérimentales et de déterminer celle qui produisait les meilleurs résultats auprès des utilisateurs.

Les deux dernières sections qui suivent sont intimement liées à ces expérimentation, elles en sont même à la source, elles en constituent le fondement. En effet, c’est sur la base des tâtonnements et des itérations que nous avons pu faire émerger les questions et hypothèses qu’il devenait nécessaire d’évaluer.

Cependant, nous avons pris le parti de séparer les contributions expérimentales présentées plus avant, de la présente contribution qui se situe à un niveau conceptuel ou d’ingénierie. Ainsi, cela a permis dans un premier temps de se focaliser sur les hypothèses à vérifier à travers les expérimentations sans perturber le lecteur par une quantité conséquente de questions et détails techniques qui auraient troublé le propos.

Cette section traite du développement des applications mises en œuvre dans notre démarche d’exploration sonore, en amont de ces expérimentations. Ces applications, développées de façon incrémentale et itérative nous ont servi à préciser les caractéristiques des types de retours envisagés ainsi que les hypothèses associées.

Enfin, nous avons choisi de décrire les outils que nous avons développés selon la logique de notre cadre de conception, ce qui permettra d’illustrer sa mise en œuvre. Nous ajouterons à cette description les détails de conception, d’architecture et les commentaires expliquant nos choix.

La section 5.1 détaillera notre choix de matériau sonore alors que la section 5.2 décrira les environnements de tests en laboratoire qui ont été utilisés dans notre démarche d’exploration sonore.