Transformations verbales audio-visuelles et rôle des onsets
4.5 Discussion générale
Ces quatre expériences, visant à tester l'inuence des informations visuelles des gestes articulatoires du locuteur sur l'émergence et la stabilité des transformations verbales, nous ont permis d'avancer dans deux directions principales. D'une part, nous avons clairement inscrit la multimodalité de la parole dans le cadre des trans-formations verbales, qui prennent ainsi un statut de paradigme de multistabilité multimodale extrêmement riche. Nous avons caractérisé le rôle des interactions audio-visuelles dans les transformations verbales, et ceci pourrait ouvrir la voie à des développements expérimentaux nombreux. D'autre part, nous avons poursuivi notre projet principal, qui est l'étude des mécanismes de liage en perception de parole, en caractérisant un mécanisme à notre sens nouveau, que nous avons dénommé onset visuel . Nous allons discuter ces résultats dans ce double contexte.
Les résultats de l'expérience 1 démontrent d'une part l'existence des transforma-tions verbales purement visuelles et d'autre part l'inuence de la modalité visuelle sur la stabilité des percepts lorsque les ux auditif et visuel sont incongruents, ceci en diminuant la durée du percept cohérent avec la séquence auditive et/ou en aug-mentant la durée du percept cohérent avec la séquence visuelle. Selon les résultats de l'expérience 2, la modalité visuelle pourrait, dans une certaine mesure, contrôler l'émergence des transformations au cours du passage des stimuli. Les résultats de l'expérience 3 suggèrent que cette inuence pourrait être due à l'observation de l'on-set visuel correspondant au geste d'ouverture de la mâchoire. L'eet moins important de l'onset visuel dans l'expérience 4, utilisant des stimuli purement géométriques, suggère que les informations visuelles sur le geste d'ouverture de la mâchoire pour-raient être récupérées à partir de la dynamique temporelle du signal visuel, et donc que l'eet d'onset est bien speech specic .
Nous avons vu dans la section 3.1.2, les études sur la présentation discontinue des stimuli multistables visuelles qui entraînaient, en fonction de la durée de non-présentation, la stabilisation ou la déstabilisation des percepts visuels (ex. Leopold et al., 2002; Kornmeier et al., 2007). En ce qui concerne la parole, les résultats de l'expérience 2 montrent que les manipulations dans la modalité visuelle pourraient jouer un rôle sur la stabilisation ou déstabilisation des percepts parole : en fonction de la congruence ou l'incongruence entre les informations auditives et visuelles, les bascules dans la vidéo permettent une meilleur stabilité ou non du percept cohérent avec la séquence auditive.
Il est également intéressant de souligner que la possibilité de contrôle des trans-formations avec la modalité visuelle observée dans l'expérience 2 peut fournir un paradigme expérimental intéressant pour suivre les bascules perceptives dans le cer-veau. Sachant que les bascules dans le ux visuel conduisent à des changements perceptifs, on pourrait ainsi espérer caractériser en ligne les activités cérébrales as-sociées à l'émergence d'un nouveau percept sans demander une réponse de la part des sujets, ce qui faciliterait l'interprétation des activités observées en lien avec les transformations verbales.
Le rôle de l'onset visuel sur les transformations verbales observée dans l'expé-rience 3 peut être interprété par rapport aux propositions psycholinguistiques sur
tel-00565893, version 1 - 14 Feb 2011
4.5. Discussion générale 111 le rôle important de l'onset des mots dans l'accès lexical (Marslen-Wilson et Welsh, 1978) et sur le rôle des syllabes fortes dans la segmentation du ux de parole (Cut-ler et Norris, 1988). Il est important de noter que ces propositions sont fondées exclusivement sur la modalité acoustique et sur les propriétés auditives des signaux de parole. Dans ce sens, nos résultats apportent de nouveaux arguments en faveur d'une nature multimodale de la parole et proposent que les indices visuels parti-cipent également d'une manière active dans la segmentation du ux de parole. Ce résultat est cohérent avec les travaux deDohen et al.(2004) réalisées dans le dépar-tement Parole et Cognition du Gipsa-lab qui montrent que des indices prosodiques, importants dans la segmentation de la parole (voir Cutler,1996, pour une revue), pourraient êtres extraits à partir des informations visuelles. Ils sont également in-téressants à rapprocher des travaux montrant que les interactions audio-visuelles participent eectivement aux mécanismes d'accès au lexique (Fort et al.,2010).
Enn, le caractère speech specic de l'eet d'onset que nous avons mis en évidence est particulièrement important par rapport à la présentation théorique que nous avons faite dans la partieIconcernant les mécanismes de liage perceptif. Le fait que l'onset visuel se rapporte selon nous à une information interprétable articulatoi-rement renvoie évidemment à la question du rôle du couplage perceptuo-moteur dans le liage. Nous allons aborder cette question par l'outil de la neurophysiologie dans le chapitre suivant. Nous pourrons alors, dans le chapitre6, essayer de dresser un por-trait cohérent de l'eet de transformation verbale, et, à travers lui, du mécanisme de liage audio-visuel des percepts de parole. À la lumière des résultats obtenus dans nos expériences comportementales, des études décrites auparavant sur l'eet de trans-formation verbale et celles sur l'intégration audio-visuelle de la parole, notamment par Sato(2004); Sato et al. (2006, 2007); Kondo et Kashino (2007); Skipper et al.
(2005,2007), et en prenant en compte les résultats de l'étude neuro-anatomique que nous présenterons dans le chapitre suivant, un cadre perceptuo-moteur et multimo-dal sera proposé dans le chapitre6an de tenter de contribuer à expliquer l'eet de transformation verbale et à en déduire des propositions sur l'organisation perceptive de la parole.