Les contraintes temporelles de l’intégration multi sensorielle et la perception de la simultanéité

a) Un exemple de paradigme : l’illusion de McGurk et ses contraintes temporelles

De l’intérêt des paradigmes multi sensoriels pour comprendre la signification des fenêtres de simultanéité

Nous avons vu que la schizophrénie amène à se poser la question du traitement de l’information à l’intérieur des fenêtres de simultanéité, parce que ces fenêtres sont élargies. Le domaine de l’intégration multi sensorielle, que nous avons évoqué et défini lorsque nous avons présenté le modèle de Pöppel, est particulièrement bien adapté pour tester l’hypothèse qu’une augmentation des fenêtres de simultanéité ne signifie pas nécessairement une fusion des évènements. On retrouve ce type de questionnement sur les liens entre simultanéité et intégration multisensorielle chez Foucher et al. (2007) dont le point de départ réside justement dans l’étude des déterminants (potentiellement temporels) des problèmes d’intégration multi sensorielle chez les patients (la démarche se situe donc en sens inverse de la notre).

L’étude de Foucher (2007) prend comme point de départ un questionnement sur les déterminants des troubles de l’intégration multisensorielle (binding) dans la schizophrénie (De Gelder…) en interrogeant le rôle de la temporalité. En effet, est ce le processus lui-même d’intégration multisensorielle qui est altéré dans la schizophrénie ou les altérations de l’intégration multisensorielle sont elles tout simplement liées à une augmentation de la fenêtre de simultanéité, ce qui conduirait à intégrer ensemble des stimuli qui ne le sont pas chez les sujets contrôles ? Foucher (2007) retrouve dans son étude une augmentation des seuils de détection de l’asynchronie, en condition unimodale et multimodale dans la schizophrénie, ce qui plaiderait en faveur d’un déterminisme temporel des troubles de l’intégration multi sensorielle.

111

Figure 8. Répartition du jugement d’asynchronie en fonction du SOA (d’après Foucher, 2007)

Tableau 6. Estimation des fenêtres de simultanéité en condition uni et bi modale (d’après Foucher, 2007)

De la même façon que pour l’effet Simon, cette approche expérimentale qui assimile contraintes temporelle du jugement explicite de simultanéité aux contraintes temporelles de l’intégration multi sensorielle bute en réalité sur l’absence d’évaluation stricto sensu des fenêtres d’intégration temporelle, c’est-à-dire des fenêtres à l’intérieur desquelles les informations visuelles et auditives sont automatiquement intégrées et permettent l’émergence d’un percept unique. C’est ici que réside l’intérêt majeur des paradigmes multisensoriels sur lesquels nous revenons maintenant.

112

L’intégration multi sensorielle

Dans l'environnement naturel, notre organisme reçoit des informations d'évènements individualisables à travers de multiples canaux sensoriels. Cependant, loin de juxtaposer ces différentes composantes les unes à côté des autres comme des expériences sensorielles isolées, notre système perceptif réalise une intégration, c'est-à-dire une combinaison des informations provenant de différentes modalités sensorielles, aboutissant ainsi à une perception unique et cohérente d'un évènement. C'est par exemple le cas lorsque nous voyons une personne parler et que nous l'écoutons en même temps. Cet aspect de notre perception est désigné sous le terme d'Intégration Multi Sensorielle (I.M.S.) (Stein et al, 2008). Etudier la signification d’une augmentation des fenêtres de simultanéité (et le fait qu’elle puisse signifier une fusion des évènements entre eux) peut ainsi reposer sur l’utilisation de paradigmes expérimentaux tels que ceux basés sur l’illusion de McGurk & McDonald (1976). Nous l’avions évoquée lorsque nous avons présenté le modèle de Pöppel et y revenons de façon plus approfondie.

L’illusion de McGurk et McDonald

Figure 9. Illustration de l’illusion de McGurk et McDonald (1976)

Dans l'illusion de McGurk & McDonald, un doublage est réalisé. Il consiste à substituer à la bande sonore d’une vidéo dans laquelle une personne prononce une syllabe (par exemple [g]) une bande sonore différente (par exemple [b]): le mouvement articulatoire ne correspond alors plus au son émis. Lorsque cette illusion fonctionne, le sujet ne perçoit ni [g] (c'est-à-dire le mouvement articulatoire) ni [b] (c'est-à-dire la bande sonore), mais un troisième son, [d], reflet de l’intégration audio visuelle dans le domaine du langage.

113 Il existe deux "types" d'illusion de McGurk, c'est-à-dire de résultats perceptifs possibles en fonction de la nature des stimuli et de la modalité sensorielle à laquelle ils sont présentés : (1) le phénomène de "fusion" d'un côté : c'est par exemple le cas lorsqu'un sujet perçoit un [d] devant un visuel [g] associé à une audio [b]. Il s'agit ici à proprement parler d'un troisième percept, différent des entrées auditives et visuelles, réalisant un cas d'intégration strict.

(2) le phénomène de "combinaison" d'un autre coté: c'est par exemple le cas lorsqu'un sujet perçoit un [bg] devant un visuel [b] et un audio [g]. Il ne s'agit plus d'un troisième percept à proprement parler comme dans le cas de la fusion, mais d'une juxtaposition des entrées auditives et visuelles.

La fenêtre d’intégration temporelle

En désynchronisant progressivement les modalités audio et visuelle jusqu’au moment où cette illusion disparait, il devient possible d'évaluer expérimentalement les contraintes temporelle de ce processus d’intégration et d’estimer la taille de la « fenêtre d’intégration temporelle », au-delà de laquelle les stimuli ne sont plus fusionnés entre eux. En effet, la congruence temporelle des stimuli ne nécessite pas d’être rigoureusement stricte pour que ces derniers soient intégrés. Il est classique de représenter de telles données sous la forme d’une courbe sigmoïde double (Munhall et al, 96; Van Wassenhove et al, 2007). (cf p.79). La fenêtre d’intégration temporelle se définit alors comme l’espace temporel à l'intérieur duquel deux éléments objectivement séparés dans le temps sont égrés et au-delà duquel ils ne le sont plus. Cette fenêtre est d’environ 200 à 300 ms pour l’illusion de McGurk (Conrey & Pisoni 2006; vanWassenhove et al. 2007). L'établissement de cette fenêtre temporelle ne

114 nécessite donc aucun jugement explicite temporel, et est sous tendu par un traitement

temporel implicite, renvoyant à la sensibilitétemporelle du système d'intégration.

L’étape suivante, qui nous intéresse pour répondre à notre question, consiste ensuite à comparer la fenêtre d’intégration temporelle avec la fenêtre de simultanéité, en demandant cette fois au sujet, sur les mêmes stimuli, non pas un jugement sur ce qu’il a entendu mais un jugement de simultanéité. C’est ce qu’ont réalisé Van Wassenhove et al (2007) en comparant la taille des fenêtres explicites de simultanéité et des fenêtres d’intégration implicites.

Ce résultat plaide en faveur de mécanismes communs au traitement implicite et explicite de la simultanéité. Sont fusionnés ensemble les stimuli perçu comme synchrones et ne sont plus fusionnés ensemble les stimuli perçus comme asynchrones. Ce résultat, obtenu chez des volontaires sains uniquement, semble donc aller à l’encontre des résultats obtenus avec l’effet Simon.

Van Wassenhove et al (2007)

montrent une superposition des fenêtres temporelles explicites de jugement de la simultanéité (lignes supérieures) et des fenêtres d’intégration (lignes inférieures).

115

b) Résultats dans la schizophrénie

Quelques travaux ont étudié les troubles de l’intégration multi sensorielle dans la schizophrénie, en utilisant notamment l’illusion de McGurk. Les résultats sont contradictoires car certaines études retrouvent une altération du processus d’intégration multi sensorielle (De Gelder et al, 2002; Pearl et al, 2009; Ross et al, 2007) alors que d’autres non (Surguladze et al, 2001).

Aucune étude n’a en revanche étudié les contraintes temporelles de ce processus dans la schizophrénie, et cherché à le comparer avec la perception de la simultanéité. C’est ici que réside l’intérêt que nous avons porté à ce type de paradigme, pour répondre notamment à la signification de l’augmentation des fenêtres de simultanéité. Nous présenterons une étude dans la partie expérimentale.

c) Conclusion : synthèse, intérêt et limites

En résumé, l’étude des contraintes temporelles de l’intégration multi sensorielle et sa comparaison avec les fenêtres de simultanéité semble indiquer une correspondance entre perception de la simultanéité et fusion des évènements, un résultat allant à l’encontre du point de vue issu de l’effet Simon.

Cependant, si quelques données indiquent une altération du processus d’intégration multisensorielle dans la schizophrénie, aucuns travaux touchant directement à la question des contraintes de ce processus n’ont été retrouvés. C’est ici que réside l’intérêt que nous avons porté à ce type de paradigme et d’une étude que nous avons réalisée et que nous présenterons dans la deuxième partie de ce travail.

116 Nous avons utilisé une autre approche pour répondre à la deuxième question de notre thèse. Les travaux sur l’effet Simon avaient en effet soulevé la question de la signification d’une augmentation des fenêtres de simultanéité. En identifiant un biais de réponse des patients du côté du 1^er stimulus, pour des asynchronies très faibles, iIs suggéraient indirectement l’existence d’une possible altération de la capacité d’anticipation implicite de personnes touchées par une schizophrénie sur des échelles de temps très fines (de l’ordre d’une dizaine de millisecondes). L’altération de l’anticipation à un niveau très élémentaire reste cependant une interprétation de ces résultats. En outre, des défauts d’anticipation à l’échelle de quelques ms pourraient avoir une portée limitée. Ceci justifie l’utilisation de paradigmes complémentaires, étudiant directement l’anticipation sur des échelles plus longues, ce qui nous amène aux travaux sur la « hazard function » que nous présentons maintenant

117