Un modèle pour les gestes et la parole : le Sketch Model

De Ruiter (2000) propose une extension à ce modèle (voir Figure 18). A la manière de Levelt, il

propose une architecture générale modulaire de production de gestes spontanés en relation avec la

parole. Son modèle permet d’expliquer les gestes déictiques (gestes de pointage) et les gestes

iconiques dans lesquels il inclut les gestes métaphoriques (voir McNeill, 1992, voir aussi section

III.1.2). Il prend en compte également les emblèmes et ajoute les pantomimes qui correspondent à des

gestes qui imitent des activités motrices fonctionnelles et qui ne peuvent pas être issus directement de

l’imagerie mentale (il est à noter que dans la typologie de McNeill, les pantomimes font partie des

gestes iconiques). De Ruiter a une approche basée sur les représentations et les traitements

(Representations and Processes) ; il s’intéresse donc aux représentations qui sont à la base du

traitement des gestes et non pas à la sémiologie des gestes (cela explique sa motivation dans les

quelques changements de typologie).

C’est le conceptualizer du modèle de Levelt (voir section IV.1.1) qui est à l’origine de l’initiation des

gestes en synchronie avec les concepts lexicaux. Pour tous les gestes, le conceptualizer forme une

représentation du geste à effectuer, le « sketch », et l’envoie au planificateur de gestes (gesture

planner) qui sera en charge de construire un programme moteur à partir de ce sketch. L’exécution du

geste se fera finalement par les unités du contrôle moteur.

IV.2.1. La conception du sketch

En se basant sur le fait que ces gestes spontanés sont produits en relation étroite avec la parole, de

Ruiter fait l’hypothèse d’un module de traitement commun

pour l’initiation du geste et de la parole, le

conceptualizer. Ce module a en effet accès à une base de connaissances, la mémoire de travail, qui

contient entre autres des informations conceptuelles pour les mots et des informations imagées

(spatio-temporelles) pour les gestes. De Ruiter ajoute au modèle un stock de gestes conventionnels, le

gestuaire (gestuary), auquel le conceptualizer peut également accéder. Le conceptualizer forme le

sketch qui peut contenir différentes informations selon le type de gestes à encoder : des informations

3 Il est à noter que de nombreux auteurs ne partagent pas ce point de vue d’un module de traitement

commun pour l’initiation du geste et de la parole : ils proposent alors une interaction entre gestes et parole à plusieurs étapes du traitement (voir une autre proposition de module commun p. 22 ; voir aussi de manière plus générale la discussion p. 22). Le sujet principal de cette thèse ne concernant pas directement les gestes co-verbaux, nous ne discuterons pas de la position de de Ruiter pour son modèle.

spatio-temporelles sur les images mentales pour les gestes iconiques, des informations sur la direction

d’un référent (pour les gestes déictiques), des informations sur la forme du geste récupérées dans le

gestuaire (pour les gestes déictiques et les emblèmes) et des informations relatives aux connaissances

motrices (action schema) pour les pantomimes.

Selon l’intention communicative du locuteur, le conceptualizer peut si nécessaire activer, en plus des

concepts appropriés, des images (à partir de la mémoire de travail) relatives à ces concepts qui seront

à la base du geste. C’est le cas pour les gestes iconiques. L’intention communicative a alors une

composante conceptuelle (propositionnelle) qui permet de former le message préverbal et une

composante « imagée » (avec une organisation spatio-temporelle) qui est à l’origine de la formation du

geste. Un seul geste peut remplacer une quantité importante de mots, ainsi les concepts difficiles à

exprimer avec des mots sont plus facilement exprimés à l’aide de représentations imagées ; ceci

explique la grande utilisation des gestes iconiques pendant les narrations. La forme du geste iconique

est déterminée par l’information imagée. Le conceptualizer extrait de l’image mentale les

caractéristiques pertinentes et crée une représentation qui est stockée dans le sketch. Cette

représentation, appelée « trajectoire » (trajectorie), peut contenir une ou plusieurs caractéristiques

spatiales et temporelles (mouvements) de la représentation imagée. Pour les gestes iconiques, le

sketch contient également la position relative du locuteur par rapport aux trajectoires ; ceci permettra

au locuteur d’adopter une certaine position spatiale par rapport au contenu sémantique du geste (voir

section IV.1.1, la perspective taking). Pour les emblèmes, le conceptualizer accède au gestuaire qui

contient un ensemble de programmes moteurs abstraits (c’est-à-dire pas entièrement spécifiés) des

gestes conventionnels, les templates, indexés par le concept qu’ils représentent. Si le conceptualizer

trouve dans le gestuaire un emblème qui peut exprimer le concept lexical de l’intention communicative

du locuteur, alors il stocke dans le sketch un pointeur (pointer) qui fait référence à cet emblème. Pour

les gestes déictiques, le conceptualizer stocke dans le sketch un vecteur qui indique la direction de la

position du référent que l’on doit pointer. Comme la forme des gestes de pointage est souvent

prédéterminée (conventionnelle selon la culture : c’est souvent l’index qui est utilisé mais ce peut être

aussi la main entière, le pouce, etc.), le conceptualizer stocke également dans le sketch un pointeur qui

fait référence à un template de pointage contenu dans le gestuaire. Finalement, une fois que le sketch

est généré, il est envoyé au planificateur de gestes.

Figure 18. Le Sketch Model. Figure adaptée de de Ruiter, 2000.

IV.2.2. Le planificateur de gestes

Le planificateur de gestes est chargé de construire un programme moteur à partir du sketch et des

informations qu’il contient. Pour ce faire, il a accès au gestuaire (pour retrouver les pointeurs), aux

procédures motrices et à certaines informations extérieures sur les contraintes de l’environnement. Il

doit construire le programme moteur en tenant compte de ces contraintes environnementales (de façon

à ne pas heurter des objets ou personnes durant l’exécution des gestes). Il complète ainsi les

programmes moteurs (templates) du gestuaire (pour les gestes déictiques et emblèmes) en spécifiant

les caractéristiques non encodées dans le gestuaire et qui dépendent du contexte et de la situation

telles que la partie du corps qui va exécuter le geste, la durée du geste, la position du membre dans

l’espace, etc. C’est en effet lui qui gère les différentes parties du corps (body-part allocation) en

Mémoire de travail Mémoire à long terme

Modèle de discours, encyclopédie, etc autre spatial concepts CONCEPTUALISEUR génération du sketch génération du message GESTUAIRE gesture templates PLANIFICATEUR DE GESTES sketch signal Environment CONTROLE MOTEUR Encodage grammatical SYSTEME ARTICULATOIRE plan phonétique (parole interne) FORMULATEUR LEXIQUE lemmas lexèmes Mouvement Parole message Structure de surface Programme moteur Encodage phonologique Encodage phonétique ^Syllabaire

choisissant le membre qui va effectuer le geste (ce peut être le doigt, la main, l’autre main, mais aussi

la tête, le regard, la jambe, etc.). Pour les gestes iconiques, le planificateur de geste peut programmer

la main pour qu’elle « retrace » la trajectoire spatio-temporelle. Il peut également se produire des

« fusions » de gestes de types différents (voir un exemple détaillé de fusion entre un geste iconique et

un geste déictique dans de Ruiter, 2000, pp. 303-304). De Ruiter fait alors l’hypothèse que si l’un des

gestes implique un pointeur sur un template dans le gestuaire, le planificateur de gestes va utiliser les

caractéristiques non spécifiées du programme moteur pour effectuer les autres gestes fusionnés.

Finalement, une fois que le programme moteur est entièrement spécifié, il est envoyé aux modules de

contrôle moteur bas niveau qui vont exécuter le mouvement.