Utilisation des modalités

1.9.1 TYCOON

Pour Martin (Martin, 1996; Martin, 1995), la multimodalité consiste à faire coopérer des modalités variées, aussi bien en analyse qu'en synthèse, c'est-à-dire de la transmission de l'information, respectivement de l'utilisateur vers le système et du système vers l'utilisateur. Ainsi, un flot d'informations peut être analysé ou synthétisé par plusieurs modalités agissant simultanément, en parallèle, ou l'une après l'autre. Dans (Martin, Veldman et Béroule, 1995; Martin, 1995), les auteurs proposent la taxonomie TYCOON (TYpes de COOpératioN). Six types de coopération entre modalités sont distingués dans TYCOON :

La complémentarité : au sein d‟un même énoncé, différentes informations sont transmises sur différentes modalités pour réaliser une tâche donnée.

La redondance : au sein d‟un même énoncé, la même information est transmise par différentes modalités.

La concurrence : différentes modalités sont utilisées en parallèle pour réaliser des actions distinctes.

L’équivalence : désigne la possibilités de choisir entre plusieurs modalités pour formuler un énoncé particulier.

La spécialisation : on utilise toujours la même modalité pour exprimer une action particulière.

Le transfert : un énoncé produit par une modalité est analysé par une autre modalité.

Dans cette classification, le parallélisme n‟est pas mis en valeur. En effet, les trois types de la coopération (équivalence, spécialisation et transfert) concernent la coopération des modalités successives. Dans ce contexte, d‟autres travaux ont fourni d‟autres classifications de la coopération des modalités. Nous avons employé le travail de (Catinis, 1998) pour résumer ces taxonomies.

1.9.2 Propriétés CASE

D'autres travaux (Caelen, 2000; Nigay et Coutaz, 1993) établissent une relation entre les modalités (du point de vue du système), et distinguent quatre grands types, représentés par les propriétés CASE (Concurrente, Alternée, Synergique, Exclusive), intégrant la notion de temporalité :

La multimodalité concurrente : différentes modalités sont utilisées en parallèle pour réaliser des tâches distinctes.

La multimodalité alternée : une seule modalité est utilisée à la fois pour produire une action mais plusieurs modalités sont exploités pour réaliser une même tâche.

La multimodalité synergique : différentes modalités sont utilisées en parallèle pour réaliser une seule tâche.

La multimodalité exclusive : une tâche est exécutée à la fois et en utilisant une seule modalité.

1.9.3 Propriétés CARE

Contrairement aux propriétés CASE qui se concentrent sur l'utilisation des modalités pour réaliser une ou plusieurs tâches, les propriétés CARE (Complémentarité, Assignation, Redondance, Équivalence) (Coutaz et al., 1995) permettent de décrire les relations entre les modalités pour la réalisation d'une seule tâche (Nigay, 1994). À noter que les propriétés CARE définissent la modalité par les deux éléments constitutifs : le dispositif et le langage d'interaction. Elles sont définies comme suit :

La complémentarité : l‟utilisateur emploie différentes modalités en même temps, au sein d‟un même énoncé, pour réaliser une tâche donnée. Chaque modalité est nécessaire pour comprendre l‟énoncé.

L’assignation : l‟utilisateur emploie toujours la même modalité pour exprimer une action particulière.

La redondance : l‟utilisateur transmet simultanément le même énoncé via plusieurs modalités.

L’équivalence : l‟utilisateur a le choix entre plusieurs modalités pour exprimer une action particulière.

La notion de l'assignation de CARE se rapproche de la notion de la spécialisation de TYCOON. Toutefois, dans CARE, l'assignation porte sur une donnée particulière en tenant compte des deux éléments de la modalité qui sont le dispositif et le langage d'interaction. C'est alors un cas particulier de la spécialisation qui s'applique à un type de données (Horchani, 2007).

Les différents niveaux d'abstraction ne sont pas explicités dans la dimension de parallélisme de CASE (Bellik, 1995). C‟est pourquoi Bellik a affinée cette classification et a explicité les différents niveaux d'abstraction du parallélisme.

1.9.4 Fusion/Fission

La coopération entre les modalités peut conduire à une fusion (modalités en entrée) et fission (modalités en sortie). Coutaz (Coutaz et al., 1995) et Nigay (Nigay, 1994) distinguent trois types de fusion (fission) selon le niveau d‟abstraction de l‟information :

La fusion sémantique : Elle constitue la combinaison de commandes pour en obtenir une nouvelle. Exemple: dessiner un cercle et colorier un objet = une commande qui permet de dessiner un cercle selon différentes couleurs.

La fusion syntaxique : Elle correspond à la combinaison d‟unités d‟information pour obtenir une action. Exemple: l‟unité « effacer ça » n‟a de sens qu‟après sa combinaison avec une autre unité indiquant l‟objet à supprimer.

La fusion lexicale : Elle se définie comme étant la combinaison d‟actions physiques pour obtenir une action au niveau signal. Exemple: (windows) l‟enfoncement conjoint des touches «CTRL» et «ESC» sont fusionnés par le système en un seul évènement.

1.9.5 Les types de multimodalités selon Bellik

Bellik a repris la classification de Coutaz et Nigay et a distingué les critères de fusion selon trois paramètres :

La production des énoncés (séquentielle, parallèle). Le nombre de médias par énoncé (un, plusieurs). L'usage des médias (exclusif, simultané).

À partir de ces trois paramètres, Bellik a identifié sept types de multimodalités. La huitième combinaison ne peut pas être produite (voir la Figure 1.17) :

Figure 1.17 Les différents types de multimodalité selon Bellik. Tirée de Bellik (1995, P.31)

Multimodalité exclusive : un énoncé et un seul média à la fois (pas de multimodalité). Multimodalité alternée : une tâche est réalisée avec plusieurs médias, mais ils sont

employés alternativement.

Multimodalité synergique : une tâche est réalisée avec plusieurs médias employés simultanément.

Multimodalité parallèle exclusive : plusieurs tâches indépendantes sont réalisées en parallèle. Dans une même tâche, un seul média est utilisé. Un seul média est actif à un moment donné.

Multimodalité parallèle alternée : plusieurs tâches sont réalisées en parallèle avec plusieurs médias, mais un seul média est actif à un moment donné.

Multimodalité parallèle synergique : plusieurs tâches sont réalisées en parallèle. Dans une même tâche, plusieurs médias sont employés simultanément.

Multimodalité parallèle simultanée : plusieurs tâches indépendantes sont réalisées en parallèle. Dans une même tâche, un seul média est employé. Les médias de différentes tâches peuvent être utilisés simultanément.

La classification de Bellik se base sur une analyse quantitative et temporelle des données, elle ne tient pas compte de la sémantique des énoncés (Zanello, 1997).