Construction de la base de connaissances

Nous l’avons vu dans le chapitre 4, les décisions du superviseur s’appuient sur une base de connaissances. Celle-ci contient l’ensemble des règles de distribution, qui prennent la forme de listes de modalités favorites pondérées pour chacun des éléments du modèle des tâches. L’élaboration de cette base va s’effectuer en deux étapes principales : la constitution des listes, puis la mise au point des pondérations. Dans les deux cas nous avons suivi une même méthodologie de construction. Nous nous sommes appuyés sur un corpus d’interactions issues des applications du chapitre 3. Un sous-ensemble de ces interactions a fait l’objet de supervisions successives, entrainant la composition progressives des listes jusqu’à l’obtention de résultats corrects (i.e. contenant tout ou partie des résultats attendus). Ces listes étant composées de modalités initialisées à 1, les scores ont ensuite été affinés par de nouvelles itérations, la condition d’arrêt étant cette fois que la modalité jugée la plus adéquate selon le contexte obtienne le score final le plus élevé.

5.3.1 Corpus d’interactions

A partir de notre modélisation des interactions et de l’identification de certains types de tâches, paramètres et types de données, nous pouvons construire un cor-pus des interactions qui peuvent être représentées (figure 5.2). Pour simplifier les

figures, nous nous sommes restreints dans cette section aux quatres types de tâches, à six données et à cinq paramètres possibles parmi tous les éléments proposés lors de la modélisation des interactions. Une tâche doit obligatoirement comporter une donnée unique, mais peut avoir plusieurs types et aucun ou plusieurs paramètres. Nous interdisons quelques combinaisons : une sélection ne peut pas porter sur une donnée de contact ou le proxy, une navigation ne peut concerner que la scène et les paramètres quantitatif, état ou variation n’ont pas de sens pour cette navigation. Ces cas particuliers ne restreignent pourtant pas beaucoup le nombre de tâches de RV modélisables par ces 15 éléments simples.

Fig. 5.2 –Graphe du corpus d’interactions possibles à partir de certains types de tâches, paramètres et données.

Parmi toutes les combinaisons possibles du corpus, nous avons choisi un sous-ensemble d’interactions pour servir à la construction de la base de connaissances. Les trois critères de choix des combinaisons étaient de :

– pouvoir leur faire correspondre un exemple de tâche réalisable dans une des applications que nous avons analysées (chapitre 3) ;

– connaitre le ou les rendus multimodaux pertinents de ces tâches pour les utili-sateurs (par analyse ergonomique, expériences psychophysiques, expertise ou déduction) ;

– permettre la représentation de tous les éléments du modèle mais pas de toutes les combinaisons.

Fig. 5.3 –Tableau des interactions élémentaires ayant servi à la construction de la base de connaissances.

5.3.2 Contexte élémentaire

Le contexte sur lequel nous nous sommes appuyés dans un premier temps est simple. Les éléments statiques (ceux fixés avant le lancement des interactions) sont :

– le handicap utilisateur ; – la disponibilité des médias ;

– les préférences utilisateur (choix de rendus spécifiques pour certains éléments du modèle).

Les éléments dynamiques sont :

– la charge temporelle des canaux (i.e. le nombre de modalités par canal à un instant donné) ;

– la colocalisation entre l’attention visuelle de l’opérateur et la donnée concernée par la tâche.

5.3.3 Constitution des listes de modalités

La méthode pour initialiser la base de connaissances consiste à exécuter itérative-ment des requêtes de rendu sur les tâches du sous-ensemble du corpus. Les listes de modalités favorites des différents éléments représentés par les combinaisons choisies sont modifiées jusqu’à ce que le superviseur donne des résultats corrects dans les situations idéales. Puis le même processus est lancé dans des contextes différents : les modalités de substitution ou de redondance doivent être choisie respectivement à la place des modalités impossibles ou en complément des modalités insuffisantes.

re-Fig. 5.4 – Tableau des modalités favorites par éléments du modèle des interactions.

présentées dans un tableau (figure 5.4). Cette représentation permet par ailleurs de déterminer visuellement le résultat de la supervision d’une tâche dans un contexte idéal. Par exemple (figure 5.5), pour une tâche de manipulation d’une topologie avec contrainte, les modalités qui ont le score maximum de 2 sont : topologie, couleur et contrainte visuelles, mapping et contrainte haptiques.

Cet exemple montre bien la nécessité d’affiner les scores, de manière à hiérarchiser les modalités au sein des listes, et ainsi restreindre le nombre de modalités dans la liste résultat.

5.3.4 Affinage des pondérations

Le travail d’affinage des pondérations s’avère plus délicat que la constitution des listes. Il s’agit d’effectuer de nouvelles supervisions itératives sur le sous-ensemble

Fig. 5.5 – Tableau des modalités favorites par éléments du modèle des interactions : exemple.

du corpus, mais cette fois pour qu’une seule modalité attendue obtienne le score final le plus élevé. Il faut également s’assurer que les rendus sont corrects dans des contextes non idéaux (e.g. absence d’un dispositif de rendu, handicap de l’utilisateur, surcharge due aux interactions précédentes, etc.).

Pour l’heure, les scores ont été peu modifiés. Une des perspectives de recherche ouverte par ces travaux est l’utilisation de procédures automatisées (type réseaux de neurones) à la place des réglages manuels.

Les listes obtenues à la suite de ce processus de pondération (figure 5.6) four-nissent également des règles de distribution génériques, pouvant être réutilisées en dehors du superviseur multimodal. Elles devront bien sûr faire l’objet d’évaluations ergonomiques.

Fig. 5.6 – Tableau des modalités favorites pondérées par éléments du modèle des inter-actions.