Chapitre I Interaction fortement couplée : définition et exemples
3. Systèmes de Réalité Augmentée
La notion de Réalité Augmentée (RA) couvre plusieurs définitions traduisant différents courants de recherche menés en parallèle dès les années 90. En Graphique, la RA dérive de la Réalité Virtuelle : par exemple, de “vrais” pixels d’origine vidéo sont fusionnés à des pixels de synthèse [Azuma 93]. En interaction homme-machine, la RA, en réaction à l’immersion virtuelle, s’appuie résolument sur la conservation et l’amplification du réel : par exemple, la feuille de papier physique, objet familier, est “augmentée” de capacités de traitement de l’information ([Mackay 93], [Mackay 96]). Dans le cadre de cette thèse, nous entendons la RA comme l’amplification d’objets familiers par le traitement numérique.
Comme pour les systèmes immersifs de la section 2, nous illustrons les principes de la RA au moyen de systèmes représentatifs pour lesquels la vision par ordinateur a un rôle à jouer. Nous retenons deux catégories de systèmes : les systèmes fondés sur le principe des interfaces saisissables et les interfaces digitales qui, comme leur nom l’indique, utilisent le doigt comme dispositif privilégié d’interaction.
SYSTÈMESDE RÉALITÉ AUGMENTÉE
Interfaces saisissables
26 INTERACTIONFORTEMENTCOUPLÉE : DÉFINITIONETEXEMPLES CHAPITRE I
3.1. INTERFACES
SAISISSABLES
La notion d’interface saisissable1, due à Fitzmaurice ([Fitzmaurice 95], [Fitzmaurice 96]), dénote une famille d’interfaces homme-machine dans lesquelles des objets physiques saisissables servent de dispositif d’entrée. La position et l’orientation de ces objets sont à tout instant connues du système. L’utilisateur interagit avec le système en associant un ou plusieurs de ces objets à des entités virtuelles : objets graphiques (fenêtre graphique, icône de fichier) ou fonctions (opération sur l’espace de travail tels que déplacement, effet de zoom, rotation). Comme le montre la figure 10, l’association entre un objet physique et une entité virtuelle se crée en posant l’objet sur la représentation de l’entité. Une fois l’association établie, l’état de l’entité est modifié en déplaçant l’objet. Elle est rompue dès que l’objet est soulevé. En général, la surface de restitution des systèmes à interface saisissable est horizontale afin d’y déposer les composants physiques. On peut toutefois imaginer une interface saisissable sur une surface verticale, par exemple un tableau, avec des objets munis d’aimants.
Les “interfaces manipulatoires”2 ou “interfaces matérialisées”3 de Fishkin et Harrison s’appuient également sur le principe de l’analogie avec les gestes produits dans le monde réel [Harrison 98]. Mais la nature des artefacts démontrés ne saurait tirer profit a priori des techniques de vision. Ayant présenté le principe interactionnel des interfaces saisissables, nous allons en énoncer les caractéristiques puis les apports. Nous utilisons comme élément de comparaison la notion de multiplexage.
Multiplexage spatial et temporel des fonctions
Le multiplexage est un procédé employé pour répartir l’activation des fonctions d’un système. Fitzmaurice observe que les interfaces graphiques usuelles appliquent, avec la souris, un multiplexage temporel alors que les interfaces saisissables pratiquent le multiplexage spatial ([Fitzmaurice 96]).
1. “Graspable user interface” 2. “Manipulative interface” 3. “Embodied interface”
Figure 10
Principe d’une interface saisissable (extrait de [Fitzmaurice 95])
Un objet physique (ici une brique) est associé à une entité virtuelle en le posant sur la représentation de l’entité. L’association est rompue dès que l’objet est soulevé.
SYSTÈMESDE RÉALITÉ AUGMENTÉE
Interfaces saisissables
CHAPITRE I INTERACTIONFORTEMENTCOUPLÉE : DÉFINITIONETEXEMPLES 27 Le multiplexage temporel désigne une activation séquentielle des fonctions du système. Le pointeur de la souris, qui ne désigne, à un instant donné, qu’un seul emplacement de l’écran, ne permet d’activer qu’une fonction à la fois. L’activation d’une fonction avec la souris (par exemple, le déplacement d’une fenêtre) est marquée par l’association du curseur à la représentation graphique de la fonction. Cette association s’exprime par la position du curseur conjointe à l’enfoncement du bouton de la souris. Elle cesse avec le relâchement du bouton. La souris est alors disponible pour l’activation d’une autre fonction.
Le multiplexage spatial désigne le partage, à un instant donné, de l’espace entre plusieurs entités. Dans notre contexte, le multiplexage spatial se traduit par la présence simultanée de plusieurs représentations graphiques à l’écran : les boutons, barres de titre des fenêtres, barres de menu et poignées de contrôle se répartissent l’espace d’affichage. Ces représen-tations offertes simultanément à l’activation sont, avec la souris, utilisées en séquence. Le potentiel de simultanéité n’est pas exploité. Autrement dit, le multiplexage spatial du rendu graphique est bridé par le multiplexage temporel de la souris.
Les interfaces saisissables, dont le principe est l’association d’un objet physique distinct à chaque fonction, offrent une correspondance directe entre les dispositifs d’entrée et les fonctions ou concepts sous-jacents. Comme le montre la figure 11, l’activité d’association due au multiplexage temporel de la souris est éliminée. Mais, jusqu’où faut-il pousser le principe de la correspondance bi-univoque? N’y a-t-il pas un bon équilibre à trouver entre le multiplexage temporel extrême et le multiplexage spatial extrême ?
Si l’on écarte les raccourcis clavier, les interfaces graphiques standard pratiquent le multiplexage temporel extrême : l’accès à l’ensemble des
membre dispositif physique dispositif logique
membre dispositif physique =
Interface graphique classique
Interface saisissable
Figure 11
Aspect direct de l’interaction fondée sur les interfaces saisis-sables (d’après [Fitzmaurice 96])
Avec une interface graphique classique, l’utilisateur doit acquérir la souris avec la main, puis acquérir un widget avec le pointeur de la souris.
Avec une interface saisissable, une seule acquisition est nécessaire car l’objet saisi contrôle directement le système.
SYSTÈMESDE RÉALITÉ AUGMENTÉE
Interfaces saisissables
28 INTERACTIONFORTEMENTCOUPLÉE : DÉFINITIONETEXEMPLES CHAPITRE I fonctions du système passe par la souris. La table de mixage de la figure 12 est un cas de multiplexage spatial extrême : chaque potentiomètre de la table est lié, en dur, à une et une seule fonction. Les limites du multiplexage spatial sont claires : le nombre de fonctions accessibles est limité par l’espace (la table de mixage est un bon exemple de démesure) et le dispositif d’entrée n’offre pas la capacité d’adaptation nécessaire au contrôle des logiciels.
Fitzmaurice considère en pratique que les interfaces saisissables doivent se situer entre les deux extrêmes. Ainsi, à un fin niveau de granularité temporelle, les objets physiques sont multiplexés spatialement : chaque objet a une fonction bien définie. À un niveau de granularité temporel plus large, il est possible d’attacher et de détacher les objets physiques à leur fonction (tel que présenté sur la figure 10). On multiplexe ainsi leur fonction dans le temps. Si, en pratique, le bon équilibre entre multiplexage temporel et spatial semble un principe raisonnable, Fitzmaurice ne fournit aucune heuristique explicite sur les conditions d’un dosage adapté.
Apports On trouvera dans [Fitzmaurice 96] un recensement des apports des
interfaces saisissables. Nous les résumons ci-dessous :
• l’interaction à deux mains est favorisée, voire encouragée. L’utilisateur peut envoyer des ordres au système par l’intermédiaire de deux flux parallèles, accroissant ainsi le débit d’information à destination du système. La figure 13 montre un exemple d’interaction à deux mains. Dans une expérience empirique comparant les deux types de Figure 12
Multiplexage spatial extrême des fonctions : une table de mixage
La fonction de chaque potentiomètre est fixe et ne peut être modifiée.
Figure 13
Interaction à deux mains (extrait de [Fitzmaurice 95])
Deux objets sont manipulés pour spécifier une transfor-mation complexe sur un rectangle : les paramètres de position, échelle, orientation et courbure sont exprimés en un seul geste.
SYSTÈMESDE RÉALITÉ AUGMENTÉE
Interfaces saisissables
CHAPITRE I INTERACTIONFORTEMENTCOUPLÉE : DÉFINITIONETEXEMPLES 29 multiplexage, spatial et temporel, Fitzmaurice montre que le multiplexage spatial aboutit à de meilleures performances pour des tâches comportant des transformations d’objets graphiques (translations, changements de taille, et rotations). Le gain de performance est sensible pour des tâches nécessitant plusieurs transformations simultanées.
• Une interface saisissable met en jeu les habiletés de préhension de la vie courante. La souris, qui ne sollicite qu’une main limitée à des mouvements de translation, est, de ce point de vue, un dispositif réducteur. Les objets physiques des interfaces saisissables impliquent des manipulations plus riches pour le contrôle fin du positionnement et de l’orientation.
• Une interface saisissable encourage l’interaction à plusieurs. On constate que, dans la vie courante, un groupe d’individus parvient à se synchroniser efficacement dans la réalisation de tâches de manipulation : c’est le cas des chefs cuisiniers autour du fourneau, des contrôleurs aériens en salle de contrôle ou du personnel hospitalier dans le bloc opératoire. La configuration classique “clavier-écran-souris” n’encourage pas l’interaction de groupe. Elle est destinée à un usage mono-utilisateur. Inversement, avec une interface saisissable, les utilisateurs peuvent se répartir et s’échanger le contrôle des objets physiques.
• L’externalisation des représentations, jusqu’à présent confinées au virtuel, favorise l’utilisabilité. Leur matérialisation les rend plus saillantes facilitant la manipulation.
Les apports des interfaces saisissables ont motivé la réalisation de plusieurs prototypes que nous présentons maintenant : les Briques, le
MetaDesk et Built-It
Exemples d’interfaces saisissables
Le système “Briques”. Fitzmaurice concrétise le principe des interfaces
saisissables avec le prototype “Briques”1 [Fitzmaurice 95]. L’interface en entrée est constituée de petits objets parallélépipédiques à l’image des briques “lego” des jouets d’enfant (une brique lego est représentée dans la marge). “GraspDraw”, fondé sur Briques, permet de dessiner des formes géométriques colorées simples (voir figure 14). La sélection d’une couleur se fait en posant une brique dans un support qui représente des pots de peinture. Plusieurs formes d’interaction à deux mains sont mises en jeu (et étudiées) pour la création, la déformation et le placement de formes géométriques.
Sur le plan technique, les briques sont réalisées au moyen d’un Ascension
Flock of Birds ([Ascension 99]). Par sa forme, ce dispositif est adapté à la
réalisation de briques puisque les capteurs sont de petits cubes d’environ 2,5 centimètres de côté. Chaque capteur renseigne le système sur sa
SYSTÈMESDE RÉALITÉ AUGMENTÉE
Interfaces saisissables
30 INTERACTIONFORTEMENTCOUPLÉE : DÉFINITIONETEXEMPLES CHAPITRE I position et son orientation dans l’espace. Cependant, le Flock of Birds est sujet aux limitations des dispositifs magnétiques déjà évoqués (“Dispositifs magnétiques” page 23) :
• Les valeurs de position et d’orientation sont instables. Fitzmaurice rapporte que, pour la manipulation de formes géométriques de petite taille, les utilisateurs de Briques sont gênés par les oscillations, pourtant faibles, du curseur. Notons qu’une tablette graphique est utilisée pour les mesures de performances utilisateur évoquées au paragraphe “Apports” page 28 : la tablette graphique rend des valeurs de position stables dont la précision est bien supérieure à celle des dispositifs magnétiques.
• Pour ces mêmes expériences, il n’est fait aucun commentaire sur les contraintes de délai de capture des informations de position et d’orientation. Ces problèmes sont éludés, encore une fois, par l’usage de la tablette graphique.
• Le câble qui relie chaque capteur au système est une source de gêne. Bien que le Flock of Birds soit capable de gérer un grand nombre de capteurs, GraspDraw ne comprend que deux briques : Fitzmaurice estime qu’au-delà, les fils deviennent trop encombrants sur le plan de travail. L’expérience avec Graspdraw montre qu’en général, les utilisateurs placent les câbles de part et d’autre du plan de travail de façon à laisser un triangle dégagé entre le corps et les deux mains. La figure 14 illustre la situation. On note aussi que la limitation à deux briques n’empêche pas les utilisateurs d’exprimer leur gêne vis-à-vis des câbles.
Les recherches de Fitzmaurice ont inspiré d’autres travaux dont nous allons étudier les réalisations.
1. “Bricks”
Figure 14
L’application GraspDraw (extrait de [Fitzmaurice 96])
Deux “briques” permettent de réaliser les tâches suivantes : choix des couleurs et des formes géométriques, création, déplacement et déformation d’entités graphiques.
SYSTÈMESDE RÉALITÉ AUGMENTÉE
Interfaces saisissables
CHAPITRE I INTERACTIONFORTEMENTCOUPLÉE : DÉFINITIONETEXEMPLES 31
MetaDESK. La première application du MetaDESK ([Ullmer 97] [Ishii 97]) est un système de navigation sur une carte (voir la figure 15). À la différence des briques banalisées de Fitzmaurice, les objets physiques du
MetaDESK sont spécialisés, telle la réplique miniature du bâtiment
principal (le Dôme) du Massachusetts Institute of Technology (M.I.T.). Poser cet objet sur le MetaDESK fait apparaître la carte du campus du M.I.T centrée sur la position du Dôme miniature. La carte peut ensuite être déplacée et pivotée par translation et rotation respectives de la miniature. En plaçant une autre miniature sur la carte (le bâtiment du MediaLab dans l’exemple du MetaDESK), l’utilisateur contrôle le facteur d’échelle de la carte : les emplacements des deux bâtiments, Dôme et MediaLab, sont maintenus en permanence par le système sous leur miniature respective. En éloignant les deux miniatures, l’utilisateur effectue un effet de zoom sur la carte (et inversement).
Les miniatures du Dôme et du MediaLab sont identifiables par leur aspect. Ces objets, qui fonctionnent par analogie de forme avec les concepts qu’ils permettent de manipuler, sont appelés des “phicons” (pour “PHysical ICON” ou “icône physique”) [Ishii 97]. Les phicons peuvent également jouer le rôle de récipient enregistreur : la miniature du Dôme pourrait être prêtée à une autre personne qui pourrait alors consulter la carte du M.I.T. sur un système différent.
La réalisation du MetaDESK fait intervenir à la fois un dispositif magnétique Flock of Birds et un système de vision par ordinateur. Le dispositif magnétique est dans certains cas préféré au système de vision qui fonctionne seulement a une fréquence de sept images par seconde et utilise une technique de différence d’images connue pour son imprécision (les détails sur cette technique sont présentés au paragraphe “Suivi par différence d’images” page 83). Les capteurs magnétiques sont installés sur deux objets particuliers du MetaDESK :
1 la loupe, qui permet d’obtenir une information spécifique (par exemple, une photo aérienne) sur la surface du MetaDESK,
Figure 15
Le système MetaDESK (extrait de [Ullmer 97])
Le fait de poser le Dôme miniature du Massachusetts Institute of Technology (M.I.T.) sur le MetaDESK fait apparaître le plan du M.I.T. Le Dôme sert ensuite de “poignée” pour déplacer et faire pivoter le plan.
SYSTÈMESDE RÉALITÉ AUGMENTÉE
Interfaces saisissables
32 INTERACTIONFORTEMENTCOUPLÉE : DÉFINITIONETEXEMPLES CHAPITRE I 2 la fenêtre 3D, qui offre une visualisation en trois dimensions des
bâtiments présents sur la carte.
Malgré les faibles performances du système de vision, les concepteurs du
MetaDESK préfèrent utiliser ce système pour le suivi des phicons sur le
bureau plutôt que le dispositif magnétique : l’objectif visé est l’utilisation de n’importe quel objet. Il est donc nécessaire d’imposer un minimum de contraintes sur leur nature. Une approche similaire est utilisée dans
“Illuminating Light” pour identifier et repérer des briques représentant,
cette fois-ci, des composants optiques. Chaque brique est habillée de pastilles de couleurs qui facilitent les traitements d’identification ([Underkoffler 98]).
Built-it. Les interfaces saisissables suggèrent, nous l’avons vu, la
manipulation à deux mains et à plusieurs. Ces avantages sont exploités dans le système Built-It ([Rauterberg 98] [Fjeld 98]). Le prototype est appliqué à la conception de plans d’usine mais le paradigme d’interaction est envisageable pour d’autres domaines tels que l’architecture d’intérieur et la planification urbaine.
Les utilisateurs sont assis autour d’une table sur laquelle est projeté le plan de l’usine en deux dimensions. Sur un mur proche de la table, est projetée une représentation en trois dimensions de l’usine. Toute l’interaction entre les utilisateurs et le système se fait à l’aide d’une brique. Les principales manipulations consistent à :
• attacher une brique à un concept du domaine (par exemple, une machine de l’usine) en posant la brique sur sa représentation graphique,
• déplacer et orienter la machine sur le plan en faisant glisser la brique qui lui est associée (les représentations 3D et 2D sont asservies à la brique),
• détacher la brique de la machine en plaçant la main au-dessus de la brique, puis en la ramassant.
Le suivi des briques est assuré par un système de vision par ordinateur. Nous n’avons pas trouvé de publication détaillant la réalisation et les performances de ce système.
Synthèse sur les interfaces saisissables
Les interfaces saisissables mettent à profit nos capacités expertes de préhension utilisées dans le monde réel. Au niveau cognitif, les phicons, représentations analogiques et tangibles de concepts, visent à favoriser la compréhension du fonctionnement du système. Comparée aux IHM traditionnelles, l’association d’objets physiques à des concepts électro-niques améliore le caractère direct de l’interaction : l’intermédiaire logique qu’est le widget, et son acquisition par le pointeur de la souris, sont éliminés (voir l’illustration de la figure 11 page 27).
SYSTÈMESDE RÉALITÉ AUGMENTÉE
Interfaces digitales
CHAPITRE I INTERACTIONFORTEMENTCOUPLÉE : DÉFINITIONETEXEMPLES 33
Les Briques de Fitzmaurice, le MetaDESK et Built-It relèvent des interfaces
saisissables et montrent l’intérêt de la vision par ordinateur pour leur mise en œuvre : élimination des fils et relâchement des contraintes sur la nature et le nombre de briques.
Les interfaces digitales suppriment aussi un intermédiaire mais de nature différente.
3.2. INTERFACES
DIGITALES
Nous allons successivement présenter le principe des interfaces digitales, puis, au regard d’un exemple représentatif, les points saillants de l’interaction ayant un impact sur la vision par ordinateur.
Le principe Comme leur nom l’indique, les interfaces digitales utilisent le doigt
comme base d’interaction. Dans une interface digitale, le doigt participe à un geste sémiotique : sa trajectoire et sa forme font sens [Cadoz 96]. Dans les interfaces saisissables, le doigt a un rôle ergotique : il applique une énergie à un instrument, par exemple à une brique, dont il modifie l’état. C’est l’interprétation de ce changement d’état qui fait sens. Alors que les interfaces saisissables éliminent le dispositif logique (le widget), les interfaces digitales conservent le dispositif logique mais suppriment le dispositif physique (l’instrument) : comme le montre la figure 16, le doigt est le dispositif. Il agit en direct sur l’information électronique. Nul besoin d’acquérir la souris ou la brique : le doigt est sur soi ! À l’instar de la souris, le doigt est multiplexé temporellement mais on dispose de plusieurs doigts répartis sur deux mains. Les interfaces digitales ont donc la possibilité d’exploiter le multiplexage spatial. Et comme les interfaces saisissables, les interfaces digitales réutilisent les habiletés motrices naturelles.
Le “Bureau digital” est l’exemple pionnier de ce type d’interfaces.
[Wellner 93b]
membre dispositif physique dispositif logique
membre =
Interface graphique classique
Interface digitale
Figure 16
Aspect direct de l’interaction fondée sur les interfaces digitales
La main de l’utilisateur contrôle directement le dispositif logique (par exemple un widget). Le dispositif physique intermédiaire est supprimé.
dispositif logique dispositif physique
SYSTÈMESDE RÉALITÉ AUGMENTÉE
Interfaces digitales
34 INTERACTIONFORTEMENTCOUPLÉE : DÉFINITIONETEXEMPLES CHAPITRE I
Le bureau digital Le Bureau Digital, défini par Wellner ([Wellner 91], [Wellner 93b]), est
avant tout un bureau physique. Il en possède tous les attributs : on peut y entreposer ses livres, stylos, gommes, et tasse à café. Le Bureau Digital est équipé d’une caméra et d’un projecteur vidéo disposés au-dessus du plan de travail. La caméra est reliée à un système de vision par ordinateur destiné à interpréter les gestes de l’utilisateur, tandis que le projecteur restitue sur le plan de travail l’information numérique en provenance du système. Ce dispositif permet d’augmenter le bureau physique qui nous est familier de services électroniques.
L’idée est de conserver ce qui fonctionne bien dans le monde physique mais de l’amplifier par des services électroniques dont l’équivalent dans le monde physique est difficile, voire impossible, à réaliser. Dans le cas
du Bureau Digital, l’utilisateur conserve ses feuilles de papier, crayons et
gomme et la duplication de texte, opération complexe dans le monde physique, devient une opération triviale sous forme électronique. Par exemple, l’utilisateur sélectionne le paragraphe d’un livre posé sur le bureau. Il se sert de ses deux index pour désigner les extrémités opposées d’un rectangle de sélection. Le système projette un retour d’information immédiat sur le livre : le rectangle de sélection s’affiche sur le livre en suivant les déplacements des doigts. Cette manipulation est illustrée sur la