Situation de communication

L'interaction Homme-Machine est considérée comme un problème majeur par la com- munauté de chercheurs travaillant sur la vision par ordinateur, en particuler l'interaction ayant pour but l'utilisation d'un écran large et plus généralement d'une surface d'a- chage. L'un des enjeux, dans ce contexte, est d'élaborer des solutions à diérents niveaux, depuis le langage d'interaction à utiliser jusqu'au traitement d'images à implémenter. Nous présenterons tout d'abord la conception du langage gestuel grâce à un Magicien d'Oz expérimenté sur plusieurs personnes : c'est un moyen d'obtenir diérentes produc- tions gestuelles non contraintes de gestes ayant le même sens.

dispositif d'achage lors d'une présentation de travaux, d'un exposé ou d'une conférence. Il est en eet habituel d'utiliser dans ce genre de situations un acheur vidéo comme support au discours. L'environnement de l'étude se caractérise par un système d'achage collectif, soit un mur d'image sur lequel plusieurs sources d'information diérentes, four- nies par des ordinateurs, peuvent être achées simultanément. Le but de l'interaction consiste à organiser la surface d'un écran large avec le contenu des ordinateurs disposés autour. Ce dispositif est installé dans une pièce utilisée pour des présentations de travaux, réunions de conception ou bien comme salle de crise dans laquelle les informations doivent être accessibles rapidement.

Le cas d'usage étudié permet de dénir des scénarios tels que ceux utilisés dans le projet

Computer In the Human Loop7 _{(CHIL) . Cette dénition de scénario de présentation}

sera prise en compte lors de la proposition de système de traitement d'images 5.3. Le scénario envisagé est présenté gure 4.1. Il modélise les états successif d'une présentation de travaux. Le passage d'un état à un autre s'eectue par la détection de l'occupation d'un espace par une ou plusieurs personnes.

PSfrag repla ements Piè evide Dernierparti ipant quittelapiè e Entréedupubli Arrivéedel'orateur Exposé Findel'exposé Parti ipantentre danslapiè e Parti ipanta ède au"podium" Parti ipantdébute laprésenta tion laprésenta tion Parti ipant lt Parti ipantquitte le"podium"

Fig. 4.1: Scénario de présentation (tiré du projet CHIL)

L'un des problèmes qui se pose lors de la conception d'un système d'interaction visuo- gestuelle est la dénition précise des contraintes contextuelles auxquelle celui-ci sera assu- jetti. Ces contraintes vont inuencer les performances du système ainsi que la dénition des expressions gestuelles. Nous allons essayer de synthétiser les critères principaux qui permettent la dénition d'un tel système. Pour chaque critère proposé nous donnerons une illustration. Ces critères sont donnés par extension du travail de Moeslund [Moeslund 01b] et Krahnstoever [Krahnstoever 02].

Temps Interactif : les algorithmes de suivi et de traitement d'images doivent permettre une interaction dont la réactivité ne doit pas dépasser la seconde.

Occultations : lorsque les mains se croisent, passent devant ou derrière le corps ou une

7_{Le projet CHIL a pour but de réaliser des services informatique délivrés aux personnes de manières}

implicite, indirect et non-intrusive. CHIL vise pour cela l'introduction de l'ordinateur dans la boucle d'in- teraction Homme-Homme, plutôt que d'obliger les utilisateurs à s'insérer dans une boucle d'ordinateurs. http ://chil.server.de

4.1. Méthodologie de conception de langage gestuel partie du corps. Nous essayons, autant que possible, de favoriser l'utilisation de gestes sans occultation.

Variations de l'environnement : l'environnement peut être reconguré (les fournitures de bureaux peuvent être déplacés). La présence de puits de lumière naturelle dans la pièce aecte la luminosité, la faisant varier durant la journée et au l de l'année.

Résolution de l'image : les besoins en résolution de l'image dépendent de la liberté de positionnement de l'utilisateur vis à vis du dispositif, ainsi que de la taille des compo- sants corporels nécessaires aux algorithmes de suivi et de reconnaissance de gestes. Nous désirons naturellement laisser le plus de liberté possible à l'utilisateur dans son position- nement et ses déplacements ; à noter que les diérentes congurations que la main peut prendre dans la réalisation des gestes ne sont pas prises en compte.

Caractéristiques physiques de l'utilisateur : les vêtements de l'utilisateur doivent être de couleur diérente de celle de sa peau. Les vêtements doivent recouvrir les bras et avant- bras pour pouvoir distinguer les mains sans traitement spécique. Par contre nous ne posons pas de contraintes sur l'apparence de l'utilisateur (couleur de peau, taille, pilosité). Séquence de gestes : dans notre cas les interactions sont eectuées de manière contex- tuelle. L'utilisateur produit des commandes de manière isolée et spécique mais d'autres actions peuvent les parasiter en parallèle.

Segmentation : à partir du ux de séquences de gestes, il est nécessaire de déterminer les marqueurs de gestes de commande permettant la segmentation temporelle des gestes. Nous avons, pour le moment, utilisé des marqueurs temporels.

Initialisation et calibrage : Le système doit pouvoir s'initialiser automatiquement et ne doit pas être dépendant de l'utilisateur.

Accés multiple : le système est mono-utilisateur, cependant plusieurs utilisateurs peuvent l'utiliser de manière asynchrone.

Caractéristiques d'interaction générale : des gestes dynamiques évoluant au cours du temps, des interactions à deux mains sont envisagées.