Scénarios associées à ces plateformes

Nous avons choisi de valider notre interface multimodale à travers divers scénarios décrits dans cette sous-section. Les différents modules décrits dans les chapitres successifs de ce ma-nuscrit étant trop nombreux et différents pour être validés tous en même temps, nous avons choisi d’effectuer cette validation suivant une approche graduelle. Cette dernière nous a per-mis, à travers des scénarios à difficulté croissante, d’évaluer notre interface par partie, mais également au fur et à mesure des développements des différents modules constituant celle-ci.

Rappelons que ces scénarios ne sont que des exemples de fonctionnement de notre interface dans un cadre limité, nos modules étant utilisés à pleine capacité (possibilités de reconnaître tous les gestes modélisés et toutes les phrases faisant partie de la grammaire) quels que soit leur utilisation.

a) Scénario n˚1 : le robot assistant

Ce premier scénario envisagé consiste à se placer dans le cadre de l’assistance à une per-sonne handicapée, cette dernière ayant par exemple une jambe dans le plâtre. Après s’être pré-sentée au robot, cette personne lui demande de prendre l’une des bouteilles (il y en a deux) présentes sur la table en désignant celle-ci de la main. Le robot doit alors se déplacer afin de pouvoir saisir cette bouteille. Une fois cette dernière dans la pince du robot, l’utilisateur lui demande à nouveau de se déplacer en désignant ce nouveau but de la main. Enfin, l’utilisateur demande au robot de lui donner la bouteille en tendant la main.

Le but de ce scénario est de montrer un exemple dans lequel l’utilisation conjointe de la parole et de la vision est nécessaire, et ce à travers :

– la désignation d’une bouteille sur une table, l’endroit devant être assez précisément dési-gné pour permettre la localisation et la saisie de celle-ci,

– la désignation au sol d’un endroit où le robot devra se placer,

– l’échange d’objets, le robot devant coordonner ses mouvements avec ceux de l’homme.

Il est à noter que ce scénario n’utilise que les modalités de base de notre interface, à savoir le traitement de la parole et le suivi de gestes (c’est-à-dire les modulesRECOetGEST).

b) Scénario n˚2 : le robot de service en environnement intérieur

Le tableau IV.1 résume le second scénario mis en place afin d’évaluer notre approche.

Son but est de montrer non seulement la complémentarité du geste et de la parole pour des ordres déictiques, comme l’a déjà fait la démonstration précédemment décrite, mais également la possibilité de renforcement des ordres multimodaux impliquant notamment des gestes sym-boliques. Cela implique quelques difficultés supplémentaires, telles que la perception des mou-vements globaux de l’homme, ainsi que la création d’une réelle stratégie de fusion de données.

# Ordres de l’utilisateur humain Actions associées du robot

2. « Salut RobotX, c’est X. » L’utilisateur est identifié afin qu’il ai le droit d’utiliser le ro-bot.

Le robot s’arrête Cette commande est utilisée pendant que le robot bouge. 6. « Viens à ma gauche. » Déplacement en

direc-tion de l’utilisateur

L’exécution de la commande nécessite la connaissance de la position 3D de l’utilisateur.

7. « Donne moi l’objet. » Manipulation de l’objet L’exécution de la commande nécessite la position 3D de la

TAB. IV.1: Résumé du scénario n˚2 d’interaction entre utilisateur et robot incluant la reconnais-sance de gestes.

Dans cette démonstration, nous voulons gérer les possibles incompréhensions du robot en nous basant sur la communication homme-homme. Ainsi, en cas d’échec de la reconnaissance de parole ou de gestes, et bien que nous n’ayons pas développé de module de gestion de dia-logue destiné à gérer les interactions complexes, nous avons donné la possibilité au robot de

IV.2PLATEFORMES ROBOTIQUES ET SCÉNARIOS ASSOCIÉS 113 demander à l’utilisateur de reformuler sa dernière requête à chaque fois qu’une étape du scéna-rio échoue sans conséquence irréversible (c’est-à-dire que le robot n’est ni perdu, ni dans une position l’empêchant de poursuivre le scénario). Le robot, pour sa part, relance alors cette étape.

Le nombre de répétition est toutefois limité à trois, puisque nous considérons qu’au delà, un uti-lisateur lambda considérera ces incompréhensions comme excessives. Précisons, que mis à part les modules développés durant nos travaux (GEST, RECO, DREC, F U SION), d’autres modules prennent ici une part importante dans le scénario. Ces derniers seront décrits succinc-tement dans la section suivante.

c) Scénario n˚3 : le partenaire de jeu

Cette nouvelle démonstration poursuit deux buts. Le premier est notamment de démontrer l’apport de l’intégration du suivi de regard dans la reconnaissance de geste. Le second est d’in-troduire une plus grande liberté dans l’utilisation du robot par l’homme et par conséquent de créer des démonstrations plus dynamiques et naturelles que les précédentes.

FIG. IV.2: Exemple de carte donnant la forme géométrique à faire construire au robot.

Le contexte général de cette démonstration est un jeu interactif en face à face, mené par le robot, mais guidé par l’homme. Il se base sur des cubes en mousse numérotés que le robot doit, suivant les instructions de l’homme, placer de manière à construire une forme géométrique prédéterminée. Le scénario se déroule de la manière suivante :

1 . L’utilisateur tire une carte sur laquelle se trouve la forme géométrique à faire réaliser au robot (un exemple d’une telle carte est donné par la figure IV.2).

2 . L’utilisateur salue le robot, signalant ainsi son intention de débuter le jeu.

3 . L’utilisateur, à travers des commandes verbales et/ou des gestes symboliques ou surtout déictiques, fait placer un à un les cubes de mousse par le robot sur la table.

4 . L’utilisateur clôture l’interaction en remerciant et saluant le robot.

5 . Le but est atteint si la forme géométrique voulue au départ a bien été construite par le robot.

Dans le cadre du placement des cubes de mousse, les différentes commandes, multimodales ou non, disponibles sont décrites dans le tableau IV.2. Les paroles sont ici données à titre indicatif, plusieurs dizaines voire centaines de possibilités de phrases et de prononciations étant en réalité disponibles pour chaque commande.

4. « Pose-le derrière le cube nu-méro 4. » l’utilisa-teur tend la main vers le robot

Le robot pose le cube

TAB. IV.2: Résumé des différentes commandes disponibles pour le scénario de jeu (n˚3).

IV.3 Intégration et évaluations

Cette section présente les architectures informatiques dans lesquelles s’intègre notre inter-face multimodale, la manière dont nos modules s’y intègrent, ainsi que les résultats obtenus par ces derniers à travers des expérimentations qui suivent les scénarios décrits précédemment.

IV.3INTÉGRATION ET ÉVALUATIONS 115

FIG. IV.3: Architecture logicielle Genom du robot Jido.