Les systèmes à scénarios

Un système à scénarios s'appuie sur les questions déjà posées par des utilisateurs pour tenter de résoudre des questions complexes. Le tableau I.4 illustre un exemple de question complexe [Hickl et al., 2004].

Despite having complete access, to this day UN inspections have been unable to nd any biological weapons, or remnants thereof, in Iraq. Why has it proven dicult to discover

hard information about Iraq's biological weapons program and what are the implications of these diculties for the

internationnal biological arms control regime ?

Tab. I.4  Une question complexe posée par un utilisateur, dans le cadre de l'expérimentation de [Hickl et al., 2004].

Un système à scénario fonctionne le manière suivante. Une première ques-tion très complexe est posée par un utilisateur, puis le système propose une décomposition qui peut être remise en question par l'utilisateur du système. Après que l'utilisateur a posé une question complexe, le système examine les questions (déjà posées) qui pour certaines raisons lui semblent proches de la question de l'utilisateur et propose des listes de questions qui ont été entrées par des utilisateurs précédents. L'utilisateur peut alors soit demander la ré-ponse à une des questions qui lui sont présentées, soit entrer lui-même une autre question éventuellement liée à la première. Les questions (et l'ordre de présentation) posées par l'utilisateur ainsi que la réutilisation des questions proposées et résolues sont alors enregistrées pour un usage ultérieur. Ce sont des systèmes encore expérimentaux qui utilisent la technique semi-supervisée en magicien d'Oz pour simuler des traitements de qualité, notamment pour ltrer les erreurs d'interactions avec l'utilisateur. Un scénario consiste en une compilation des questions de l'utilisateur pour la résolution de sa question complexe.

Nous pouvons nous demander si l'utilisateur n'agit pas indirectement comme un spécialiste qui construirait un automate pour un système de dia-logue spécialisé. Voyons alors maintenant une méthode de construction de scénario.

I.2.2.1 Décomposition des questions en sous-questions

Une technique de construction de scénario consiste à analyser une ques-tion complexe de l'utilisateur telle que celle du tableau I.4, et à la découper en sous-constituants plus simples an de chercher à obtenir un ensemble de groupes de questions comme dans le tableau I.5. Des expérimentations conduites par [Hickl et al., 2004], en analysant le comportement d'experts a permis de dégager des grands principes.

I.2 Tour d'horizon du dialogue homme-machine 35

1 a Is there such a concept as complete acces or there inevi-tably limits to accessing sites facilites ?

1 b If there are such limits, can inspection in fact be carried out eectively ? i.e., with an acceptable level of assurance that were biological weapons and/or related systems, they would be found by inspectors ?

2 a What is a biological weapon ?

2 b Is it, for example, a quantity of pathogens or toxins, or is there more to it ?

3 a What are the likely signatures of a national biological wea-pons program and how likely is that inspectors from outside would be able to detect them ?

4 a What are the constitent parts of the international arms control regim in context of biological and Toxin Weapons Convention (BWC), i.e. is there more to it ?

5 a Since Iraq was only a signalor (not reer) of the BWC du-ring the time it was developing and producing biological wea-pons (1985-1991), were its actions in this regard contrary to international law ?

5 b If not, did the international community have a dierent re-course to designate the Iraqi government as having viola-ted international law or norms by having acquierd biological weapons ?

Tab. I.5  Scénario de décomposition du tab I.4, fournie par le NIST I.2.2.1.1 Décomposition syntaxique Les questions peuvent être dé-coupées sur les coordinations pour former des sous-questions qui contiennent chaque conjonction. La question :

How do we know that the UN has not found any biological or chemical weapons ?

est décomposé en :

How do we know that the UN has not found any biological weapons ? How do we know that the UN has not found any chemical weapons ?

Cette décomposition concerne surtout les conjonctions d'adjectifs et les noms.

I.2.2.1.2 Motivation par entité Les questions peuvent être recons-truites suivant une spécialisation particulière (politique ou économique pour un pays) si les questions contiennent des entités qui peuvent disposer de listes connues de motivations. La question :

sera réécrite en au moins deux questions qui explorent chaque aspect :

What are China's economic motives for disputing Taiwan's independence ? What are China's political motives for disputing Taiwan's independence ?

I.2.2.1.3 Découverte d'état Les questions traitant de l'existence d'une propriété ou d'un état passé, peuvent généralement être étendues en une question ou un groupe de questions qui contraste l'état passé et l'état présent. La question :

What type of nuclear assistance did China give to the Middle East between 1980 and 1990 ?

sera ré-écrite et étendue pour conrmer la forme de la réponse comme étant explicitement une diérence avec l'état actuel.

How does the nuclear assistance given by China to the Middle East from 1980 to 1990 compare to nuclear assistance it provides to the Middle East today ?

I.2.2.1.4 Méronymie Des questions peuvent être générées sur une sous-partie d'une entité s'il semble que les renseignements sur cette sous-sous-partie pourraient être informatifs dans le thème de la question prise dans son en-semble.

La question :

Where are Prithvi missiles manufactured ?

sera décomposée en des questions sur deux parties de l'entité.

Where are the guidance systems for Prithvi missiles manufactured ? Where are the warheads for Prithvi missiles manufactured ?

Évidemment, la diculté est de déterminer quand une entité doit être considérée comme participant au but informatif.

I.2.2.2 Système de décomposition

Il est possible de classer les types de questions de l'utilisateur en vue de la sélection automatique de la méthode de décomposition. Andrew Hickl et al. [Hickl et al., 2004] remarquent trois grandes catégories :

1. Il y a les questions de clarication : What is the meaning of 'status' ?. 2. Une seconde catégorie est représentée par les questions d'ensemble :

How 'india' should be identied ? Pre-independence or post-independence ? Post-colonial or post-1947 India ?.

3. Et enn les questions avec des ellipses qui dépendent des questions précédentes : In the past ?.

Notons que les liens avec les questions précédentes ne se présentent pas uni-quement sous la forme de co-références anaphoriques. Suivant les experts, les

I.2 Tour d'horizon du dialogue homme-machine 37 méthodes de décomposition devraient être appliquées assertion par assertion. Les questions décomposées peuvent alors être présentées dans des groupes qui reètent leurs questions d'origine. Ces groupes ressemblent à des questions enchaînées. Les questions décomposées peuvent être construites comme dans l'exemple du tableau I.6.

La mise en ÷uvre réelle et l'utilisation de ces systèmes est complexe, car les techniques de décomposition varient d'un expert à l'autre (ainsi que le résultat de la décomposition). Les systèmes à scénarios font aussi l'hypothèse que la réponse à une sous-question décomposée est toujours strictement plus

simple/courte que la question initiale9.

I.2.2.3 Réutilisation des questions d'un utilisateur à l'autre Illustrons une possibilité d'utilisation de système à scénarios dans le cadre des SQR. L'objectif est de proposer à l'utilisateur une très courte liste de questions dont les réponses sont susceptibles de l'intéresser. C'est une forme de continuation de dialogue par des questions. Nous ne pouvons pas vrai-ment dire qu'il s'agit de questions enchaînées, car les questions ne sont pas forcement liées entre elles.

Le concept central est ici la réutilisation de questions entrées par d'autres utilisateurs dans des situations similaires avec une utilisation de scénarios dédiés au domaine sur lequel est évalué le système. Les scénarios servent à identier les contextes. Ce type de système est exploité par Harabagiu [Harabagiu et al., 2005] à l'aide de Ferret. Ferret est un SQR ayant pour but le traitement de questions en anglais en domaine ouvert. Il a été construit sans prise en compte de la réutilisation des questions, puis adapté à cette tâche.

Le SQR à scénario résultant utilise une dizaine de scénarios et a été construit sur la base du SQR Ferret. Les tests ont été conduits avec une trentaine d'utilisateurs environ. L'un des principaux problèmes étudiés sur ce genre système a été le choix de la métrique d'ordonnancement des questions

en fonction des diérents paramètres possibles10.

La construction des scénarios a été réalisée à l'aide d'une étude rigoureuse et approfondie par des experts du domaine comme vu précédemment. De ce point de vue, ce système ressemble à la gamme de systèmes à décomposition de questions (I.2.2.1). Cependant, les scénarios ne sont utilisés que comme

9Souvent la sous question : De quoi est composé un atome ?, va recevoir une réponse

plus longue que la question initiale.

10Les analyses linguistiques de chaque question, l'égalité ou la diérence des types de

1 a What was the scop of Iraq's biological weapons program ? 1 b In the past ?

1 c Immediately prior to US invasion ?

2 a What quantities of biological weapons has Iraq used in past wars ? 2 b In other periods ?

2 c Whithin Iraq ? 2 d Against Iran ?

3 a Does Iraq have the infrastructure necessary for destroying biologica weapons safely ?

3 b For creating biological weapons ?

4 a Does Iraq have the capacity to store and/or transport biological weapons ?

4 b By land ? 4 c By air ? 4 d By sea ?

4 e How has that capacity changed since 1991 ?

5 a Are thee personnel within the Iraqi government responsible for destroying biological weapons ?

5 b Are these people civilians or military personnel ?

6 a Are there Iraqi personnel(scientist, cleks, military) that can iden-tify who have been traditionnally associated with the Iraqi biowea-pons program ?

6 b What are their names ?

6 c In what capacity did they participate in the bioweapons program ? 6 d Is there evidence from Iraqui military medical records for possible

signs of biological warfare sickness or contamination ?

7 a Is there evidence from Iraqi civilian hospital records of doctors who have treated possible biological weapon sicknesses ?

7 b Are there individuals who have witnessed cases of biological wea-pon sicknesses ?

8 a Has Iraqi military trained personnel in the use of biological wea-pons ?

8 b At any time in the pas 12 years ?

8 c Does Iraq have military units tasked with using biological wea-pons ?

8 d Are thoses units still active ? 8 e When were they disbanded ?

9 a Which countries have been formally allied with Iraq ? 9 b Since 1991 ?

10 a Is there evidence that countries may have stored bioweapons for Iraq ?

10 b Is there evidence that other countries have engaged in similar kinds of deals with Iraq in the past ?

I.2 Tour d'horizon du dialogue homme-machine 39 des critères statistiques pour réordonner les questions posées par d'autres utilisateurs et experts.

Les dernières évolutions de l'exploitation des questions pour améliorer les suggestions de continuation d'interaction à l'utilisateur font apparaitre

le concept de champs de conditions variants11 [Kristjansson et al., 2004].

Celui-ci permet de réaliser des apprentissages même sur des données semi-structurées ou à informations partielles. Cet aspect est important, car les experts ne précisent jamais tous leurs critères pour toutes leurs décomposi-tions. De même, les utilisateurs n'expliquent pas pourquoi ils trouvent qu'un extrait de texte est une réponse. L'interaction est alors guidée par le remplis-sage d'une base de connaissances dénie automatiquement par les retours d'expériences des recherches des précédents utilisateurs du système sur le domaine.