IFT 702Planification en intelligence artificielleReconnaissance de plans

(1)

IFT 702

Planification en intelligence artificielle Reconnaissance de plans

Froduald Kabanza

Département d’informatique

Université de Sherbrooke

planiart.usherbrooke.ca/cours/ift608

(2)

Froduald Kabanza IFT608 / IFT702 2

Plan de l’exposé

 Énoncé du problème

 Approches algorithmiques

(3)

ÉNONCÉ DU PROBLÈME

(4)

Plan Recognition

4

Le problème de reconnaissance de plan consiste à inférer les intensions, les buts ou les plans d’autres agents.

C’est essential pour:

 Interagir avec les autres

 Expliquer les comportements des autres

 Coopérer avec les autres

 Comprendre la situation courante pour agir de façon bien informée

(5)

5



Données:



Actions primitives



But

» État à atteindre

» Comportement (but temporellement étendu)



État initial



Sortie :



Plan d’actions

» Séquence

» Politique

» Stratégie

Rappel – Problème de planification

Froduald Kabanza IFT608 / IFT702

Quelle prochaine action?

(6)

6



Données :



Séquence d’observations



Actions primitives



Pour certaines approches: librairie de plans



Sortie :



But expliquant les observations



Plan expliquant les observations

Problème de reconnaissance de plans

Quel est son but?

Comment y arrivera-t-il?

(7)

Reconnaissance de plan dans StarCraft

7

StarCraft is a science fiction game from Blizzard

Entertainment centered around a galactic struggle for

dominance between three species: Terra, Protoss and Zerg.

(8)

Reconnaissance de plan dans StarCraft

8



Gather

Resources, to...



Build

Structures, to...



Recruit Units, to...



Attack and defeat the enemy!

Game

Basics

(9)

Reconnaissance de plan dans StarCraft

9

Agent B: Observed Agent A: Observer

(10)

Reconnaissance de plan dans StarCraft

10

Observed opponent Plan recognition agent

(11)

11

 Jeux

 Sécurité

 Défense

 Interfaces humain-machines

 Domotique

 Compréhension du langage naturel

Domaines d’application

(12)

12

Différentes dimensions

Quel est son but?

Comment y arrivera-t-il?

 Environnement complétement observable vs partiellement observable

 Interaction vs pas d’interaction entre l’agent observé et l’agent observateur

 L’agent observé est hostile vs coopératif

 Un seul agent observateur vs une équipe d’agents observateurs

 Un seul agent observé vs des équipes d’agents observateurs

 Contraintes de temps réel

(13)

APPROCHES

ALGORITHMIQUES

(14)

14

Frame plan recognition as a classification of a

sequence of observations into goals

 Deep learning with n- gram model

(Min et al., AAAI 2014)

 Statistical learning using n-gram models

(Blaylock & Allen, 2003)

 Requires labeled data sets

Pure Data-Driven

Frame the plan recognition problem as inferring goals from likely plans generated by a planning algorithm (inverse planning).

 Inferring goal probability distributions from plan costs (Ramirez & Geffner , AAAI 2010) (Ramirez &

Geffner, IJCAI 2011)

 Requires a planner and hence a model of actions

Moderately Knowledge-Driven

Frame the plan recognition problem as inferring goals or plans from a given plan library

 HMM, Markov Logic, Bayesian networks

 Model-counting : goal probabilities inferred from the proportion of models of execution of plans in the library consistent with the sequence of observations ( Geib & Goldman, 2009)

 Requires a model of actions and a plan library

Heavily

Knowledge Driven

Main Different Approaches

(15)

15

Basé sur des librairies de plans

 On suppose que l’agent agit en suivant des recettes

 On peut modéliser ses recettes par une librairie de plans.

 Le problème revient à reconnaître lequel des plans est suivi.

 Problème: comment avoir les librairies de plans?

 Apprentissage

 Forage

 Techniques:

 Inférence probabiliste

 Parsing probabiliste (HTN/Grammaires)

Approches à base de connaissances

Basé sur les actions primitives

 On suppose qu’un comportement rationnel (optimal) est plus probable que celui qui l’est moins

 Subtilité: différent de dire que l’agent agit de façon rationnel (optimale)

 On n’a pas besoin des recettes

 Le problème revient à inverser le processus de planification:

 Probabilité d’un but dépend de la différence entre un comportement optimal vers le but et le comportement observé

 Technique: Ramirez et Geffner (AAAI 2010).

(16)

16



Planning



Abductive reasoning



Diagnosis



Pattern recognition



Complex event processing

Problèmes reliés

(17)

APPROCHES PAR RAISONNEMENT PROBABILISTE TRADITIONNEL

(18)

18

Rappel IFT615

Inférence probabiliste temporelle

• Contexte: Un gardien de sécurité passe un mois dans un édifice sous-terrain, sans sortir. Il s’amuse à prévoir le temps en observant si le patron amène un parapluie.

• Variables: X_t = {R_t} (pour « Rain ») et E_t={U_t} (pour « Umbrella »).

 Modèle des transitions: P(R_t | R_t-1). Modèle d’observation: P(E_t | R_t).

1

Rain

t

Rain

t

1

Raint

1

Umbrellat

Umbrella

t

1

Umbrellat

(19)

19

Reconnaissance de plan

par réseaux bayésiens dynamiques

Kautz et al.

http://www.cs.rochester.edu/u/kautz/talks/converging-technology-kautz-v3.ppt

(20)

20

Reconnaissance de plan

par réseaux bayésiens dynamiques

Transportation mode

x=<Location, Velocity>

GPS reading Goal

Trip segment

x_k-1

z_k-1 z_k

x_k

m_k-1 m_k

t_k-1 t_k

g_k-1 g_k

Kautz et al.

http://www.cs.rochester.edu/u/kautz/talks/converging-technology-kautz-v3.ppt

(21)

21

 A. Sadilek and H. Kautz,

Location-Based Reasoning about Complex Multi-Agent Behavior, Journal of Artiﬁcial Intelligence Research 43 (2012) 87-133.

Reconnaissance de plans par une logique Markovienne (Markov logic)

 Application : jeu de capture du drapeau

 Markov Logic

 Mariage de la logique du premier ordre avec les probabilités.

 Assigne des poids à des formules de logique du premier ordre

 Interprétation probabiliste

 Approche:

 Utiliser la logique markovienne pour spécifier les règles du jeu

 Utiliser l’inférence de la logique markovienne pour prédire les buts des joueurs étant donné les observations

(22)

APPROCHE PAR ANALYSE

GRAMMATICALE PROBABILISTE

(23)

Framing the Problem as

Plan-Library Based Plan Recognition

 Assumptions

 The observed agent is a goal-directed agent which plans actions and then execute them

 The observing agent has a library of the potential plans the observed agent might execute

(Kabanza et al., IJCAI-13) 23

(24)

Plan Library Representation

 The plan library is represented as an HTN or, equivalently, as a partially-ordered multiset context free grammar

 Along with a probabilistic model

(25)

25

 C. Geib and R. Goldman.

A probabilistic plan recognition algorithm based on plan tree grammars. Artif.

Intell. 173(11): 1101-1132 (2009)

Reconnaissance de plans par analyse (parsing) des grammaires

(26)

StarCraft Example

 Connectivity of the map

(27)

Plan Library Example

(Kabanza et al., IJCAI-13) 27

(28)

HTN and Pomset CFG

• An HTN can be seen as a partially-ordered multiset (pomset) context free grammar (CFG)

•

Expand  Move,Build,ReturnToBase { (Move, Build),

(Build, ReturnToBase)}

• Build  BuildNexus, BuildPylon {}

• Move  MoveToR1, MoveToR2

{}

(29)

A Plan from the Plan Library

• A plan is a partially ordered set of actions derived from the plan library

Move to R1

Move

to R3 Open Fire

Return To Base

Part of the Plan Library

Partially-Ordered Plan for goal

“Expand and Attack”

Build Pylon

(30)

30

 C. Geib and R. Goldman. A probabilistic plan recognition algorithm based on plan tree grammars. Artif. Intell. 173(11): 1101-1132 (2009)

Idée de l’algorithme YAPPR

 YAPPR : Yet Another Probablistic Plan Recognizer.

(31)

Derivation Forests as

Plan Execution Hypotheses

• An explanation (plan execution hypothesis) for a sequence of actions is a corresponding minimal derivation forest (plan execution model).

None

Move To R1

Observations Hypotheses

(32)

Derivation Forests as

Plan Execution Hypotheses

• An explanation (plan execution hypothesis) for a sequence of actions is a corresponding minimal derivation forest (plan execution model).

None

Move To R1

Observations Hypotheses

Move To R3

(33)

Model Counting Approach to Plan Recognition

(Geib & Goldman, AIJ 2009)

Input

Generate the Hypotheses Tree

Weighted Model Counting

Goal Probability Distribution Combinatorial Explosion

(34)

Experiments with StarCraft Game

• Connectivity of the map we used in experiments

(35)

Reconnaissance de plan dans StarCraft

Kabanza et al., IJCAI 2013 35

(36)

APPROCHE PAR INVERSION DE LA PLANIFICATION

(37)

37

 M. Ramirez and H. Geffner.

Probabilistic Plan Recognition Using Off-the-Shelf Classical Planners. AAAI 2010.

 Par définition

 En supposant le principe de rationalité (un agent aura tendance à suivre les plans optimaux), on peut établir que

 c(G,O) est le coût du meilleur plan respectant avec les observations

 c(G,) est le coût du plan optimal peu importe les observations

 Chacun de ces coûts est calculé en lançant un planificateur classique

Approche en inversant la planification

) ( )

| ( )

|

(

G O P O G P G

P 



)) , ( ) , (

( ^_

)

|

( O G e

^c ^G ^O ^c ^G ^O

P  

^^^ ^

(38)

Résumé



La reconnaissance de plan vise à inférer les plans, les buts, les intentions d’autres agents à partir d’observations.



Problème fondamental pour l’interaction humain-machine, la compréhension de la situation, la coopération multi-agent



Problème plus compliqué que la planification.



Résolu en réduisant le problème à des algorithmes/théories d’inférences utilisées pour d’autres problèmes.



Apprentissage automatique



Prédiction avec un cadre de raisonnement probabiliste traditionnel : modèles de Markov caché, réseau bayésiens, logique Markovienne



Analyse grammaticale probabiliste

