2.3 Le syst`eme Kardio
3.1.2 S´emantiques
L’article [Muggleton et De Raedt, 1994] expose deux s´emantiques diff´erentes : la s´emantique normale qui comprend la s´emantique d´efinie (ensemble des th´eories T dont le plus petit mod`ele de Herbrand M+(T ) est unique) et la s´emantique non monotone. Exemple 7 B :
grandpere(X, Y) :- pere(X, Z), parent(Z, Y) pere(henri, jeanne) mere(jeanne, jean) mere(jeanne, alice) :-E+ : grandpere(henri, jean) grandpere(henri, alice) :-E- : :- grandpere(jean, henri) :- grandpere(alice, jean)
Une hypoth`ese (H) pouvant ^etre apprise par PLI : parent(X,Y) :- mere(X,Y).
G´en´eralit´es sur la PLI 55
3.1.2.1 Les s´emantiques normale et d´efinie
Les syst`emes de PLI utilisant une s´emantique normale disposent d’un ensemble de connaissances a priori T et d’un ensemble d’exemples E d´ecrits dans un langage LE compos´e d’exemples positifs E+ et d’exemples n´egatifs E− (cf. exemple 7). Les exemples sont des clauses de Horn (´eventuellement r´eduites `a des faits) et T est une th´eorie clausale (i.e. un ensemble de clauses de Horn). Dans la s´emantique propos´ee par [Muggleton et De Raedt, 1994], le but est d’apprendre une th´eorie clausale H d´ecrite dans un langage LH telle que les conditions suivantes soient satisfaites :
D´efinition 3.1 (S´emantique normale)
– Satisfaisabilit´e a priori : T ∧ E−6|= (faux)
– Satisfaisabilit´e a posteriori (correction) : T ∧ H ∧ E− 6|= – N´ecessit´e a priori : T 6|= E+
– Suffisance a posteriori (compl´etude) : T ∧ H |= E+
La d´efinition de la s´emantique la plus commun´ement accept´ee par les uti-lisateurs de la PLI est celle propos´ee, par exemple, par Dˇzeroski et La-vraˇc [Dˇzeroski et LaLa-vraˇc, 2001] :
D´efinition 3.2
1. (Correction) ∀e−∈ E−, T ∧ H 6|= e− 2. (Compl´etude) ∀e+∈ E+, T ∧ H |= e+
La relation de couverture entre les hypoth`eses de LH et les exemples de LE est la cons´equence logique. Les apprentissages par PLI qui v´erifient la s´emantique nor-male sont nomm´es apprentissage par cons´equence logique (traduit de learning from entailment). La condition de correction se lit “H ne couvre aucun e− relativement `a T ” et la condition de compl´etude se lit “H couvre tous les e+ relativement `a T ”.
Intermezzo Un lecteur non averti qui chercherait `a comprendre la s´emantique standard de la PLI `
a travers ces d´efinitions pourrait penser qu’il y a une contradiction entre la r`egle de satisfaisabilit´e a posteriori de la d´efinition 3.1 qui stipule que l’union de T, H et E− n’est pas contradictoire et le premier point de la d´efinition 3.2 qui stipule qu’aucun exemple n´egatif n’est cons´equence logique de la connaissance T et de l’hypoth`ese trouv´ee. La diff´erence essentielle entre les deux d´efinitions provient de la repr´esentation des exemples (qui n’est pas explicit´ee lorsque les auteurs proposent leur d´efinition). Dans la d´efinition 3.1, les exemples sont repr´esent´es comme indiqu´e dans l’exemple 7. Dans le langage logique utilis´e ici, les exemples positifs f+
i sont des faits Prolog et les exemples n´egatifs f−
i sont des clauses instanci´ees ayant une tˆete vide (correspondant `a la n´egation d’un fait). Le symbole :−utilis´e est une implication logique (⇐) donc b:−a ⇔ b ∨ ¬a. En g´en´eral dans la litt´erature, les exemples positifs et n´egatifs sont tous deux repr´esent´es par des faits. En posant e−
i = ¬f−
i on prouve que les deux d´efinitions sont ´equivalentes (cf. Preuve 1).
Preuve 1 Soit e− 1 et e−
2 des exemples n´egatifs repr´esent´es par des faits. (∀e−∈ E− , T∧ H 6|= e−) ⇔ ((T ∧ H 6|= e− 1) ∧ (T ∧ H 6|= e− 2)) ⇔ (¬(T ∧ H |= e− 1) ∧ ¬(T ∧ H |= e− 2)) ⇔ (¬((T ∧ H |= e− 1) ∨ (T ∧ H |= e− 2))) ⇔
(¬(T ∧ H |= e− 1 ∨ e− 2)) ⇔ 1-(T ∧ H 6|= e− 1 ∨ e− 2). Soit f− 1 etf−
2 des exemples n´egatifs repr´esent´es par des n´egations de faits. (T ∧ H ∧ E− 6|= ) ⇔ (T ∧ H ∧ (f− 1 ∧ f− 2 ) 6|= ) ⇔ 2-(T ∧ H 6|= ¬f− 1 ∨ ¬f− 2 . En posant e− i = ¬f− i , on a bien1 ⇔ 2. Le cas de la compl´etude est trivial.
Dans le cas de la d´efinition 3.2, tous les exemples sont repr´esent´es par des faits “positifs” et la d´efinition semble plus intuitive.
Dans la plupart des syst`emes de PLI existants, les hypoth`eses recherch´ees et les clauses pr´esentes dans la th´eorie du domaine T sont des clauses d´efinies (NB : qui ne contiennent qu’un seul litt´eral positif). La d´efinition 3.1 peut alors se simplifier en utilisant la propri´et´e d’unicit´e du plus petit mod`ele de Herbrand (M+) des th´eories utilisant des clauses d´efinies.
D´efinition 3.3 (S´emantique d´efinie)
– Satisfaisabilit´e a priori : tous les e ∈ E− sont faux dans M+(T )
– Satisfaisabilit´e a posteriori (correction) : tous les e ∈ E−sont faux dans M+(T ∧ H)
– N´ecessit´e a priori : certains e ∈ E+ sont faux dans M+(T )
– Suffisance a posteriori (compl´etude) : tous les e ∈ E+ sont vrais dans M+(T ∧H)
Ce qui devait ˆetre vrai dans tous les mod`eles de T ∧ H pour la s´emantique normale, doit maintenant ˆetre vrai dans le plus petit mod`ele de Herbrand pour la s´emantique d´efinie. La s´emantique d´efinie est donc un cas particulier de la s´emantique normale.
Notons que les s´emantiques pr´ec´edentes d´efinissent l’apprentissage d’une th´eorie clausale couvrant une classe d’exemple : les exemples positifs. En inversant le rˆole des exemples positifs et n´egatifs, on peut ´egalement apprendre une th´eorie clausale couvrant la classe des exemples n´egatifs (pour la th´eorie clausale originale).
3.1.2.2 S´emantiques non monotones
A l’origine [Helft, 1989], le cadre non monotone a ´et´e con¸cu pour les probl`emes d’induction descriptive dans lesquels l’hypoth`ese H apprise n’est plus suppos´ee expli-quer les exemples positifs (∀e+ ∈ E+, H |= e+) comme dans le cadre de la s´eman-tique normale mais doit au contraire ˆetre une caract´eriss´eman-tique des exemples positifs (∀e+∈ E+, e+|= H).
En PLI, le premier syst`eme `a utiliser une telle s´emantique, Clau-dien [De Raedt et Bruynooghe, 1993], poss`ede une th´eorie du domaine compos´ee de clauses d´efinies mais d’un ensemble d’exemples vide. En effet, les exemples positifs font partie de la th´eorie du domaine T et les exemples n´egatifs sont d´eriv´es implicitement en faisant une hypoth`ese de monde clos. Les hypoth`eses H sont d´ecrites dans le mˆeme langage que la th´eorie du domaine. Suivant ce mod`ele, la s´emantique non monotone est d´efinie dans [Muggleton et De Raedt, 1994] comme suit :
G´en´eralit´es sur la PLI 57
D´efinition 3.4 (S´emantique non monotone) – Validit´e : tous les h ∈ H sont vraies dans M+(T )
– Compl´etude: si une clause g est vraie dans M+(T ) alors H |= g – Minimalit´e : il n’y a pas de sous ensemble G de H, valide et complet
Dans cette d´efinition, T et H sont toujours des th´eories clausales. La condition de validit´e signifie que toutes les hypoth`eses h de H sont coh´erentes avec la th´eorie T (rappelons que T code aussi les exemples positifs) : elles sont des propri´et´es des donn´ees de T . La compl´etude signifie que toutes les informations valides de T doivent ˆetre d´eductibles de l’hypoth`ese H. La condition de minimalit´e empˆeche de d´eriver des hypoth`eses redondantes. Aucune condition de correction n’est n´ecessaire puisque les exemples n´egatifs ne sont pas pris en compte.
Avec le d´eveloppement de nouveaux syst`emes de PLI, les exemples n´egatifs ont ´et´e `a nouveau introduits dans la d´efinition de la s´emantique non monotone sous forme d’interpr´etations non mod`eles de la th´eorie cible (cf. Annexe B). Par opposition, les exemples positifs sont des interpr´etations mod`eles de la th´eorie cible. Syntaxiquement un exemple e est une th´eorie clausale dont l’interpr´etation est calcul´ee en prenant le mod`ele de Herbrand minimal (unique si les clauses sont d´efinies) M+ de T et e. Le syst`eme cherche donc `a apprendre des th´eories clausales H pour lesquelles les exemples positifs sont mod`eles de la th´eorie et les exemples n´egatifs contredisent cette th´eorie.
La s´emantique de l’apprentissage par interpr´etations pr´esent´ee ici (cf. D´efini-tion 3.5) est r´e´ecrite `a partir de celle pr´esent´ee dans l’article de De Raedt et Van Laer [De Raedt et Van Laer, 1995] en consid´erant une interpr´etation I comme un en-semble de faits clos et en constatant dans ce cas que si I est mod`ele d’une th´eorie clausale H alors I |= H.
D´efinition 3.5 (Apprentissage `a partir d’interpr´etation)
– (Correction) ∀e−∈ E−, M+(T ∪ e−) 6|= H – (Compl´etude) ∀e+∈ E+, M+(T ∪ e+) |= H
Comme dans le cas de la s´emantique normale, la condition de correction se lit “H ne couvre pas e− relativement `a T ” et la condition de compl´etude se lit “H couvre e+ relativement `a T ”. Notons que dans la plupart des cas, les exemples e sont des ensembles de faits clos. Par abus de langage, ils peuvent donc ˆetre vus comme des interpr´etations partielles que l’on compl`ete en prenant le mod`ele minimal de Herbrand M+ de T et e. De Raedt montre dans [De Raedt, 1997] qu’une r´e´ecriture du probl`eme par interpr´e-tations assure d’obtenir des solutions qui v´erifient ´egalement la s´emantique normale de la d´efinition 3.2. Le contraire n’est cependant pas possible puisqu’on ne peut pas r´e´ecrire des th´eories clausales sous forme d’interpr´etations, toute la connaissance disponible n’´etant pas forc´ement explicit´ee dans les clauses. L’apprentissage par interpr´etations est donc un cas particulier de l’apprentissage par cons´equence logique. Cette sp´ecificit´e de la s´emantique par interpr´etations permet cependant de diminuer la complexit´e de l’ap-prentissage. De Raedt et Dˇzeroski montrent ainsi dans [De Raedt et Dˇzeroski, 1994] que l’apprentissage par interpr´etations est PAC-apprenable [Valiant, 1984] contrairement `a
l’apprentissage par cons´equence logique. Blockeel donne dans [Blockeel, 1998](p84-89 ) une revue des avantages et des inconv´enients de l’apprentissage par interpr´etations par rapport `a l’apprentissage par cons´equence logique. En particulier Blockeel voit l’ap-prentissage par interpr´etations comme un interm´ediaire entre l’apl’ap-prentissage attribut-valeur, extension du langage propositionnel, (voir [Michalski, 1993] pour une description d´etaill´ee des langages d’hypoth`eses attribut-valeur) et l’apprentissage par cons´equence logique.