Rubrique préparée par Denis Maurel
LI (Laboratoire d’informatique de l’Université de Tours) maurel@univ-tours.fr
Thierry Poibeau, Extraction automatique d’information (du texte brut au web sémantique), Hermès-Lavoisier, 2003, 239 pages, ISBN 2-7462-0610-2.
par Patrice Enjalbert GREYC, Université de Caen Patrice.Enjalbert@info.unicaen.fr
L’ouvrage proposé aujourd’hui par Thierry Poibeau reprend et synthétise un ensemble de travaux de recherche en extraction d’Information (EI), menées pour l’essentiel dans le contexte d’un grand groupe industriel. De fait, une caractéristique majeure de ce travail est le souci de faire passer une technologie devenue relativement mature – notamment sous l’impulsion des conférences MUC dans les années 1990 – au stade des véritables applications industrielles. Pour cela un ensemble cohérent de méthodes et d’outils de traitement linguistique a été développé par l’auteur autour de la méthode des patrons d’extraction enrichie grâce à des techniques d’apprentissage et une réflexion méthodologique rigoureuse.
Le chapitre 1 propose une présentation synthétique de l’EI, resituée comme successeur des travaux sur la compréhension automatique menés à partir des années 1970 dans une problématique largement inspirée de l’Intelligence Artificielle. Cette mise en perspective est judicieuse et éclairante, mettant en lumière les raisons des succès de l’EI : caractère partiel, sélectif, local de l’analyse, orienté par un but et une tâche précis, opposé à « l’idéal » de compréhension globale de l’ensemble d’un texte. L’historique des MUC est présenté. Ici, comme dans l’ensemble de l’ouvrage, l’accent est mis sur la méthode des patrons syntactico-sémantiques : représentés par des automates (méthode qui reçoit la faveur de l’auteur) ou des grammaires, ils
décrivent à la fois les structures syntagmatiques à repérer et leur sémantique, c’est-à- dire l’information qu’il portent et qu’il s’agit d’extraire. Finalement, Thierry Poibeau pose le problème de l’adaptabilité et de la généricité des systèmes d’EI, dont il souligne l’importance vis-à-vis des applications « industrielles ».
Ceci le conduit à la question cruciale de l’acquisition de ressources linguistiques, dont son second chapitre présente et discute, avec un luxe de références bibliographiques, les tendances : différents algorithmes d’apprentissage, recours aux corpus annotés et aux ressources lexicales généralistes (telles que Wordnet), paramétrage selon le type de texte et de tâche, implication ou non de l’utilisateur…
Il en propose une forme de synthèse personnelle qui va guider ses propres réalisations.
Le chapitre 3 présente le cadre de ces travaux, autour de différentes applications concrètes. Il est notable que plusieurs de ces applications ne constituent pas vraiment des « instances standard » de la tâche MUC, mais plutôt un simple repérage, avec annotation du texte et mise en surbrillance pour la consultation d’éléments tels que les entités nommées (cf. infra) sans véritable mise en relation. On est ici en phase avec une évolution, perceptible dans la communauté (et qui aurait pu mériter une plus ample discussion), vers des tâches de recherche d’information et de navigation textuelle. Le chapitre présente également les corpus traités, les techniques d’évaluation et le système INTEX utilisé pour développer les automates (en fait, plutôt, les transducteurs) chargés de décrire et implémenter les patrons d’extraction.
Avec le chapitre 4 on entre véritablement dans les réalisations de l’auteur et la présentation de son système d’EI, nommé SEMTEX. Mais précisons qu’il s’agira ici de bien plus que de la description d’une « architecture logicielle ». En fait la plus grande partie du chapitre est consacrée à un ensemble de questions méthodologiques importantes : place de l’utilisateur et définition rigoureuse de la tâche ; examen des corpus pour évaluer a priori leur adaptation à ces contraintes, et mise en œuvre de procédures de filtrage, selon les domaines et les genres (courriers électroniques, dépêches…) ; présence ou non de corpus annotés… Toutes ces questions sont présentées de manière concrète à partir des expériences de l’auteur, et constituent un petit « guide méthodologique », sinon exhaustif, du moins certainement fort utile et recommandé à quiconque voudrait se lancer dans des expérimentations d’EI. Du coup, le système SEMTEX lui-même est présenté un peu succinctement, alors qu’il aurait pu être intéressant de le situer par rapport à d’autres systèmes similaires.
Le chapitre 5 est consacré au repérage d’entités nommées. Deux types de méthodes sont généralement employées, décrites par l’auteur : description
« manuelle » par automates ou grammaires, d’une part, et apprentissage de l’autre, à partir d’amorces généralisées par un programme, ou à partir de corpus annotés. Les deux méthodes peuvent aussi être combinées, et c’est la voie choisie par Thierry Poibeau, obtenant des scores très intéressants en précision et rappel, du même ordre que les meilleurs systèmes existants.
Le chapitre 6 retrouve le cœur de la technologie de l’extraction d’information, avec le problème de la mise en relation des entités repérées dans un texte, de manière à produire les fameux « formulaires » ; par exemple, dans des dépêches financières : noms et nature des entreprises, nature et montant des opérations réalisées, etc. L’auteur présente une expérience (concernant précisément ce type de textes). L’exposé, clair, permet de se faire une idée très concrète de la méthode.
Mais ce chapitre, d’ailleurs assez court, n’est sans doute pas le plus fouillé de l’ouvrage, et les problèmes généraux posés par la mise en relation des entités ne sont guère discutés : repérage des entités « non nommées », calcul de coréférence et autres éléments d’analyse de discours nécessaire au remplissage des formulaires, ou encore méthodes alternatives utilisant une analyse syntaxique préalable (« complète » ou « légère »). Toutefois, il permet de bien poser les problèmes d’acquisition de ressources linguistiques qui vont faire l’objet des deux derniers chapitres.
Le premier de ces problèmes concerne l’acquisition semi-automatique de classes sémantiques et fait donc l’objet du chapitre 7. Il s’agit ici de constituer des ressources lexicales, dans lesquelles les mots (ou termes) susceptibles d’apparaître dans les formes linguistiques recherchées, seront regroupées en classes sémantiques (correspondant à un même concept, relativement à un « degré d’approximation » adéquat à la tâche). Constituer de telles listes est évidemment très coûteux en temps de développement, d’où la nécessité absolue de se doter d’outils permettant d’alléger la tâche et de la rendre plus fiable. L’auteur présente et discute les deux voies possibles : ressources généralistes – dictionnaires ou réseaux sémantiques – prédéfinies, et acquisition endogène, par exploration des corpus. Il éclaire le débat par une double expérience menée dans SEMTEX : exploration endogène de corpus grâce au système ASIUM, qui procède par apprentissage non supervisé ; et exploitation du « Dictionnaire intégral » de MEMODATA une ressource située entre dictionnaire de langue et réseau sémantique.
Enfin, le chapitre 8 concerne l’acquisition semi-automatique des patrons d’extraction eux-mêmes. Thierry Poibeau décrit une méthodologie d’aide à la constitution des patrons, illustrée par ses propres expériences. En gros on suppose qu’un dispositif de paraphrase est disponible, par exemple : au niveau sémantique grâce aux méthodes exposées au chapitre précédent, ou par des méthodes syntaxiques (formes active/passive…). À partir d’un ensemble d’expressions considérées par l’utilisateur comme typiques des expressions à extraire, un dispositif repère dans le corpus les passages susceptibles d’en contenir des paraphrases et les présente à l’utilisateur. Celui-ci est alors bien informé pour écrire ses patrons d’extraction, à leur tour généralisés. L’exposé est conforté par une présentation des évaluations comparatives effectuées.
La conclusion de l’ouvrage ouvre sur un questionnement plus théorique, concernant le découpage traditionnel entre « niveaux d’analyse » : morphologie, syntaxe, sémantique que semble remettre en cause assez radicalement la méthode des patrons syntaxiques. L’affaire est juste esquissée, mais mériterait certainement
attention des théoriciens de la langue, si l’on veut bien prendre en compte les résultats effectifs obtenus.
En conclusion, on se plaira à recommander chaleureusement la lecture de cet ouvrage à toute personne intéressée par la technologie émergente de l’extraction d’information. Il y trouvera rassemblées à travers l’exposé d’expériences concrètes, de manière particulièrement claire et méthodique, un ensemble de techniques spécifiques et de réflexions méthodologiques tout aussi utiles. Le point plus discutable concerne le centrage exclusif sur la méthode des « patrons d’extraction » et les techniques d’apprentissage, qui cache un ensemble d’autres problématiques importantes, relevées supra au fil des différents chapitres, et moins bien traitées.
Mais ce n’est là que le revers de la médaille, et au total c’est bien le type de travail – et d’ouvrage – qui compte pour faire passer dans la pratique « industrielle » des méthodes de TAL.
Jean-Luc Minel, Filtrage sémantique : du résumé automatique à la fouille de textes, Hermès-Lavoisier, 2002, 202 pages, ISBN 2-7462-0602-1.
par Gérard Sabah LIMSI, Université d’Orsay Gerard.Sabah@limsi.fr
Jean-Luc Minel est bien un spécialiste du résumé de texte : son titre résume effectivement parfaitement son livre !
Dans son introduction, Jean-Luc Minel analyse d’abord la question « pourquoi résumer ? », puis évoque des outils de visualisation rapide des textes et la possibilité d’en évaluer la pertinence. Après avoir souligné la difficulté de réaliser, a priori, des résumés standard sans tenir compte du contexte, du type du texte et des besoins spécifiques des utilisateurs, il montre la nécessité d’élaborer un résumé à la demande, en opposant le résumé statique à la navigation interactive.
En d’autres termes, même en considérant des types très divers de résumés (informatif, indicatif, conclusif, critique, synthétique, scolaire), on ne peut pas toujours garantir la pertinence entre les besoins d’un utilisateur et les informations extraites, ce que vise précisément le filtrage sémantique. On peut toutefois remarquer que le problème de déterminer concrètement les besoins d’un utilisateur – ce qui est crucial pour un fonctionnement de ce type – n’est pas abordé ici…
Les types de méthodes développées dans les chapitres suivants (compréhension, extraction, apprentissage) sont rapidement décrits. L’argumentation vise à justifier l’abandon de l’approche « par compréhension », à souligner l’efficacité opérationnelle de l’approche par extraction, comme de l’approche par apprentissage
qui toutefois reste assez lourde pour l’instant. La constitution de ressources linguistiques réutilisables est également envisagée dans ce cadre.
Si je suis d’accord avec la plupart de ces conclusions, le premier point me gêne quelque peu : je regrette cette évolution qui, comme en traitement automatique des langues, conduit à éviter les problèmes les plus difficiles (sémantique, compréhension) pour se concentrer sur les objectifs atteignables à court terme ; même si ces recherches à long terme n’ont pas de débouchés immédiats, elles restent fondamentales, très intéressantes pour les sciences cognitives et devraient donc être poursuivies…
La première partie du livre fait le point sur divers modèles de résumés automatiques.
Les modèles fondés sur la compréhension sont illustrés par les modèles de Kintsch et van Dijk (dont, d’après l’auteur, l’automatisation est considérée comme
« impraticable »), d’Alterman (construction d’un squelette du texte sur la base de représentations conceptuelles) et par le système TOPIC (qui, sur les mêmes bases, offre des possibilités de parcours du texte). Vu les difficultés de cette approche et surtout son manque d’applicabilité à court terme, elle est pratiquement abandonnée dans la communauté.
Pour poursuivre mon commentaire ci-dessus, je dirais qu’il manque peut-être à la conclusion de cette partie, une réflexion qui permettrait d’identifier les verrous actuels et les recherches à long terme qu’il conviendrait de mener pour les faire sauter…
Dans les systèmes par extraction, on cherche à utiliser des unités textuelles saillantes. Une hypothèse est que les phrases qui contiennent les mots les plus fréquents sont représentatives des thèmes abordés dans le texte. Divers modes de calcul sont présentés pour évaluer numériquement l’intérêt des éléments considérés et sélectionner les plus pertinents (similarité lexicale, repérage de phrases prototypiques, de chaînes lexicales…). Enfin, le système BREVIDOC et celui de MARCU illustrent l’utilisation de critères sémantiques et pragmatiques.
Malgré les conclusions du chapitre précédent, certaines remarques montrent qu’une compréhension – au moins partielle – du texte reste nécessaire pour mener à bien ce type de tâche.
Une troisième catégorie de systèmes est étudiée ensuite : des systèmes qui apprennent à classer les critères sur lesquels on peut se fonder pour résumer (pour l’auteur, il s’agit donc, plutôt de systèmes de classification que d’apprentissage puisqu’il n’y a pas de nouvelle connaissance créée). Ces systèmes sont supervisés ou non. Les premiers, fondés sur des corpus importants, utilisent quelques critères qui ont peu à voir avec le sens (informations positionnelles, lexicales ou structurelles).
Leurs résultats sont comparés à des résumés de références pour permettre l’apprentissage puis la validation des règles produites. Les seconds visent à diminuer
la taille des corpus nécessaires à l’apprentissage par optimisation de critères généraux. Là aussi, divers exemples de systèmes illustrent ces méthodes.
La conclusion de ce chapitre critique l’hypothèse, parfois implicite, de ces sytèmes qui consiste à considérer la phrase comme élément atomique de classification. La partie se termine par les principes d’évaluation des systèmes de résumé, et présente diverses approches (protocole MLUCE, FAN, programmes TIPSTER, DUC) qui restent statiques et ne prennent pas en considération la notion de navigation dynamique, notion qui constitue la base de l’approche prônée par l’auteur dans la seconde partie.
La seconde partie est donc centrée sur le filtrage et la fouille sémantique de textes. Elle explicite les besoins de cette approche, en particulier dans les cadres de la recherche de définitions, du traitement des lettres de réclamation, de la recherche de citations, de l’extraction de connaissances, et va jusqu’aux analyses politiques des discours.
Une discussion sur les différences entre filtrage et extraction présente tout d’abord les conférences « MUC » (Message understanding conferences) et les biais qu’elles introduisent en n’utilisant que rappel et précision (type de textes spécialisés, évaluation fondée sur l’utilisation de schémas, évaluation indépendante de l’utilisateur). Elle conclut à une certaine stérilisation de la recherche qui débouche sur l’utilisation d’un seul type de méthode. Le filtrage est alors présenté comme une autre méthode n’ayant pas ces défauts.
La base théorique est essentiellement la méthode d’exploration contextuelle proposée par Jean-Pierre Desclés qui est clairement résumée (identification des valeurs sémantiques, collecte des marqueurs discursifs explicites, règles de levée d’ambiguïtés). Les réalisations de l’équipe (SUM-up, Filtext et la plate-forme ContextO) montrent des implémentations (Java + XML) de ces principes. Fondées sur une collaboration entre l’architecte, le linguiste et l’utilisateur, ainsi que sur un langage formel de description des indicateurs et des indices, les illustrations des résultats de ces programmes sont particulièrement convaincants.
Une articulation avec une théorie de l’argumentation pourrait à l’avenir, améliorer encore ces résultats (cela est en particulier pertinent pour les exemples de la p. 132).
Un court chapitre évoque ensuite quelques outils industriels (on peut se demander si ce chapitre est bien à sa place ; peut-être aurait-il été mieux situé dans la première partie pour indiquer plus précisément l’état actuel et les besoins…).
Le dernier chapitre présente enfin les perspectives avec les axes de recherche en cours d’étude dans l’équipe.
En conclusion, un livre parfaitement bien documenté, qui porte un œil critique sur le résumé automatique de textes, fait le point sur l’état actuel de ce domaine et l’étend vers la fouille de textes en mettant en avant la notion de filtrage sémantique.
Il montre bien les recherches de l’équipe de l’auteur ainsi que leurs applications et leurs potentiels. Son principal avantage est de proposer une approche théorique bien fondée et présentant un potentiel applicatif certain. Son défaut est peut-être d’argumenter vers un abandon des recherches de base sur la sémantique et la simulation de processus de compréhension réelle…
Néanmoins je le recommande vivement à tout lecteur qui souhaite parfaire ses connaissances sur le résumé et la fouille de textes et avoir une idée de l’évolution de certaines applications des travaux en traitement automatique des langues.
Paola Merlo, Suzanne Stevenson, The Lexical Basis of Sentence Processing:
Formal, Computational and Experimental Issues, Natural Language Processing 4, John Benjamins Publishing Company, 2002, 363 pages, ISBN 90-272-4987-3.
par Xavier Blanco
Universitat Autònoma de Barcelona Xavier.Blanco@uab.es
This book brings together contributions about the lexical basis of sentence processing from the point of view of theoretical linguistics, computational linguistics and psycholinguistics. A particular effort is made to relate the structural approach to sentence processing with the probabilistic approach and to highlight the connections between the grammatical, the conceptual and the statistical knowledge that is needed in order to elaborate efficient lexical representations.
The volume is structured in three parts, each of them composed of five chapters written by different specialists, plus a comprehensive introduction written by the editors themselves.
This introductory chapter (entitled “Words, numbers and all that: The lexicon in sentence understanding”) is intended, at the same time, as a guide for the reader and as a discussion of cross-cutting issues, such as lexical entries organisation, frequencies and statistics, and incremental word-based processing. It begins with a brief examination of different existing views concerning the interaction between lexicon and grammar. The authors correctly point out that computational linguistics (or computational-oriented linguistic theories) and psycholinguistics generally contemplate the lexicon as a detailed inventory of forms and properties that regulates, to a large extent, the sentence generation. On the other side, theoretical linguistics tends to propose models where the lexicon is mainly generated and inserted from syntactic processes.
Moreover, two areas of research can be distinguished within the field of computational linguistics. On the one hand, the parsing and grammar formalism, that is intensively concerned with probabilistic models based on statistical analysis of
large corpora or on learning techniques that apply over annotated texts and tree- banks. On the other, the electronic lexicography, that puts the emphasis on the elaboration of robust but extremely time-consuming and costly large-scale databases.
In addition, sentence processing seems to emphasize more and more the importance of the information contained in the lexical entry. Therefore, most of the processing steps are guided, in fact, by this previous information.
While computational linguistics focuses on lexically-guided descriptions and on lexical statistics, theoretical linguistics concentrates on how the lexical units are structured with respect to each other (cf., for example, the organization of Wordnet).
However, the effort to emphasize the regularities leads to a significant reduction of the information conveyed by each lexical entry. Consequently, the lexicon is no longer in position of projecting the syntactic structure of the sentence. A function between the complexity of the data and the complexity of the computation seems to emerge from these different views of the lexicon. Indeed, a detailed lexical entry can simplify the computation while a more succinct description would necessarily imply a more complex computation.
Part I of the volume (“Fundamental Issues”) is devoted to theoretical proposals on lexical representation and their links to sentence processing.
The first paper (“The Lexicon in Optimality Theory” by Joan Bresnan) argues that the lexicon is not the source but the result of syntactic variation, via the reranking of violable universal constraints. The author illustrates her view with the analysis of dialectal variations of the negative auxiliary inversion in the framework of Optimality Theory (OT) with the feature specifications used in Lexical-Functional Grammar (LFG).
The paper of M. Johnson (“Optimality-theoretic Lexical Functional Grammar”) concentrates on the consequences of the OT approach in LFG regarding parsing and shows the connections between OT parsing and probabilistic parsing.
J. Fodor (“The Lexicon and the laundromat”) focuses on the content of lexicon.
The author argues for an extremely exiguous lexicon content according to two principles of interpretability: compositionality (the understanding of the constituent expression implies the understanding of the hosts) and reverse compositionality (the understanding of the host implies the understanding of the constituents).
A. Weinberg (“Semantics in the spin circle: Competence and performance criteria for the creation of lexical entries”) points out that Fodor’s reverse compositionality excludes stereotypical information, frequency information and epistemic properties from lexical entries. This apparent contradiction can be overcome by assuming that reverse compositionality is a part of the competence theory, while features like frequency and plausibility were to be considered as a contribution of the performance theory to the lexical representation.
The paper of M. Steedman (“Connectionist and symbolist sentence processing”) argues for the use of connectionist networks in learning bounded structures
associated with lexical items (particularly verbs) instead of using them in syntactic parsing.
Part II (“Division of Labour between Syntax and the Lexicon”) refers to the relationship between the syntactic and the lexical information during sentence processing. From this issue arises the fundamental question of what could be a plausible architecture of sentence processing.
A.E. Kim et al. (“A computational model of the grammatical aspects of word recognition as supertagging”) claim that much of the syntactic ambiguity of language is due, in fact, to the lexical ambiguity. They propose a connectionist system that maps each of the words in a sentence to an elementary tree from the Lexicalized Tree Adjoining Grammar.
Lombardo and Sturt (“Incrementality and lexicalism: A treebank study”) focus on the problem of non-lexical structure building. Through a parsing algorithm that refers to a tree-bank, the authors reach the conclusion that 80% of words can be attached to the partial phrase marker without a headless projection.
Crocker and Corley (“Modular architectures and statistical mechanism: The case from lexical category disambiguation”) present a statistical model of human lexical category disambiguation, which uses word-category frequencies and category bigram frequencies for the part-of-speech disambiguation. They argue for the systematic priority of ‘bottom-up’ information (lexical frequency) over ‘top-down’ constraints (i.e. syntactic and semantic ones).
Stowe et al. (“Encoding and storage in working memory during sentence comprehension”) discuss neuroimaging experiments according to which three different brain areas are activated for sentence comprehension: the left inferior frontal gyrus for storage of both lexical and phrasal information, the left posterior superior temporal gyrus for sentence processing and the anterior temporal lobe for encoding information about words used in comprehension.
Spivey et al. (“The time course of information integration in sentence processing”) deal with the question of the sequence of stages involved in the comprehension of language. They show that a temporal dissociation between structural and non-structural information is more likely to result from the dynamics of the processing system than from its architecture.
Part III (“Details of Lexical Entries”) focuses on the different kinds of information stored regarding a given lexical entry, concentrating mainly in argument structure properties of verbs.
Mauner et al. (“The lexical source of unexpressed participants and their role in sentence and discourse understanding”) argue that unexpressed arguments of a verb are derived from the lexical source and are distinct from conceptual schematic knowledge. They support their views by means of different experiments concerning agentless passive sentences.
Filip et al. (“Reduced relatives judged hard require constraint-based analyses”) maintain that fine-grained semantic variables play a much more significant role in verb classification than category-level syntactic complexity.
Altmann (“Predicting thematic role assignments in context”) claims that, in sentence processing, thematic roles corresponding to a verb can be assigned before the necessary entities have been referred to in the sentence (predictive processing).
Argaman et Pearlmutter (“Lexical semantics as a basis for argument structure frequency biases”) argue for a close relationship between frequency biases of argument structures and their underlying semantic basis. Semantic properties are then a plausible source of argument structure frequency biases.
Finally, Roland and Jurafsky (“Verb sense and verb subcategorization probabilities”) present the Lemma Argument Probability hypothesis, according to which each lemma or word sense contains a vector of probabilistic expectations for its possible syntactic/semantic argument frames.
In conclusion it can be said that the book presents a high-quality selection of contributions to the research on the relationships between lexicon (and the content of the lexical entries) and sentence processing. The volume is varied and balanced. As mentioned above, some important interdisciplinary issues clearly emerge through the different chapters such as the question of frequencies in the lexicon, the incremental sentence processing or the organisation of words in lexical classes. As rightly pointed out by the editors, the mutually constraining accumulation of evidence from theoretical linguistics, computational linguistics and psycholinguistics is certainly the best way to propose an efficient language processing architecture. This book is an excellent example of such a transversal approach.
