Syntactic Reference Corpus of Medieval French et logiciel d’annotation NotaBene

(1)

Syntactic Reference Corpus of Medieval French

et logiciel d’annotation NotaBene

Nicolas Mazziotta

Universität Stuttgart, ILR

(2)

Plan

Exposé en deux parties :

1. Présentation générale de SRCMF

2. Introduction aux fonctionnalités de NotaBene

SRCMF

Présentation du projet

Modèle syntaxique dépendanciel

Outils et procédures Ressources créées

NotaBene

Présentation rapide Philosophie générale Annotation syntaxique (SRCMF) Perspectives : intégration TXM (CoSToMeF)

(3)

Présentation du projet Modèle syntaxique dépendanciel Outils et procédures Ressources créées

1

re

_{partie : Syntactic Reference Corpus of Medieval French}

Outils et procédures

(4)

Fiche descriptive du projet Champ d’études et objectif Équipe et répartition des tâches Modèle syntaxique dépendanciel

Fondements Annotation syntaxique Outils et procédures Outils de communication/centralisation Outil d’annotation Procédures Ressources créées

Formats de sortie et exploitation Documentation

(5)

Fiche descriptive du projet

Dénomination

Syntactic Reference Corpus of Medieval French(SRCMF)

Direction scientifique

I Sophie Prévost (CNRS LaTTiCe, Paris) I Achim Stein (ILR, Stuttgart)

Sources de financement

I Subvention française : ANR I Subvention allemande : DFG

Durée

(6)

Champ d’études et objectif

Analyse syntaxique de textes en ancien français et besoin d’une

ressource

I Question de linguistique historique I Français écrit en France du 9e_{au 14}e_siècle I Comment les phrases sont-elles construites ?

Nombreuses ressources électroniques syntaxiques pour l’histoire de l’anglais, pas pour le français

⇒ Possibilité de renouvellement de l’approche de la langue

Corpus de travail

Deux corpus de ca 3 millions de mots issus de textes de genres divers : I Base de Français Médiéval(BFM, ENS Lyon)

(7)

Champ d’études et objectif

Analyse syntaxique de textes en ancien français et besoin d’une

ressource

Corpus de travail

(8)

Champ d’études et objectif

Analyse syntaxique de textes en ancien français et besoin d’une

ressource

Corpus de travail

(9)

Champ d’études et objectif

Annotation de corpus

I L’analyse décrit les ressources d’un point de vue syntaxique

I Elle estencodée par un humain(analyse automatique peu satisfaisante) I Elle prend la forme d’une ressource électronique liée au corpus

Objectif

I Constituer une ressource pour la communauté scientifique, en unissant les deux corpus selon un modèle identique

⇒ Résultat : SyntacticReferenceCorpus

I pour alimenter lesrecherchessyntaxiques (linguistique théorique)

I pour permettre de créer des outils detraitement automatiquede l’ancien français (linguistique computationnelle)

(10)

Champ d’études et objectif

Annotation de corpus

I L’analyse décrit les ressources d’un point de vue syntaxique

I Elle estencodée par un humain(analyse automatique peu satisfaisante) I Elle prend la forme d’une ressource électronique liée au corpus

Objectif

I Constituer une ressource pour la communauté scientifique, en unissant les deux corpus selon un modèle identique

⇒ Résultat : SyntacticReferenceCorpus

I pour alimenter lesrecherchessyntaxiques (linguistique théorique)

I pour permettre de créer des outils detraitement automatiquede l’ancien français (linguistique computationnelle)

(11)

Équipe et répartition des tâches

I Direction du projet

I Contractuels (y compris temps partiels) I Béatrice Bischof (ILR, Stuttgart) I Julie Glikman (CNRS LaTTiCe) I _{Alexei Lavrentiev (ENS, Lyon)} I Nicolas Mazziotta (ILR, Stuttgart) I Tom Rainsford (University of Cambridge)

I Collaborateurs réguliers I Céline Guillot (ENS, Lyon) I Serge Heiden (ENS, Lyon)

I Christiane Marchello-Nizia (ENS, Lyon)

I Experts

I Fernande Dupuis (UQAM, Montréal) I Richard Ingham (University of Birmingham) I Bernard Victorri (ENS, Paris)

Rôles

I modélisation linguistique

I annotation

I développement d’outils

(12)

Équipe et répartition des tâches

I Sophie Prévost(CNRS LaTTiCe, Paris) I Achim Stein(ILR, Stuttgart)

I Contractuels (y compris temps partiels) I Béatrice Bischof(ILR, Stuttgart) I Julie Glikman(CNRS LaTTiCe) I _{Alexei Lavrentiev}_{(ENS, Lyon)} I Nicolas Mazziotta(ILR, Stuttgart) I Tom Rainsford(University of Cambridge)

I Collaborateurs réguliers I Céline Guillot(ENS, Lyon) I Serge Heiden (ENS, Lyon)

I Christiane Marchello-Nizia(ENS, Lyon)

I Experts

I Fernande Dupuis(UQAM, Montréal) I Richard Ingham(University of Birmingham) I Bernard Victorri(ENS, Paris)

Rôles

I annotation

(13)

Équipe et répartition des tâches

I Contractuels (y compris temps partiels) I Béatrice Bischof(ILR, Stuttgart) I Julie Glikman(CNRS LaTTiCe) I _{Alexei Lavrentiev}_{(ENS, Lyon)} I Nicolas Mazziotta(ILR, Stuttgart) I Tom Rainsford(University of Cambridge)

I Experts

Rôles

I annotation

(14)

Équipe et répartition des tâches

I Sophie Prévost (CNRS LaTTiCe, Paris) I Achim Stein(ILR, Stuttgart)

I Contractuels (y compris temps partiels) I Béatrice Bischof (ILR, Stuttgart) I Julie Glikman (CNRS LaTTiCe) I _{Alexei Lavrentiev (ENS, Lyon)} I Nicolas Mazziotta(ILR, Stuttgart) I Tom Rainsford (University of Cambridge)

I Collaborateurs réguliers I Céline Guillot (ENS, Lyon) I Serge Heiden(ENS, Lyon)

I Experts

Rôles

I annotation

(15)

Équipe et répartition des tâches

I Sophie Prévost(CNRS LaTTiCe, Paris) I Achim Stein(ILR, Stuttgart)

I Contractuels (y compris temps partiels) I Béatrice Bischof (ILR, Stuttgart) I Julie Glikman (CNRS LaTTiCe) I _{Alexei Lavrentiev (ENS, Lyon)} I Nicolas Mazziotta (ILR, Stuttgart) I Tom Rainsford (University of Cambridge)

I Experts

Rôles

I annotation

(16)

Présentation du projet Fiche descriptive du projet Champ d’études et objectif Équipe et répartition des tâches

(17)

Fondements

Modèle dépendanciel vs analyse en constituants

En deux mots :

Dépendance Constituants

Unités liées : liens spécifiques Unités groupées : hiérarchie de groupes Fonctions Natures et distribution

Le chat←suj– tue –obj→ la souris [SN Le chat][SV tue [SN la souris]]

Le verbe au-dessus de la hiérarchie

I Marques spécifiques de portée propositionnelle I Autonomie relative plus grande

(18)

Fondements

Modèle dépendanciel vs analyse en constituants

En deux mots :

Unités liées : liens spécifiques Unités groupées : hiérarchie de groupes

Fonctions Natures et distribution

Le verbe au-dessus de la hiérarchie

(19)

Fondements

Modèle dépendanciel vs analyse en constituants

En deux mots :

Le verbe au-dessus de la hiérarchie

(20)

Fondements

Modèle dépendanciel vs analyse en constituants

En deux mots :

Le chat←suj– tue –obj→ la souris

[SN Le chat][SV tue [SN la souris]]

Le verbe au-dessus de la hiérarchie

(21)

Fondements

Modèle dépendanciel vs analyse en constituants

En deux mots :

Le verbe au-dessus de la hiérarchie

(22)

Fondements

Modèle dépendanciel vs analyse en constituants

En deux mots :

Le verbe au-dessus de la hiérarchie

(23)

Annotation syntaxique

Distinction entre les plans

I Morphosyntaxe/sémantique/énonciation I Interaction permanente

I Informations encodéespurement syntaxiques

I Critères prioritairement syntaxiques (relations) I Toutefois, variété éteinte ⇒ besoin des autres plans

Options théoriques

I Définition « mécanique » de la phrase

Basée sur 1 verbe ⇔ 1 proposition

I Place seconde pour les mots-outils (pas « translatifs ») I Traitement othogonal de la coordination (quasi symétrique)

(24)

Annotation syntaxique

Distinction entre les plans

Options théoriques

(25)

Annotation syntaxique

Distinction entre les plans

Options théoriques

(26)

Présentation du projet Fiche descriptive du projet Champ d’études et objectif Équipe et répartition des tâches Modèle syntaxique dépendanciel

(27)

Outils de communication/centralisation

Équipe large etgéographiquement dispersée

Forum

I Discussions linguistiques I Aide à distance

Wiki

I Archivage des décisions

I Stockage raisonné de la documentation

Subversion (SVN)

I Centralisation des données I Suivi des versions

(28)

Outils de communication/centralisation

Équipe large etgéographiquement dispersée

Forum

I Discussions linguistiques I Aide à distance

Wiki

I Archivage des décisions

I Stockage raisonné de la documentation

Subversion (SVN)

I Centralisation des données I Suivi des versions

(29)

Outil d’annotation

NotaBene

I Encodage de l’annotation syntaxique sous une forme ergonomique I Personnalisation de l’environnement

I Comparaison entre deux annotations parallèles I Exportation des résultats dans différents formats

Voir deuxième partie de l’exposé

I Présentation du logiciel

(30)

Outil d’annotation

NotaBene

Voir deuxième partie de l’exposé

(31)

Outil d’annotation

NotaBene

Voir deuxième partie de l’exposé

(32)

Procédures

Besoin de procédures

Annotation manuelle I Erreurs aléatoires

I Prises de position inconscientes I Inconsistance

But :diminuerle nombre d’erreurs (0 erreurs impossible)

Étapes

1. Annotation parallèle aveugle (deux annotateurs humains)

2. Correction croisée aveugle (même équipe)

(33)

Procédures

Besoin de procédures

Annotation manuelle I Erreurs aléatoires

I Prises de position inconscientes I Inconsistance

But :diminuerle nombre d’erreurs (0 erreurs impossible)

Étapes

1. Annotation parallèle aveugle (deux annotateurs humains)

2. Correction croisée aveugle (même équipe)

(34)

Présentation du projet Fiche descriptive du projet Champ d’études et objectif Équipe et répartition des tâches Modèle syntaxique dépendanciel

(35)

Formats de sortie et exploitation

En interne

NotaBene utilise XML et RDF (voir deuxième partie)

Principaux formats pour le corpus SRCMF

I « Tel quel » (annotation) I Graphviz (visualisation) I TigerXML (exploration)

(36)

Formats de sortie et exploitation

En interne

Principaux formats pour le corpus SRCMF

(37)

Formats de sortie et exploitation

En interne

Principaux formats pour le corpus SRCMF

(38)

Formats de sortie et exploitation – « Tel quel »

Annotation telle que présentée en

interne

I Conventions de représentation à but

ergonomique

I Meilleur pour l’annotation que pour l’exploitation

(39)

Formats de sortie et exploitation – « Tel quel »

Annotation telle que présentée en

interne

I Conventions de représentation à but

ergonomique

I Meilleur pour l’annotation que pour l’exploitation

(40)

Formats de sortie et exploitation – Graphviz

Graphviz et lecture humaine

I Outil de dessin de graphes (orientés ou non) I Nombreuses options, rendu rapide

(41)

Formats de sortie et exploitation – Graphviz

Graphviz et lecture humaine

I Outil de dessin de graphes (orientés ou non) I Nombreuses options, rendu rapide

(42)

Formats de sortie et exploitation – TigerXML

Format développé pour l’extraction de structures

I Fichiers XML faciles à générer/manipuler

I Peut encoder des structures dépendancielles/constituants I Outil derequêteavec syntaxe spécifique

...

</nonterminals> </graph>

(43)

Formats de sortie et exploitation – TigerXML

Format développé pour l’extraction de structures

I Fichiers XML faciles à générer/manipuler

I Peut encoder des structures dépendancielles/constituants I Outil derequêteavec syntaxe spécifique

...

</nonterminals> </graph>

(44)

Formats de sortie et exploitation – TigerXML

(45)

Formats de sortie et exploitation – TigerXML

(46)

Formats de sortie et exploitation – TigerXML

Recherche

Syntaxe spécifique ; par exemple :

[cat="SjPer"] >M [cat="VFin"]

(47)

Formats de sortie et exploitation – TigerXML

Recherche

Syntaxe spécifique ; par exemple :

[cat="SjPer"] >M [cat="VFin"]

(48)

Formats de sortie et exploitation – CoNLL

Format optimisé pour le TAL

I Format tabulaire simple I Permet d’entraîner les parseurs

I Moins expressif que RDF/TigerXML (perte)

1 Li _ _ _ _ _ _ 2 _ Det _ _ _ _ _

2 rois _ _ _ _ morph=Nom _ 3 _ SjPer _ _ _ _ _

3 pense _ _ _ _ morph=VFin _ 0 _ ROOT _ _ _ _ _

4 que _ _ _ _ _ _ 10 _ RelNC _ _ _ _ _

5 par _ _ _ _ _ _ 6 _ RelNC _ _ _ _ _

6 folie _ _ _ _ morph=Nom _ 10 _ Circ _ _ _ _ _

7 Sire _ _ _ _ morph=Nom _ 10 _ Apst _ _ _ _ _

8 Tristran _ _ _ _ _ _ 7 _ ModA _ _ _ _ _

9 vos _ _ _ _ _ _ 10 _ Obj _ _ _ _ _

10 aie _ _ _ _ morph=VFin _ 3 _ Obj _ _ _ _ _

(49)

Formats de sortie et exploitation – CoNLL

Format optimisé pour le TAL

I Format tabulaire simple I Permet d’entraîner les parseurs

I Moins expressif que RDF/TigerXML (perte)

1 Li _ _ _ _ _ _ 2 _ Det _ _ _ _ _

2 rois _ _ _ _ morph=Nom _ 3 _ SjPer _ _ _ _ _

3 pense _ _ _ _ morph=VFin _ 0 _ ROOT _ _ _ _ _

4 que _ _ _ _ _ _ 10 _ RelNC _ _ _ _ _

5 par _ _ _ _ _ _ 6 _ RelNC _ _ _ _ _

6 folie _ _ _ _ morph=Nom _ 10 _ Circ _ _ _ _ _

7 Sire _ _ _ _ morph=Nom _ 10 _ Apst _ _ _ _ _

8 Tristran _ _ _ _ _ _ 7 _ ModA _ _ _ _ _

9 vos _ _ _ _ _ _ 10 _ Obj _ _ _ _ _

10 aie _ _ _ _ morph=VFin _ 3 _ Obj _ _ _ _ _

(50)

Documentation

(51)

Documentation

Plan de chaque fiche

(52)

Documentation

(53)

Prospectif : CoSToMeF

Computational Syntactic Tools for Medieval French

Projet soumis. . .

I Projet ANR/DFG soumis, appel 2011 (2012-2015) I Serge Heiden (ENS Lyon) et Achim Stein (ILR Stuttgart)

Application d’outils TAL aux corpus afr.

I Outils

I Parseurs, intégration à TXM, etc. I Interface web

I Utilisation

I « gold standard » ⇒ entraînement des parseurs I _{Analyses quantitatives et qualitatives}

I Description linguistique/évaluation des modèles

I Enrichissement

I Par traitement manuel

(54)

Prospectif : CoSToMeF

Computational Syntactic Tools for Medieval French

Projet soumis. . .

Application d’outils TAL aux corpus afr.

I Outils

I Utilisation

I Enrichissement

(55)

Prospectif : CoSToMeF

Computational Syntactic Tools for Medieval French

Projet soumis. . .

Application d’outils TAL aux corpus afr.

I Outils

I Utilisation

I Enrichissement

(56)

Prospectif : CoSToMeF

Computational Syntactic Tools for Medieval French

Projet soumis. . .

Application d’outils TAL aux corpus afr.

I Outils

I Utilisation

I Enrichissement

(57)

Prospectif : CoSToMeF

Computational Syntactic Tools for Medieval French

Projet soumis. . .

Application d’outils TAL aux corpus afr.

I Outils

I Utilisation

I Enrichissement

(58)

Prospectif : CoSToMeF

Computational Syntactic Tools for Medieval French

Projet soumis. . .

Application d’outils TAL aux corpus afr.

I Outils

I Utilisation

I Enrichissement

(59)

Présentation rapide Philosophie générale Annotation syntaxique (SRCMF) Perspectives

2

e

_{partie : Logiciel NotaBene dans SRCMF}

Présentation rapide

Philosophie générale

Annotation syntaxique (SRCMF)

(60)

Origine et développement Coup d’œil sur l’interface

Annotations multiples – Vues multiples Unités et modèle de données

Annotation syntaxique (SRCMF) Vue arborescente

Annotations Comparaisons

(61)

Origine et développement

Recherche doctorale : 2001-2007

I Recherche sur les relations entre ponctuation médiévale et syntaxe en afr. (corpus de chartes originales liégeoises en français)

I Besoin d’uneannotation exhaustivedes relations syntaxiques I Logiciel Perl dédié

Postdoctorat ENS-Lyon (équipe BFM) : 2008

I Besoin d’ajouter/corriger des annotations I Création d’un prototype Python

I Développement des capacités d’annotation de la syntaxe (absent BFM)

⇒ Naissance de SRCMF

SRCMF : 2009-2012

(62)

Origine et développement

Recherche doctorale : 2001-2007

Postdoctorat ENS-Lyon (équipe BFM) : 2008

SRCMF : 2009-2012

(63)

Origine et développement

Recherche doctorale : 2001-2007

Postdoctorat ENS-Lyon (équipe BFM) : 2008

SRCMF : 2009-2012

(64)

Origine et développement

Recherche doctorale : 2001-2007

Postdoctorat ENS-Lyon (équipe BFM) : 2008

SRCMF : 2009-2012

(65)

Coup d’œil sur l’interface

Trois zones principales

(66)

Coup d’œil sur l’interface

Projets

(67)

Coup d’œil sur l’interface

Zone d’annotation

(68)

Coup d’œil sur l’interface

Zone de terminologie

(69)

(70)

Annotations multiples – Vues multiples

Principes généraux

I Multiplicité des schémas d’annotation I Multiplicité des intérêts

⇒ Concrètement

1. Annotations de tous types :

I morphologiques I syntaxiques I énonciatives 2. Théories différentes : I dépendance I _constituants

Besoins

I Flexibilité I Réduction du bruit

(71)

Annotations multiples – Vues multiples

Principes généraux

⇒ Concrètement

Besoins

(72)

Annotations multiples – Vues multiples

Principes généraux

⇒ Concrètement

Besoins

(73)

Annotations multiples – Vues multiples

Principes généraux

⇒ Concrètement

Besoins

(74)

Annotations multiples – Vues multiples

Principes généraux

⇒ Concrètement

Besoins

(75)

Annotations multiples – Vues multiples

Dans SRCMF : synchronisation de visualisations multiples du même extrait ; ici :

I Arbre I Concordance I Texte courant

(76)

Annotations multiples – Vues multiples

(77)

Annotations multiples – Vues multiples

(78)

Unités et modèle de données

Utilisation de standards du web sémantique

I XML (web « syntaxique »), identification des individus à annoter. I Resource Description Framework(RDF), annotations sous forme de

graphes (ensembles de triplets) :

I OWL Ontology Web Language(OWL) : hiérarchie de classes basé sur RDF, permet le raisonnement logique.

(79)

Unités et modèle de données

Utilisation de standards du web sémantique

I XML (web « syntaxique »), identification des individus à annoter.

I Resource Description Framework(RDF), annotations sous forme de graphes (ensembles de triplets) :

(80)

Unités et modèle de données

Utilisation de standards du web sémantique

(81)

Unités et modèle de données

Utilisation de standards du web sémantique

(82)

Unités et modèle de données

Utilisation de standards du web sémantique

(83)

Unités et modèle de données

Utilisation de standards du web sémantique

(84)

Unités et modèle de données

Application

I Contrainte générale : si un seul constituant est présent dans un triplet, c’est l’origine qui pointe vers lui.

I Trois relations fondamentales :

1. Catégorisation

2. Groupement/délimitation

(B est « vide » et catégorisable)

(85)

Unités et modèle de données

Application

1. Catégorisation

(86)

Unités et modèle de données

Application

1. Catégorisation

(87)

Unités et modèle de données

Application

1. Catégorisation

(88)

Unités et modèle de données

Application

1. Catégorisation

(89)

Unités et modèle de données

Application

1. Catégorisation

(90)

Unités et modèle de données

Application

1. Catégorisation

(91)

Annotation syntaxique (SRCMF)

Vue arborescente Annotations Comparaisons

(92)

Vue arborescente

Objectif : ergonomie

I Nombreuses annotations à poser rapidement

I Présentation en vue hiérarchique arborescente

I Vue de travail(non théorique) I Représentation des dépendances ; en

deux mots :

I Les RONDS représentent des structures, les TRIANGLES spécifient leur dépendance

I À chaque niveau inférieur à la phrase, tous les nœuds dépendent du ROND I le ROND est le nœud principal (= tête)

(93)

Vue arborescente

Objectif : ergonomie

I Vue de travail(non théorique)

I Représentation des dépendances ; en deux mots :

(94)

Vue arborescente

Objectif : ergonomie

deux mots :

(95)

Vue arborescente

Objectif : ergonomie

deux mots :

(96)

Vue arborescente

Objectif : ergonomie

deux mots :

I À chaque niveau inférieur à la phrase, tous les nœuds dépendent du ROND

I le ROND est le nœud principal (= tête) de la structure (sous-arbre)

(97)

Vue arborescente

Objectif : ergonomie

deux mots :

(98)

Annotations

Démarche

1. Délimitation de la phrase

2. Identification du nœud verbal qui fonde la phrase

3. Identification, délimitation, caractérisation des dépendants du nœud verbal

4. Récursivement avec toutes les propositions

Il s’agit d’une démarche théorique

I On peut avancer par essai/erreur

(99)

Annotations

Démarche

Il s’agit d’une démarche théorique

(100)

Annotations

Démarche

Il s’agit d’une démarche théorique

(101)

Annotations

Démarche

Il s’agit d’une démarche théorique

(102)

Annotations

Démarche

Il s’agit d’une démarche théorique

(103)

Annotations

Démarche

Il s’agit d’une démarche théorique

(104)

Annotations

1. La phrase est délimitée

2. Le nœud verbal est identifié

3. Les dépendants du nœud verbal sont délimités et identifiés

(105)

Annotations

(106)

Annotations

(107)

Annotations

(108)

(109)

Comparaisons

Cf. étapes de la procédure

I Comparaison d’analyses parallèles ⇒ divergences I Choix de la bonne analyse

(110)

Comparaisons

I Comparaison d’analyses parallèles ⇒ divergences

(111)

Comparaisons

I Comparaison d’analyses parallèles ⇒ divergences I Choix de la bonne analyse

(112)

(113)

Perspectives : intégration TXM (CoSToMeF)

Dialectique annotation/recherche

I Même environnement intégrant annotation et recherche I Correction et enrichissement par de nouvelles questions

Techniquement

I Développement d’un modèle de données commun décrivant la relation texte/annotation

(114)

Perspectives : intégration TXM (CoSToMeF)

Dialectique annotation/recherche

I Même environnement intégrant annotation et recherche I Correction et enrichissement par de nouvelles questions

Techniquement

I Développement d’un modèle de données commun décrivant la relation texte/annotation

(115)