Les catalogues et GROBID

(1)

HAL Id: cel-01951107

https://hal.archives-ouvertes.fr/cel-01951107

Submitted on 11 Dec 2018

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Distributed under a Creative Commons Attribution| 4.0 International License

Les catalogues et GROBID

Simon Gabay, Mohamed Khemakhem, Laurent Romary

To cite this version:

Simon Gabay, Mohamed Khemakhem, Laurent Romary. Les catalogues et GROBID. Doctorat. Du catalogue aux humanités numériques : quelles méthodes pour quels résultats ?, Paris, France. 2018. �cel-01951107�

(2)

Les catalogues et GROBID Short Name (U ABC) GROBID Encodage TEI Intaller GROBID Machine teaching Visualiser le résultat Conclusion

Les catalogues et GROBID

Simon Gabay Université de Neuchâtel Mohamed Khemakhem ALMAnaCH Paris 7 Centre Marc Bloch

Laurent Romary ALMAnaCH Centre Marc Bloch

BBAW

15 novembre 2018

(3)

L’encodage automatique de catalogues de vente en TEI avec GROBID dictionaries

(4)

Les catalogues et GROBID Short Name (U ABC) GROBID Encodage TEI Intaller GROBID Machine teaching Visualiser le résultat Conclusion GROBID (dictionaries)

(5)

Langages

La famille GROBID I Bibliographie: http://cloud.science-miner.com/grobid I NERD: http://cloud.science-miner.com/nerd I Quantities: http://cloud.science-miner.com/quantity

I le petit nouveau: Dictionaries

(6)

Langages

GROBID dictionaries

I Développé par Mohamed Khemakhem (Paris

VI-CMB/Humboldt)

I Initialement prévu pour les ressources lexicales numérisées (dictionnaires, glossaires, lexiques. . . )

I Détourenement du système pour les sources Encyclopedic-like

I Annuaires, catalogues. . .

(7)

L’encodage TEI et GROBID dictionaries

(8)

Langages

La TEI de GROBID dictionaries

I Les options d’encodage sont limitées. . .

I . . . et basée sur la TEI pour les ressources lexicographiques

I la structure des dictionnaires et des catalogues est cependant similaire: on peut exploiter cette ressemblance. . .

I . . . ce qui entraîne une utilisation quelque peu «métaphorique» de la TEI

(9)

Le Petit Larousse illustré

(10)

Le Petit Larousse illustré

(11)

Revue des autographes

(12)

(13)

Installer GROBID dictionaries

(14)

container docker

Quelques remarques

I GROBID dicionaries utilise un container docker (qu’il faut télécharger)

I Cela permet de fournir simplement un espace de travail avec toutes les librairies, dépendances et outils nécessaires

I L’installation se fait via le terminal

Ligne de commande

$ docker pull medkhem/grobid-dictionaries

(15)

Les catalogues et GROBID Short Name (U ABC) GROBID Encodage TEI Intaller GROBID Machine teaching Visualiser le résultat Conclusion Téléchargement du container

(16)

container docker

On lance docker Ligne de commande

$ docker run -it medkhem/grobid-dictionaries bash

(17)

Données d’entraînement

Principe d’entraînement

I le container doit être synchronisé avec un dossier toydata (disponible sur

https://github.com/MedKhem/grobid-dictionaries)

I C’est dans ce dossier toydata que vont être placées les données d’entraînement

I On exécute la commande1

Ligne de commande

$ docker run -v

PATH_TO_YOUR_TOYDATA/toyData:/grobid/grobid-dictionaries/resources -p 8080:8080 -it medkhem/grobid-dictionaries bash

1

Nous sommes sur mac, pour les commandes sous windows, cf. https://github.com/MedKhem/grobid-dictionaries

(18)

Teaching GROBID dictionaries

(19)

Langages

Sous le capot I Développé en Java

I Utilise des champs aléatoires conditionnels (conditional random fields), des modèles statistiques utilisés en reconnaissance des formes et plus généralement en apprentissage statistique

I Ces champs fonctionnent en cascade

I C’est donc du machine learning . . .

I . . . et ça commence donc par du machine teaching

(20)

Premier niveau d’entraînement Dictionary Segmentation

(21)

Les catalogues et GROBID Short Name (U ABC) GROBID Encodage TEI Intaller GROBID Machine teaching Visualiser le résultat Conclusion Dictionary Segmentation

(22)

L’objectif est de séparer le corps du texte du reste (titre courant, numéro de page. . . )

(23)

Entraînement

On crée les données d’entraînement

ligne de commande

$ java -jar

/grobid/grobid-dictionaries/target/grobid-dictionaries-0.4.3-SNAPSHOT.one-jar.jar -dIn resources/dataset/dictionary-segmentation/corpus/pdf/ -dOut resources -exe

createTrainingDictionarySegmentation

(24)

Les catalogues et GROBID Short Name (U ABC) GROBID Encodage TEI Intaller GROBID Machine teaching Visualiser le résultat Conclusion On annote

(25)

Entraînement

On entraîne à partir des données annotées

ligne de commande

$ mvn generate-resources -P train_dictionary_segmentation -e

(26)

L’entraînement est lancé

(27)

On contrôle la qualité de l’entraînement

(28)

Deuxième niveau d’entraînement Body Segmentation

(29)

Les catalogues et GROBID Short Name (U ABC) GROBID Encodage TEI Intaller GROBID Machine teaching Visualiser le résultat Conclusion Body Segmentation

(30)

L’objectif est de séparer les différentes entrées

Body Segmentation

(31)

Entraînement

ligne de commande

$ java -jar

createTrainingDictionaryBodySegmentation

(32)

(33)

Entraînement

ligne de commande

$ mvn generate-resources -P train_dictionary_body_segmentation -e

Et on passe au modèle suivant

(34)

Troisième niveau d’entraînement Lexical Entry

(35)

Les catalogues et GROBID Short Name (U ABC) GROBID Encodage TEI Intaller GROBID Machine teaching Visualiser le résultat Conclusion Lexical Entry

(36)

L’objectif est de séparer les grandes articulations de chaque entrée du catalogue

Lexical Entry

(37)

Entraînement

ligne de commande

$ java -jar

createTrainingLexicalEntry

(38)

(39)

Entraînement

ligne de commande

$ mvn generate-resources -P train_lexicalEntries -e

(40)

Quatrième niveau d’entraînement Form

(41)

Les catalogues et GROBID Short Name (U ABC) GROBID Encodage TEI Intaller GROBID Machine teaching Visualiser le résultat Conclusion Form

(42)

On va traiter séparement le niveau Form et le niveau Sense, l’un après l’autre

Form

(43)

L’objectif est de séparer les différentes informations dans <form> (nom et informations biographiques)

Form

(44)

Entraînement

ligne de commande

$ java -jar

createTrainingForm

(45)

(46)

Entraînement

ligne de commande

$ mvn generate-resources -P train_form -e

(47)

Quatrième niveau d’entraînement bis Sense

(48)

Les catalogues et GROBID Short Name (U ABC) GROBID Encodage TEI Intaller GROBID Machine teaching Visualiser le résultat Conclusion Sense

(49)

L’objectif est de séparer la description du manuscrit (<def>) des éventuelles notes additionnelles (<note>)

Sense

(50)

Entraînement

ligne de commande

$ java -jar

createTrainingSense

(51)

(52)

Entraînement

ligne de commande

$ mvn generate-resources -P train_sense -e

(53)

Cinquième niveau d’entraînement (à construire)

(54)

(55)

Les catalogues et GROBID Short Name (U ABC) GROBID Encodage TEI Intaller GROBID Machine teaching Visualiser le résultat Conclusion Grammatical group

(56)

Visualiser

Une API permet d’utiliser GROBID dictionaries une fois qu’il a été entraîné

I Il faut exécuter le service

ligne de commande

mvn -Dmaven.test.skip=true jetty:run-war

I Et aller à l’adresse http://localhost:8080/ sur son navigateur

(57)

On utilise GROBID dictionaries via l’API

(58)

Les catalogues et GROBID Short Name (U ABC) GROBID Encodage TEI Intaller GROBID Machine teaching Visualiser le résultat Conclusion Conclusion

(59)

Problèmes

Quelques problèmes à résoudre

I Grobid s’appuie sur la mise-en-page (gras, italique, retour à la ligne. . . )

I Il s’appuie aussi sur le texte: point, virgule, cadratin. . .

I Cela signifie qu’il lui faut un bon système d’OCR, car la qualité de l’OCRisation du PDF est cruciale

I Mais quel OCR?

I En plus de la question de l’entrée des données se pose celle de la sortie. Étant donnée la simplicité du schéma, cette problème est le moins complexe

I Simplifier l’utilisation au moyen d’un pipeline?

(60)

Aller plus loin

Nos données d’entraînement sont disponibles en ligne

I https://github.com/gabays/grobid Télécharger GROBID I https://github.com/MedKhem/grobid-dictionaries Utiliser GROBID I _{https://github.com/MedKhem/grobid-dictionaries/} wiki/Docker_Instructions I https://github.com/MedKhem/grobid-dictionaries/ wiki/How-to-Annotate

(61)

Bibliographie

I Mohamed Khemakhem, Luca Foppiano, Laurent Romary, "Automatic Extraction of TEI Structures in Digitized Lexical Resources using Conditional Random Fields", electronic lexicography, eLex 2017, Leiden (Netherlands),

[https://hal.archives-ouvertes.fr/hal-01508868]

I Mohamed Khemakhem, Axel Herold, Laurent Romary, "Enhancing Usability for Automatically Structuring Digitised Dictionaries", GLOBALEX workshop at LREC 2018, Miyazaki (Japan)

[https://hal.archives-ouvertes.fr/hal-01708137]

I Mohamed Khemakhem, Laurent Romary, Simon Gabay, Hervé Bohbot, Francesca Frontini, Giancarlo Luxardo, "Automatically Encoding Encyclopedic-like Resources in TEI", TEI 2018, Tokyo (Japan) [https://hal.inria.fr/hal-01819505]

Les catalogues et GROBID

HAL Id: cel-01951107

https://hal.archives-ouvertes.fr/cel-01951107

Les catalogues et GROBID

Simon Gabay, Mohamed Khemakhem, Laurent Romary

To cite this version:

Les catalogues et GROBID

Langages

Langages

Langages

container docker

container docker

Données d’entraînement

Langages

Entraînement

Entraînement

Entraînement

Entraînement

Entraînement

Entraînement

Entraînement

Entraînement

Entraînement

Entraînement

Visualiser

Problèmes

Aller plus loin

Suivez-nous

Bibliographie