• Aucun résultat trouvé

4.4 Corpus artificiels

4.4.1 Langue française

Dans cette partie, nous décrivons les données utilisées pour les expériences sur la langue française, et notamment la construction des données artificielles. Nous avons choisi de nous restreindre à quatre relations : Contrast, Result, Continuation et Explanation. Ces relations sont annotées dans le corpus français utilisé et correspondent à des exemples implicites, pour lesquels on voudrait

améliorer les performances, et explicites, ce qui permet de constituer un corpus de données artificielles. De plus ce sont quatre des cinq relations (Summary n’est pas annotée dans ANNODIS)

utilisées dans (SPORLEDERet LASCARIDES, 2008), ce qui nous permet une comparaison mais non

directe puisque la langue et le corpus sont différents. 4.4.1.1 Données naturelles

Nous avons déjà décrit les caractéristiques du corpus ANNODIS dans la section 2.5.1.1. Nous

disposons pour ce corpus d’un étiquetage en catégorie morpho-syntaxique, d’une lemmatisation et d’indications morphologiques (temps, personne, genre, nombre), pré-traitements effectués avec le MElt tagger (DENISet SAGOT, 2009). Le MSTParser (MCDONALDet PEREIRA, 2006 ; CANDITO

et al., 2010) fournit une analyse en dépendances.

Afin de restreindre notre étude aux exemples implicites, nous nous servons de LexConn, décrit dans la section 2.5.2.2. Nous utilisons une méthode simple : nous projetons le lexique (sauf la forme à jugée trop ambiguë) sur les données, ce qui nous permet d’identifier tout token correspondant à un connecteur. Nous ne contraignons pas cette identification sur des critères de position. Cette méthode nous assure d’identifier tous les connecteurs donc de ne récupérer que des exemples implicites mais comporte le risque d’en perdre certains.

Sur les 1 108 exemples disponibles pour les 4 relations nous disposons de 494 exemples implicites ; la distribution des exemples par relation est résumée dans le tableau 4.2. Nous avons fusionné les méta-relations avec les relations correspondantes avec l’hypothèse qu’elles mettaient en jeu le même genre d’indices et de constructions comme ça semble être le cas dans les exemples (52a) et (52b) provenant du LexConn et correspondant respectivement à un exemple de Result⇤et de

Explanation⇤.

(52) a. [Pierre a l’air très fatigué,] (donc/alors) [il n’a pas dû beaucoup dormir cette nuit.] b. [Ne t’approche pas du feu,] (car) [tu risques de te brûler.]

Relation Exemples explicites Exemples implicites Total

Contrast 100 42 142

Result 52 110 162

Continuation 404 272 676

Explanation 58 70 128

Total 614 494 1 108

Table 4.2.:Corpus ANNODIS: nombre d’exemples explicites et implicites par relation.

4.4.1.2 Données artificielles

Pour la constitution du corpus artificiel, nous avons également utilisé LexConn pour extraire automatiquement des exemples de l’une des 4 relations discursives considérées dans le corpus composé d’articles de l’Est Républicain (9M de phrases), avec les mêmes pré-traitements que pour

ANNODIS.

Le lexique LexConn contient en tout 329 formes, dont 131 ne peuvent exprimer qu’une seule relation parmi les 4 que nous avons choisies. Les connecteurs ambigus en termes de la relation déclenchée pourraient aussi être intéressants mais ils amèneraient du bruit dans l’annotation automatique puisque nous ne disposons pas de modèle pour les désambiguïser. Nous avons fusionné les relations et les méta-relations correspondantes comme pour les données naturelles.

Nous avons aussi regroupé les 3 relations de type contrastif définies dans ce lexique6comme cela a

été fait dans le corpus manuellement annoté. Nous n’avons pas pris en compte 3 connecteurs qui ne sont associés à aucune catégorie morpho-syntaxique dans le lexique car leur catégorie morpho- syntaxique est inconnue : d’où que, à en, d’où. Après une première évaluation, nous avons choisi de supprimer 6 connecteurs particulièrement ambigus en emploi pour lesquels il était difficile de définir des motifs départageant emploi discursif et non discursif : à, et, maintenant, subséquemment, dans le coup et par comparaison. Nous disposons finalement de 122 connecteurs dont 100 ont effectivement été utiles finalement, les 22 non utilisés n’ont soit pas été trouvés dans le corpus soit pas dans une configuration définie comme discursive. Par comparaison, SPORLEDERet LASCARIDES

(2008) utilisent 55 connecteurs.

L’heuristique d’annotation automatique des exemples se fait en deux étapes. Nous identifions d’abord les formes en emploi discursif en utilisant des motifs (voir tableau 4.3) définis manuellement pour chaque forme de connecteur. Ces motifs sont fondés sur la position de la forme dans la clause hôte, l’argument auquel il est syntaxiquement attaché, parmi initiale, médiane et finale, sa catégorie morpho-syntaxique (POS) et la ponctuation autour de la forme. Nous utilisons également les indications de LexConn qui peuvent parfois préciser la position dans laquelle la forme apparaît en emploi discursif.

Positions POS Motifs Exemples

Inter-phrastique Toutes POS A1. C(,) A2. A1. Malheureusement(,) A2 A1. Surtout, A2.

Adv.

A1. beg-A2(,) C(,) end-A2. A1. beg-A2, de plus, end-A2. A1. beg-A2(,) en outre(,) end-A2. A1. A2, C. A1. A2, remarque.

Intra-phrastique Toutes POS A1, C(,) A2. A1, de plus(,) A2. A1(,) donc(,) A2. CS et Prep. C A1, A2. Preuve que A1, A2.

Puisque A1, A2.

Adv. A1, beg-A2(,) C (,) end-A2. A1, beg-A2, de plus, end-A2.A1, beg-A2(,) en outre(,) A2. A1, A2, C. A1, A2, réflexion faite.

Table 4.3.:Les motifs définis pour la constitution du corpus artificiel français et quelques exemples correspon- dants. « A1 » correspond au premier argument, « A2 » au second et « C » au connecteur ; « beg » et « end » correspondent respectivement au début et à la fin d’un argument ; « (x) » indique le caractère facultatif de « x », selon la forme des connecteurs mis en jeu. Certains motifs ne sont applicables que pour certaines catégories morphosyntaxiques de connecteur (« POS ») entre conjonction de subordination (« CS »), préposition (« Prep. ») et adverbe (« Adv. »).

Nous identifions ensuite les arguments d’un connecteur, ce qui peut être vu comme une simpli- fication du problème de segmentation. Nous faisons les mêmes hypothèses simplificatrices que dans les études précédentes : les arguments sont adjacents et couvrent au plus une phrase ou, dans le cas intra-phrastique, on a au plus deux EDU par phrase (MARCU et ECHIHABI, 2002 ;

SPORLEDERet LASCARIDES, 2008). Nous utilisons aussi la position du connecteur, sa catégorie

morpho-syntaxique et la ponctuation pour cette identification. Lorsque deux connecteurs sont présents dans un segment, il peut arriver que l’un modifie l’autre ou que l’on ait en fait un double connecteur (par exemple « mais parce qu’il est... »). Dans ce cas, nous risquons de récupérer les mêmes arguments pour deux formes déclenchant des relations différentes ce qui est problématique pour un système de classification. Quand deux connecteurs sont identifiés dans une phrase, nous générons deux exemples à condition que les arguments soient différents : un exemple doit corres- pondre à une relation s’établissant entre deux phrases et l’autre à une relation s’établissant entre deux propositions à l’intérieur d’une phrase.

Cette méthode simple permet de générer rapidement de gros volumes de données : au total, nous avons pu extraire 392 260 exemples (voir tableau 4.4, colonne « Disponible »). Nous avons équilibré le corpus en relations en conservant le maximum d’exemples disponibles et divisé les données en un corpus d’entraînement (80 % des données), un de développement (10 %) et un de test (10 %). Comme nous l’avons déjà dit, on peut observer des différences importantes de distribution entre les données naturelles et artificielles : Continuation la plus représentée dans les naturelles devient la moins représentée dans les artificielles.

Notons finalement que cette méthode génère du bruit. SPORLEDERet LASCARIDES(2008) avaient

identifié quatre types d’erreurs potentielles lors de la construction d’un corpus artificiel : 1. La paire de segments est étiquetée avec la mauvaise relation ;

2. La paire de segments est étiquetée par une relation alors qu’il n’y en a pas ; 3. L’un des deux arguments est incorrect ;

4. Les frontières des arguments sont fausses.

Nous avons mené une évaluation du corpus artificiel sur 250 exemples choisis aléatoirement. Nous n’avons pas trouvé de cas d’erreur de type 1, montrant que les connecteurs choisis sont effectivement non ambigus. Nous avons trouvé 18 cas d’emploi non discursif comme c’est le cas dans l’exemple (53a) où la forme surtout ne signale pas une Continuation. Nous avons également trouvé 3 erreurs de type 3 qui correspondent à des cas où nos motifs n’ont pas permis de repérer un connecteur antéposé : l’argument contenant le connecteur est identifié comme apparaissant après le premier argument alors qu’il apparaît en fait avant, comme dans l’exemple (53b). Enfin, nous avons trouvé 37 erreurs de type 4, un chiffre relativement haut mais ce type d’erreur est le moins grave puisqu’il peut rester suffisamment d’information dans les arguments récupérés. Ces erreurs correspondent à des cas où les hypothèses simplificatrices de segmentation ne sont pas vérifiées, comme dans l’exemple (53c) où le premier argument devrait englober les deux premières phrases ou dans l’exemple (53d) où la phrase contient en fait plus de deux EDU, ou à des cas de discours rapporté comme dans l’exemple (53e).

(53) a. [L’hôte dort au pied du lit, discret, mais « plus encombrant qu’une terre-neuve. », et] [surtout beaucoup plus maléfique puisqu’il instillera chaque soir, par quelques mots bien choisis, des cauchemars dans le sommeil naguère serein du mari.]

b. [Pelé, Maradona et Ronaldo ont quelques points en commun.] [Hormis le fait que, chacun à son époque , a été considéré comme le meilleur joueur du monde, tous trois ont commencé à « tripoter » la balle dans des ruelles, loin des belles pelouses du Maracana ou de Buenos aires.]

c. A l’initiative de leur association, plusieurs membres de l’amicale des sapeurs pompiers se sont rendus au foyer des aînés et ont offert la galette des rois aux anciens. [Les participants ont dégusté avec plaisir cette délicieuse pâtisserie partagée dans une bonne ambiance.] [Par ailleurs, une formation aux premiers secours sera organisée courant février par les pompiers.]

d. [Par ailleurs, le locataire est tenu, selon l’article 1728 du code civil, d’user de la chose louée en « bon père de famille », c’est-à-dire d’une part de respecter la destination des lieux et] [d’autre part d’entretenir correctement le bien loué.]

e. [Malgré le poids des ans, l’ancien stagiaire du FC Metz, qui vécut du banc de touche l’exploit de son équipe face à Barcelone au Nou Camp en 1983 ( « c’est un souvenir extraordinaire.] [Malheureusement, j’étais jeune et je ne me rendais pas bien compte »), a fait des ravages chez les amateurs.]

Relation Disponible (%) Entraînement Développement Test Total Contrast 252 793 (64, 44%) 23 409 2 926 2 926 29 261 Result 50 298 (12, 82%) 23 409 2 926 2 926 29 261 Continuation 29 261 (7, 46%) 23 409 2 926 2 926 29 261 Explanation 59 910 (15, 27%) 23 409 2 926 2 926 29 261 Total 392 262 93 636 11 704 11 704 117 044

Table 4.4.:Corpus artificiel français constitué à partir des données brutes (Est Républicain) : nombre d’exemples par relation.