et linguistiques pour la détection de dérivation de texte
Fabien Poulard — Nicolas Hernandez — Stergos D. Afantenos Béatrice Daille
LINA (CNRS - UMR 6241) 2 rue de la Houssinière
BP 92208, F-44322 Nantes cedex 3 [email protected]
RÉSUMÉ. Dans cet article, nous traitons du problème de la détection de relations de dérivation et de codérivation entre des paires d’articles de presse en français. Nous reprenons le cadre des approches par signature largement utilisé dans la littérature et nous expérimentons plusieurs types de descripteurs sélectionnés pour leur singularité : trigrammes hapax, entités nommées, composés nominaux et connecteurs discursifs. Nous évaluons ces différentes approches en termes de coût de mise en œuvre ainsi que de capacité à prédire ces types de relations sur le corpus PIITHIE. Nous montrons qu’il est ainsi possible de conserver un niveau de performance comparable à l’approche état de l’art tout en réduisant fortement la taille de la modélisation des documents et donc du coût de mise en œuvre.
ABSTRACT. In this paper, we address the problem of detecting derivation and co-derivation relationships between pairs of news articles in French. We use the fingerprinting framework widely used in the related works, and we experiment several descriptors selected for their singularity: 3-grams hapax, named entities, nominal compounds and discourse connectives.
We evaluate these approaches in terms of processing costs as well as their ability to predict these relationships on the PIITHIE corpus. We show that it is then possible to maintain performance at the state of the art approach level while reducing the fingerprint size and so, the processing costs.
MOTS-CLÉS : dérivation, codérivation, descripteurs linguistiques, approche par signatures, réutilisation de texte.
KEYWORDS: derivation, co-derivation, linguistic descriptors, fingerprinting, text reuse.
DOI:10.3166/DN.13.3.69-93 © 2010 Lavoisier, Paris
1. Introduction
« La réutilisation de texte est l’activité par laquelle des textes écrits préexistants sont utilisés pour créer un nouveau texte ou une nouvelle version1 ». Réutiliser un texte est une activité qui nécessite que « l’auteur applique consciemment des procé- dés de transformations de forme de l’expression du texte source pour arriver au texte final » (Cloughet al., 2008). Les doublons, versions, adaptations du genre, résumés, traductions, citations, etc. sont autant de formes de réutilisation d’un texte original.
L’étude du problème de la détection de réutilisation présente de nombreux intérêts.
D’un point de vue applicatif, elle permet l’amélioration des performances des moteurs de recherche par filtrage des doublons (réduction des coûts de stockage, accélération de l’indexation, réduction du bruit) et elle apporte des solutions au problème de détec- tion de plagiats. Elle offre aussi des moyens de suivre des discussions concernant un produit et de mesurer la portée d’une annonce.
La réutilisation d’un texte pour créer undérivéest complexe. La production d’un texte dérivé intègre de nombreux aspects liés à l’auteur de la réutilisation (par exemple est-ce un des auteurs de la version originale ?), son positionnement par rapport au texte original, les choix effectués sur les éléments de reprise qui dépendent des ca- ractéristiques du texte original (par exemple s’agit-il du contenu – faits, évènements, opinions, etc. – ou du contenant – le style de l’auteur, le genre du texte – en quelle proportion ?). La détection de dérivés présente aussi de nombreuses facettes qu’il fau- dra adapter en fonction de la granularité de la réutilisation, la disponibilité de cor- pus, l’espace de recherche des candidats, l’homogénéité stylistique, thématique et de genre de ces données et finalement l’objectif (par exemple identifier un texte comme étant une réutilisation, rechercher des réutilisations d’un texte, rechercher les sources d’un texte, suivre les réutilisations successives d’un texte, etc.). En pratique, la plu- part des travaux ne prennent pas en compte tous ces aspects et cherchent à évaluer le nombre d’éléments en commun entre deux textes. Ils construisent une modélisation des textes fondée sur ses éléments textuels que l’on appelle alorsdescripteurs(Clough et al., 2008; Broder, 1997), puis comparent ces modélisations à l’aide d’une mesure de similarité pour prendre une décision concernant l’existence d’une relation de dériva- tion entre les textes. Le choix d’une mesure de similarité dépend de la modélisation, et a des conséquences sur le coût de la méthode et la similarité mesurée. De notre point de vue, ces méthodes ont leurs limites et un cadre multidimensionnel est nécessaire pour appréhender cette complexité. En effet, deux documents peuvent partager le même contenu thématique avec les mêmes entités mais ne pas être des dérivés pour autant.
Les exemples suivants, extraits de notre corpus, illustrent un dérivé avec réutilisation de texte (mêmes entités et évènements relatés avec des éléments textuels en commun) et un texte similaire non dérivé (des entités en commun mais des évènements relatés différents).
1. Les citations tirées d’articles anglais sont des propositions de traduction de notre part. Il en sera de même pour les suivantes sauf mention contraire.
Exemple (1) Texte original
Le groupe Carrefour va prochainement se lancer dans la VOD en France mais pas seulement. Fier de ses parts de marché dans la vente de DVD dans d’autres pays d’Eu- rope (autour de 13%), Carrefour va aussi ouvrir son service de Vidéo à la Demande en Espagne, Italie et Belgique.
Exemple (2) Texte dérivé
Le géant national de la grande distribution française lancera une offre de VOD, vidéo à la demande en France, Belgique, Italie et Espagne, où par ailleurs il détient une part de marché de 13,3%dans la vente de DVD.
Exemple (3) Texte similaire non dérivé
Le 8 novembre 2006 en partenariat avec Orange, Carrefour lancera son offre de téléphonie mobile : Carrefour Mobile. Le groupe de distribution devient ainsi opérateur virtuel de téléphonie mobile (MVNO) avec les mêmes ambitions que son concurrent direct Auchan.
Dans cet article, nous nous intéressons au problème de détection de textes déri- vés réutilisant du matériel textuel de leur source dans le contexte d’une collection d’articles de presse en français. Nous considérons que l’ensemble des documents candidats dérivés est figé et à disposition, contrairement aux configurations sur un ensemble ouvert de candidats (Fetterly, 2005) ou sur un ensemble évolutif de docu- ments (Conrad, 2003). Nous abordons le problème à l’échelle du document et ce, selon deux configurations applicatives. Dans le premier cas, étant donné deux textes, dont le premier est connu comme étant un texte source, nous cherchons à déterminer l’exis- tence d’une relation dedérivationentre eux, c’est-à-dire si le second texte dérive du premier. Dans le second cas, aucune connaissancea priorin’est donnée sur la nature des deux textes à observer. Il s’agit alors de déterminer l’existence d’une relation de codérivationentre les deux textes c’est-à-dire si l’un dérive de l’autre ou bien si tous deux dérivent d’un ancêtre commun. Nous distinguons ces cas d’étude au niveau des jeux de données mais nous conservons la même approche dans nos expérimentations.
Nous explorons l’utilisation de plusieurs types de descripteurs, certains en repre- nant le principe desn-grammes, d’autres en s’appuyant sur la nature linguistique des éléments considérés. Nous comparons les coûts de ces différentes approches pour la création, le stockage et la comparaison des modélisations. Notre objectif principal est de minimiser les coûts tout en maintenant un bon niveau de prédiction. Nous justi- fions la sélection des descripteurs sur la base de leursingularitéou de celle dont peut faire l’objet leur combinaison. Nous définissons les singularités comme des éléments spécifiques au document (en général relativement à une collection de même genre ou domaine auquel appartient le document). Nous tentons de montrer que les singularités des documents sont les descripteurs les plus efficaces.
À notre connaissance, ce travail constitue la première étude de détection de liens de dérivation et de codérivation entre des textes écrits en français. Il se distingue de surcroît de l’existant d’une part par l’attention que nous portons à l’ancrage linguis-
par la volonté d’adopter une approche multidimensionnelle de la dérivation que nous mettons en œuvre par la combinaison des descripteurs.
Dans les sections suivantes, nous précisons la définition du problème de dérivation de texte (cf. section 2). Puis, nous présentons les descripteurs que nous avons choisis (cf. section 3) ainsi que le cadre de nos expérimentations (cf. section 4). Finalement nous rapportons et discutons les résultats obtenus (cf. section 5).
2. Dérivation de texte
Dans un premier temps, nous présentons les différentes facettes de la notion de dérivation à travers les terminologies employées dans la littérature. Dans un second temps, nous présentons les approches de détection existantes reposant sur le calcul d’une mesure de similarité entre des modélisations de documents.
2.1. Un processus à multiples facettes
La littérature utilise une terminologie variée pour désigner la notion de dérivation.
Chaque terme s’attache à un aspect particulier du problème désignant tour à tour : le type de copie, la granularité de la reprise, les liens de dérivation, le matériel repris.
Lyonet al.(2004) choisissent le terme de copie (copy) comme terme générique alors qu’il est employé par Brinet al.(1995) et Shivakumaret al.(1996) comme synonyme de plagiat. Nous utiliserons le termedérivationpour faire référence au processus gé- néral de création d’un texte à partir d’autres. Nous nommons le texte copiéla source et le nouveau texte crééle dérivé. La source et le dérivé sont liés par une relation de dérivation. Plus généralement, lorsque le lien de parenté n’est pas dirigé ou que les documents ont un ancêtre commun tiers, nous parlons derelation de codériva- tion(Bernsteinet al., 2004). La figure 1 illustre ces deux types de liens.
Le processus de dérivation comprend une phase de sélection d’éléments de la source et une phase de transformations éventuelles de ces éléments pour intégrer le dérivé. Concernant la sélection, les éléments empruntés peuvent être des séquences de mots, des syntagmes, des passages de texte, des faits ou même des idées, lesquels sont partagés entre les codérivés selon plusieurs niveaux de granularité. Seoet al.
(2008) proposent six niveaux de granularité qu’ils distribuent en deux configurations majeures : lespresque-doublonslorsque l’on retrouve la majorité des éléments d’un texte dans l’autre et lesréutilisations locales de textelorsque quelques éléments sont empruntés ponctuellement. Nous nous intéressons dans cet article à ces deux types de configuration même si notre corpus est majoritairement composé de presque-doublons (cf. section 4.1). Les transformations opérées évoluent le long d’un continuum de mo- fications que nous discrétisons en trois classes : la réutilisation, la réécriture et l’ins-
xx
source (T )
relation de codérivation
xx
dérivé (T )
xx
dérivé (T ) rel.
de d érivation
rel.
de d érivation
xx xx
s
d d'
Figure 1.Liens de dérivation entre des codérivés
piration. Laréutilisation2 correspond à un copier-coller sans modification ou avec des modifications uniquement « visuelles » (encodages, retours à la ligne, etc.). Les méthodes fondées sur la mise en correspondance de sous-chaînes (Wise, 1996) sont les mieux adaptées pour les détecter. La réécriturese caractérise par des reformu- lations, l’emploi de paraphrases ou de synonymes. Ces types de réutilisation sont les mieux repérés par des modélisations à base den-grammes ou de fragments de texte de tailles variables qui captent les segments non modifés. Enfin, l’inspirationcorrespond à une réécriture globale du texte original à partir d’une interprétation de son contenu ce qui permet de prendre de la distance avec la forme textuelle originale. Il est alors nécessaire de faire appel à la sémantique ou même la pragmatique du texte (O’Shea et al., 2008; Pirró, 2009). Nous considérons dans le cadre de ce travail la détection des relations de dérivation et de codérivation impliquant des transformations de type réutilisation ou réécriture.
En résumé, la détection de dérivation est un problème avec de multiples facettes pour lesquelles différentes méthodes ont été expérimentées avec plus ou moins de succès. Cependant, peu d’approches se sont intéressées aux coûts des processus en termes de temps de calcul et d’espace de stockage. Nous expérimentons des méthodes qui tirent parti des singularités textuelles partagées entre les codérivés. Nous visons notamment le meilleur rapport entre nombre d’éléments de la signature et qualité des prédictions.
2. À ne pas confondre avec letext reusequi correspond plutôt à la fusion de ces deux premières classes.
2.2. Détection par mesure de similarité
Les approches fondées sur la comparaison de documents adoptent le schéma clas- sique de modélisation des documents en recherche d’information et reposent sur l’hy- pothèse que la ressemblance mesurée entre deux documents est corrélée à la probabi- lité qu’ils soient dérivés. Une telle approche fondée sur la mesure de similarité entre documents se décompose en trois étapes (Cloughet al., 2008, p. 6) :
1) la sélection de types d’éléments textuels à observer (par exemple mots, groupes de mots, phrases, paragraphes,n-grammes, etc.), que nous appelons lesdescripteurs; 2) la modélisation du document sur la base de ces descripteurs, avec application possible de règles de normalisation (morphologique, syntaxique ou sémantique) ou de filtrage (filtrage des mots outils, une taille den-gramme, lesnpremiers rencontrés depuis le début du texte, ceux obtenant les meilleurstf.idf, etc.). Nous appelons ces modélisations des documents dessignatures;
3) le calcul d’un score de similarité par comparaison de ces signatures.
Steinet al.(2005) catégorisent ces approches en trois classes : similarité de mots- clés, analyse d’empreintes et mise en correspondance de sous-chaînes. En ce qui nous concerne, nous nous intéressons aux similarités de mots-clés et aux analyses d’em- preintes étant donné qu’elles mesurent respectivement une similarité globale et lo- cale (Steinet al., 2005). Deux documents sont globalement similaires s’ils sont simi- laires à l’échelle du document sans que leurs séquences de mots ne soient forcément en correspondance, alors qu’ils sont localement similaires lorsqu’ils partagent une sé- quence de mots en commun (ils possèdent desrégions identiques(Steinet al., 2005)).
Nous délaissons la mise en correspondance de sous-chaînes qui revient à réduire la modélisation à l’intégralité du texte. Les approches de type similarité de mots-clés, introduites avec le système CHECK (Siet al., 1997), utilisent les mots porteurs de la thématique du document comme descripteurs. Elles permettent de détecter des simi- larités globales. Les approches par analyse d’empreintes, introduites avec le système COPS (Brinet al., 1995), mesurent le recouvrement de toutes les séquences de mots entre documents. Ces séquences de mots peuvent être de taille fixe ou correspondre à des phénomènes linguistiques. Afin de réduire le coût de la comparaison de ces si- gnatures, les séquences sont indexées sous forme numérique (à l’aide de fonctions de hachage telles que SHA). Les similarités locales se manifestent alors sous la forme de collisions dans l’index des séquences.
Quelles que soient les approches, les mesures de similarité sont appliquées sur les modélisations construites. Elles expriment la similarité sous la forme d’un nombre réel habituellement compris entre 0 et 1. La prise de décision quant à la réalité de la relation de dérivation est alors fondée sur ce résultat, souvent par comparaison par rapport à un seuil déterminé. La mesure de similarité est choisie selon la structure de la signature et le type de relation à identifier. Ainsi, l’absence de propriété de symétrie de la mesure decontainmentpermet de tenir compte de l’ordre des signatures de la relation, ce qui permet de valoriser les éléments de l’une par rapport à l’autre.
En résumé, si l’analyse d’empreintes est l’approche la plus employée, elle néces- site de conserver un volume d’éléments au moins égal au nombre de mots du texte tandis que la projection numérique ne différencie pas les modifications mineures sur les descripteurs des majeures. La similarité de mots-clés quant à elle ne permet de me- surer que les similarités globales. Nous avons choisi de combiner ces deux approches afin d’identifier les dérivations et les codérivations de type presque-doublon.
3. Combiner les approches par similarité de mots-clés et par analyse d’empreintes
Nous proposons de mêler différentes caractéristiques des approches existantes, no- tamment de modéliser les documents à l’aide de nouveaux descripteurs « statistiques » et « linguistiques », et d’étudier leur combinaison.
3.1. Approche générale
Notre approche reprend les trois étapes fondamentales présentées en section 2.2 : sélection des descripteurs, modélisation du document et comparaison des modélisa- tions. Nous fixons les deux dernières étapes afin d’étudier plus particulièrement l’im- pact de nos différents descripteurs et pouvoir ainsi comparer nos approches. Ainsi, les documents sont modélisés par l’ensemble non ordonné des descripteurs sélectionnés (étape 2). Puis, ces ensembles sont comparés (étape 3) avec la mesure decontainment (cf. ci-dessous) introduite par Broder (1997). L’intersection entre les signatures ne retient que les correspondances exactes entre les éléments.
c(A, B) = |S(A)∩S(B)|
|S(A)| [1]
avec A, B les textes et S(A) et S(B) leur modélisation respective.
Nous souhaitons comparer l’utilisation comme descripteurs des trigrammes ha- pax, des entités nommées, des composés nominaux et des connecteurs discursifs. La figure 2 montre ces derniers annotés sur un texte source et un texte dérivé candidat.
Chaque texte est modélisé par l’ensemble des éléments du texte correspondant à un type de descripteur donné. Par exemple, l’ensemble {Elysée,UMP,PS,Benoist Ap- paru,Valérie Boyer} constitue la signature « entités nommées » du texte source de la figure 2. Cette signature sera comparée à celle de même type pour le texte candidat ({Le Chef de l’Etat,PS,Benoist Apparu,Valérie Boyer}) à l’aide de la mesure de containmentce qui donne un score de similarité de35.
La décision de la présence d’une relation de dérivation est basée sur la comparaison de ce score de similarité (s) par rapport à un seuil de décision (S). Le classifieur (C)
Source
Selon l’Elysée, 262 députés de l’UMP , sur quelque 320, avaient répondu présents à cette cérémonie dans la salle des fêtes , suivie d’un buffet dans le jardin d’hiver et le parc. "Le message était très clair : je ferai la réforme, toute la réforme, tout de suite et
::
en
:::::même
:::::temps. Pas question de changer de stratégie. J’ai besoin de votre plein soutien et de votre pugnacité face au PS ", a résumé le député Benoist Apparu. "On s’est pris une rincée. Il nous a reproché de ne pas être assez +pêchus+", a commenté un autre. "N’ayez pas peur d’être de droite ! L’opinion est avec nous", a-t-il
::::aussi lancé à Valérie Boyer qui regrettait que, sur des questions comme celle des sans-papiers, l’UMP "passe systémati- quement pour les méchants".
Candidat
Le Chef de l’Etat voulait recadrer sa majorité qui ne le soutenait pas assez à son goût. "Le message était très clair : je ferai la réforme, toute la réforme, tout de suite et
::en
::::::même
:::::
temps. Pas question de changer de stratégie. J’ai besoin de votre plein soutien et de votre pugnacité face au PS ", a résumé le député Benoist Apparu. "On s’est pris une rincée. Il nous a reproché de ne pas être assez +pêchus+", a commenté un autre. Il a incité Valérie Boyer à ne pas avoir peur d’être de droite et a ajouté que l’opinion était avec eux.
Légende : Entités nommées Composés nominaux
::::::::::Connecteurs
::::::::discursifs Figure 2.Exemple d’une paire de textes où les différents descripteurs utilisés pour les différentes signatures sont annotés. Les trigrammes ne sont pas annotés pour des raisons de clarté
est donc défini par une mesure de similarité c (le containment sur nos différentes signatures) et ce seuil de décision :
C(A, B) =
dérivation sic(A, B)> S
¬dérivation sinon
Nous procédons de même pour la codérivation, au seuil de décision près. Cette classification linéaire à partir d’une seule valeur seuil repose sur l’hypothèse selon laquelle plus des textes sont similaires plus la probabilité est forte pour qu’ils dérivent (respectivement codérivent) l’un de l’autre. Il nous faut donc déterminer la valeur seuil à partir de laquelle la probabilité est suffisamment élevée pour classer les documents comme dérivés (respectivement codérivés).
3.2. Descripteurs « statistiques »
Broder (1997), Lyon et al. (2004) et Yang (2006a) utilisent lesn-grammes de mots3dans leur approche pour repérer des doublons et presque-doublons en anglais.
3. Broder (1997) travaillent avec séquences de 10 mots, Lyonet al.(2004) avec des trigrammes et Yang (2006a) avec des séquences dont le nombre de mots varie en fonction de la taille des
Yang (2006a) rapporte une précision et un rappel autour de 100%pour cette tâche.
Cette prise en compte des séquences de mots couvrant tout le texte revient à comparer les textes en entier en termes de coûts de stockage et de comparaison. Nous proposons d’utiliser une telle approche comme point de comparaison et d’essayer de l’améliorer en réduisant la taille des signatures générées.
Pour ce faire, nous proposons de sélectionner les éléments du document source (ici les trigrammes) suivant leursingularité. Nous évaluons la singularité d’un élément d’un texte source relativement à sa distribution au sein d’une collection de référence.
La collection doit être composée de textes partageant des caractéristiques identiques avec le texte source (par exemple domaine, genre, registre de langue) de façon à maxi- miser la probabilité de retrouver des similarités interdocumentaires. Un élément d’un document est alors appelé singularité du document s’il n’apparaît que dans ce docu- ment. Nous posons l’hypothèse que la présence de singularités d’un document source au sein d’un document candidat augmente la probabilité que ce document soit un dé- rivé du document source. Dans ce cadre, nous nous intéressons aux trigrammes hapax.
Il s’agit des trigrammes de mots qui n’apparaissent que dans le document considéré.
Le document est alors modélisé par l’ensemble de ses trigrammes hapax. Si l’on re- prend les exemples de l’introduction (page 71) :
Signature du texte source :{’262-députés-de’, ’320-avaient-,’, ’à-cette-cérémonie’, ’à- être-“’, ’a-reproché-de’, . . .}
Signature du texte candidat :{’a-incité-Valérie’, ’a-reproché-de’, ’assez-+-pêchus’, ’au- PS-”’, . . .}
Score de similarité :sH=c(Source,Candidat) = 16
Nous étendons cette hypothèse de singularité aux combinaisons de descripteurs linguistiquement motivés. Nous pensons en effet que ces descripteurs sont pertinents par fonction et singuliers par leurs combinaisons.
3.3. Descripteurs « linguistiques »
Nos motivations pour utiliser des descripteurs linguistiques sont multiples.
D’abord, la nature linguistique des éléments textuels constitue un critère de filtrage de la masse den-grammes couvrant tout le document. Cela constitue par conséquent un moyen de réduction de la taille des signatures. Ensuite, un texte dérivé reprend nécessairement des éléments de la source qui relèvent de son contenu ou de son or- ganisation. Nous appelonsinvariantsces éléments. Nous faisons l’hypothèse que les entités nommées, les composés nominaux et les connecteurs discursifs peuvent consti- tuer des expressions de tels invariants. Ainsi, s’il est peut être vrai que ces éléments pris isolément ne constituent pas des singularités, nous supposons que leur utilisation combinée est peu probable. Enfin, ces éléments sont avant tout des réalisations linguis- textes et est au maximum de 40. À notre connaissance, aucun résultat n’est rapporté sur le français avec ces techniques.
tiques qui résultent d’un choix d’expression d’un auteur4. Par conséquent ils peuvent porter quelques singularités propres à l’auteur du document source.
Les entités nommées sont considérées comme porteuses de faits clés dans le do- maine de l’extraction d’information. L’extraction d’entités nommées est une techno- logie mature qui obtient des niveaux de performance de l’ordre de 90%en précision et en rappel sur les articles de presse en anglais (Sundheim, 1993). Nous avons choisi de les utiliser comme descripteurs, sans effectuer de normalisation ou de résolution d’anaphore. En effet, bien que la simple présence d’entités nommées ne décrit que le fond du texte (potentiellement partagé par des articles traitant du même sujet), le choix des formes lexicales désignant les entités est propre à l’auteur et est donc un in- dice potentiel pour la dérivation. Pour les exemples de l’introduction (page 71), nous aurions :
Signature du texte source :{Elysée, UMP, PS, Benoist Apparu, Valérie Boyer}
Signature du texte candidat :{Le Chef de l’Etat, PS, Benoist Apparu, Valérie Boyer}
Score de similarité :sEN =c(Source,Candidat) = 35
Les composés nominaux sont privilégiés pour exprimer des idées et des concepts pré- cis. Ainsi, ces derniers représentent plus de 80%des termes spécifiques à un domaine pour les langages de spécialité (Cerbah, 2000), mais ils sont également communément employés dans le langage commun. Les composés nominaux peuvent se décliner dans de nombreuses variations morphologiques et syntaxiques au sein du discours, toutes doivent être envisagées pour les détecter avec précision. Par exemple, le composé no- minalaménagement de la forêtpeut apparaître au sein d’un syntagme nominalamé- nagement de l’agriculture et de la forêt. Le repérage et l’aggrégation de ces variantes augmentent la représentativité du composé nominal correspondant. Toutefois, pour les mêmes raisons que les entités nommées, nous conservons toutes les variations, ce qui donne :
Signature du texte source :{députés de l’UMP, répondu présents, la salle des fêtes, le jardin d’hiver, pugnacité face au PS}
Signature du texte candidat :{pugnacité face au PS}
Score de similarité :sCN =c(Source,Candidat) = 15
Les connecteurs discursifs sont les marques les plus visibles de la structuration du discours et les plus faciles à identifier (Sporlederet al., 2006). Ils sont le plus souvent présents au début des phrases quand le discours entame un nouveau développement.
Les connecteurs discursifs soulignent l’organisation des idées. Certains patrons d’or- ganisation des idées sont largement partagés entre les textes (Hernandez, 2004). Les articles scientifiques par exemple reprennent souvent la même articulation. Toutefois, le choix des connecteurs pour souligner cette organisation et leur enchevêtrement par- ticulier peuvent être caractéristiques d’un document. En effet, la restructuration du discours est fastidieuse et en conséquence peut être un invariant entre codérivés. Les signatures correspondantes aux exemples de l’introduction (page 71) sont :
Signature du texte source :{en même temps, aussi}
4. Une extension de ce travail sera d’expérimenter la normalisation des variantes de ces élé- ments pour l’identification de similarités plus sémantiques. Celles-ci complèteront nos calculs de similarités de surface.
Signature du texte candidat :{en même temps}
Score de similarité :sCD=c(Source,Candidat) = 12
Nous pouvons tirer parti de la présence combinée des trigrammes hapax et des des- cripteurs linguistiquement motivés tout en conservant une taille de signature inférieure au texte complet. De plus, ceci nous permettrait de caractériser les liens de dérivation sur plusieurs dimensions et non la restreindre au seul recouvrement den-grammes.
Nous étudions cette possibilité dans la section suivante.
3.4. Combinaison des descripteurs
L’utilisation coordonnée des descripteurs peut s’envisager de deux façons : une combinaison dans la modélisation ou bien lors du calcul de similarité. Premièrement, la combinaison lors de la modélisation (étape 2, section 2.2), dans notre proposition, reviendrait à placer tous les différents descripteurs dans une même signature. Cette modélisation est problématique puisque les différents descripteurs considérés ne sont pas présents en nombre comparable dans les documents. Les plus présents deviendront plus discriminants que les autres lors de la mesure decontainment. Cet effet de bord limite l’intérêt de la démarche qui a pour but de tirer parti des spécificités et capacités prédictives de chacun.
Deuxièmement, la combinaison peut se faire lors du calcul de similarité (étape 3, section 2.2). Les documents sont comparés sur la base des quatre modélisations, une par descripteur (hapax, composés nominaux, entités nommées et connecteurs discur- sifs). La similarité entre les documents est alors une combinaison des similarités entre ces différentes modélisations. C’est cette approche que nous retenons, car elle place les différents descripteurs sur un pied d’égalité, tout en permettant de pondérer le rôle de chacun. Ce classifieur général (CG) correspond alors en quelque sorte à l’union des autres classifieurs :
CG(A, B) =
H EN CN CD
[
i
Ci(A, B)
En résumé, nous expérimentons plusieurs descripteurs singuliers et leur combinai- son. Leur singularité se justifie soit statistiquement dans le cas des trigrammes hapax, soit par leur fonction linguistique et leur combinaison pour les autres.
4. Protocole expérimental
Dans cette section, nous décrivons notre protocole expérimental : les données uti- lisées, le protocole d’évaluation, l’approche de référence à laquelle nous nous compa- rons ainsi que nos choix d’implémentations.
Corpus PIITHIE NTF NTF2 METER
# documents 1110 275 270 1717
# sources 85 28 26 773
# dérivés 717 220 213 643
# non dérivés 308 0 0 301
Taille moy. des textes (en mots) 592 156 152 312
# mots uniques 88266 3330 3437 NC
Tableau 1.Comparaison de la constitution du corpus PIITHIE avec les corpus NTF, NTF2 et METER
4.1. Le corpus PIITHIE
Plusieurs corpus en langue anglaise ont été construits et annotés autour de la pro- blématique de la détection de dérivation et ont été utilisés dans la littérature comme corpus d’évaluation, citons notamment NTF (Yang, 2006b), NTF2 (Yang, 2006b) et METER (Gaizauskaset al., 2001). NTF et NTF2 sont composés de lettres de requêtes à l’administration américaine, et METER d’articles de presse. Toutefois, il n’existe pas de tel corpus pour le français. Nous en avons constitué un en nous inspirant de la démarche utilisée pour METER.
Dans un premier temps nous avons ciblé les agences de presse telles que l’AFP (Agence France-Presse) et REUTERS qui sont habituellement les fournisseurs de contenus originaux pour la presse en ligne. Nous nous sommes concentrés sur des nouvelles décrivant des évènements politiques ou sociaux durant la période de no- vembre à décembre 2008. Cette sélection constitue le cœur de notre corpus : lestextes sources. Dans un second temps, nous avons tenté de ramener, à l’aide de moteurs de recherche, notamment, mais en se limitant à certains sites d’actualités afin d’assurer une homogénéité de genre, des articles de presse traitant de ces mêmes évènements et qui auraient ainsi pu être dérivés des dépêches d’agence. Nous avons retenu comme textes candidatsceux dont la date de publication était postérieure à celle de la source.
Un linguiste a par la suite étiqueté manuellement chacun de ces candidats afin de différencier les articles dérivés de chaque source des non dérivés.
Au final, le corpus est composé de 85 textes sources, 717 dérivés et 308 non dé- rivés. En moyenne, les textes sources et les dérivés candidats ont des tailles compa- rables en nombre de mots par document (594 pour 592). Le tableau 1 met en perspec- tive la composition de notre corpus par rapport aux corpus METER5(Gaizauskaset 5. Pour le corpus METER, nous avons considéré les articles de l’agence AP comme sources, les textescomplètement dérivés (WD)etpartiellement dérivés (PD)comme dérivés avérés et lesnon dérivés (ND)comme tels.
al., 2001), NTF et NTF26(Yang, 2006b). Contrairement à NTF et NTF2 notre corpus est constitué d’articles de presse, tout comme METER. Nous avons cependant réuni plus de dérivations et des documents plus longs que pour ce dernier.
Nous nous sommes intéressés à la fois aux liens de dérivation et de codérivation. Si les premiers ont été annotés dans le corpus PIITHIE, ce n’est pas le cas des seconds.
Nous avons construit les candidats à la codérivation par le rapprochement dans chaque partition du corpus des paires de type :source-candidat,candidat-sourceetcandidat- candidat. Les paires candidat{dérivé}-source,candidat{dérivé}-candidat{dérivé}et source-candidat{dérivé}sont considérées comme des codérivations avérées7. Ainsi, si une pairecandidat{dérivé}-sourceest classée comme une relation de dérivation il s’agira d’un vrai positif, tandis qu’une pairecandidat{dérivé}-candidat{non-dérivé}
classée comme codérivation sera considérée comme faux positif.
Nous avons extrait de notre corpus 1 025 paires de documents pour la tâche de dérivation et 8 589 pour celle de codérivation. Toutefois la proportion de positifs était déséquilibrée entre les deux types de relation : nous avions 2,25 paires de dérivation pour 1 paire de non-dérivation contre 13 paires de codérivation pour 1 paire de non- codérivation. Afin d’obtenir des résultats comparables, nous avons ramené la propor- tion des paires de codérivation à celle des paires de dérivation par un tirage aléatoire.
4.2. Protocole d’évaluation
Nous souhaitons évaluer la capacité de nos méthodes à détecter les liens de dé- rivation et de codérivation entre des textes, ainsi que leur coût de mise en œuvre.
Les méthodes que nous expérimentons calculent une mesure de similarité entre deux documents. Nous présentons dans cette section comment nous recherchons le seuil permettant de décider des liens entre les sources et les candidats. Nous évaluons les différentes méthodes sur la base de leur performance pour la tâche de classification ainsi que sur leur complexité.
Nous décidons du seuil en considérant notre problème comme un problème clas- sique de classification binaire. Les classifieursCisont définis par un seuil de décision (S) (cf. section 3.1),Sest donc choisi de manière à obtenir la meilleure classifica- tion. Cette optimisation peut porter sur différents objectifs : maximiser le nombre de textes correctement classés comme dérivés (respectivement codérivés) auquel cas on choisira d’optimiser la précision (Cimax(P)), ou bien de maximiser le nombre de textes dérivés (respectivement codérivés) reconnus auquel cas on choisira d’optimiser le rap- pel (Cimax(R)). Nous faisons le choix d’observer ces deux optimisations dans le cadre de cette évaluation. Cette souplesse permet d’adapter le seuil à la tâche : pour la pro- tection de la propriété intellectuelle le rappel prévaut, tandis que l’on préfèrera une 6. Pour les corpus NTF et NTF2, nous avons considéré comme sources les lettres de référence utilisées par les auteurs, les autres lettres étant considérées comme dérivés avérés.
7. Pour les liens de dérivation, seules les pairessource-candidat{dérivé} sont considérées
bonne précision pour le suivi d’impact. Nous reprenons les définitions de Manninget al.(1999) de ces métriques y compris celle du F-score.
La recherche du seuil optimal est menée en parcourant tout l’espace image que constituent les valeurs de similarités calculées entre les couples de textes. Cette ap- proche nécessite de définir un corpus d’apprentissage pour la recherche du seuil et un corpus de test pour son évaluation. Nous réalisons pour cela une validation croisée dont les partitions sont alignées sur celles définies dans le corpus (une source et ses candidats associés). Le résultat de cette validation est présenté dans le tableau 3. Les métriques d’évaluation (précision, rappel et F-score) sont calculées à partir des vrais positifs, faux positifs, vrais négatifs et faux négatifs collectés durant la validation croi- sée sur toutes les partitions de test.
4.3. L’approche de référence état de l’art
Nous comparons nos résultats à une approche état de l’art : la signature complète (full-fingerprinting). La signature complète est une des méthodes les plus robustes pour la détection de presque-doublons. Elle est notamment utilisée pour la détection de plagiat (Lyonet al., 2004) et la mesure de réutilisation de texte (Clough, 2003).
Elle consiste à représenter un texte par l’ensemble des sous-chaînes de taille fixe qui le composent (Clough, 2003, p. 37). Cette méthode est mise en œuvre, notamment par (Clough, 2003; Lyonet al., 2004; Jamieet al., 2005; Seoet al., 2008), à l’aide de trigrammes de mots avec recouvrement. Cette taille de sous-chaîne est suffisamment grande pour filtrer les mots et les idiomes communs sans pour autant être trop grande et n’extraire que des sous-chaînes singulières. La phrase « votre évolution est très correcte » sera représentée par les sous-chaînes : {’votre-évolution-est’, ’évolution- est-très’, ’est-très-correcte’}.
La signature complète repose sur l’hypothèse que des textes écrits indépendam- ment partagent un nombre réduit de sous-chaînes8. Dans le cas présent, seuls quelques trigrammes de mots seront présents dans plusieurs textes écrits indépendamment alors que la plupart seront spécifiques au texte duquel ils sont extraits. Il s’agit d’un cor- rolaire de la loi de Zipf selon laquelle la plupart des éléments d’un texte sont peu fréquents. Nous nous sommes donc assuré que la loi de Zipf s’appliquait pour les trigrammes de mots de notre corpus.
4.4. Choix d’implémentation
Nous discutons dans cette section nos choix d’implémentation pour la tenue de nos expérimentations, notamment en ce qui concerne le filtrage des trigrammes, l’extrac- tion des entités nommées, des composés nominaux et des connecteurs discursifs.
8. Environ 8%de recouvrement de trigrammes de mots (Lyonet al., 2004)
Notre première proposition est de ne retenir que les trigrammes mots spécifiques au texte (trigrammes hapax), ce qui réduit la taille de signature de l’approche de réfé- rence. Comme décrit à la section 3, le calcul des singularités d’un texte source doit se faire relativement à une collection présentant d’une part une certaine homogénéité de genre ou de domaine vis-à-vis du texte source donné et, d’autre part, ne comptant pas de textes dérivés du texte source. Afin de nous éviter une tâche de construction d’une collection de référence, et puisque notre corpus garantissait une homogénéité de genre entre tous les textes sources, nous avons décidé d’exploiter celui-ci pour constituer la collection de référence. Une collection de référence a été produite pour chaque texte source. Pour assurer le fait qu’aucune de ces collections ne contenait de textes dérivés, nous avons considéré pour chaque texte source une collection composée de lui-même et des textes des autres partitions (de textes source et candidats) à disposition. La sé- lection des trigrammes hapax s’effectue alors en fonction du nombre de documents dans lesquels ils occurrent. Notre choix de procéder ainsi a surtout été motivé par la facilité de réaliser ces opérations sur notre corpus au regard du temps que pouvait prendre une tâche de constitution d’un corpus supplémentaire.
Notre deuxième proposition repose sur les entités nommées présentes dans un texte. Nous utilisons l’extracteur d’entités nommées Nemesis (Fourouret al., 2002), développé pour le français. Il effectue une analyse lexicale et grammaticale complétée par un processus d’apprentissage permettant d’enrichir automatiquement le lexique. Il a été évalué sur des articles de presse (Fourouret al., 2002, p. 1073) où il extrait les anthroponymes et les toponymes avec une précision de 95%et un rappel de 90%.
Nous proposons également de considérer les composés nominaux. Leur ex- traction est assurée par l’outil Acabit (Daille, 2003) adapté aux larges corpus et aux domaines de spécialité. Nous utilisons l’implémentation dédiée au français qui repose sur l’étiqueteur morphosyntaxique de Brill (1994)9 et sur le lemmatiseur FLEMM10 (Namer, 2000). Acabit effectue une extraction des composés nominaux candidats à partir de motifs syntaxiques exprimés à l’aide d’étiquettes de rôles gram- maticaux11. Les principaux motifs pour le français sont N N, N Prep N et N Adj. Les variations considérées sont morphologiques et syntaxiques et admettent la présence de déterminants ainsi que des combinaisons de patrons.
Finalement, nous nous intéressons aux connecteurs discursifs. Nous les avons ex- traits à l’aide de motifs construits à partir d’un dictionnaire d’environ quatre-vingt-dix formes lexicales de connecteurs. Ces dernières ont été compilées et traduites de la lit- térature (Knott, 1996; Marcu, 1997) par Hernandez (2004). Nous sommes conscients de l’ambiguïté des formes lexicales de certains connecteurs discursifs (par exemple le motautrepeut être utilisé comme connecteur, mais également comme adverbe). Nous ne cherchons cependant pas à résoudre ce problème d’ambiguïté ici, ce qui pourrait être fait en utilisant la position du mot dans la phrase ou le paragraphe par exemple.
9.http://www.atilf.fr/winbrill/
10.http://www.univ-nancy2.fr/pers/namer/
11. Les étiquettes de rôles grammaticaux utilisés sont Adj (Adjectif), N (Nom), et Prep (Prépo- sition).
Nous avons fait le choix de fonder l’utilisation combinée des descripteurs sur le calcul de la similarité (cf. section 3.4), ce qui revient à considérer l’union des clas- sifieurs propres à chaque signature. L’idée est de faire une somme des décisions de chacun de ces classifieurs individuels (CH,CEN,CCN,CCD) : un point est attribué lorsque le classifieur décide de la dérivation, un point est retiré dans le cas contraire.
Les termes de cette somme sont pondérés par la distance normalisée entre le score de similarité (si) et le seuil de décision (Si) : plus la similarité est éloignée du seuil de décision, plus la décision est claire, au contraire si elle en est proche la décision n’est pas aussi tranchée. On définit donc une nouvelle mesure de similarité pour notre classifieur général :
cG(A, B) =
H EN CN CD
X
i
Si−si
S ×+1 siCi(A, B) =dérivation
si−Si
1−S × −1 sinon
Il est alors nécessaire de rechercher un seuil de décision (SG ∈[−4; 4]) de la même manière que pour les classifieurs individuels.
En résumé, l’extraction des descripteurs repose sur la disponibilité d’outils état de l’art (c’est le cas de Nemesis et Acabit), de ressources lexicales (c’est le cas des connecteurs discursifs), ou bien d’algorithmes robustes ne requérant pas de ressources (c’est le cas des trigrammes hapax).
5. Résultats : complexitévs.efficacité
Nous comparons dans cette section les résultats de nos expérimentations sur les signatures : d’abord la complexité de leur création, ensuite la complexité de leur com- paraison et enfin, leur capacité à détecter les relations de dérivation et de codérivation.
5.1. Complexité de construction des signatures
Une propriété des descripteurs que nous proposons est qu’ils permettent de ne modéliser les textes qu’une seule fois pour ensuite effectuer autant de comparaisons que nécéssaires sur la base de ces signatures. Au contraire, les approches fondées sur l’alignement (Piaoet al., 2003) ou la recherche de sous-chaînes communes nécessitent de produire de nouvelles signatures à chaque comparaison. La complexité de notre approche repose donc plus sur la taille des signatures qui seront impliquées dans les comparaisons que sur la création de ces dernières. Le tableau 2 donne une estimation expérimentale de la taille moyenne des différentes signatures.
Nous allons en premier lieu traiter de la complexité des signatures fondées sur les trigrammes de mots, c’est-à-dire la signature complète et les trigrammes hapax.
L’étape commune à ces deux signatures est l’extraction des|d−2|trigrammes de mots avec recouvrement :O(|d|)avec|d|la taille du texte en mots. Pour les trigrammes ha- pax, il est de plus nécessaire de filtrer les hapax. Ce filtrage revient à calculer le com-
plément relatif deCdansd(notéd\C)12avecdle texte considéré etCl’ensemble des éléments contenus dans les textes de la collection13. L’opération nécessite de calculer la différence entre l’ensemble des éléments du document considéré et l’intersection de cet ensemble et de l’union des éléments des autres documents. En faisant l’hypothèse que tous les documents ont une taille de≈ |d|mots, et en notant|C|le nombre de do- cuments de la collection, l’intersection se calcule enO(|d|+|C|.|d|)14et la différence enO(|d|), soit une complexité dans le pire des cas deO(2|d|+|C|.|d|). La création de la signature complète se fait donc enO(|d|)pour une taille enO(|d|)tandis que la signature des trigrammes hapax se fait enO(2|d|+|C|.|d|)pour une taille enO(|d|) dans le pire des cas.
En second lieu, la complexité de création des signatures fondées sur les objets linguistiques dépend des outils utilisés pour extraire ces derniers. Ainsi, le coût d’ex- traction des entités nommées avec Nemesis est polynomiale par rapport à la taille du document, tout comme le coût des composés nominaux extraits par Acabit. En effet, ils reposent tous les deux sur un étiquetage morpho-syntaxique suivi d’une recherche de patrons et une projection de dictionnaire. L’extraction des connecteurs discursifs est un peu plus simple car elle repose uniquement sur la projection de dictionnaire, ce qui peut être fait efficacement à l’aide d’un arbre de préfixe enO(|d|).
En résumé, toutes les signatures sont créées en un temps polynomial par rapport à la taille des documents, l’approche de référence et celle fondée sur les connecteurs discursifs étant les plus efficaces.
5.2. Complexité de comparaison des signatures
Étant donné que les signatures ne sont construites qu’une seule fois pour chaque document, la complexité des méthodes dépend en réalité de la complexité de la com- paraison des signatures, qui dépend elle même de la taille des signatures comme nous le montrons ci-après.
Dans le cadre de nos expérimentations nous avons fait le choix de la mesure de containmentpour comparer nos signatures (cf. section 3). La complexité de cette me- sure est bornée par la complexité du calcul de l’intersection des deux ensembless1et s2correspondant aux signatures. Cette opération peut être réalisée enO(|s1|+|s2|), soitO(2|s|)si on considère que les signatures sont de même taille, ce qui est gé- néralement le cas pour notre corpus. La complexité de la comparaison dépend donc directement de la taille de la signature, comme la complexité de notre méthode.
La figure 3 montre l’évolution de la taille des signatures par rapport à la taille en mots des documents. La courbe pleine est donnée à titre indicatif, elle correspond à 12. Le complément relatif de B dans A est l’ensemble des éléments de A qui ne sont pas dans B.
13. C’est-à-dire l’ensemble des textes des autres partitions du corpus dans notre cas (cf. sec- tion 4.4).
14. L’intersection entre deux collections triées de taillemetnse calcule de manière efficace en
x x
xTaille du document (en mots)
Tailledessignatures
Trigrammes (référence) Trigrammes hapax Entités nommées Composés nominaux Connecteurs discursifs Combinaison
Figure 3.Taille des signatures en fonction du nombre de mots des documents d’après les résultats expérimentaux sur notre corpus (échelle logarithmique pour y)
Signature Trigrammes Trigrammes hapax
Entités nommées
Composés nominaux
Connecteurs discursifs (nb. éléments)
par document 548,83 370,45 27,59 6,70 2,64
pour 100 mots 93,67 63,28 4,91 1,47 0,22
Tableau 2.Comparaison des tailles des différentes signatures par document et pour 100 mots
une taille égale à la taille du document. Les autres courbes ont été tracées à partir des données expérimentales extraites du corpus et présentées synthétiquement dans le tableau 2. Les tailles des signatures fondées sur les trigrammes évoluent asymptoti- quement à la fonction linéaire, le filtrage des hapax réduisant tout de même d’un tiers la taille de la signature. Les signatures fondées sur des objets linguistiques sont beau- coup plus parcimonieuses, composées en moyenne de vingt fois moins d’éléments que leurs consœurs fondées sur les trigrammes.
En résumé, la complexité de nos méthodes est majoritairement impactée par la complexité de la comparaison entre les documents. La complexité de cette même com- paraison dépend de la taille des signatures modélisant les documents à comparer. En d’autres termes, en réduisant la taille des signatures, on réduit le temps de calcul.
Les signatures fondées sur des objets linguistiques se montrent bien plus concises que leurs homologues statistiques.
5.3. Qualité de l’identification des relations de dérivation et codérivation
Nous avons expérimenté les différents descripteurs et évalué leur capacité à iden- tifier les liens de dérivation et de codérivation sur notre corpus d’après le protocole décrit en section 4.2. Le tableau 3 rapporte ces résultats. La relation à identifier est in- diquée dans la colonneType de relation. Pour chaque descripteur et chaque type de re- lation à identifier, le tableau présente deux résultats : (P) et (R). Le premier correspond à la classification avec un seuil maximisant la précision (Cimax(P)), le second avec un seuil maximisant le rappel (Cimax(R)). Lorsque plusieurs seuils sont optimaux, nous choisissons celui qui maximise le F-score. La dernière colonne donne la médiane des seuils optimaux obtenus sur chacune des partitions lors de la validation croisée avec, entre parenthèses, l’amplitude de ce seuil (différence entre le seuil le plus haut et le plus bas) qui permet de juger de sa stabilité. La qualité des identifications est mesurée en termes de précision, rappel et F-score présentés dans les colonnes éponymes.
Nous pouvons remarquer dans le tableau que l’optimisation sur la précision dé- grade bien plus les performances globales (mesurées par le F-score) que l’optimisa- tion sur le rappel quel que soit le type de descripteur, à l’exception des connecteurs discursifs. Cela s’explique par le déséquilibre entre positifs (relations de dérivations et codérivations existantes) et négatifs (absence de ces relations). En effet, comme nous l’avons discuté en section 4.2, nous avons 2,25 positifs pour 1 négatif. Dans ce contexte, l’augmentation de la précision se fait plus au détriment du rappel que l’in- verse et cette observation est donc cohérente.
L’approche par trigrammes mots constitue la référence état de l’art à laquelle nous comparons les prédictions obtenues avec nos descripteurs. Cette dernière est la meilleure en ce qui concerne la prédiction des deux types de relation. Il s’agit en effet de la seule méthode permettant d’obtenir une précision ou un rappel de 100%(selon l’optimisation souhaitée) pour les deux types de relation. Cette supériorité est soute- nue par la taille de la signature associée. En contenant plus d’éléments que les autres signatures, elle possède plus d’informations susceptibles de discriminer les véritables dérivés des faux.
Si l’approche de référence majore les autres approches en termes de précision ou de rappel (selon l’optimisation), ces dernières offrent des meilleurs compromis précision/rappel (évalués par le F-score) dans certains cas, ce qu’illustrent les flèches du tableau 3. Ainsi, pour la codérivation, les trigrammes hapax et les entités nommées obtiennent de meilleurs résultats. Les composés nominaux sont généralement les plus performants, excepté pour l’optimisation du rappel pour la dérivation.
Les connecteurs sont meilleurs que l’approche de référence lors de l’optimisa- tion de la précision pour les deux types de relation. Néanmoins comparativement aux autres signatures ce sont avec eux que l’on obtient les plus mauvais résultats. Ainsi, il y a environ 10 points de différence en termes de précision avec l’approche de référence, et entre 35 et 40 points pour le rappel. La médiane des seuils, et plus particulière- ment leur amplitude, souligne cette mauvaise performance. Nous remarquons en effet
Descripteurs Relation Précision Rappel F-Score Médiane des seuils
Trigrammes
codériv. (P) 100% 19,12% 32,11% 0,9748 (0,0308 amp.) codériv. (R) 71,35% 100% 83,28% 0,0055 (0,0083 amp.) dériv. (P) 100% 40,17% 57,32% 0,8401 (0,1898 amp.) dériv. (R) 78,04% 100% 87,66% 0,0358 (0,0439 amp.)
Trigrammes hapax
codériv. (P) 100% 19,34% 32,42%ր 0,9720 (0,0498 amp.) codériv. (R) 75,07% 96,28% 84,36%ր 0,0035 (0,0044 amp.) dériv. (P) 100% 36,63% 53,62%ց 0,8641 (0,2029 amp.) dériv. (R) 77,00% 95,19% 85,14%ց 0,0060 (0,0103 amp.)
Entités nommées
codériv. (P) 95,70% 40,66% 57,07%ր 0,8750 (0 amp.) codériv. (R) 70,20% 98,69% 82,04%ց 0,0286 (0,0455 amp.)
dériv. (P) 98,24% 31,54% 47,75%ց 0,9286 (0,0238 amp.) dériv. (R) 70,68% 99,58% 82,68%ց 0,0286 (0,0455 amp.)
Composés nominaux
codériv. (P) 98,15% 23,28% 37,64%ր 0,8000 (0,1333 amp.) codériv. (R) 77,21% 92,48% 84,16%ր 0,0143 (0,0208 amp.) dériv. (P) 99,66% 41,73% 58,82%ր 0,6250 (0,0417 amp.) dériv. (R) 79,78% 94,34% 86,45%ց 0,0294 (0,037 amp.)
Connecteurs discursifs
codériv. (P) 89,38% 41,75% 56,92%ր 0,8333 (0,1666 amp.) codériv. (R) 77,93% 58,71% 66,97%ց 0,0000(0,1429 amp.) dériv. (P) 89,32% 48,51% 62,88%ր 0,8333 (0,1666 amp.) dériv. (R) 80,14% 65,63% 72,16%ց 0,0000(0 amp.)
Combinaison Dist. seuil
codériv. (P) 100% 36,96% 53,97%ր 0,7545 (3,3501 amp.) codériv. (R) 69,45% 100% 81,97%ց -2,9983 (0,0143 amp.) dériv. (P) 100% 51,37% 67,87%ր 0.4191 (3,2394 amp.) dériv. (R) 70,58% 100% 82,75%ց -2.9567 (1,0735 amp.)
Tableau 3.Résultats de l’évaluation de la prédiction des liens de dérivation et de codérivation pour les différents descripteurs expérimentés après sélection du seuil par optimisation de la précision (P) ou du rappel (R). Les scores de 100%sont soulignés et les variations de F-score par rapport à l’approche de référence sont marquées par des flèches croissantes/décroissantes
que les seuils ont une amplitude d’environ 15%, et sont donc très variables. De plus, l’optimisation du rappel mène à un seuil de zéro, soit la prise en compte de toutes les distances qui ne sont pas égales à zéro. Cette mauvaise performance était prévisible.
Les connecteurs sont peu présents dans les documents. Ainsi, plus de 20%des textes du corpus ne présentent aucun connecteur et seuls 33%en contiennent au moins trois.
Il y a ainsi trop peu d’information dans les signatures pour différencier les documents.
Les résultats de la combinaison des classifieurs sont présentés dans le bas du ta- bleau 3. La méthode de combinaison basée sur l’addition pondérée des distances (cf.
section 4.4) est aussi performante que l’approche de référence en ce qu’elle obtient une précision ou un rappel de 100%(selon l’optimisation) pour les deux types de re-
lation. Pour l’optimisation de la précision elle permet même un gain général (F-score) de respectivement 24 et 10 points pour la codérivation et la dérivation. Pour l’optimisa- tion du rappel, les résultats sont un peu plus mauvais avec une perte de respectivement 1 et 5 points. Les seuils sont toutefois très variables selon les partitions, notamment lors de l’optimisation de la précision : amplitude de plus de 3 pour un espace image de taille 8 ([−4; 4]). Cette caractéristique indique que le seuil pour la combinaison est difficilement portable d’un corpus à un autre.
En résumé, si l’approche de référence obtient les meilleurs résultats, les approches fondées sur les trigrammes hapax, les composés nominaux et les entités nommées ob- tiennent des résultats très similaires pour une taille de signature bien moins importante.
À l’opposé, l’utilisation des connecteurs discursifs n’est pas assez aboutie pour per- mettre d’identifier des relations de dérivation et de codérivation. Finalement, la combi- naison des descripteurs hapax, entités nommées, composés nominaux et connecteurs discursifs permet d’approcher et même de dépasser l’approche de référence dans le cas de la précision, pour une signature de plus petite taille.
5.4. Analyse qualitative des erreurs
Afin d’analyser nos résultats, nous avons opéré un retour au texte pour expliquer nos erreurs. Nous nous sommes seulement intéressés aux erreurs concernant la clas- sification des dérivations du fait que notre corpus a été initialement construit pour ob- server ces dernières15. De plus, nous nous sommes concentrés sur un sous-ensemble des faux positifs issus de l’optimisation de la précision et des faux négatifs issus de l’optimisation du rappel et ce, pour les signatures composées de trigrammes hapax, d’entités nommées, de composés nominaux et de connecteurs discursifs.
Nous recensons 43 faux positifs. La majorité de ces erreurs de classification sont attribuées aux connecteurs discursifs. Elles relèvent toutes du fait que la signature des textes sources en comparaison avec celles des textes candidats ne possède pas assez de descripteurs pour assurer une fonction discriminante (dans le cas présent, les textes sources contiennent moins de trois descripteurs contre plus d’une dizaine dans les textes candidats). La mesure decontainmentne prenant en compte que les descripteurs présents dans la source, les quelques rares descripteurs présents au sein de la source sont aussi retrouvés au sein des candidats, ce qui entraîne une classification erronée du candidat en dérivé. Deux faux positifs sont relevés pour les entités nommées. Dans les deux cas, les textes sources et les textes candidats rapportent des données géo- politiques relatives au ralentissement des économies des pays de l’OCDE. Les textes suivent la même structure, on retrouve les mêmes pays impliqués et les mêmes aspects décrits de façon similaire. Seules les données numériques changent et pour cause, les rapports sont effectués à des dates différentes. Notre expert avait donc annoté comme non dérivé ces paires de textes. Or du fait que les signatures des textes sources et des 15. Les relations de codérivations ont été composées artificiellement par nos soins pour nos besoins expérimentaux (cf. section 4.2).
textes candidats contiennent les mêmes entités nommées, les noms des pays, le clas- sifieur classifie de manière erronée les candidats en dérivés. Si les textes comparés ne sont pas dérivés, nous observons qu’ils doivent au moins dériver d’un modèle de rapport commun. Un faux positif est relevé pour les composés nominaux. Celui-ci est dû à l’absence de descripteurs au sein du candidat que nous attribuons à une erreur de notre extracteur de composés nominaux. Aucun n’est attribué à la signature à base de trigrammes hapax qui obtient un score de 100%.
Nous recensons 320 faux négatifs. La majorité provient comme précédemment des connecteurs discursifs et sont dûs à l’absence de ces descripteurs dans les documents.
L’approche fondée sur les trigrammes hapax ramène 34 faux positifs. Nous avons observé qu’une grande partie de ces mauvaises décisions provient du fait que les tri- grammes hapax modélisant la source étaient tirés de l’en-tête des articles (titre, date de publication, auteur, agence). Ces éléments sont certainement les plus variables car ils permettent d’identifier l’article, on pourrait les considérer dans une signature dis- tincte. Nous avons également remarqué que l’inclusion des ponctuations et des mots outils dans les trigrammes empêchait souvent de rapprocher des séquences de mots pourtant très similaires. Cette observation renforce notre intérêt pour les séquences de mots décrites par des patrons linguistiques normalisés. Par ailleurs, il serait intéressant de considérer les mots outils et les ponctuations dans une signature à part entière en incluant leur nombre d’occurrences. La modélisation par entités nommées n’a quant à elle ramené que trois faux négatifs, dont un pour lequel l’annotation comme dérivé est discutable. Pour les deux autres, le candidat est une contraction de la source, c’est- à-dire une version beaucoup plus courte. Cette opération de contraction passe notam- ment par la suppression des entités nommées au profit de paraphrases (par exemple
« Siegfried Behrendtvivre »vs.« un chercheur d’un institut de recherches berlinois et annoncé au salon de Hanovre »). Finalement les faux négatifs liés à la signature par composés nominaux proviennent en partie d’un dysfonctionnement de l’extracteur.
Les autres erreurs sont dues à une différence de taille importante entre le candidat et la source. On observe notamment des cas de dilatation du texte source où les com- posés nominaux subissent des variations (par exemple « pistolet électrique Taser »vs.
« pistolet à impulsion électrique Taser ») ou sont présentés sous forme de propositions.
6. Conclusion
Cet article aborde le problème de la détection de relations de dérivation et de co- dérivation entre des paires d’articles de presse francophone. Nous nous sommes plus particulièrement intéressés au choix des descripteurs pour la modélisation des textes et avons cherché à évaluer leur capacité à identifier ces relations en les comparant aux performances de l’approche état de l’art fondée sur les trigrammes mots. Nous avançons notamment que le choix des descripteurs peut être guidé par un critère de singularité qui nécessite toutefois une collection de textes homogènes en genre à la- quelle se confronter. À notre connaissance, ce travail est le seul traitant de la détection de dérivation pour le français. Nos expérimentations apportent de surcroît des résul-
tats pour la tâche de détection de relations de codérivation. Notre travail est original pour plusieurs raisons. Outre le fait de considérer des descripteurs linguistiques, nous prônons une approche multidimensionnelle du problème de détection des relations de dérivation. Par ailleurs, nos travaux se caractérisent par la prise en compte de la complexité du travail dans son évaluation.
Nous avons montré que le choix motivé des descripteurs permet de réduire la taille de la modélisation, tout en maintenant des performances comparables à celles de l’ap- proche état de l’art. Nous avons également montré que la réduction de la taille des signatures offrait un gain non négligeable en regard du coût de calcul et de l’espace de stockage nécessaires à la réalisation de la tâche de détection dans le cadre des ap- proches par signature. Nous avons aussi montré la pertinence du choix des trigrammes hapax, des entités nommées, ainsi que des composés nominaux pour la détection de documents presque-doublons. Selon nous, la prise en compte de variantes linguis- tiques des entités et des concepts mentionnés dans un texte est une des pistes à suivre afin de détecter des formes de dérivation plus profondes telles que l’inspiration.
Notre approche est générale et est par conséquent portable à d’autres genres. Le calcul de singularité des hapax devra tenir compte d’une certaine adéquation de genre et de domaine avec les textes sources considérés pour favoriser la sélection d’hapax pertinents. En ce qui concerne les descripteurs linguistiques (composés nominaux, en- tités nommées et connecteurs discursifs), le genre peut influer sur leur présence. La phase d’entraînement permettra d’ajuster les seuils de sélection de ces descripteurs pour le nouveau genre considéré. Nos signatures sont modélisées par un ensemble non ordonné de descripteurs. Celui-ci ne contient aucune information de séquence sur les descripteurs. Nous avons choisi d’utiliser ce modèle parce qu’il est le modèle de référence dans la littérature et que l’objectif principal de notre travail était de mesu- rer l’apport de descripteurs linguistiques par rapport à l’existant. Bien que le modèle n’implique aucune relation d’ordre au sein des descripteurs, ce n’est pas entièrement juste de dire qu’il perd la notion de séquence. En effet, celle-ci peut être capturée au- trement, notamment au sein même des descripteurs.N-grammes, composés nominaux et entités nommées intègrent une information de séquence même si celle-ci est dans le cas présent très locale. Ce caractère est à travailler pour les connecteurs discursifs.
Notre travail s’ouvre sur plusieurs perspectives. En effet, nous pensons que le pro- cessus de dérivation impacte plusieurs dimensions du texte, chacune nécessitant d’être modélisée par des descripteurs idoines. Nous souhaitons travailler sur la classification des types de dérivations afin de pouvoir évaluer plus finement nos approches. En- suite, nous souhaitons aller plus en avant avec la notion de singularité des éléments linguistiques, notamment par la tenue d’expérimentations visant à calculer la singu- larité selon la probabilité de rencontrer les éléments linguistiques dans notre corpus.
Finalement, dans cette même veine, nous souhaitons élargir les types de descripteurs linguistiques et nous tourner notamment vers les syntagmes capturant les données nu- méraires et calendaires, tout en relâchant la contrainte de correspondance exacte entre les descripteurs. Il s’agira là de travailler sur la normalisation de nos descripteurs afin de rapprocher différentes variantes linguistiques d’une même information.
Remerciements
Ces travaux ont été financés par l’Agence nationale française pour la recherche, projet ANR PIITHIE (www.piithie.com), numéro de financement : 2006 TLOG 013 03. Nous remercions les différents partenaires pour leur contribution au projet, ainsi que les relecteurs de cet article pour leurs commentaires éclairés.
7. Bibliographie
Bernstein Y., Zobel J., « A Scalable System for Identifying Co-Derivative Documents »,Pro- ceedings of the Symposium on String Processing and Information Retrieval (SPIRE 2004), p. 55-67, 2004.
Brill E., « Some Advances in Transformation-Based Part of Speech Tagging »,Proceedings of the 12th National Conference on Artifical Intelligence (AAAI 1994), p. 722-727, 1994.
Brin S., Davis J., Garcia-molina H., « Copy detection mechanisms for digital documents », Proceedings of the 1995 ACM SIGMOD International Conference on Management of Data (SIGMOD 1995), p. 398-409, 1995.
Broder A. Z., « On the resemblance and containment of documents »,Compression and Com- plexity of SEQUENCES 1997, p. 21-29, 1997.
Cerbah F., « Exogeneous and Endogeneous Approaches to Semantic Categorization of Unk- nown Technical Terms »,Proceedings of the 18th International Conference on Computatio- nal Linguistics (COLING 2000), p. 145-151, 2000.
Clough P., Measuring text reuse, PhD thesis, University of Sheffield, mar, 2003.
Clough P., Gaizauskas R.,Corpora and Text Re-use, vol. 2 ofHandbücher zur Sprache und Kommunikationswissenschaft/Handbooks of Linguistics and Communication Science, Mou- ton de Gruyter, Berlin, chapter 59, p. 1249-1270, 2008.
Conrad J. G., « Online Duplicate Document Detection : Signature Reliability in a Dynamic Retrieval Environment »,Proceedings of the 12th ACM international Conference on Infor- mation and Knowledge Management (CIKM 2003), p. 443-452, 2003.
Daille B., « Terminology Mining »,inM. Pazienza (ed.),Information Extraction in the Web Era, Springer, p. 29-44, 2003.
Fetterly D., « Detecting phrase-level duplication on the world wide web »,Proceedings of the 28th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2005), p. 170-177, 2005.
Fourour N., Morin E., Daille B., « Incremental Recognition and Referential Categorization of French Proper Names »,Proceedings of the Third International Conference on Language Ressources and Evaluation (LREC 2002), vol. 3, p. 1068-1074, 2002.
Gaizauskas R., Foster J., Wilks Y., Arundel J., Clough P., Piao S. S. L., « The METER corpus : a corpus for analysing journalistic text reuse »,Proceedings of the 2001 Corpus Linguistics Conference, p. 214-223, 2001.
Hernandez N., Description et Détection Automatique de Structures de Texte, PhD thesis, Uni- versité Paris-Sud XI, dec, 2004.
