Application à la reconnaissance de formes composées

La méthode de correction orthographique, présentée ci-dessus pour les mots simples, s’applique aussi aux mots composés, si l’on consulte un dictionnaire comme le DELACF (voir section 2.4). Elle permet entre autres de reconnaître certaines variantes orthographiques des mots composés (voir section 3.7). Par exemple un tiret optionnel sera reconnu comme opération de remplacement d’un caractère (le blanc) par un autre (le tiret), pour les cas comme curling tongs (curling-tongs), ou bien comme insertion d’un caractère, comme dans bolthole (bolt-hole). Le même sera le cas des mots qui s’écrivent alternativement avec une majuscule ou avec une minuscule comme Boolean algebra (boolean algebra). Certaines variantes du dialecte, comme dialling code (dialing code) et armour plate (armor plate) seront reconnus comme effacement d’une lettre.

Nous avons effectué un test de reconnaissance de formes composées par notre algorithme dans le corpus IBM (1997-99), le même que celui qui nous a servi pour tester la méthode d’extraction décrite dans le chapitre 8. Nous rappelons qu’il s’agit d’un texte de 280 000 formes simples (1,68 mégaoctets) concernant le domaine de l’architecture des ordinateurs. Nous avons tout d’abord soumis ce corpus à l’analyse lexicale par le système INTEX, à l’aide des mêmes dictionnaires que ceux utilisés pour l’extraction (voir section 8.5.1) : le DELAF et le DELACF généraux, le DELAF et le DELACF de termes informatiques, et le DELAF de mots grammaticaux. Parmi les résultats de cette analyse figuraient : 15 245 occurrences de mots composés, généraux et spécialisés, et 1649 formes simples non reconnues. Nous nous sommes demandée de combien ces résultats pourraient être améliorés (i.e. de combien le premier chiffre pourrait monter et le deuxième descendre) si nous utilisions notre algorithme de « consultation modifiée » d’un DELAF /DELACF à la place de l’algorithme standard. Nous disposions d’une version de notre algorithme de « consultation modifiée » qui s’appliquait à une séquence de lettres à reconnaître et non pas à un texte entier. Nous avons donc préparé deux listes de séquences pour simuler le comportement d’un analyseur lexical. La première liste, appelée ERR, contenait les 1649 séquences non reconnues. La deuxième liste, appelée CANDIDATS_MC, a été obtenue par la recherche dans notre corpus de deux patrons syntaxiques, NN_AN.grf (Fig.46) et ErrN_NErr_AErr.grf (Fig.47). Le premier de ces graphes décrit des syntagmes nominaux potentiels constitués de deux noms (simples ou composés, généraux ou spécialisés) connus, ou d’un adjectif et d’un nom, les deux éléments étant séparés par un blanc ou par un tiret. Le deuxième graphe représente le même type de syntagmes où la place du premier ou du deuxième élément est prise par une forme simple inconnue. Ainsi, nous pouvons extraire la plupart des candidats qui peuvent être reconnus par la « consultation modifiée » comme variantes des mots composés connus.52 La recherche des

52 _{Nous effectuons ainsi une extraction qui ressemble à celle proposée dans le chapitre 8 (voir} section 8.5.2 pour la description du patron syntaxique), sauf que les constituants admis cette fois sont des noms et des adjectifs non seulement spécialisés mais aussi généraux.

deux patrons dans le corpus IBM (1997-99) a donné la liste CANDIDATS_MC de 47 676 occurrences de formes composées.

<N>

<N> <A>

- <E>

Fig.46. Graphe NN_AN.grf

<!DIC> <N> <A> - <E> <!DIC> - <E> <N>

Fig.47. Graphe ErrN_NErr_AErr.grf

Nous avons ensuite soumis la liste ERR (9 555 occurrences, 1 649 formes) au programme de la « consultation modifiée » des dictionnaires DELAF et DELACF des termes composés informatiques. D’autre part, la liste CANDIDATS_MC (47 676 occurrences) a été soumise au même programme seulement pour le DELACF de termes informatiques. Les résultats de cette expérience sont résumés dans le tableau Tab.22. 7 828 occurrences (1 141 formes différentes) de formes simples ont été reconnues « proches » aux termes simples connus, i.e. chacune d’elles pouvait être obtenue par l’application d’une ou de deux opérations de base (section 9.2) à un ou plusieurs termes simples connus. 2 274 occurrences (211 formes différentes) ont été reconnues « proches » aux termes composés connus. 10 237 occurrences (3 917 formes différentes) de formes composées ont été reconnues « proches » aux termes composés connus. Nous avons analysé « manuellement » ces séquences reconnues « proches » des termes simples et composés. Parmi les formes composées nous en avons retenu 1 569 (504 formes différentes), soit 15%, qui pouvaient être considérées comme étant effectivement des variantes des mots composés auxquels elles s’approchaient graphiquement. Grâce à l’application de l’algorithme de la consultation modifiée d’un DELACF spécialisé nous avons donc pu augmenter le taux de reconnaissance de mots composés de près de 10%. D’autre part, parmi les formes simples initialement non reconnues, nous avons pu reconnaître seulement 198 occurrences (52 formes différentes) comme variantes des mots simples connus, et 43 séquences (13 formes différentes) comme variantes des mots composés connus. L’augmentation du taux de reconnaissance était donc égale à 0,09% au niveau des occurrences, et à 0,9% au niveau des formes différentes.

La précision de notre algorithme s’exprime par la proportion du nombre de formes pertinentes parmi les formes reconnues par la consultation modifiée (non reconnues par la consultation standard). Cette proportion est très basse pour les mots simples. Ceci est dû au fait que les formes non reconnues sont dans une grande partie des noms propres et des sigles, souvent de petite longueur. Or, quand une forme courte est reconnue comme proche à un mot connu, deux, soit près de la moitié, de ses lettres peuvent différer de celles du mot d’origine, ce qui rend peu probable le fait que les deux formes soient effectivement apparentées.

Les résultats pour les mots composés sont plus intéressants, car nous avons pu augmenter le taux de reconnaissance des mots composés (le nombre de formes composées pertinentes reconnues par rapport aux mots composés trouvés par l’algorithme standard) de 10%. Mais pour ceci nous avons dû effectuer un dépouillage manuel où seulement une forme sur 7 a pu être retenue (précision 15%).

Formes simples Formes composées occurrences formes

différentes

occurrences formes différentes Nombre de formes reconnues par

la consultation standard 280 168 7 258 15 245 3 610

Nombre de formes non reconnues

par la consultation standard 9 555 1 649 inconnu

53 _inconnu

Nombre de formes reconnues par

la consultation modifiée 7 828 + 2 274 1 141 + 211 10 237 3917

Nombre de formes pertinentes reconnues par la consultation modifiée

198+43 52+13 1 569 504

Augmentation du taux de

reconnaissance 0,09% 0,9% 10% 14%

Précision 2,4% 4,8% 15% 13%

Tab.22 Données statistiques sur l’algorithme de consultation modifiée

Parmi les formes retenues nous pouvions distinguer différents types de variantes :

1) variantes orthographiques (939 occurrences, 263 formes), où la séquence reconnue différait d’un mot composé uniquement par l’effacement ou l’insertion d’un blanc ou d’un tiret, par le remplacement d’un tiret par un blanc, ou par le remplacement des minuscules par des majuscules, par exemple (le composé connu figure entre parenthèses):

[378] HyPerLink (Hyperlink), VisualAge (Visual Age), run-time library (runtime library), main-memory interface (main memory interface), op code (op-code), function level (Function Level),

2) variantes régionales (9 occurrences, 5 formes), par exemple :

[379] behavioral model (behavioural model), imbedded software (embedded software), wirability (wireability), interruptible ( interruptable)

3) fautes de frappe (6 occurrences, 4 formes) - dans tous les cas il s’agissait des fautes contenues dans le DELACF spécialisé et non pas dans le texte :

[380] floating-point radixes (floating-point radixxes), symmetrical multiprocessors (symetrical multiprocessors)

4) variantes morphologiques et dérivationnelles qui ne changeaient pas le sens du terme (227 occurrences, 83 formes), où l’un des composants, le plus souvent le premier, pouvait changer de morphologie (singulier - pluriel) ou de catégorie (adjectif – nom, participe – adjectif, verbe – nom, etc.):

[381] Communications Systems (communication systems), Costs Analysis (cost analysis), Operators Manual (operator manual), executables (executable)

[382] automated call (automatic call), compiler options (compile options), cryptographic coprocessor (cryptography coprocessor), quiesce point (quiescent point), register names (registry names), table index (tab index),

53 _{Afin de déterminer le nombre de mots composés existant dans le texte, et non existants} dans le dictionnaire, il aurait fallu analyser manuellement le texte de plus de 200 pages.

[383] cache coherence (cache coherency), edge-detection (edge-detecting), sequential store (sequential storage), fault diagnostics (fault diagnosis),

5) variantes synonymiques (61 occurrences, 31 formes), où l’un des composants était remplacé par un synonyme et ainsi le sens de tout le composé était préservé :

[384] actual ratio (actual rate), printed circuit card (printed circuit board), compressed format (compressed form), dedicated wires (dedicated lines), key state (key status), multiple output (multiple outlet), near-end (head-end), slow performance (low performance), testing ability (testing facility)

6) variantes dérivationnelles (260 occurrences, 106 formes), où l’un des composants était dérivé de son correspondant dans l’autre terme, ou bien tous les deux étaient des dérivations différentes du même mot, et ainsi un composé obtenait un sens dérivé de l’autre composé, ceci pouvant concerner aussi bien le premier que le deuxième composant :

[385] asynchronous clock (synchronous clock), axial cable (coaxial cable), correctable errors (uncorrectable errors), higher density (high density), inactive states (active states),

[386] test data generation (test data generator), chip test (chip tester), configuration registers (configuration registry), local processors (local processes), microprocessor controller (microprocessor-controlled), process engineering (process reengineering), time dependence (time dependent),

7) variantes compositionnelles (67 occurrences, 12 formes), où grâce au rajout d’un ou de deux caractères nous obtenions des surcompositions de termes connus :

[387] STOSM (STOS), b-bit errors (bit errors), C bus multiplexing (bus multiplexing), CMOS technology (MOS Technology), Programmable DRAM (Programmable Ram), VLSI circuit (LSI circuit),

Remarquons que les variantes orthographiques (point 1 ci-dessus) constituent près de 60% (939 sur 1569) des formes pertinentes reconnues. Nous pourrions profiter de ce phénomène en modifiant notre algorithme de telle sorte que les opérations d’insertion de séparateur (blanc, tiret) et de remplacement d’un séparateur par un autre soient prioritaires par rapport aux autres opérations.

En résumé, nous pouvons constater que notre méthode de consultation modifiée, conçue en tant qu’outil de correction orthographique, a une précision trop basse pour être appliquée à des tâches comme l’extraction ou l’enrichissement terminologique, l’analyse lexicale, et la recherche documentaire. Notons néanmoins que le taux de précision est dans notre cas une notion relative liée à la complétude du dictionnaire utilisé :

− plus le dictionnaire est complet, plus il y a des mots composés reconnus par la

consultation standard, et donc moins de formes composées correctes restent à reconnaître par la consultation modifiée,

− plus le dictionnaire est complet, plus il y a de chances qu’une séquence quelconque soit reconnue comme proche à un mot contenu dans le dictionnaire.

Ainsi, paradoxalement, il est possible que la précision indiquée dans le tableau Tab.22 soit plus élevée pour un petit dictionnaire que pour un dictionnaire bien complet, alors que c’est l’inverse pour la qualité globale de la reconnaissance.