Classement des résultats d’analyse et sélection de l’ana- l’ana-lyse préférentielle

Dans cette section, nous abordons le système de score qui permet de classer les résultats d’analyses et de sélectionner l’analyse et – le cas échéant – le diagnostic le plus vraisemblable. Selon Vandeventer Faltin (2003), il est primordial de trouver un équilibre entre la promotion d’une analyse sans erreurs – mais peu vraisemblable compte tenu du profil des apprenants et de la complexité de la structure syntaxique – et la promotion d’analyses plus vraisemblables mais contenant des erreurs. Il est aussi essentiel de ne pas détecter des erreurs inexistantes. L’idée est donc de mesurer un score qui tient compte de la vraisemblance de la structure syntaxique, des erreurs détectées et de la rareté des éléments lexicaux.

Tout analyseur non déterministe doit être capable d’ordonner les analyses qu’il produit afin de sélectionner une ou plusieurs analyses préférentielles. La fréquence des structures d’analyse dépend du genre de texte analysé (texte journalistique, littérature enfantine, texte scientifique, etc.). Cette fréquence est dérivée à partir de l’étude de corpus simple (§3.1.7), de l’analyse statis-tique de corpus annoté, ou simplement de l’observation et de l’expérience des personnes qui écrivent les spécifications de la grammaire. Le score dépend gé-néralement de la complexité syntaxique et donc du nombre de constituants.

Certains lieux d’attachements sont préférés à d’autres. Fips sélectionne les analyses préférentielles à partir de la combinaison des scores de ses consti-tuants et en pénalisant ou favorisant certains attachements d’après des cri-tères d’observations psycholinguistiques. Concrètement, le score est calculé en soustrayant et en additionnant des points, en se basant sur les attache-ments, sur les mots eux-mêmes et sur certaines caractéristiques lexicales et syntaxiques.

Quant aux fréquences d’erreurs, elles sont basées sur l’étude du corpus FRIDA (Granger, 2003). Vandeventer Faltin (2003) a proposé un score selon la formule suivante :

|e|

X

i=1

log(f(ei)) (5.1)

Ici, e est une erreur dans la phrase et |e| est le nombre d’erreurs dans la phrase. f est une fonction qui retourne la fréquence de l’erreur, entre 0 et 10%. Le logarithme de la fréquence, calculée sur quatre décimales, donne de petits nombres pour les erreurs fréquentes et des nombres plus élevés pour de petites fréquences¹⁰. Avec ce score, les analyses sans erreurs sont préférées, de même que les phrases contenant des erreurs fréquentes.

Maintenant, passons au calcul basé sur les fréquences de mots. Cette mesure permet de sélectionner la meilleure catégorie lexicale en cas d’ambi-guïté. Là encore, les données statistiques doivent être extraites d’un corpus annoté. Les fréquence des mots aussi bien que des lexèmes (forme de base) sont utilisées. Les fréquences des mots sont additionnées, mais si un mot peut avoir plusieurs lexèmes, le score du mot est pondéré par la fréquence du lexème sélectionné dans l’analyse.

Ces techniques ont été testées sur un extrait du corpus FRIDA repré-sentant environ 500 phrases ou 10 000 mots. Ces phrases ont été d’abord

10. L’échelle logarithmique permet d’espacer les petites valeurs et de rapprocher les grandes.

analysées par Fips et toutes les analyses possibles ont été entrées dans une base. La meilleure analyse a été ensuite sélectionnée manuellement par une experte. Enfin, l’analyse préférée a été comparée aux autres analyses afin de déterminer l’adéquation de chaque technique de classement, à travers deux séries de tests, l’un basé sur des statistiques et l’autre sur des inférences floues¹¹. Ces test n’ont malheureusement pas permis de déterminer le cal-cul de poids optimaux pour combiner les différentes méthodes de classement, notamment à cause d’une trop forte surgénération d’analyses. En revanche, les tests ont montré que le score calculé par Fips à l’origine donnait les meilleurs résultats.

Finalement, Potter (2002) et Vandeventer Faltin (2003) proposent les heuristiques suivantes :

i. blocage des constituants DP, PP et DP incomplets, des TP sans sujet, des sujets sans Cas et des chaînes A-barre incomplètes ;

ii. blocage du relâchement de contraintes sur l’auxiliaire si avoir est at-taché à un FP contenant un participe passé ;

iii. le score deFipsn’est pas pénalisé lors du relâchement d’une contrainte ; iv. préférence donnée aux analyses sans erreurs, sauf lorsque le score de Fips de la meilleure analyse sans erreur vaut plus du double du score de la meilleure analyse contenant des erreurs ;

v. les analyses contenant des erreurs sont classées d’après leur score d’er-reur ;

vi. à score égal – score deFipsou score d’erreur selon les cas – la préférence sera donnée à la meilleure analyse selon l’autre méthode de score.

5.3 Rétroaction

Dans cette section, nous examinons l’utilisation pédagogique des tech-niques présentées dans ce chapitre. Dans un premier temps, nous décrivons la sortieXMLde l’analyseur en 5.3.1, puis nous décrivons les différentes ap-plications qui en sont tirées et l’application pédagogique qui en est faite¹²: grammaire en couleurs (§5.3.2), diagnostic d’erreurs (§5.3.3) et sortie d’arbre syntaxique (§5.3.4). Mentionnons que ces outils sont accessibles pour l’ap-prenant en tout temps et en production libre et que les différentes étapes sont

11. La logique floue (fuzzy logic) est une technique, utilisée notamment en intelligence artificielle, dont la principale caractéristique est d’accepter d’autres états de vérité que vraietfaux.

12. Précisons que notre participation personnelle au projet FreeText a porté particulière-ment sur cet aspect et sur la vérification sémantique par comparaison de phrases (§7).

précédées par une phase de vérification orthographique, basé sur le vérifica-teur d’orthographe du correcvérifica-teurHugo(§C.19), développé par le partenaire commercial du projet et légèrement adapté pour la correction d’erreurs d’ap-prenants. Une fois les éventuelles erreurs d’orthographe corrigées, l’analyse et – le cas échéant – le diagnostic d’erreurs sont lancés.