Analyses supplémentaires

Répéter les expériences avec variations nous donne l’occasion de comparer les paramètres, mais nous fournit aussi beaucoup de résultats intermédiaires. Nous utilisons ces indices pour mieux comprendre le fonctionnement de l’algorithme à différentes étapes d’achèvement. Cela nous permettra de tirer des conclusions de la différence entre nos résultats et ceux de Nakov. Nous effectuerons l’analyse des erreurs de l’analyse des phrases, de l’influence du vecteur en provenance du corpus et de l’influence des noms composés du prédicat BE.

6.4.1 Erreurs dans l’extraction des éléments prédicatifs

Il y a des erreurs commises par l’analyseur syntaxique. Elles sont visibles lors de l’expérience pour présélectionner les équipes de patrons avec le plus de potentiel.

La présélection a exigé l’annotation de presque 500 phrases par trois juges. Seulement 22 phrases parmi celles-là ont été jugées pertinentes par les trois juges, unanimement. Or, parmi ces quelques phrases, l’extracteur automatique n’a pu extraire que onze éléments prédicatifs. Dès l’expérience de présélection, notre manière de capturer les verbes n’est efficace qu’à 50%. Nous avons examiné le comportement du système et nous avons noté trois types d’erreurs importantes.

Premièrement, les conjonctions ne sont pas supportées par nos patrons. C’est un exemple de la grande variété de phrases devant laquelle nos patrons sont trop peu nombreux, ou trop simples. Par exemple, la phrase pour banana basket, things such as bananas, sugar cane,

oranges, candles and joss sticks or other items to put into the bamboo baskets at the houses of the people they know est rendue inutile par l’énumération d’éléments. Les mots or et and sont

souvent impliqués. Ces conjonctions sont particulièrement dommageable quand ils séparent deux verbes valides, comme dans la phrase Some other types of related bees produce and store

honey.

Deuxièmement, les erreurs de l’analyseur morphologique sont responsables de plusieurs verbes manqués. Le nom composé data scientist nous fournit un exemple avec la phrase Computatio-

nal linguistics allows scientists to parse huge amounts of data reliably and efficiently, creating the possibility for discoveries unlike any seen in most other approaches. Le verbe (VB) parse

est confondu avec un nom (NN) dans le groupe nominal (NP) parse huge amounts.

Troisièmement, retirer les guillemets des phrases fournirait quelques verbes supplémentaires. La phrase As the first public bank to “offer accounts not directly convertible to coin” contient le verbe offer, qui révèle la relation du nom composé bank account.

Nous avons aussi ignoré quelques prépositions, comme attendu. Les autres cas sont trop exceptionnels pour être traités individuellement, par des règles supplémentaires. Il est donc possible d’améliorer les performances d’un corpus avec une meilleure analyse syntaxique. La quantité d’erreurs pour l’analyse de surface ne semble pas permettre de bons résultats avec une analyse syntaxique plus profonde, si cette dernière est basée sur les résultats parfois erronés de l’analyse de surface. L’extraction d’éléments prédicatifs à partir de petits corpus est sensible aux erreurs de l’analyseur. Les tentatives futures d’analyse syntaxique profonde devront donc prendre garde à l’accumulation des erreurs induites par les analyses précédentes du pipeline d’analyse.

6.4.2 Influence des vecteurs prédicatifs

Nous voulons trouver une métrique qui est corrélée avec le pourcentage de succès des expé- riences. Nous avons choisi trois expériences avec des taux de succès très différents : l’expé- rience de Nakov basée sur les vecteurs prédicatifs venant de Google, l’expérience de Yahoo ! avec le plus haut taux de succès et ainsi que l’approche de Yahoo ! qui a obtenu le pire score. Nous avons regroupé le nombre d’éléments prédicatifs dans le vecteur, la somme des fréquences d’apparition des éléments dans le vecteur et la somme des scores TF-IDF des élé- ments pour les trois expériences. Nous observons la somme, la moyenne et la médiane pour

tous les vecteurs prédicatifs trouvés lors de l’identification des 212 noms composés donnés par Levi. Comme il est possible de le constater au tableau 6.10, il n’y a pas de corréla- tion apparente entre le taux de succès et le nombre d’éléments, leur fréquence ou leur score TF-IDF.

Tableau 6.10 Métriques pour les vecteurs d’éléments prédicatifs trouvés pour les 212 noms composés

métrique expérience nb d’éléments distincts fréquence score TF-IDF somme Nakov (42%) 11827 84153 281834 Yahoo ! (33%) 3577 8640 31660 Yahoo ! (17%) 45068 158790 657083 moyenne Nakov (42%) 56 397 1329 Yahoo ! (33%) 17 41 149 Yahoo ! (17%) 213 749 3099 médiane Nakov (42%) 26 98 293 Yahoo ! (33%) 11 24 89 Yahoo ! (17%) 185 542 2274

Nous pouvons conclure que la nature des éléments composés a plus d’influence que leur nombre. Cette conclusion est renforcée par l’échec apparent des approches par synonyme.

6.4.3 Influence indue de la relation BE

L’analyse des erreurs de l’expérience témoin, avec Wikipédia pour corpus, révèle que la relation BE exerce une influence indue sur les réponses. Nous n’avons considéré dans l’analyse que les 179 noms composés pour lesquels il est possible de trouver un coefficient Dice plus grand que zéro à l’étape de comparaison. Le tableau 6.11 présente les succès divisés par relation. La deuxième colonne est le nombre de noms composés qui représentent une classe. La troisième colonne donne le pourcentage de mauvaise attribution qui est explicable si le nombre de représentants par phrase et le succès sont directement corrélés.

La relation IN semble être particulièrement difficile. Les noms composés de référence weekend

boredom, winter sports, surface tension et communist tenet entre autres sont tous attribués

à de mauvais prédicats.

Le tableau 6.12 fait la même analyse, mais tente de prédire les mauvaises attributions plutôt que les succès. La même expérience est utilisée avec les mêmes noms composés de référence, sauf qu’elle présente les mauvaises attributions, quand une relation donnée en réponse mène à une erreur.

Tableau 6.11 Succès selon les relations sémantiques Prédicat Nombre Représentation Succès Différence

BE 36 20% 53% 33% ABOUT 14 8% 12% 4% CAUSE1 7 4% 7% 3% HAVE1 11 6% 7% 1% MAKE1 4 2% 0% -2% USE 13 7% 5% -3% MAKE2 19 11% 7% -4% CAUSE2 12 7% 2% -4% HAVE2 13 7% 2% -5% FOR 15 8% 2% -6% FROM 17 9% 2% -7% IN 18 10% 0% -10% total 179 100 % 100% 0%

proche voisin a été trouvé (36%). Ce chiffre ne comprend pas les fois où la classe majoritaire BE a été attribuée parce qu’aucun nom composé n’était similaire.4 Si les erreurs étaient bien distribuées, 20% des erreurs devraient être causées par les 36 exemples de la relation BE, plutôt que 36%.

Notre système a clairement un penchant pour la relation BE. Plus de la moitié des succès sont pour des noms composés de relation BE, mais plus du tiers des erreurs aussi. Qu’est-ce qui entraîne le système à favoriser les représentants du prédicat BE ? De façon surprenante, aucune des mesures de la représentation des noms composés de référence en des nuages de points n’est corrélée au taux de succès ou au taux de mauvaise attribution. Ni la taille du nuage de points ni les différentes mesures de zone d’intersection ne peuvent prédire le degré de succès de la catégorie, ou sa présence dans les erreurs de relations.

Il est nécessaire de se pencher à nouveau sur la définition de la relation BE et mieux la définir, en modifiant les noms composés de référence qui causent le plus d’erreurs. Il serait même possible d’améliorer les résultats en éliminant complètement le prédicat BE.