Evaluation de l’analyse de question

Protocole expérimental

Pour évaluer notre approche, nous utilisons 100 questions extraites à partir du Journal of Family Practice (JFP11

). Nous avons choisi les der-nières questions du 1/11/2008 au 1/4/2011. Cet ensemble contient 64 questions WH et 36 questions Yes/No. Le tableau 6.8 présente quelques exemples de questions de ce corpus d’évaluation.

Question Exemple

Yes/No Should patients with acute DVT limit activity ?

WH What is the best approach to benign paroxysmal positio-nal vertigo in the elderly ?

complexe When should you consider implanted nerve stimulators for lower back pain ?

TRA:Traitement Childhood alopecia areata : What treatment works best ? TRA:Médicament Which drugs are best when aggressive Alzheimer’s

pa-tients need medication ?

TRA:Test What is the best noninvasive diagnostic test for women with suspected CAD ?

2TRA ou plus When should you suspect community-acquired MRSA ? How should you treat it ?

Table 6.8 – Quelques exemples de questions de notre corpus d’évaluation (TRA = Type de la réponse attendue)

L’expérimentation consiste à appliquer notre approche pour l’analyse de question à cette collection de questions en langage naturel et à ré-cupérer les requêtes SPARQL retournées. L’évaluation consiste ensuite à vérifier manuellement pour chaque question si la requête SPARQL est une représentation correcte de la question en langage naturel. Une représenta-tion correcte étant une requête SPARQL qui regroupe toutes les entités mé-dicales et les relations de la question et qui recherche/retourne la réponse attendue. Dans le cas de questions avec plusieurs types de réponses atten-dues, une représentation correcte est un ensemble de requêtes SPARQL reflétant chacune correctement la sémantique de la question en langage naturel pour le type de réponse attendue qu’elle représente.

Résultats

Nous avons testé nos deux méthodes de reconnaissance d’entités mé-dicales sur notre corpus d’évaluation et aussi sur le corpus i2b2 de textes

6.4. Analyse et transformation des questions médicales en requêtes SPARQL 105

Méthode corpus i2b2 corpus JFP

P R F P R F

MM+ 56.5 48.7 52.3 66.66 84.55 74.54 BIO-CRF-H 84.0 72.3 77.7 77.03 46.34 57.87

Table 6.9 – Reconnaissance des entités médicales (catégories : Traitement, Problème et Test) : résultats sans la simplification des questions

F-mesure

Extraction de relations 71%

Construction de requêtes 62%

Construction de requêtes (entités et relations valides) 98%

Table 6.10 – Résultats de l’extraction de relations et la construction de requêtes à partir des questions médicales

cliniques12

construit dans le cadre du challenge i2b2/VA 2010 (pour com-parer les résultats). Nous avons utilisé le corpus d’entraînement de i2b2 pour entraîner la méthode BIO-CRF-H (le corpus d’entraînement de i2b2 contient 31238 phrases et le corpus de test contient 44927). Le tableau 6.9 présente les résultats sans simplification de la question pour les trois ca-tégories : Traitement, Problème et Test. C’est important de noter que les résultats de la méthode BIO-CRF-H sur le corpus JFP ne sont pas du même niveau que ceux obtenus sur le corpus i2B2. Ceci est dû principalement au fait que cette méthode a été entraînée sur un type particulier de cor-pus (i2b2) et que les deux corcor-pus i2b2 et JFP ont des types différents (un inconvénient classique des méthodes statistiques).

Nous avons évalué aussi l’influence de la simplification de questions. Cette dernière améliore les résultats de la reconnaissance des entités mé-dicales et spécialement les résultats de la méthode MetaMapPlus, avec une précision de 75.91%, un rappel de 84.55% et donc une F-mesure de 79.99% pour la reconnaissance des trois catégories Traitement, Problème et Test sur le corpus JFP.

Nous avons évalué aussi l’extraction de relations et la construction des requêtes SPARQL (cf. tableau 6.10). Sur 100 questions, l’extraction de re-lations a échoué pour 29 questions. Le résultat final montre que 62 trans-formations sont correctes et 38 incorrectes ou incomplètes. Si nous étu-dions le processus de transformation des questions sur le sous-ensemble de questions pour lesquelles les entités médicales et les relations séman-tiques ont été extraites correctement, nous observons que 98% des requêtes SPARQL sont correctes ce qui conforte notre hypothèse sur la robustesse de ce langage structuré pour la formalisation de questions en langage na-turel. Cependant, dans les applications réelles, la performance de l’analyse de question et du SQR en général dépendra fortement des performances des systèmes d’extraction d’information utilisés.

Analyse des erreurs.Nous avons obtenu 62 requêtes correctes parmi les 100 questions d’évaluation. Parmi les 38 requêtes incorrectes, 29 sont principalement dues à des erreurs au niveau de l’extraction de relations

et 8 sont dues à des erreurs au niveau de l’identification du type de la réponse attendue. Plus précisément, les principales causes d’erreurs sont : 1. les relations non encore définies dans notre ontologie ou non encore traitées par notre système d’extraction de relations (e.g. « How does pentoxifylline affect survival of patients with alcoholic hepatitis ? », relation : “affects”).

2. les questions complexes et leurs types de réponses attendues non en-core traités par notre système. Par exemple, pour la question « How accurate is an MRI at diagnosing injured knee ligaments ? » même si on détermine correctement les entités médicales, et la relation sé-mantique (ici, diagnoses), la requête n’est pas correcte car le type de la réponse attendue est non encore traité par notre système. D’autres types de réponses attendues ne sont pas encore pris en compte non plus (e.g.« Which women should we screen for gestational diabetes mellitus ? », TRA : Patient).

Les résultats obtenus peuvent être largement améliorés en augmentant les performances des systèmes d’extraction d’information avec plus de types de relations sémantiques et d’entités médicales et en traitant les questions complexes.

Conclusion du chapitre

Dans ce chapitre, nous nous sommes attaquée à l’analyse automatique de questions médicales et nous avons présenté une approche originale pour la transformation de questions médicales en requêtes SPARQL. Ce travail a trois principales caractéristiques :

– L’approche proposée permet de traiter différents types de questions, parmi lesquels les questions avec deux types de réponses attendues ou plus et/ou deux focus ou plus.

– Elle permet une analyse profonde des questions, en utilisant plu-sieurs méthodes d’extraction d’information fondées sur (i) les connaissances du domaine (e.g. UMLS) et (ii) des techniques de TAL (e.g. utilisation de patrons ou règles, apprentissage automatique). Ces méthodes visent l’extraction des entités médicales, des relations sémantiques et aussi des informations supplémentaires ou contex-tuelles (e.g. informations sur les patients : âge, sexe, etc.).

– Notre approche est basée sur les technologies du web sémantique qui offrent plus d’expressivité par rapport à d’autres langages de for-malisation des connaissances (e.g. logique du premier ordre, tables relationnelles/SQL) et fournissent des langages formels standards afin d’augmenter la portabilité des annotations relatives aux ques-tions et aux corpus utilisés pour l’extraction des réponses.

Afin d’atteindre complètement notre objectif de mise en place d’une méthode générique pour l’analyse de questions médicales posées en lan-gage naturel davantage de traitements sont encore requis pour : (i) les questions complexes (e.g. why, when) et (ii) les types de relations séman-tiques non encore définis dans notre ontologie et non encore traités par notre système d’extraction de relations. Pour ce dernier point et pour amé-liorer la couverture ou la portabilité de notre système, nous envisageons

6.4. Analyse et transformation des questions médicales en requêtes SPARQL 107

dans le futur de tester la contribution de l’analyse syntaxique à l’analyse de question pour deux tâches : (i) confirmer les relations sémantiques déjà extraites et (ii) détecter les relations sémantiques inconnues (ou non encore traitées par notre système) en se basant sur les dépendances syntaxiques (Sujet-Verbe-Objet) qui peuvent remplacer les triplets (Entité1-Relation-Entité2).

7

Recherche de réponses et