Pour étudier les corrélations entre les attributs de requêtes, nous avons calculé le coefficient de corrélation de Spearman ρ entre les 6 attributs quantitatifs. Nous représentons uniquement les corrélations significatives entre paires d’attributs dans le Tableau 3.13.
Nous observons la plupart de corrélations avec les attributs de la longueur LgT (Q) et LgC(Q). Une forte corrélation positive entre la longueur en termes et la longueur en concepts (p-value<0,0001). De fortes corrélations positives significatives entre la longueur en termes et la spécificité terme- document (p-value<0,0001) d’une part, et la longueur en concepts et la spécificité terme-document (p-value<0,01) d’autre part.
La première corrélation, LgT (Q) et DSpe(Q) s’explique par le fait que, selon la formule (3.1), plus la requête est longue, plus sa spécificité terme-document est élevée. Ceci est justifié par le besoin exprimé sous forme de question clinique basée sur des termes bien distribués dans les documents. Toutefois, les deux attributs de la longueur sont négativement corrélés à la spécificité hiérarchique. Cela montre que l’utilisation de termes qui désignent les concepts de la terminologie MeSH ne sont pas appropriés pour désigner spécifiquement chacun des éléments PICO de la question.
De plus, nous notons que les deux attributs de la longueur sont corrélés négativement à la clarté basée sur le sujet, avec une corrélation plus significative avec la longueur en nombre de concepts (p-value<0,0005 ). Cela peut être expliqué par le fait que les cliniciens qui formulent leurs requêtes PICO n’utilisent pas des termes qui désignent des concepts pertinents de la terminologie MeSH.
Enfin, la spécificité hiérarchique est positivement corrélée à la clarté basée sur la pertinence (p-value<0,01 ). Il en résulte que les concepts médicaux sont importants pour traduire le besoin PICO sans ambiguïté. La Figure 3.5 résume les différentes corrélations entre les attributs pour les questions PICO.
Pour synthétiser, les différentes analyses statistiques effectuées sur les requêtes cliniques PICO ont révélé que :
(a) Longueur en termes (b) Longueur en concepts
(c) Spécificité terme-document (d) Spécificité hiérarchique
(e) Clarté basée sur le sujet (f) Clarté basée sur la pertinence Figure 3.4 – Distribution des attributs de requêtes par collection
— Les requêtes PICO sont longues en termes et en concepts. Plus particulièrement, les requêtes PICO se distinguent des autres requêtes médicales issues des campagnes TREC et CLEF par un nombre plus élevé de concepts. Cela s’explique par la nature de ces questions dont le but est d’identifier les meilleures preuves médicales, ce qui pousse les experts à utiliser d’une manière intensive les connaissances médicales et les ressources disponibles.
— Les scores de spécificité terme-document sont importants (les experts formulent des requêtes PICO utilisant des termes se caractérisant par une forte distribution dans les documents Pub- Med), et les scores de spécificité hiérarchique sont faibles (les experts formulent des requêtes PICO avec une description de ces facettes (P, I, C et O) en se basant sur leurs connaissances du domaine sans forcément se référer à une terminologie du domaine médical de référence pertinente) : les requêtes PICO sont longues en nombre de concepts, nous pouvons conclure
) Longueur LgT(Q)) LgC(Q)) ) Spécificité Dspec(Q)) Hspec(Q)) Pcla(Q)) ) Clarté Scla(Q)) (+) (+) (+) (-) (-) (-) (-) (+)
Figure 3.5 – Analyses de corrélations des attributs de requêtes PICO
Facette 1 Facette 2 ρ p-value
LgT (Q) LgC(Q) 0, 2156 < 0, 0001 LgT (Q) DSpe(Q) 0, 2388 < 0, 0001 LgT (Q) HSpe(Q) −0, 1460 < 0, 01 LgT (Q) SCla(Q) −0, 1354 < 0, 01 LgC(Q) DSpe(Q) 0, 1474 < 0, 005 LgC(Q) HSpe(Q) −0, 1041 < 0, 05 LgC(Q) SCla(Q) −0, 1805 < 0, 0005 HSpe(Q) P Cla(Q) 0, 1492 < 0, 005
Tableau 3.13 – Résultats de corrélations deux à deux entre les attributs de requêtes relatives à la collection CLIREC (N = 423)
que les requêtes, bien que longues, ne sont pas spécifiques au contexte de recherche.
— Les scores de clarté basée sur la pertinence sont élevés : les cliniciens utilisent des concepts pertinents qui permettent d’identifier les meilleurs documents qui répondent au mieux aux questions cliniques PICO.
— Corrélation positive significative de LgT et LgC avec DSpe : plus la requête est longue, plus sa spécificité terme-document est élevée et importante. L’hypothèse de ce score est la suivante : moins les documents sont concernés par les termes de la requête, plus le sujet de la requête est spécifique.
— Corrélation négative de LgT et LgC avec HSpe : l’utilisation des termes qui désignent les concepts de la terminologie MeSH ne sont pas appropriés pour désigner spécifiquement chacun des éléments PICO de la question. Les requêtes longues ne sont pas forcément spécifiques si les termes qui désignent les concepts ne sont pas appropriés pour le besoin PICO.
— Corrélation négative de LgT et LgC avec SClar : les cliniciens qui formulent leurs requêtes PICO n’utilisent pas des termes qui désignent des concepts pertinents de la terminologie MeSH.
pour traduire le besoin PICO sans ambiguïté ou d’une manière claire. Le sens du concept de la requête est bien traduit/représenté dans les documents pertinents.
La Figure 3.6 donne la distribution des deux facettes de la longueur pour les sous-graphes PICO.
Figure 3.6 – Distribution des deux facettes de la longueur pour les sous-graphes PICO
6
Bilan et conclusion
Nous avons réalisé une étude statistique exploratoire sur les requêtes exprimées par les experts biomédicaux dans le cadre des campagnes d’évaluation TREC et CLEF. Les résultats de notre étude donnent un aperçu sur les spécificités des requêtes d’experts selon les différentes tâches. Trois attributs impactent les résultats de recherche, plus spécifiquement la longueur en termes, le score de clarté basé sur le sujet et la spécificité terme-document en fonction du type clinique ou non de la requête. Ces résultats suggèrent le besoin de contextualiser les modèles de RI médicale à la tâche. Plus précisément, un besoin de clarification et spécification par expansion/reformulation de requête serait appropriée pour les requêtes cliniques. Au delà, en effectuant un croisement avec les travaux de l’état de l’art, il en ressort un besoin de personnaliser la recherche, selon le niveau d’expertise des utilisateurs. Pour asseoir cette hypothèse, nous envisageons dans un futur proche de mener une analyse exploratoire des besoins en information des experts vs. novices du domaine médical.
Dans un premier temps, nous avons défini un ensemble d’attributs de requêtes au sein d’une collection de tâches médicales et nous avons analysé les corrélations des attributs de requêtes. Dans un deuxième temps, nous nous sommes intéressés à étudier l’impact des attributs de requêtes sur la performance de recherche. Dans ces deux contributions, nous avons défini les mêmes facettes des attributs et nous avons utilisé les mêmes collections d’analyse. Cette modélisation peut être utilisée dans le cadre de l’évaluation expérimentale moyennant d’autres collections ainsi que pour la formalisation de modèles de RI médicaux contextuels ou personnalisés.
De plus, les principales conclusions issues de ces analyses mettent en évidence les spécificités des requêtes médicales qui varient selon la nature de la tâche. Cela implique plusieurs recommandations pour les modèles de RI ainsi que les systèmes de RI ou de prise de décision médicale pour exploiter la sémantique, l’information contextuelle et personnalisée pour améliorer la performance et les résultats de recherche.
Nous avons analysé également les requêtes PICO, issues de la campagne CLIREC. Les principales conclusions soulignent la particularité des questions expertes PICO par rapport aux autres tâches
médicales, du point de vue des caractéristiques des attributs. Cela montre la nécessité de proposer des modèles et approches de RI spécifiques aux requêtes PICO.
Les études de l’état de l’art dans le cadre de la médecine basée sur les faits ont montré que la plupart des médecins pratiquent l’EBM pendant leur travail. Cependant, l’EBM présente plusieurs problèmes qui empêchent son utilisation dans la pratique. À ce titre, dans le chapitre suivant, nous présentons nos contributions portant sur la médecine basée sur les faits, où les utilisateurs se basent sur des requêtes PICO pour formuler leur besoin en information. Un premier volet détaille notre approche d’expansion de requêtes, où nous traitons le problème lié à la recherche des meilleures preuves cliniques qui correspondent aux facettes PICO. Un deuxième volet propose un modèle d’appariement sémantique basé sur une algorithme d’agrégation de scores de pertinence pour mieux répondre aux questions cliniques PICO.
Chapitre 4
Évaluation des requêtes cliniques :
Modèles sémantiques pour mieux ré-
pondre aux questions PICO
Sommaire
1 Introduction . . . 123 2 Motivations et hypothèses . . . 125 3 Aperçu général de nos contributions . . . 127 4 Processus d’élicitation sémantiques des requêtes PICO . . . 128
4.1 Méthode de génération de graphes . . . 128