L’objectif de cette section est de comparer nos 4 différents systèmes, en utilisant les nouvelles mesures proposées en section 2, afin de mesurer l’impact que peut avoir la prise en compte de la requête sur les clusters présentés à l’utilisateur. Les résultats expérimentaux donnés dans cette section concernent tous des partitionnements, en cinq clusters, des 50 premiers résultats d’une recherche initiale. [0.5cm]
ZIFF AP WSJ FR
𝐶𝑜 𝑆𝑒𝑝 𝐸𝑐𝐷 𝐶𝑜 𝑆𝑒𝑝 𝐸𝑐𝐷 𝐶𝑜 𝑆𝑒𝑝 𝐸𝑐𝐷 𝐶𝑜 𝑆𝑒𝑝 𝐸𝑐𝐷 Tit
𝐺, 𝐶 0.56 0.47 15.94 0.57 0.47 15.32 0.57 0.47 16.10 0.65 0.44 13.04 𝐾, 𝐶 0.57 0.45 7.06 0.58 0.45 6.50 0.58 0.45 6.00 0.66 0.41 6.28 𝐺, 𝑄 0.56 0.46 13.62 0.57 0.46 14.87 0.57 0.46 14.51 0.65 0.43 13.17 𝐾, 𝑄 0.56 0.45 7.03 0.57 0.45 7.17 0.58 0.45 6.37 0.64 0.42 6.93 Nar
𝐺, 𝐶 0.58 0.46 14.01 0.59 0.46 12.84 0.58 0.46 13.20 0.61 0.46 14.28 𝐾, 𝐶 0.58 0.45 5.82 0.59 0.45 5.86 0.59 0.45 5.87 0.63 0.44 6.02 𝐺, 𝑄 0.58 0.45 13.10 0.59 0.45 12.50 0.58 0.45 12.43 0.61 0.45 12.63 𝐾, 𝑄 0.58 0.45 5.86 0.59 0.45 5.96 0.58 0.45 5.53 0.63 0.44 6.10
Tableau 4. Statistiques des partitionnements produits
Le tableau 4 présente les statistiques des partitionnements produits par les diffé-rents systèmes :𝐶𝑜 correspond à la cohésion moyenne des groupes formés,𝑆𝑒𝑝à leur séparation (c’est-à-dire la dissimilarité moyenne entre groupes) et𝐸𝑐𝐷à l’écart type entre tailles de clusters. Les critères de cohésion et de séparation des clusters sont calculés selon la mesure Cosine. Selon les résultats, la méthode Group-Average tend à produire un cluster contenant une grande part des documents et à isoler les documents marginaux dans les autres groupes, ce qui conduit à l’obtention de groupes très dis-similaires mais présentant un faible degré de cohésion. La méthode K-means, quant à elle, paraît produire des clusters de tailles plus homogènes, dont les éléments sont
Tit. ZIFF AP WSJ FR 𝐺, 𝐶 𝐾, 𝐶 𝐺, 𝑄 𝐾, 𝑄 𝐺, 𝐶 𝐾, 𝐶 𝐺, 𝑄 𝐾, 𝑄 𝐺, 𝐶 𝐾, 𝐶 𝐺, 𝑄 𝐾, 𝑄 𝐺, 𝐶 𝐾, 𝐶 𝐺, 𝑄 𝐾, 𝑄 𝑁𝑏𝑃 1.10 1.69 1.19 1.65 0.82 1.73 1.01 1.37 0.96 2.17 1.08 1.98 1.75 2.50 1.75 2.30 𝑀𝐾1 0.68 0.72 0.70 0.73 0.62 0.66 0.63 0.67 0.68 0.75 0.70 0.77 0.57 0.67 0.57 0.68 𝑃 𝑅𝑂 0.41 0.42 0.42 0.41 0.46 0.41 0.43 0.42 0.52 0.57 0.52 0.55 0.50 0.49 0.48 0.47 𝐿𝐴𝑅 0.35 0.40 0.34 0.39 0.32 0.38 0.33 0.34 0.42 0.49 0.40 0.48 0.47 0.53 0.47 0.52 𝐿𝐸𝑈 0.43 0.44 0.43 0.42 0.48 0.44 0.44 0.43 0.55 0.60 0.53 0.57 0.51 0.51 0.50 0.49 𝑂𝑃 𝑇 0.52 0.65 0.52 0.62 0.54 0.66 0.53 0.62 0.63 0.80 0.62 0.78 0.70 0.73 0.69 0.71 𝑃 𝑀1 0.38 0.42 0.36 0.40 0.36 0.40 0.36 0.36 0.47 0.54 0.45 0.53 0.49 0.56 0.48 0.53 𝑃 𝑀2 0.42 0.46 0.42 0.43 0.46 0.46 0.45 0.44 0.54 0.63 0.51 0.60 0.50 0.58 0.50 0.56 𝑃 𝑀3 0.43 0.46 0.40 0.42 0.45 0.48 0.46 0.46 0.53 0.63 0.51 0.61 0.51 0.60 0.51 0.59
Nar. ZIFF AP WSJ FR
𝐺, 𝐶 𝐾, 𝐶 𝐺, 𝑄 𝐾, 𝑄 𝐺, 𝐶 𝐾, 𝐶 𝐺, 𝑄 𝐾, 𝑄 𝐺, 𝐶 𝐾, 𝐶 𝐺, 𝑄 𝐾, 𝑄 𝐺, 𝐶 𝐾, 𝐶 𝐺, 𝑄 𝐾, 𝑄 𝑁𝑏𝑃 2.25 2.61 2.32 2.69 1.84 2.38 1.93 2.36 1.85 2.58 1.97 2.59 2.49 3.02 2.71 3.21 𝑀𝐾1 0.62 0.68 0.62 0.68 0.59 0.64 0.58 0.64 0.66 0.72 0.67 0.71 0.55 0.62 0.56 0.62 𝑃 𝑅𝑂 0.54 0.51 0.53 0.50 0.55 0.53 0.55 0.52 0.62 0.61 0.63 0.60 0.54 0.52 0.52 0.52 𝐿𝐴𝑅 0.50 0.54 0.51 0.54 0.46 0.51 0.46 0.52 0.49 0.54 0.49 0.56 0.48 0.56 0.49 0.58 𝐿𝐸𝑈 0.55 0.53 0.55 0.52 0.56 0.55 0.57 0.55 0.65 0.64 0.66 0.63 0.56 0.56 0.56 0.57 𝑂𝑃 𝑇 0.68 0.76 0.69 0.75 0.72 0.77 0.72 0.79 0.74 0.82 0.76 0.83 0.74 0.78 0.74 0.82 𝑃 𝑀1 0.52 0.55 0.52 0.55 0.49 0.52 0.49 0.53 0.55 0.58 0.55 0.61 0.52 0.63 0.54 0.65 𝑃 𝑀2 0.55 0.57 0.57 0.57 0.55 0.58 0.56 0.59 0.65 0.69 0.67 0.70 0.57 0.65 0.57 0.67 𝑃 𝑀3 0.55 0.59 0.56 0.60 0.54 0.58 0.56 0.61 0.66 0.68 0.67 0.70 0.56 0.65 0.58 0.71
Tableau 5. Résultats des systèmes
plus proches les uns des autres. Enfin, la mesure QSSM semble conduire à une légère baisse des deux critères de cohésion et de séparation des clusters.
Le tableau 5 présente les résultats moyens obtenus par nos quatre systèmes réali-sant une catégorisation, en cinq clusters, des50premiers documents retournés par la recherche initiale en réponse à chacune des requêtes. Alors que les résultats montrent que le système utilisant la méthode Group-Average obtient généralement le meilleur score selon la mesure MK1, ce système semble produire un clustering des documents à partir duquel l’accès aux documents pertinents est plus difficile qu’avec celui proposé par le système utilisant la méthode K-Means. En effet, alors que ce système obtient des résultats légèrement supérieurs selon un parcours en profondeur, nous observons une forte dominance de celui utilisant la méthode K-Means lorsque le parcours en lar-geur est considéré. Or, la stratégie de parcours𝐿𝐸𝑈donne, bien souvent, de meilleurs scores au système utilisant la méthode Group Average : cette mesure, qui favorise les approches regroupant la plupart des documents pertinents, ne peut pas être utilisée pour comparer des systèmes produisant des clusterings de types différents. Nos me-sures, qui comparent les systèmes de manière plus équitable, permettent de mettre en évidence, dans tous les cas, la supériorité des systèmes utilisant la méthode K-Means.
Selon nous, la Query Sensitive Similarity Measure souffre du fait qu’elle tend à minorer la similarité entre documents partageant un grand nombre de termes n’appa-raissant pas dans la requête, que ces documents partagent ou non un grand nombre
de termes de la requête. De plus, un document pertinent contenant peu de termes de la requête ne peut pas, par l’utilisation d’une telle mesure, bénéficier de sa proximité avec d’autres documents pertinents, tel que cela pourrait être le cas avec des mesures de similarité classiques. Néanmoins, lorsque la requête est suffisamment longue, ces biais sont équilibrés par les bénéfices tirés de l’augmentation de la distance entre do-cuments ne possédant pas de termes de la requête en commun (ce qui peut ne pas survenir lorsque la requête est courte puisque l’ensemble des documents considérés sont susceptibles de contenir la totalité des termes de la requête). Par la considération des mesures d’évaluation existantes, aucune amélioration significative n’est cependant observée. L’augmentation de la capacité à regrouper l’ensemble des documents per-tinents dans un même cluster, lorsque ceux-ci abordent le sujet de l’utilisateur sous un même angle, est contre-balancée par les pénalités que les évaluations attribuent à la mesure QSSM pour avoir conduit à la distribution de l’information pertinente dans plusieurs groupes lorsque la requête comporte plusieurs aspects bien distincts. Les ap-proches d’évaluation que nous proposons, et tout particulièrement le parcours orienté par la proximité des pertinents𝑃 𝑀3, permettent de de mettre en valeur les bénéfices tirés de l’utilisation de mesures telle que la mesure QSSM : une prise en compte de la requête dans le processus de clustering peut effectivement permettre d’améliorer l’accès à l’information en mettant en évidence, lorsque le sujet de la requête est suffi-samment large, différents aspects de l’information recherchée par l’utilisateur.
4. Conclusion
L’application de techniques de clustering sur les résultats d’une recherche d’infor-mation a pour but d’en faire émerger les thématiques principales. Cependant, le niveau de diversité des textes considérés implique bien souvent un faible degré de finesse du clustering réalisé et certaines thématiques émergentes peuvent se trouver en forte dé-connection avec la requête formulée. La plupart des systèmes réalisant une catégori-sation de leurs résultats y voient un effet bénéfique puisque cela permet de regrouper la plupart des textes pertinents dans un même cluster, donnant ainsi la possibilité à un utilisateur de filtrer les résultats retournés en ne parcourant que le cluster contenant les informations qui l’intéressent. Adoptant un point de vue différent, nous considérons ce phénomène comme largement négatif pour de multiples raisons, un tel regroupement de l’information pertinente ne permettant notamment pas de présenter à un utilisateur les différents aspects de sa requête et risquant alors de lui en restreindre la perception à un unique point de vue. Selon nous, une distribution de l’information pertinente sur l’ensemble des groupes formés peut s’avérer bien plus intéressante que sa concentra-tion dans un unique cluster. Tout dépend du niveau d’accessibilité des textes pertinents à partir de la liste de descriptions de clusters présentée. Or, nous nous sommes aper-çus que la plupart des mesures d’évaluation présentaient une forte tendance à favoriser les systèmes regroupant l’ensemble des textes pertinents dans un même cluster. Nous avons alors cherché à établir des mesures réalisant une estimation plus équitable de la capacité d’accès à l’information pertinente. À la lumière des approches proposées, qui semblent refléter efficacement le comportement d’un utilisateur réel face à une
liste de clusters, nous avons mis en évidence les bénéfices potentiels résultant d’une prise en compte de la requête dans le processus de clustering pour distribuer l’infor-mation pertinente dans des clusters distincts. Pour la première fois, la concentration de l’information pertinente n’est alors pas perçue comme le meilleur moyen d’aider l’utilisateur dans sa recherche. À ce titre, nous pensons que les mesures proposées ici sont susceptibles de remettre en cause nombre d’hypothèses concernant l’utilisation de techniques de clustering en recherche d’information.
5. Bibliographie
Baeza-Yates R. A., Ribeiro-Neto B. A., Modern Information Retrieval, ACM Press/Addison-Wesley, 1999.
Bellot P., Méthodes de classification et de segmentation locales non supervisées pour la re-cherche documentaire, Phd thesis, Université d’Avignon, Janvier, 2000.
Bellot P., El-Bèze M., « Query Length, Number of Classes and Routes through Clusters : Expe-riments with a Clustering Method for Information Retrieval », ICSC ’99, Springer-Verlag, London, UK, p. 196-205, 1999.
Chang C., Hsu C., « Customizable multi-engine search tool with clustering », WWW’97, ACM, 1997.
Croft W. B., « A model of cluster searching bases on classification. », Information Systems, vol.
5, n˚ 3, p. 189-195, 1980.
Cutting D. R., Pedersen J. O., Karger D., Tukey J. W., « Scatter/Gather : A Cluster-based Ap-proach to Browsing Large Document Collections », SIGIR’92, p. 318-329, 1992.
Hearst M. A., Pedersen J. O., « Reexamining the cluster hypothesis : Scatter/gather on retrieval results », SIGIR’96, Zürich, CH, p. 76-84, 1996.
Iwayama M., « Relevance feedback with a small number of relevance judgements : incremental relevance feedback vs. document clustering », SIGIR’00, ACM, p. 10-16, 2000.
Jardine N., Van Rijsbergen C. J., « The use of hierarchic clustering in information retrieval. », Information Storage and Retrieval, vol. 7, n˚ 5, p. 217-240, 1971.
Koshman S., Spink A., Jansen B. J., « Web searching on the vivisimo search engine », Journal of the American Society for Information Science and Technology, DEC, 2006.
Leuski A., « Evaluating document clustering for interactive information retrieval », CIKM ’01, ACM, New York, NY, USA, p. 33-40, 2001.
Liu X., Croft W. B., « Cluster-based retrieval using language models », SIGIR ’04, ACM, New York, NY, USA, p. 186-193, 2004.
Loupy (de) C., Bellot P., El-Bèze M., Marteau P.-F., « Query Expansion and Automatic Classi-fication », TREC-7, NIST special publication 500-242, p. 443-450, 1999.
Manning C. D., Raghavan P., Schütze H., Introduction to Information Retrieval, Cambridge University Press, July, 2008.
Marteau P.-F., Loupy (de) C., Bellot P., El-Bèze M., « Systèmes & Sécurité », Le traitement au-tomatique du langage naturel, outil d’assistance à la fonction d’intelligence économique : vers une architecture Push-Pull d’accès à l’information, vol. 5, n˚ 4, p. 8-41, 1999.
McKeown K. R., Barzilay R., Evans D., Hatzivassiloglou V., Klavans J. L., Nenkova A., Sable C., Schiffman B., Sigelman S., « Tracking and Summarizing News on a Daily Basis with Columbia’s Newsblaster », Proc. Human Language Technology Conference, 2002.
Porter M., « An algorithm for suffix stripping », Program, vol. 14, n˚ 3, p. 130-137, 1980.
Salton G., « Cluster search strategies and the optimization of retrieval effectiveness », The SMART Retrieval System : Experiments in Automatic Document Processing, Prentice-Hall, p. 223-242, 1971.
Salton G., Buckley C., « Term-weighting approaches in automatic text retrieval », Information Processing & Management, vol. 24, n˚ 5, p. 513-523, 1988.
Salton G., Buckley C., « Automatic Structuring and Retrieval of Large Text Files », Communi-cations of the ACM, vol. 37, n˚ 2, p. 97-108, 1994.
Silverstein C., Henzinger M., Marais H., Moricz M., Analysis of a Very Large AltaVista Query Log, Technical Report n˚ 1998-014, Digital SRC, 1998.
Silverstein C., Pedersen J. O., « Almost-Constant-Time Clustering of Arbitrary Corpus Sub-sets. », SIGIR, ACM, p. 60-66, 1997.
Spink A., Wolfram D., Jansen M. B. J., Saracevic T., « Searching the Web : the public and their queries », J. Am. Soc. Inf. Sci. Technol., vol. 52, n˚ 3, p. 226-234, 2001.
Tombros A., The Effectiveness of Query-Based Hierarchic Clustering of Documents for Infor-mation Retrieval, PhD thesis, University of Glasgow, UK, 2002.
Tombros A., Jose J. M., Ruthven I., « Clustering Top-Ranking Sentences for Information Ac-cess », in , T. Koch, , I. Sølvberg (eds), ECDL, vol. 2769 of Lecture Notes in Computer Science, Springer, p. 523-528, 2003.
Tombros A., Van Rijsbergen C. J., « Query-Sensitive Similarity Measures for Information Re-trieval », Knowledge Information Systems, vol. 6, n˚ 5, p. 617-642, 2004.
Tou J. T., Gonzalez R. C., Pattern recognition principles, Applied Mathematics and Computa-tion, Reading, Mass. : Addison-Wesley, 1974, 1974.
Van Rijsbergen C., Information Retrieval, 2nd edition, Departement of Computer Science, In-formation Retrieval Group, University of Glasgow, 1979.
Voorhees E. M., Harman D., « Overview of the Fifth Text REtrieval Conference (TREC-5). », TREC’97, NIST Special Publication 500-238, p. 1-28, 1997.