Analyse globale de la fusion des systèmes

L’analyse que nous présentons à présent est dite globale car elle n’est pas centrée sur les performances du meilleur système.

Le tableau 5.5 dresse un récapitulatif des meilleurs systèmes par mesure de perfor- mance pour les campagnes TREC Novelty 2002 et 2003.

Systèmes Rappel Systèmes Précision Systèmes F-mesure

2002

nttcslabnvr2 0,597 thunv2 0,236 thunv3 0,237 UIowa02Nov4 0,574 thunv1 0,229 thunv1 0,236 CIIR02tfkl 0,556 thunv4 0,216 thunv2 0,236 CIIR02tfnew 0,556 thunv3 0,204 thunv4 0,226 nttcslabnvp 0,539 thunv5 0,187 CIIR02tfkl 0,213 dumbrun 0,493 pircs2N03 0,184 CIIR02tfnew 0,213 pircs2N01 0,486 pircs2N04 0,184 pircs2N01 0,211 pircs2N02 0,486 pircs2N05 0,184 pircs2N02 0,211 ntu1 0,472 cmu02t300rAs 0,174 pircs2N03 0,199 ntu2 0,469 pircs2N01 0,161 pircs2N04 0,199

2003 ISIALL03 0,999 NLPR03n1w3 0,774 THUIRnv0315 0,619 MeijiHilF13 0,84 NLPR03n1w2 0,761 ISIDSCm203 0,597 MeijiHilF14 0,84 NLPR03n1f2 0,751 UIowa03Nov01 0,594 ISIDSCm203 0,832 NLPR03n1f1 0,726 THUIRnv0311 0,593 THUIRnv0315 0,792 clr03n1d 0,718 MeijiHilF13 0,589 THUIRnv0311 0,726 clr03n1n3 0,716 MeijiHilF14 0,589 UIowa03Nov01 0,696 clr03n1t 0,709 UIowa03Nov02 0,568 ISIDSm203 0,67 NLPR03n1w1 0,705 THUIRnv0312 0,564 THUIRnv0312 0,665 clr03n1n2 0,688 THUIRnv0313 0,552 MeijiHilF11 0,643 ccsummeoqr 0,67 THUIRnv0314 0,548 Tab. 5.5 – Performances initiales des 10 meilleurs systèmes en 2002 et 2003 par mesure de performance

126 Fusion de systèmes

On peut remarquer dans le tableau 5.5 que plusieurs versions de différents systèmes obtiennent les meilleures performances en 2002 et en 2003. Par exemple, 3 systèmes et leurs versions obtiennent les 10 plus grandes valeurs de précision en 2003 (il s’agit des versions des systèmes NLPPR03n et clr03n1, ainsi que le système ccsummeoqr). Cette remarque peut être faite pour l’ensemble des mesures présentées.

Rappelons que nous nous situons dans le contexte de la campagne d’évaluation TREC. Nous disposons donc, à l’issue de l’évaluation des systèmes ayant participé aux tâches Novelty2002 et Novelty2003, d’un ensemble de mesures de performances permettant de classer les systèmes ainsi que la connaissance du nombre de documents pertinents dans la collection utilisée. Les méthodes que nous évaluons dans cette section doivent être ramenées à un contexte expérimental.

Nous avons présenté dans le tableau 5.5 les performances des 10 meilleurs systèmes pour chaque année de TREC analysée. Nous savons d’autres part que les systèmes n’obtiennent pas les mêmes performances pour un ensemble de requêtes donné. Nous supposons alors qu’il est possible de sélectionner les 10 meilleurs systèmes en fonction de leurs performances. La figure 5.6 compare les performances obtenues si les 10 meilleurs systèmes sont sélectionnés et lorsque l’ensemble des systèmes est sélectionné. L’objectif est de quantifier l’amélioration obtenue par le choix des 10 meilleurs systèmes. Dans la sous-section 5.4.1.4, nous poursuivons notre analyse sur l’impact de la fusion en présentant les résultats que nous obtenons lorsque nous n’avons aucune connaissance a priori sur les performances des systèmes (cf. tableau 5.10).

Dans la figure 5.6, pour chacune des années de TREC que nous avons analysée, on remarque que pour chaque mesure (Rappel, Précision et F-mesure), le choix des 10 meilleurs systèmes permet d’obtenir des performances moyennes supérieures à celles obtenues en considérant l’ensemble des systèmes participants. La figure 5.6 illustre les variations de performance qu’il ya entre les 10 meilleurs systèmes et l’ensemble des systèmes. Ces variations permettent, d’une certaine manière, de mesurer l’homogénéité des systèmes (en terme de performance). Lorsque les variations de performance sont grandes entre les meilleurs systèmes et les autres, il apparaît pertinent d’utiliser les meilleurs systèmes dans nos expérimentations. Par exemple, en 2002, le rappel moyen obtenu par les 10 meilleurs systèmes est de 0,5228 contre 0,3356 lorsque l’ensemble des systèmes est pris en compte (d’où une différence de 0,1872 par rapport à la moyenne sur l’ensemble des systèmes). En 2003, la différence entre le rappel moyen des 10 meilleurs systèmes (0,7703) et l’ensemble des systèmes (0,4083) atteint 0,360. Pour la précision, la différence est de 0,067 en 2002 et de 0,129 en 2003.

Nous proposons de sélectionner les 10 meilleurs systèmes de chaque année, afin d’ap- pliquer 2 stratégies de fusion. Les 10 systèmes qui sont sélectionnés sont combinés deux à deux, et le résultat de la fusion par union et par intersection est analysé. Nous présen- tons ci-dessous les résultats obtenus pour chaque type de fusion ( union, intersection), chaque mesure (rappel, précision, F-mesure), et chaque année (2002, 2003). Nous avons

Évaluation 127

Fig. 5.6 – Comparaison des performances des 10 meilleurs systèmes par rapport aux performances moyennes de l’ensemble des SRI

adopté deux stratégies différentes pour la sélection des 10 meilleurs systèmes.

Dans la première stratégie (nommée stratégie1), nous utilisons la F-mesure comme base de sélection. Les 10 systèmes qui obtiennent les meilleures F-mesures sont sélec- tionnés.

Dans le cas où l’on ne souhaite pas faire jouer un rôle symétrique aux mesures de rappel et précision, nous proposons une deuxième stratégie (nommée stratégie2). Dans la stratégie2, les 10 meilleurs systèmes sont sélectionnés en fonction de la mesure que l’on souhaite analyser. Par exemple, on choisira les 10 systèmes qui obtiennent le meilleur rappel lorsque nous nous intéressons au rappel. Dans le cas où la précision est utilisée, la sélection des systèmes se base sur les 10 meilleurs systèmes en termes de précision. Ainsi, les 10 meilleurs systèmes sélectionnés pour le rappel ne sont pas les mêmes que ceux sélectionnés pour la précision dans la stratégie2, alors que dans la stratégie1 les

128 Fusion de systèmes

systèmes sélectionnés par la valeur de leur F-mesure, sont aussi utilisés dans le calcul du rappel et de la précision.

Notons toutefois que lorsque la F-mesure est souhaitée, la stratégie1 et la stratégie2 sont équivalentes car elles permettent de sélectionner les mêmes systèmes.

Fig. 5.7 – Comparaison des mesures de rappel obtenues par chaque stratégie de fusion pour la fusion par intersection

La figure 5.7 compare pour chacune des collections utilisées les résultats obtenus (en termes de rappel) avec les 2 stratégies que nous proposons. Nous retenons pour chaque stratégie les 45 valeurs, issues de la combinaison des 10 meilleurs systèmes deux à deux, de rappel que nous comparons. Dans la figure 5.7, les valeurs en abscisses correspondent au classement de la valeur de rappel considérée par rapport aux autres valeurs de rappel. Nous remarquons pour l’année 2002 que sur l’ensemble des résultats de la fusion, la stratégie 2 permet d’obtenir de meilleurs résultats que la stratégie 1. La stratégie1 obtient cependant de meilleurs résultats que la stratégie2 pour les 15 dernières combinaisons en 2003 (13 dernières combinaisons en 2002). Le point de basculement de la tendance des courbes se situe lors de la fusion des systèmes thunv1/thunv2 (stratégie1), et des systèmes nttcslabnvr2/ntu1 (stratégie2).

La figure 5.8 est interprétée de la même manière que la figure 5.7. Dans la figure 5.8, les résultats qui sont présentés correspondent à ceux que nous obtenons après application de la fusion par union. Nous remarquons une nette séparation des courbes pour chacune des années. Les 9 premiers résultats obtenus avec la stratégie2 en 2003 obtiennent un rappel égal à 1. La stratégie 2 reste toujours la meilleure stratégie à utiliser.

Évaluation 129

Fig. 5.8 – Comparaison des mesures de rappel obtenues par chaque stratégie de fusion pour la fusion par union

et complète l’analyse des courbes 5.8 et 5.7. Dans ce tableau, pour la stratégie1 (sé- lection des meilleurs systèmes basée sur la mesure F), nous comparons la moyenne sur l’ensemble des combinaisons 2 à 2 des systèmes (45 couples de systèmes formés par la fusion des 10 systèmes sélectionnés avec la stratégie1) avec les performances du meilleur système (rappel du système étant le meilleur par rapport à la mesure F) et avec la moyenne du rappel obtenu par les systèmes utilisés isolément. La moyenne des systèmes utilisés isolément revient à calculer le rappel moyen obtenu par les 10 systèmes sélec- tionnés par la stratégie1. Les performances de la stratégie2, qui sélectionne les meilleurs systèmes en termes de rappel sont comparées d’une part avec celles du meilleur système (sélectionné de la même façon) et avec celles obtenues en moyenne par les systèmes sélectionnés pris séparément.

2002 2003 Stratégie1 Meilleur système simple 0,404 0,792

Moyenne systèmes simples 0,4305 0,7293 Moyenne fusion 2 à 2 0,5133 0,8305 Stratégie2 Meilleur système simple 0,597 0,999

Moyenne systèmes simples 0,5228 0,7703 Moyenne fusion 2 à 2 0,6679 0,8997

Tab. 5.6 – Valeurs moyennes de rappel pour la fusion par union des systèmes 2 à 2 Dans le tableau 5.6, pour la stratégie1, on remarque que le rappel moyen obtenu par les systèmes simples (0,4305) est supérieur au rappel du meilleur système sélectionné

130 Fusion de systèmes

par la stratégie1 (0,404). Cela s’explique par le fait que le système détecté comme étant le meilleur avec la stratégie1 (Thunv3) est classé en 12ème position par rapport au rappel des autres systèmes. Dans ce cas, en appliquant la fusion par union sur les systèmes sélectionnés avec la stratégie1, on obtient une amélioration du rappel moyen de 19,23% par rapport au rappel moyen des systèmes simples. En 2003, le rappel moyen des systèmes simples est inférieur au rappel du meilleur système avec la stratégie1 (ce système est classé en 5ème position par rapport au rappel des autres systèmes).

Pour la stratégie2, le meilleur système obtient un rappel supérieur au rappel moyen des systèmes simples. On constate alors en 2003 que le rappel moyen à l’issue de la fusion des 10 meilleurs systèmes est inférieur au rappel du meilleur système. La conclusion que l’on peut tirer est que les 9 autres meilleurs systèmes retrouvent tous des sous-ensembles de l’ensemble des documents pertinents que le meilleur système restitue (le deuxième meilleur système obtient un rappel de 0,84 contre 0,999 pour le meilleur système).

La stratégie 2 permet d’améliorer en moyenne les résultats plus que la fusion des meilleurs systèmes sur la base de la mesure F (27,75% contre 19,23% en 2002, et 16,8% contre 13,9% en 2003). Ce résultat n’était pas attendu : en effet, intuitivement, il paraît plus facile d’améliorer les performances de "mauvais" systèmes que de "bons" systèmes (même si l’amélioration de "mauvais" systèmes par combinaison avec de meilleurs sys- tèmes n’a pas vraiment d’intérêt).

Les mêmes expérimentations sont reproduites pour la précision. Dans la figure 5.9, les résultats obtenus montrent une faible différence entre les performances de la stratégie1 et de la stratégie2 en 2002 à l’issue de la fusion. Cette faible différence s’explique par le fait que 80% des systèmes sélectionnés à travers leur valeur de précision et ceux sélectionnés grâce à leur valeur de F-mesure sont identiques (cf. tableau 5.5). De plus, l’ intersection marque un accord entre les systèmes sur les documents retrouvés. Dans la figure 5.10, l’analyse précédente est plus mitigée pour 2002, les performances obtenues étant sensiblement égales.

2002 2003 Stratégie1 Meilleur système simple 0,204 0,597

Moyenne systèmes simples 0,1857 0,5951 Moyenne fusion 2 à 2 0,2169 0,6396 Stratégie2 Meilleur système simple 0,236 0,774

Moyenne systèmes simples 0,1959 0,7218 Moyenne fusion 2 à 2 0,2268 0,7598

Tab. 5.7 – Valeurs moyennes de précision pour la fusion par intersection des systèmes 2 à 2

Le tableau 5.7 contient le même type de comparaisons que la tableau 6, mais en termes de précision.

Évaluation 131

Fig. 5.9 – Comparaison des mesures de précision obtenues par chaque stratégie de fusion pour la fusion par intersection

Fig. 5.10 – Comparaison des mesures de précision obtenues par chaque stratégie de fusion pour la fusion par union