Comme nous l’avons mentionn´e dans le chapitre 2, dans le cas de docu-
ments semi-structur´es comme les documents XML, l’utilisateur peut exprimer sa requˆete soit par de simples mots-cl´es (requˆetes orient´ees contenu), soit en ajoutant des contraintes de structure pour mieux raffiner les r´esultats (requˆetes orient´ees contenu et structure). Ces deux types de requˆetes sont valables aussi pour la recherche multimedia structur´ee. Nous les appelons respectivement
requˆetes multim´edia orient´ees contenu et requˆetes multim´edia orient´ees contenu et structure.
Deux diff´erences existent entre les requˆetes exprim´ees pour une recherche tex- tuelle et les requˆetes exprim´ees pour une recherche multimedia. La premi`ere est que d’autres informations peuvent ˆetre ´egalement fournies par l’utilisateur dans les requˆetes multim´edia orient´ees contenu et structure telles que des images exemples. La deuxi`eme diff´erence est que des contraintes multim´edia doivent toujours ˆetre pr´esentes dans les requˆetes, c’est `a dire que les ´el´ements `a renvoyer par le syst`eme doivent toujours avoir une sp´ecificit´e multimedia : soit ils sont des ´el´ements multim´edia, soit ils sont contenus dans des ´el´ements multim´edia, soit ils contiennent des ´el´ements multim´edia.
Nous d´esignons par ´el´ement multimedia em l’´el´ement contenant l’entit´e r´ef´erant le contenu de l’objet multimedia (en l’occurrence le nom de fichier), et pouvant contenir aussi d’autres nœuds ayant des informations associ´ees comme les nœuds de description (caption).
La figure 4.1 pr´esente un exemple sur lequel nous consid´erons la requˆete
”ville de Toulouse”. Ici, l’´el´ement multimedia est l’´el´ement figure. Ce dernier est compos´e de deux autres ´el´ements contenant des informations sp´ecifiques `a l’image : nom-image et caption.
En regardant cet ´el´ement multimedia figure, ses descendants et ses ancˆetres, il est possible qu’un ancˆetre (ou un descendant) tel que l’´el´ement par soit plus
pertinent que l’´el´ement multimedia figure. Dans la terminologie INEX1, tous les
´el´ements multimedia, leurs descendants et leurs ancˆetres sont appel´es fragments
multimedia F M (les ´el´ements F M 1 `a F M 8 sur la figure4.1sont des fragments multimedia ). Nous utilisons ´egalement cette terminologie dans ce m´emoire.
La probl´ematique de la RMS est abord´ee alors selon deux axes :
– dans le cas o`u l’utilisateur d´esire des ´el´ements multim´edia, la probl´ematique
1. Initiative for the Evaluation of XML Retrieval. http ://inex.is.informatik.uni-
ÓÔÕ Ö× ÕØÙ Ú Û ØÜ × ÝÔÞÚ Ö ß Ôà ÞÔàá Úâ ã ÜÙ äØÜÝ × Ôå Þ × Úå ß ÔàÞÔàá ÚâæÕÞ ç Ú á ä è ÞØäÚäØÜ × ÝÔÞÚ ÞØå à × Ý é Øê × Þ ÞÚ ç Ú ß Ôà ÞÔàá Ú Ú áÝëâ é Ú áÜÔìÝ ç Ø åá ß ÔàÞÔàá Úë em ÜØì ÜØì ç Ô äàÕÚåÝ á ÚäÝ × Ôå í × Ùà ìÚ FM 3 FM 2 FM 1 FM 4 FM 5 FM 6 FM 7 FM 8
Figure 4.1 – Exemple d’´el´ement Multim´edia/Fragment Multim´edia
est alors comment utiliser au mieux le contexte textuel et structurel pour ´evaluer des scores de pertinence pour les ´el´ements multim´edia.
– dans le cas o`u l’utilisateur d´esire un fragment multimedia pertinent, la
probl´ematique est alors de calculer des scores de pertinence pour ces fragments multim´edia et de d´eterminer celui qui est le plus sp´ecifique et exhaustif `a renvoyer `a l’utilisateur.
Comme nous l’avons mentionn´e pr´ec´edemment dans la section3.5.1du chapitre
3, de nombreuses approches ont utilis´e le contenu textuel et la structure pour
la recherche d’images dans le contexte du Web [106] [246] [114].
A notre connaissance, en ce qui concerne la recherche multim´edia dans des documents structur´es de type XML, les premiers travaux ont ´et´e effectu´es dans le contexte de la campagne d’´evaluation INEX, et plus pr´ecis´ement dans la
tˆache multim´edia2 n´ee en 2005.
La plupart des travaux pr´esent´es dans ce chapitre ont donc ´et´e propos´es dans ce cadre. Les requˆetes trait´ees par les diff´erents travaux sont g´en´eralement des requˆetes textuelles, mais il est possible qu’elles soient accompagn´ees par des requˆetes images.
Les travaux propos´es dans le cadre de la RMS, peuvent ˆetre class´es selon deux cat´egories :
– les approches de recherche d’information existantes (telles que des ap- proches dans le cadre de recherche d’information structur´ee ou bien dans
le cadre de recherche d’images par le contenu) adapt´ees `a la RMS ; – et les approches sp´ecifiques `a la RMS, qui sont propos´ees uniquement pour
trouver des ´el´ements ou des fragments multim´edia dans des documents XML.
Ces deux types d’approches sont pr´esent´es respectivement dans les sections4.3
et4.4.
4.3
Approches de recherche d’information exis-
tantes adapt´ees `a la RMS
Les techniques utilis´ees dans ce type d’approches ne sont pas nouvelles, elles s’appuient sur des techniques classiques utilis´ees pour la recherche d’informa- tion structur´ee ou la recherche d’images adapt´ees `a la recherche d’images dans des documents semi-structur´es. Dans ce qui suit, nous d´etaillons quelques unes entre elles.
4.3.1
Combinaison de la recherche d’images bas´ee contenu
et de la recherche XML classique pour la RMS
De nombreux travaux dans le cadre de RMS ont propos´e de combiner des r´esultats obtenus par une recherche d’images bas´ee sur le contenu et une re- cherche textuelle structur´ee. Ceci revient `a combiner lin´eairement les scores ob-
tenus par les deux recherches. Parmi ces travaux, citons [265], [186], [130], [159].
La plupart des r´esultats montrent que la fusion des deux approches d´egraderait les r´esultats par rapport `a l’utilisation seule de la recherche bas´ee-contexte. Les
auteurs dans [159] montrent ´egalement que les caract´eristiques de bas niveau
peuvent am´eliorer la recherche en filtrant ou r´eordonnant les r´esultats trouv´es par une recherche contextuelle, mais pas pour faire une recherche enti`ere.
4.3.2
Adaptation d’une recherche XML classique `a la
RMS via le filtrage des r´esultats
Une autre m´ethode propos´ee par l’´equipe CWI/UTwente [272][290] consiste
`a utiliser une recherche textuelle classique bas´ee sur le mod`ele de langage et adapt´ee `a la recherche structur´ee en utilisant des fonctionalit´es XQuery. Plus pr´ecis´ement, les auteurs ont ´etudi´e l’impact de la taille des ´el´ements `a renvoyer `a l’utilisateur. Pour cela, ils ont utilis´e plusieurs fa¸con pour introduire ce facteur dans le calcul de score de pertinence et ils ont vari´e la granularit´e des ´el´ements
r´esultats : documents entiers, ´el´ements de n’importe quel type, etc. Enfin, et afin de respecter la sp´ecificit´e multimedia, les r´esultats obtenus sont filtr´es en ne gardant que les fragments contenant au moins une image. Aucun traitement multimedia suppl´ementaire n’est effectu´e. Les meilleurs r´esultats retourn´es par cette m´ethode sont obtenus en ne renvoyant que des documents entiers.
D’une mani`ere identique, les auteurs dans [152] proposent une approche
bas´ee sur un r´eseau inf´erentiel int´egrant un mod`ele de langage appliqu´e aux ´el´ements et non aux documents. Cette approche est appliqu´ee dans le cadre multim´edia en utilisant les requˆetes multim´edia orient´ees contenu et struc- ture afin de renvoyer une partie du document compos´ee d’image et de texte. L’´evaluation de cette m´ethode avec une petite collection (Lonely Planet d’INEX
Multimedia 2005 ) a montr´e son int´erˆet, mˆeme si des exp´erimentations avec une
plus grosse collection (telle que la collection Wikipedia d’INEX, Tˆache Multi- media Fragment 2006-2007) seraient n´ecessaires.