Parmi les premiers travaux propos´es utilisant la structure XML pour la re-
cherche d’´el´ements multim´edia, citons celui de Z.Kong et al. [150] qui utilise la
structure (`a travers XPath) et les liens (`a travers XLink). L’objectif est d’exploi- ter l’intersection entre l’information structurelle hi´erarchique et l’information structurelle des liens pour la recherche d’objets multimedia. L’id´ee consiste `a repr´esenter l’´el´ement multimedia en s’appuyant sur plusieurs facteurs :
– L’information structurelle hi´erarchique : trois types d’information tex- tuelle associ´ee sont utilis´ees : le texte de la description (caption), le texte le plus proche de l’´el´ement multimedia et le texte provenant de la struc- ture hi´erarchique. Ces trois sources d’information doivent cependant par- ticiper diff´eremment dans la repr´esentation de l’image. Le texte de la description doit par exemple participer de fa¸con plus importante.
– L’information structurelle des liens : en plus des informations textuelles venant de la page contenant l’´el´ement multimedia, les auteurs ont propos´e d’utiliser deux types de liens : (i) des liens existants entre l’´el´ement mul- timedia concern´e et des ´el´ements textuels d’autres documents (ces liens sont appel´es des liens textuels), le but d’utilisation de ces liens est d’aug- menter la quantit´e d’information textuelle pour la description de l’image, et (ii) les liens entre l’´el´ement multimedia concern´e et d’autres ´el´ements multimedia du mˆeme document ou d’autres documents (ces liens sont ap- pel´es des liens multim´edia). Le nombre d’´el´ements multimedia li´es ainsi que le score de chaque ´el´ement peuvent participer dans le score final de l’´el´ement multimedia concern´e. Les liens entre les ´el´ements multimedia peuvent ˆetres des liens s´emantiques (cr´e´es par l’auteur) ou encore des
liens de similarit´e visuelle construits automatiquement, ceci permet de renvoyer des ´el´ements multimedia pertinents qui n’ont pas de texte as- soci´e ou qui ne contiennent pas les termes de la requˆete, mais plutˆot qui ont un contenu physique similaire `a une image ayant un contexte textuel pertinent.
La figure4.2 pr´esente un exemple d’informations structurelles hi´erarchiques
(XPATH) et d’informations structurelles des liens (XLink).
îïðñòóô
õ öö÷øù
ú ûôü ð
XLinks ( liens construits par similarité visuelle)
ý þÿ ï î ðñ þ ð ôü ð ôóóô î þ óî ïò ôó ñ ô XLinks îðôï ðñðïô î ô òõ ôò ûôüð ûôüð ûôüð ùõ ñ úõ ù ù ûôüð ñú òî ùðñ þ ñú ñú ûôüð ûôüð
Figure 4.2 – Exemple des informations structurelles hi´erarchiques et des in-
formations structurelles des liens selon [150]
XPath est utilis´e comme suit : les trois sources d’information utilis´ees pour
la repr´esentation de l’´el´ement F ig1 sur la figure4.2 sont :
– l’´el´ement caption, qui pr´esente la description de l’image,
– les ´el´ements p1 (paragraphe avant) et p2 (paragraphe apr`es) pr´esentant le texte le plus proche de l’´el´ement multim´edia et enfin
– le texte des ´el´ements sec1 et article qui peut ˆetre consid´er´e comme l’in- formation textuelle hi´erarchique de l’´el´ement F ig1.
D’autre part, l’´el´ement F ig1 est li´e aux ´el´ements F ig8 et F ig9 car ces images ont des caract´eristiques de bas niveau similaires (des liens multim´edia). Enfin, d’autres liens XLink peuvent lier l’´el´ement F ig1 `a d’autres ´el´ements textuelles d’autres documents (liens textuels). Cette m´ethode, bien qu’int´egrant de nom- breuses sources d’´evidence contextuelles, n’a cependant pas ´et´e ´evalu´ee par ses auteurs.
Dans d’autres travaux, les mˆemes auteurs, Z.Kong et al., ont ´etendu et ´evalu´e l’exploitation de l’information structurelle hi´erarchique de leur m´ethode
granularit´es en se basant sur la structure hi´erarchique du document. Ces gra- nularit´es sont appel´ees r´egions et elles seront utilis´ees par la suite comme des repr´esentations des images afin que ces derni`eres puissent ˆetre recherch´ees par des requˆetes textuelles.
Les diff´erentes r´egions sont d´efinies comme suit (Figure 4.3) :
– R´egion de l’´el´ement multimedia lui-mˆeme : l’´el´ement multimedia concern´e et ses descendants textuels tel qu’une image et le contenu associ´e ; – R´egion des fr`eres adjacents : cette r´egion est repr´esent´ee par le texte le
plus proche de l’image tel que le texte des ´el´ements fr`eres de l’´el´ement multimedia : par exemple le nœud qui le pr´ec`ede et le nœud qui le suit directement ;
– R´egion du premier ancˆetre : le texte des autres ´el´ements fr`eres de l’´el´ement multimedia, c’est `a dire les ´el´ements ayant le mˆeme niveau hi´erarchique que l’´el´ement multimedia ;
– R´egion du second ancˆetre : le texte des ´el´ements appartenant au second ancˆetre de l’´el´ement multimedia `a l’exception du texte d´ej`a utilis´e ; – etc. image 1erancêtre 2èmeancêtre 3èmeancêtre 4èmeancêtre
Région des frères adjacents Région de l’élément multimédia Région du 1erancêtre
Région du 2èmeancêtre Région du 3èmeancêtre Région du 4ème ancêtre
Figure 4.3 – R´egions logiques d´efinies dans [153]
L’indexation de ces r´egions a ´et´e bas´ee sur la pond´eration standard tf ∗ idf , et la recherche sur le mod`ele vectoriel. Le score final de l’image est ´evalu´e en combinant les diff´erentes r´egions qui participent `a la repr´esentation de l’image avec diff´erents degr´es.
Cette m´ethode a ´et´e ´evalu´ee avec une collection d´edi´ee `a la recherche adhoc et non multimedia (collection IEEE d’INEX tˆache adhoc 2004). Par cons´equent,
nous ne pouvons pas tirer de conclusions d´efinitives sur son int´erˆet dans la RMS et nous ne pouvons la comparer ni avec les autres approches de la litt´erature, ni avec nos propositions. Pour pallier cette limite, une ´evaluation de la m´ethode avec de grosses collections d´edi´ees multimedia semble n´ecessaire. De plus, mˆeme si la m´ethode exploite la structure verticale des documents, elle ne prend pas en compte la distribution des ´el´ements contenus dans une mˆeme r´egion (i.e. la structure horizontale n’est pas utilis´ee).