Fonctionnement du bouclage de pertinence

FIG. 3.28 – Principe du bouclage de pertinence

La figure 3.28 illustre de mani`ere sch´ematique le fonctionnement du bouclage de pertinence. Quel que soit le sc´enario consid´er´e, l’objectif d’un tel syst`eme est de limiter au maximum le nombre d’it´erations n´ecessaires pour parvenir `a un r´esultat correct. On trouve deux principaux composants qui permettent d’impl´ementer le bouclage de pertinence dans un moteur de re-cherche : l’algorithme d’apprentissage et la strat ´egie de s´election des images `a pr´esenter `a l’uti-lisateur. En fonction des images qui lui sont pr´esent´ees, l’utilisateur indique au syst`eme leur pertinence par rapport `a ce qu’il cherche. Selon les approches, ces indications peuvent prendre des formes diverses. Nous consid´ererons le cas le plus courant dans lequel l’utilisateur marque les images globalement. Il peut indiquer qu’une image est pertinente, non-pertinente ou bien ne fournir aucune indication. L’interface utilisateur peut fournir diff´erents outils permettant de simplifier cette transmission d’informations de l’utilisateur vers le syst`eme. A partir de ces in-dications, un mod`ele de ce que cherche l’utilisateur est construit et affin´e au fur et `a mesure des it´erations. A partir de ce mod`ele, le syst`eme doit choisir quelles images pr´esenter `a l’uti-lisateur pour l’it´eration suivante. L’algorithme d’apprentissage et la strat´egie de s´election des images sont ´etroitement li´es puisqu’une bonne connaissance du mod`ele g´en´er´e est n´ecessaire pour optimiser le choix des images `a pr´esenter `a l’utilisateur. La tˆache de l’algorithme d’ap-prentissage est tr`es complexe dans ce contexte. En effet, le nombre d’images marqu´ees par l’utilisateur, et donc, disponibles pour g´en´erer un mod`ele, est tr`es faible face `a la dimension des repr´esentations visuelles. De plus, cet ensemble est g´en´eralement tr`es d´es´equilibr´e avec beau-coup plus d’images non-pertinentes que d’images pertinentes. Ce constat est particuli`erement vrai lors des premi`eres it´erations.

3.5 Boucles de pertinence avec des repr´esentations par sacs de mots 129

Dans la continuit´e de nos travaux sur l’annotation automatique, nous ´etudions le bouclage de pertinence bas´e sur des SVM utilisant un noyau triangulaire. De nombreux travaux ont d´ej`a ´et´e men´es sur cette approche [HTH00, TC01]. Plus pr´ecis´ement, nous poursuivons les travaux de Ferecatu [Fer05]. A chaque it´eration, un SVM est entrain´e `a partir des images qui ont ´et´e marqu´ees par l’utilisateur. Le mod`ele ainsi g´en´er´e est utilis´e sur le reste de la base pour fournir un score de confiance pour chaque image. Une strat´egie classique est alors de pr´esenter `a chaque it´eration les images jug´ees les plus pertinentes par ce mod`ele. Cette strat´egie est appel´ee MP (most pertinent). Une autre strat´egie consiste `a se focaliser sur les images les plus ambigu¨es. Cette id´ee est introduite dans [TK00, CCS00] et est souvent r´ef´erenc´ee sous l’appellation d’ap-prentissage actif (active learning) [CG08]. Le SVM doit trouver la meilleure fronti `ere permet-tant de s´eparer les images pertinentes et non-pertinentes. Pour affiner au mieux cette fronti`ere, cette strat´egie va proposer `a l’utilisateur les images qui sont les plus proches de la fronti`ere et permettre ainsi de lever plus rapidement les ambiguit ´es. Cette strat´egie est appel´ee MA (most

ambiguous). Un inconv´enient de cette strat´egie est qu’elle propose souvent des images tr`es

similaires `a l’utilisateur. Cette redondance fait que le syst`eme ne se concentre que sur une pe-tite partie de l’espace visuel et ne cherche `a optimiser la fronti`ere qu’`a un endroit pr´ecis. Il faut donc plus d’it´erations pour optimiser compl`etement le mod`ele. Pour lever ce probl`eme, Ferecatu propose l’introduction d’une condition d’orthogonalit´e sur les images pr´esent´ees `a l’utilisateur [FCB04]. La cons´equence est d’imposer que les images s´electionn´ees, en plus d’ˆetre proches de la fronti`ere, soient les plus ´eloign´ees les unes des autres. Cette strat´egie est appel´ee MAO (most

ambiguous and orthogonal). Ferecatu montre ´egalement que l’utilisation du noyau triangulaire

est particuli`erement adapt´ee dans le cas du bouclage de pertinence puisque ne disposant pas d’information a priori sur le concept visuel que l’utilisateur cherche, nous ne pouvons fixer au pr´ealable un quelconque facteur d’´echelle.

Le d´emarrage d’une session peut se faire `a l’aide des paradigmes de requˆete standard (requˆete par mot cl´e, navigation dans la base, requˆete par l’exemple, . . . ). Nous utilisons des SVM bi-classes, aussi il est n´ecessaire d’avoir une image pertinente pour amorcer le processus.

A titre d’exemple, nous pr´esentons deux sessions d’interrogation utilisant les boucles de per-tinence. L’interface graphique est celle du moteur de recherche Ikona d´evelopp´e dans l’´equipe Im´edia. L’impl´ementation des boucles de pertinence est celle de Ferecatu. Nous utilisons tou-jours le noyau triangulaire, avec la constante C = 1. Les images utilis´ees sont celles de la base Pascal VOC 2007 trainval. Les images sont d´ecrites avec les trois descripteurs globaux utilis ´es pr´ec´edemment (prob, four et leoh, voir page 67). La premi`ere page affiche simplement un tirage al´eatoire sur la base. Dans le premier exemple (figure 3.29), nous souhaitons annoter les images dans lesquelles une voiture apparaˆıt. Sur le premier ´ecran, on voit que quatre images corres-pondent `a ce concept. Nous marquons donc ces images comme pertinentes (bordure verte) et toutes les autres comme non-pertinentes (bordure rouge). La strat´egie de s´election des images est MP. On voit sur le deuxi`eme ´ecran que 9 images sur les 16 contiennent une voiture. Par

3.5 Boucles de pertinence avec des repr´esentations par sacs de mots 131

ailleurs, on peut remarquer un des effets de la strat ´egie MP qui retourne des images tr`es proches de celles d´ej`a annot´ees. Ainsi l’image de la voiture rouge dans la soufflerie (2`eme image, 3`eme ligne) est tr`es proche d’une image vue sur le premier ´ecran. Ces deux images font tr`es certaine-ment partie d’une s´erie. De la mˆeme mani`ere, la voiture de sport prise en photo de face (1 `ere image, 3`eme ligne) est la mˆeme que sur le premier ´ecran avec un l´eger d´ecalage dans la position de prise de vue. Les ´ecrans suivants montrent les r´esultats des it´erations 2 et 3.

FIG. 3.30 – Boucles de pertinence, exemple 2. Haut droite : MP. Bas gauche : MA. Bas droite :

MAO.

Pour le second exemple (figure 3.30), nous n’effectuons qu’une seule it´eration. Les deux images contenant des avions sont marqu´ees comme pertinentes sur le premier ´ecran. Nous pr´esentons ensuite les 16 images retourn´ees par le syst`eme selon les strat´egies MP, MA et

MAO. Pour la strat´egie MP, on constate clairement que les images `a forte dominante bleue sont retourn´ees. On retrouve ainsi des avions et des bateaux. Pour la strat´egie MA, bien que le bleu domine encore, on constate une plus grande diversit´e du contenu. Enfin, pour la strat´egie MAO, on remarque que certaines images retourn ´ees par la strat´egie MA ne sont plus pr´esentes, car trop similaires `a celles d´ej`a sur l’´ecran. Cela permet d’afficher d’autres images plus diverses (comme les 3 derni`eres).