La syntaxe « humain puis machine »

Puisque par principe, les systèmes basés sur le contenu correspondent au traitement informatique d’un langage d’abord humain, d’un contenu écrit et mis en forme par des journalistes, tout procédé d’identification automatique reposera sur l’indexation de ce même contenu accessible dans une base de données distantes, et dont l’application logicielle transmet la photographie à des serveurs où le programme est installé, et qui consiste en l’extraction de caractéristiques visuelles de l’image envoyée, permettant l’identification automatique de l’image et le déclenchement de l’action programmée. Par exemple, l’application logicielle Doog.

A l’inverse, les systèmes basés sur le contenu qui ne s’appuient pas sur une indexation préalable sont à rapprocher des systèmes de recherche d’information et non d’identification automatique. Par exemple l’application logicielle Goggle de Google.

Lorsqu’un système basé sur le contenu est mis en œuvre par un éditeur de presse ou par un annonceur, l’une des étapes de l’opération consiste en l’indexation des pages du titre de presse dans une base de données. Cette procédure devra être automatisée pour que le titre de presse numérisé soit indexé avant la distribution physique du journal.

Selon Hervé Le Borgne, chercheur au Comité d’Energie Atomique (CEA), l’indexation consiste à « attribuer à un document un indice de classification ou une liste de descripteurs

représentant (sous une forme codifiée) le contenu informatif du document189 _{», le contenu}

informatif dépendant de l’objectif de l’indexation : recherche, navigation, résumé etc. Cette étape correspond à l’extraction de caractéristiques de chaque page, article, photo et la création d’un index. Ces indices de classification ou listes de descripteurs correspondent à des calculs

189 _{LE BORGNE Hervé. Recherche d’information dans les images. ERMITE 2009 Accessible en ligne :}

algorithmiques complexes reposant sur un traitement numérique (bas niveau/mathématique) et symbolique (haut niveau/sémantique) de l’image.

L’indexation du titre de presse effectuée, l’éditeur pourra programmer les actions à enclencher suivant la page ou l’article indexé qui fera l’objet d’une requête visuelle par l’individu à travers l’application logicielle adéquate.

Par exemple, le Journal Le Parisien proposait en 2009 à son lectorat d’interagir avec le contenu imprimé du journal après avoir téléchargé l’application logicielle pour ordiphone

Doog.

Journal Le Parisien Navigation ordiphone (lecture en Z)

1

₂

3

₄

Voir Annexe 1.

Autrement dit, lorsque l’individu envoie l’image de la page d’un journal via l’application logicielle adéquate (en l’occurrence Doog) sur les serveurs informatiques du service, celui-ci va comparer l’image envoyée avec les images indexées et déclencher une action programmée,

par exemple, l’affichage d’une vidéo au sein de l’application logicielle qui se rapporte à l’article lu sur le journal.

Figure 14 Fonctionnement d’un système informatique de recherche de l’image par l’image - Hervé Le Borgne – septembre 2009

Cette méthode initie un circuit logiciel qui articule le journal imprimé, le journal numérisé, l’indexation et le marquage des contenus numérisés et la programmation d’une application logicielle paramétrée pour se connecter à la base de donnée en question.

Comme toutes les applications logicielles, elle sera distribuée sur les plateformes de distribution d’application logicielle (Appstore, Android Market, OVI etc.) et promue dans le titre de presse à l’aide d’une notice d’explication, et des contenus ainsi « augmentés ».

Il en va tout autrement lorsque le système basé sur le contenu n’est pas mis en œuvre, ni par l’éditeur ni par l’annonceur, autrement dit, lorsqu’il s’agit d’une application logicielle dont le contenu du titre de presse n’est pas indexé par le service. Il s’agira alors pour le « système basé sur le contenu » de procéder, à partir de la requête visuelle de l’individu, à une extraction des caractéristiques de l’image envoyée et la comparaison avec les images indexées par le service en question selon des algorithmes de traitement.

La performance d’un tel système dépend de nombreux paramètres, dont la capacité du service à extraire de l’image des données exploitables informatiquement. Il semble donc que ce type de service ne puisse être mis en œuvre que par les acteurs disposant non seulement d’un volume d’images suffisamment conséquent (et d’une réelle puissance de calcul pour pouvoir comparer une image aléatoire avec celles contenues dans leur propre base de données, afin que le système identifie ce à quoi elle correspond ou tout du moins, pourrait correspondre en

quelques secondes). La recherche d’image par l’image et l’identification automatique d’image par l’image sont deux procédés informatiques qui ne reposent pas sur les mêmes propositions. De plus, si la requête est dite visuelle parce qu’elle consiste à envoyer une image sur un serveur, non seulement l’extraction de caractéristiques visuelles peut se reporter au contenu textuel de l’image. Il s’agira alors pour le système informatique d’identifier à partir de la requête visuelle les éléments textuels identifiés dans l’image. Les algorithmes de traitement sont alors différents.

Autrement dit, le système basé sur le contenu peut porter sur le contenu visuel et/ou sur le contenu textuel. Lorsqu’un texte est identifié dans l’image, la requête devient alors « classique ». Par exemple, l’individu photographie la page d’un journal imprimé mentionnant « les attentats d’Oslo », le système basé sur le contenu extraira de l’image le texte « attentat Oslo », effectuera une recherche textuelle d’information à partir du texte et renverra à l’individu l’actualité correspondant aux attentats d’Oslo, au moment où l’action numérique aura été initiée.

Si l’on résume notre propos, la syntaxe de données lorsqu’elle correspond à un système basé sur le contenu dépendra de l’indexation ou non de ce même contenu dans le système informatique. Lorsque le contenu est indexé, le système se rapproche du domaine de « l’identification automatique » et cette dernière se fait à distance alors que, lorsque le contenu n’est pas indexé, le système se rapproche du domaine de la « recherche d’information » et se fera également à distance.

Ces méthodes logicielles se distinguent de celles basées sur les codes graphiques.