Solution de compression adaptative proposée

Plus précisément, nous nous sommes concentrés sur un cas d’usage relativement simple, où seulement deux zones d’intérêt sont considérées, correspondant aux régions incluant du texte et à l’arrière-plan. Ces deux zones distinctes seront alors séparées, puis traitées différemment.

Pour la partie textuelle, le critère fondamental à prendre en compte est sa lisibilité au niveau des images décodées. Jusqu’à présent, les approche de compression purement BPG ainsi que les reconstructions ×1 avec fonctions de pertes orientées pixels sont les candidats les plus prometteurs. Les paramètres contrôlant le niveau de compression (comme le facteur q de la compression BPG) doivent ici être réglés finement. Pour le fond, ne contenant pas d’information utile, nous pouvons appliquer des compressions plus fortes, afin de réduire au maximum le débit. En particulier, nous pouvons considérer ici des techniques de super-résolution qui permettent de réduire drastiquement la quantité de l’information à coder. Ce processus est illustré Figure 7.1. L’image du fond est ici sous- échantillonnée d’un facteur 2, en vue d’une Reconstruction ×2.

Figure 7.1 : Illustration de la décomposition d’une image (de 480×480 pixels) en parties texte et arrière-plan, qui vont être traitées et compressées différemment : la partie textuelle est compressée en BPG (q=47, débit 2082 octets octets) en résolution initiale. Le fond est sous-échantillonné d’un facteur 2 et compressé également en BPG, à un taux plus important (q=37, débit 3273 octets). Nous avons ainsi une somme de 5355 octets pour l’image totale soit 0,19 bpp.

La séparation de la partie texte et de l’arrière-plan a été réalisée dans cet exemple par segmentation automatique. Pour cela, nous avons adopté le réseau EAST (Efficient and Accurate Scene Text Detector), introduit dans [Zhou17]. EAST est un détecteur de texte réalisé via un réseau de neurones purement convolutionnel, dont l’architecture est illustrée Figure 7.2 Nous pouvons remarquer que la segmentation EAST n’est pas parfaite, mais ce n’est pas un aspect essentiel pour nos travaux. Ce qui nous intéresse est uniquement d’étudier en quelle mesure une approche par segmentation peut conduire à des résultats de compression viables.

Figure 7.2 : Architecture du détecteur de texte EAST [Zhou17]

Pour nos expérimentations, nous avons utilisé la version de EAST disponible au GitHub suivant : https://github.com/argman/EAST.

Nous retrouvons donc avec deux images différentes compressées en BPG, à deux résolutions différentes et avec des facteurs de compression adaptés à chacun. Elles vont correspondre à deux flux/fichiers à transmettre séparément au décodeur, qui aura alors la tâche de réaliser le décodage/la reconstruction de chaque flux et surtout la recomposition de l’image globale.

Un premier objectif est d’assurer que la somme des débits obtenus pour les deux parties, texte et fond, soit bien inférieure à celle que nous aurions obtenue avec une seule compression globale, réalisée sur l’ensemble de l’image, et ce, à qualité équivalente.

Ce résultat devient possible en compressant bien plus fortement les contenus séparés dans la mesure où, d’une part, ils ne présentent pas le même degré de criticité d’information, et, d’autre part, la compression s’adapte mieux à des contenus homogènes.

Dans ce premier exemple, nous avons considéré une Reconstruction ×2 pour l’arrière-plan et une Reconstruction ×1 avec une fonction de pertes L1 pour l’image contenant la partie de texte segmenté. Les résultats obtenus sont illustrés Figure 7.3.

Reconstruction ×1 avec perte L1 du texte segmenté

Reconstruction ×2 de l’arrière-plan

Figure 7.3 : Illustration des reconstructions des deux images contenant le texte segementé et l’arrière-plan

Une fois reconstruites, ces deux images sont ensuite recomposées comme elles l’étaient dans l’image originale. Dans ce cadre, les zones de texte décodées sont tout simplement superposées sur l’image de l’arrière-plan. Pour cela, il est nécessaire de transmettre au décodeur une information auxiliaire, représentant les coordonnées des boîtes englobantes des zones textuelles. Le résultat obtenu pour notre exemple est illustré Figure 7.4.

Figure 7.4 : Image recomposée (zoom ×3.5) à partir des deux reconstructions (texte et arrière-plan)

Après recomposition des deux parties reconstruites, nous pouvons observer l’apparition d’artéfacts très marqués et désagréables autour des zones segmentées. Cela est dû au fait que les deux images aient été traitées différemment et séparément. Par conséquent, elles présentent de fortes discontinuités au niveau des « jonctions » des deux images, faisant clairement apparaître sur l’image reconstruite les boîtes englobantes des zones textuelles. Ce phénomène est d’autant plus gênant que, dans un cas d’usage pratique, comme celui qui concerne la transmission de cartes d’identité, cela donne l’impression d’une image faussée et donc inutilisable. Il est donc indispensable de proposer une solution adaptée, pouvant traiter et éliminer ce type d’artéfacts.

Pour corriger ces effets de bords, nous proposons encore une fois d’utiliser une approche de reconstruction par ESRGAN, dédiée spécifiquement et exclusivement à la suppression de ces nouveaux artéfacts. Le principe consiste à entraîner un réseau ESRGAN prenant en entrée les recompositions brutes obtenues précédemment et en sortie l’image à coder initiale.

Pour mettre en place cette stratégie, nous avons entrainé une Reconstruction ×1 par ESRGAN avec perte L1 pure. Pour cet entrainement, nous avons créé une base de données contenant 843 images contenant une partie conséquente de texte (Figure 7.5). Ces images ont ensuite été subdivisés en 4285 patches de taille 480×480 pixels, constituant ainsi notre corpus d’entrainement.

Figure 7.5 : Exemples d’images de notre corpus d’entrainement.

L’entrainement a ici été réalisé sur 1500 epochs.

Le résultat obtenu pour l’exemple présenté précédemment est illustré Figure 7.6.

Figure 7.6 : Résultat de la reconstruction du contenu recomposé (zoom ×3,5)

Nous pouvons observer que les artéfacts de recomposition ont très sensiblement disparus, conduisant maintenant à un contenu unifié, agréable à regarder et exploitable.

F ig u re 7 .7 : P ip el in e co m p le t d e n o tr e so lu tio n u til is an t l a se g m en ta tio n p o u r l es im ag es a v ec te x te