Utilisation d’insertions adverses pour améliorer la stéganographie

HAL Id: hal-02177369

https://hal.archives-ouvertes.fr/hal-02177369

Submitted on 8 Jul 2019

HAL is a multi-disciplinary open access

archive for the deposit and dissemination of

sci-entific research documents, whether they are

pub-lished or not. The documents may come from

teaching and research institutions in France or

abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est

destinée au dépôt et à la diffusion de documents

scientifiques de niveau recherche, publiés ou non,

émanant des établissements d’enseignement et de

recherche français ou étrangers, des laboratoires

publics ou privés.

Utilisation d’insertions adverses pour améliorer la

stéganographie

Solène Bernard, Tomas Pevny, Patrick Bas, John Klein

To cite this version:

Solène Bernard, Tomas Pevny, Patrick Bas, John Klein.

Utilisation d’insertions adverses pour

améliorer la stéganographie. GRETSI, Aug 2019, Lille, France. �hal-02177369�

Utilisation d’insertions adverses pour améliorer la stéganographie

Solène B

ERNARD

1

, Tomáš P

EVNÝ

2

, Patrick B

AS

1

, John K

LEIN

1

1

_{CRIStAL, Centre de Recherche en Informatique, Signal et Automatique de Lille}

2

_{CVUT, Czech Technical University in Prague}

solene.bernard@univ-lille.fr, pevnak@protonmail.ch

patrick.bas@centralelille.fr, john.klein@univ-lille.fr

Résumé –

Ce travail propose un protocole pour construire itérativement une fonction de distorsion qui permette d’accroître la sécurité du

schéma d’insertion après chaque itération. Il allie l’attaque d’un schéma de stéganalyse ciblé avec une stratégie min max qui sélectionne à

chaque itération l’image stego la plus difficile associée au meilleur classifieur. Appliqué à J-Uniward, ce nouveau protocole accroît P

err

estimée

par Xu-Net de 7% à 20%, et de 10% à 23% pour la stéganalyse non ciblée par un classifieur linéaire avec des caractéristiques GFR.

Abstract –

This work proposes a protocol to iteratively build a distortion function for adaptive steganography with increased practical security

after each iteration. It combines a prior-art targeted attack technique on a given detector with a min max strategy to dynamically select the most

difficult stego content associated with the best classifier at each iteration. Applied on J-Uniward, this new protocol increases P

err

from 7% to

20% when the attacked detector is Xu-Net, and from 10% to 23% for a non-targeted steganalysis by a linear classifier with GFR features.

1

Introduction

Une image

x = (x

i

)

∈ X est cover quand elle ne

contient pas de contenu caché. Une image

y = (y

i

)

∈ Y

désigne la version stego (i.e. avec contenu caché) de

x. Le but

du stéganographe est d’insérer un message dans toute image

cover

tout en minimisant la probabilité de détection de ce

dernier. Dans la problématique abordée par le présent travail,

le stéganographe a accès à une base d’images de taille

N

et à

un outil réputé être utilisé par l’adversaire

(stéganalyste)

f qui

évalue la probabilité qu’une image soit stego.

Les schémas stéganographiques les plus performants sont

basés sur le principe de minimisation de la distorsion, qui

consiste à assigner des coûts de modification à chaque élément

d’une image cover. Durant le processus d’insertion, l’objet

cover

est modifié afin de communiquer un message tout en

minimisant la distorsion totale mesurée par la somme des coûts

de modification, soit :

D(x, y) =

H×W

X

i=1

ρ

+

i

δ

1

(y

i

− x

i

) + ρ

−

i

δ

−1

(y

i

− x

i

).

(1)

Il existe plusieurs manières pour calculer les coûts

ρ

i

,

qui correspondent chacune à un schéma stéganographique

différent. Ci-dessous, nous décrivons un schéma qui permet

d’ajuster les coûts

ρ

i

afin de contrer un adversaire particulier

f .

La méthode ADV-EMB [1] consiste à rectifier les coûts

ρ

+

i

et

ρ

−

_i

de modification

+1 ou

_{−1 du i−ième élément, qui étaient}

préalablement calculés par un schéma stéganographique,

afin

de tromper

la détection du classifieur

f . Ainsi les coûts sont

mis à jour comme suit :

q

+

_i

=











ρ

+

_i

/α

si

₋

_∂x

∂f

i

> 0,

ρ

+

i

si

−

∂x

∂f

i

= 0,

ρ

+

_i

α

si

₋

_∂x

∂f

i

< 0,

(2)

où

_∂x

∂f

i

est la dérivée partielle de

f par rapport à la valeur du

i

−ième pixel de valeur x

i

.

α est un paramètre que les auteurs

fixent à

2. Les coûts q

−

i

sont modifiés de manière analogue,

en inversant le sens des inégalités. On note

z = (z

i

)

∈ Z

l’image stego obtenue sur la base des coûts

q

i

±

, i.e. par attaque

du stéganalyste. Notons que

_{Z ⊂ Y.}

Cette attaque nécessite d’abord de calculer les coûts

ρ

+

_i

et

ρ

−

_i

donnés par un schéma stéganographique arbitraire (ici

J-Uniward). Ensuite l’insertion consiste à modifier le minimum

de coefficients selon l’Equation (2) tel que l’image stego

obtenue soit classifiée cover par le classifieur.

2

Itérations sur des attaques adverses

En faisant l’hypothèse d’

équiprobabilité stego/cover, le taux

d’erreur

P

err

(f

|P

X

, P

Y

) d’un classifieur

1

f : X

7→ R sur les

objets cover et stego, tirés selon les distributions

P

X

et

P

Y

, est

donné par :

1. Sans perte de généralité, il est supposé que la sortie du classifieur f

est positive (resp. négative) si l’objet x est classifié stego (resp. cover). Ainsi,

pour simplifier la lecture, nous appelons f un classifieur, alors qu’il s’agit de

la fonction discriminante dont nous devons regarder le signe pour obtenir la

classe d’une image quelconque.

P

err

(f

|P

X

, P

Y

) =

1

2

E

P

X

[I

{f > 0}] +

1

2

E

P

Y

[I

{f < 0}],

(3)

où I est la fonction indicatrice. Comme le stéganographe vise

à maximiser son indétectabilité vis-à-vis d’une classe

d’adver-saires

_{F, le stéganographe choisit une fonction d’insertion h}

ins

qui maximise l’erreur du meilleur classifieur que l’adversaire

détient, soit :

max

h

ins

min

f ∈F

P

err

(f

|P

X

, P

Y

(h

ins

)),

(4)

où

P

Y

(h

ins

) est la distribution des images stego générées par la

fonction d’insertion

h

ins

à partir des images cover issues de

la distribution

P

X

. Ce problème est évidemment non trivial

car

_{F peut en théorie contenir une infinité de fonctions f.}

En pratique,

_{F est réduit à un ensemble fixé de fonctions}

paramétrisées par

θ

∈ Θ. Ces fonctions sont par exemple

l’ensemble des réseaux de neurones convolutifs ayant une

architecture fixée, où

θ sont ses paramètres.

En supposant que l’ensemble de fonctions

_{F est fini (dans}

le but de trouver une solution à l’équation (4)), nous pouvons

utiliser les méthodes [1, 2, 3] afin d’insérer un message

m dans

la cover

x et de créer la stego y en minimisant la performance

du meilleur classifieur

f

_{∈ F au lieu de maximiser P}

err

, i.e. :

min

y

max

f ∈F

f (y).

(5)

L’équation (5) transforme le problème de détermination de

la fonction de distorsion en un problème de définition de

l’ensemble de fonctions

_{F, qui doit être suffisamment riche}

pour détecter toutes sortes d’attaques stéganographiques, tout

en étant assez petit afin de rendre la minimisation possible. Le

reste de cette section vise à présenter un protocole itératif afin

de construire cet ensemble

_{F de classifieurs pour un nombre}

fixé d’architectures de réseaux de neurones.

2.1

Fonction de distorsion min max

Le protocole commence par la création d’un ensemble

d’images stego

_Y

0

en utilisant le schéma stéganographique

initial

h

ins

. Ensuite, un classifieur f

0

est entraîné afin de

classifier les images cover

_{X et Y}

0

. Il est ajouté à l’ensemble

des classifieurs disponibles ˆ

_F

0

=

{f

0

}. Dans un souci de

simplification des notations, nous notons

_Z

0

=

_Y

0

_.

À l’itération suivante, le stéganographe génère l’ensemble

d’images stego

_Z

1

en attaquant

f

0

_{. Ensuite, à partir de}

Z

0

_et

Z

1

_{, le stéganographe crée le nouvel ensemble d’images stego}

Y

1

_{en sélectionnant à chaque fois la version la plus difficile par}

rapport à l’ensemble des classifieurs disponibles ˆ

_F

0

(qui pour

le moment ne contient que

f

0

_{), c’est-à-dire :}

Y

1

₌

(

z











z = arg min

z∈{z

0

i

,z

1

i

}

max

f ∈ ˆ

F

0

f (z) , 1

≤ i ≤ N

)

,

(6)

où

z

·

i

représente l’image stego de l’ensemble

Z

·

générée à

partir de l’image cover

x

i

∈ X . Le stéganographe continue

ensuite en créant le nouveau classifieur

f

1

_{, qui classifie}

X et

Y

1

_{, puis l’ajoute à ˆ}

F

0

_{. Le nouvel ensemble de classifieurs est}

ˆ

F

1

_{= ˆ}

F

0

∪ {f

1

}.

À la

k

ième

_{itération du protocole, le stéganographe crée}

l’ensemble d’images

_Z

k

qui attaquent le dernier classifieur

f

k−1

_{. Les ensembles}

Z

0

_,

Z

1

_{, . . . ,}

Z

k

_{sont ensuite utilisés afin}

de créer le nouvel ensemble d’image stego

_Y

k

en sélectionnant

les images qui maximisent leur indétectabilité par tous les

classifieurs

f

∈ ˆ

F

k−1

_{, i .e. :}

Y

k

=

(

z











z =

arg min

z∈{z

0

i

,z

1

i

,...,z

k

i

}

max

f ∈ ˆ

F

k−1

f (z) , 1

_{≤ i ≤ N}

)

.

(7)

Les images

_Y

k

sont ensuite utilisées pour entraîner un nouveau

classifieur

f

k

_{pour classifier les cover}

_{X et stego Y}

k

_{, qui}

est par la suite ajouté à l’ensemble des classifieur, i.e. ˆ

_F

k

=

ˆ

F

k−1

_{∪ {f}

k

_{}. La méthode qui permet de créer Y}

k

_{en utilisant}

le protocole

min max est illustrée dans la Figure 1.

f

1

<latexit sha1_base64="dbC3JNoiOdvoUnqwXZ+pJMrx9Ec=">AAACx3icjVHLSsNAFD2Nr1pfVZdugkVwVRIRdFl0o7sK9gH1QTKdtkPzIpkUS3HhD7jVPxP/QP/CO+MU1CI6IcmZc+85M/dePwlEJh3ntWDNzS8sLhWXSyura+sb5c2tZhbnKeMNFgdx2va9jAci4g0pZMDbScq90A94yx+eqnhrxNNMxNGlHCf8OvT6kegJ5klF9W7c0m254lQdvexZ4BpQgVn1uPyCK3QRgyFHCI4IknAADxk9HbhwkBB3jQlxKSGh4xz3KJE2pyxOGR6xQ/r2adcxbER75ZlpNaNTAnpTUtrYI01MeSlhdZqt47l2Vuxv3hPtqe42pr9vvEJiJQbE/qWbZv5Xp2qR6OFY1yCopkQzqjpmXHLdFXVz+0tVkhwS4hTuUjwlzLRy2mdbazJdu+qtp+NvOlOxas9Mbo53dUsasPtznLOgeVB1nap7cVipnZhRF7GDXezTPI9QwxnqaJD3AI94wrN1bsXWyLr7TLUKRrONb8t6+AAfP5Ai</latexit><latexit sha1_base64="dbC3JNoiOdvoUnqwXZ+pJMrx9Ec=">AAACx3icjVHLSsNAFD2Nr1pfVZdugkVwVRIRdFl0o7sK9gH1QTKdtkPzIpkUS3HhD7jVPxP/QP/CO+MU1CI6IcmZc+85M/dePwlEJh3ntWDNzS8sLhWXSyura+sb5c2tZhbnKeMNFgdx2va9jAci4g0pZMDbScq90A94yx+eqnhrxNNMxNGlHCf8OvT6kegJ5klF9W7c0m254lQdvexZ4BpQgVn1uPyCK3QRgyFHCI4IknAADxk9HbhwkBB3jQlxKSGh4xz3KJE2pyxOGR6xQ/r2adcxbER75ZlpNaNTAnpTUtrYI01MeSlhdZqt47l2Vuxv3hPtqe42pr9vvEJiJQbE/qWbZv5Xp2qR6OFY1yCopkQzqjpmXHLdFXVz+0tVkhwS4hTuUjwlzLRy2mdbazJdu+qtp+NvOlOxas9Mbo53dUsasPtznLOgeVB1nap7cVipnZhRF7GDXezTPI9QwxnqaJD3AI94wrN1bsXWyLr7TLUKRrONb8t6+AAfP5Ai</latexit><latexit sha1_base64="dbC3JNoiOdvoUnqwXZ+pJMrx9Ec=">AAACx3icjVHLSsNAFD2Nr1pfVZdugkVwVRIRdFl0o7sK9gH1QTKdtkPzIpkUS3HhD7jVPxP/QP/CO+MU1CI6IcmZc+85M/dePwlEJh3ntWDNzS8sLhWXSyura+sb5c2tZhbnKeMNFgdx2va9jAci4g0pZMDbScq90A94yx+eqnhrxNNMxNGlHCf8OvT6kegJ5klF9W7c0m254lQdvexZ4BpQgVn1uPyCK3QRgyFHCI4IknAADxk9HbhwkBB3jQlxKSGh4xz3KJE2pyxOGR6xQ/r2adcxbER75ZlpNaNTAnpTUtrYI01MeSlhdZqt47l2Vuxv3hPtqe42pr9vvEJiJQbE/qWbZv5Xp2qR6OFY1yCopkQzqjpmXHLdFXVz+0tVkhwS4hTuUjwlzLRy2mdbazJdu+qtp+NvOlOxas9Mbo53dUsasPtznLOgeVB1nap7cVipnZhRF7GDXezTPI9QwxnqaJD3AI94wrN1bsXWyLr7TLUKRrONb8t6+AAfP5Ai</latexit><latexit sha1_base64="dbC3JNoiOdvoUnqwXZ+pJMrx9Ec=">AAACx3icjVHLSsNAFD2Nr1pfVZdugkVwVRIRdFl0o7sK9gH1QTKdtkPzIpkUS3HhD7jVPxP/QP/CO+MU1CI6IcmZc+85M/dePwlEJh3ntWDNzS8sLhWXSyura+sb5c2tZhbnKeMNFgdx2va9jAci4g0pZMDbScq90A94yx+eqnhrxNNMxNGlHCf8OvT6kegJ5klF9W7c0m254lQdvexZ4BpQgVn1uPyCK3QRgyFHCI4IknAADxk9HbhwkBB3jQlxKSGh4xz3KJE2pyxOGR6xQ/r2adcxbER75ZlpNaNTAnpTUtrYI01MeSlhdZqt47l2Vuxv3hPtqe42pr9vvEJiJQbE/qWbZv5Xp2qR6OFY1yCopkQzqjpmXHLdFXVz+0tVkhwS4hTuUjwlzLRy2mdbazJdu+qtp+NvOlOxas9Mbo53dUsasPtznLOgeVB1nap7cVipnZhRF7GDXezTPI9QwxnqaJD3AI94wrN1bsXWyLr7TLUKRrONb8t6+AAfP5Ai</latexit>

f

0

<latexit sha1_base64="9GQK29HUBVE4F+jA7jHiFHoFl6E=">AAACxnicjVHLSsNAFD2Nr1pfVZdugkVwVRIRdFl002VF+4BaJZlO69C8mEyUUgR/wK1+mvgH+hfeGVNQi+iEJGfOvefM3Hv9JBCpcpzXgjU3v7C4VFwurayurW+UN7daaZxJxpssDmLZ8b2UByLiTSVUwDuJ5F7oB7ztj051vH3LZSri6EKNE94LvWEkBoJ5iqjzwZVzXa44Vccsexa4OaggX424/IJL9BGDIUMIjgiKcAAPKT1duHCQENfDhDhJSJg4xz1KpM0oi1OGR+yIvkPadXM2or32TI2a0SkBvZKUNvZIE1OeJKxPs008M86a/c17Yjz13cb093OvkFiFG2L/0k0z/6vTtSgMcGxqEFRTYhhdHctdMtMVfXP7S1WKHBLiNO5TXBJmRjnts200qald99Yz8TeTqVm9Z3luhnd9Sxqw+3Ocs6B1UHWdqnt2WKmd5KMuYge72Kd5HqGGOhpokvcQj3jCs1W3Iiuz7j5TrUKu2ca3ZT18AN5XkA0=</latexit><latexit sha1_base64="9GQK29HUBVE4F+jA7jHiFHoFl6E=">AAACxnicjVHLSsNAFD2Nr1pfVZdugkVwVRIRdFl002VF+4BaJZlO69C8mEyUUgR/wK1+mvgH+hfeGVNQi+iEJGfOvefM3Hv9JBCpcpzXgjU3v7C4VFwurayurW+UN7daaZxJxpssDmLZ8b2UByLiTSVUwDuJ5F7oB7ztj051vH3LZSri6EKNE94LvWEkBoJ5iqjzwZVzXa44Vccsexa4OaggX424/IJL9BGDIUMIjgiKcAAPKT1duHCQENfDhDhJSJg4xz1KpM0oi1OGR+yIvkPadXM2or32TI2a0SkBvZKUNvZIE1OeJKxPs008M86a/c17Yjz13cb093OvkFiFG2L/0k0z/6vTtSgMcGxqEFRTYhhdHctdMtMVfXP7S1WKHBLiNO5TXBJmRjnts200qald99Yz8TeTqVm9Z3luhnd9Sxqw+3Ocs6B1UHWdqnt2WKmd5KMuYge72Kd5HqGGOhpokvcQj3jCs1W3Iiuz7j5TrUKu2ca3ZT18AN5XkA0=</latexit><latexit sha1_base64="9GQK29HUBVE4F+jA7jHiFHoFl6E=">AAACxnicjVHLSsNAFD2Nr1pfVZdugkVwVRIRdFl002VF+4BaJZlO69C8mEyUUgR/wK1+mvgH+hfeGVNQi+iEJGfOvefM3Hv9JBCpcpzXgjU3v7C4VFwurayurW+UN7daaZxJxpssDmLZ8b2UByLiTSVUwDuJ5F7oB7ztj051vH3LZSri6EKNE94LvWEkBoJ5iqjzwZVzXa44Vccsexa4OaggX424/IJL9BGDIUMIjgiKcAAPKT1duHCQENfDhDhJSJg4xz1KpM0oi1OGR+yIvkPadXM2or32TI2a0SkBvZKUNvZIE1OeJKxPs008M86a/c17Yjz13cb093OvkFiFG2L/0k0z/6vTtSgMcGxqEFRTYhhdHctdMtMVfXP7S1WKHBLiNO5TXBJmRjnts200qald99Yz8TeTqVm9Z3luhnd9Sxqw+3Ocs6B1UHWdqnt2WKmd5KMuYge72Kd5HqGGOhpokvcQj3jCs1W3Iiuz7j5TrUKu2ca3ZT18AN5XkA0=</latexit><latexit sha1_base64="9GQK29HUBVE4F+jA7jHiFHoFl6E=">AAACxnicjVHLSsNAFD2Nr1pfVZdugkVwVRIRdFl002VF+4BaJZlO69C8mEyUUgR/wK1+mvgH+hfeGVNQi+iEJGfOvefM3Hv9JBCpcpzXgjU3v7C4VFwurayurW+UN7daaZxJxpssDmLZ8b2UByLiTSVUwDuJ5F7oB7ztj051vH3LZSri6EKNE94LvWEkBoJ5iqjzwZVzXa44Vccsexa4OaggX424/IJL9BGDIUMIjgiKcAAPKT1duHCQENfDhDhJSJg4xz1KpM0oi1OGR+yIvkPadXM2or32TI2a0SkBvZKUNvZIE1OeJKxPs008M86a/c17Yjz13cb093OvkFiFG2L/0k0z/6vTtSgMcGxqEFRTYhhdHctdMtMVfXP7S1WKHBLiNO5TXBJmRjnts200qald99Yz8TeTqVm9Z3luhnd9Sxqw+3Ocs6B1UHWdqnt2WKmd5KMuYge72Kd5HqGGOhpokvcQj3jCs1W3Iiuz7j5TrUKu2ca3ZT18AN5XkA0=</latexit>

f

2

<latexit sha1_base64="iUfY306fKxM0cuI2B/z0uLUUTiI=">AAACxnicjVHLSsNAFD2Nr1pfVZdugkVwVZIi6LLopsuK9gG1SjKd1tC8mEwUKYI/4FY/TfwD/QvvjFNQi+iEJGfOvefM3Hv9NAwy6TivBWtufmFxqbhcWlldW98ob261syQXjLdYEiai63sZD4OYt2QgQ95NBfciP+Qdf3yi4p0bLrIgic/lXcr7kTeKg2HAPEnU2fCydlWuOFVHL3sWuAZUYFYzKb/gAgMkYMgRgSOGJBzCQ0ZPDy4cpMT1MSFOEAp0nOMeJdLmlMUpwyN2TN8R7XqGjWmvPDOtZnRKSK8gpY090iSUJwir02wdz7WzYn/znmhPdbc7+vvGKyJW4prYv3TTzP/qVC0SQxzpGgKqKdWMqo4Zl1x3Rd3c/lKVJIeUOIUHFBeEmVZO+2xrTaZrV731dPxNZypW7ZnJzfGubkkDdn+Ocxa0a1XXqbqnB5X6sRl1ETvYxT7N8xB1NNBEi7xHeMQTnq2GFVu5dfuZahWMZhvflvXwAeMXkA8=</latexit><latexit sha1_base64="iUfY306fKxM0cuI2B/z0uLUUTiI=">AAACxnicjVHLSsNAFD2Nr1pfVZdugkVwVZIi6LLopsuK9gG1SjKd1tC8mEwUKYI/4FY/TfwD/QvvjFNQi+iEJGfOvefM3Hv9NAwy6TivBWtufmFxqbhcWlldW98ob261syQXjLdYEiai63sZD4OYt2QgQ95NBfciP+Qdf3yi4p0bLrIgic/lXcr7kTeKg2HAPEnU2fCydlWuOFVHL3sWuAZUYFYzKb/gAgMkYMgRgSOGJBzCQ0ZPDy4cpMT1MSFOEAp0nOMeJdLmlMUpwyN2TN8R7XqGjWmvPDOtZnRKSK8gpY090iSUJwir02wdz7WzYn/znmhPdbc7+vvGKyJW4prYv3TTzP/qVC0SQxzpGgKqKdWMqo4Zl1x3Rd3c/lKVJIeUOIUHFBeEmVZO+2xrTaZrV731dPxNZypW7ZnJzfGubkkDdn+Ocxa0a1XXqbqnB5X6sRl1ETvYxT7N8xB1NNBEi7xHeMQTnq2GFVu5dfuZahWMZhvflvXwAeMXkA8=</latexit><latexit sha1_base64="iUfY306fKxM0cuI2B/z0uLUUTiI=">AAACxnicjVHLSsNAFD2Nr1pfVZdugkVwVZIi6LLopsuK9gG1SjKd1tC8mEwUKYI/4FY/TfwD/QvvjFNQi+iEJGfOvefM3Hv9NAwy6TivBWtufmFxqbhcWlldW98ob261syQXjLdYEiai63sZD4OYt2QgQ95NBfciP+Qdf3yi4p0bLrIgic/lXcr7kTeKg2HAPEnU2fCydlWuOFVHL3sWuAZUYFYzKb/gAgMkYMgRgSOGJBzCQ0ZPDy4cpMT1MSFOEAp0nOMeJdLmlMUpwyN2TN8R7XqGjWmvPDOtZnRKSK8gpY090iSUJwir02wdz7WzYn/znmhPdbc7+vvGKyJW4prYv3TTzP/qVC0SQxzpGgKqKdWMqo4Zl1x3Rd3c/lKVJIeUOIUHFBeEmVZO+2xrTaZrV731dPxNZypW7ZnJzfGubkkDdn+Ocxa0a1XXqbqnB5X6sRl1ETvYxT7N8xB1NNBEi7xHeMQTnq2GFVu5dfuZahWMZhvflvXwAeMXkA8=</latexit><latexit sha1_base64="iUfY306fKxM0cuI2B/z0uLUUTiI=">AAACxnicjVHLSsNAFD2Nr1pfVZdugkVwVZIi6LLopsuK9gG1SjKd1tC8mEwUKYI/4FY/TfwD/QvvjFNQi+iEJGfOvefM3Hv9NAwy6TivBWtufmFxqbhcWlldW98ob261syQXjLdYEiai63sZD4OYt2QgQ95NBfciP+Qdf3yi4p0bLrIgic/lXcr7kTeKg2HAPEnU2fCydlWuOFVHL3sWuAZUYFYzKb/gAgMkYMgRgSOGJBzCQ0ZPDy4cpMT1MSFOEAp0nOMeJdLmlMUpwyN2TN8R7XqGjWmvPDOtZnRKSK8gpY090iSUJwir02wdz7WzYn/znmhPdbc7+vvGKyJW4prYv3TTzP/qVC0SQxzpGgKqKdWMqo4Zl1x3Rd3c/lKVJIeUOIUHFBeEmVZO+2xrTaZrV731dPxNZypW7ZnJzfGubkkDdn+Ocxa0a1XXqbqnB5X6sRl1ETvYxT7N8xB1NNBEi7xHeMQTnq2GFVu5dfuZahWMZhvflvXwAeMXkA8=</latexit>

X

<latexit sha1_base64="Mai5bsDED0rJsSW3ZyD51RcQ+d8=">AAACznicjVHLSsNAFD2Nr1pfVZdugkVwVRIRdFl047KCfUAtMplO29C8SCaFUopbf8Ctfpb4B/oX3hmnoBbRCUnOnHvOnbn3ekngZ9JxXgvW0vLK6lpxvbSxubW9U97da2ZxnnLR4HEQp22PZSLwI9GQvgxEO0kFC71AtLzRpYq3xiLN/Di6kZNEdEM2iPy+z5kkqnMbMjnkLJi2Z3flilN19LIXgWtABWbV4/ILbtFDDI4cIQQiSMIBGDJ6OnDhICGuiylxKSFfxwVmKJE3J5UgBSN2RN8B7TqGjWivcmbazemUgN6UnDaOyBOTLiWsTrN1PNeZFftb7qnOqe42ob9ncoXESgyJ/cs3V/7Xp2qR6ONc1+BTTYlmVHXcZMl1V9TN7S9VScqQEKdwj+IpYa6d8z7b2pPp2lVvmY6/aaVi1Z4bbY53dUsasPtznIugeVJ1nap7fVqpXZhRF3GAQxzTPM9QwxXqaOiOP+IJz1bdGlsz6/5TahWMZx/flvXwAZzxk+8=</latexit><latexit sha1_base64="Mai5bsDED0rJsSW3ZyD51RcQ+d8=">AAACznicjVHLSsNAFD2Nr1pfVZdugkVwVRIRdFl047KCfUAtMplO29C8SCaFUopbf8Ctfpb4B/oX3hmnoBbRCUnOnHvOnbn3ekngZ9JxXgvW0vLK6lpxvbSxubW9U97da2ZxnnLR4HEQp22PZSLwI9GQvgxEO0kFC71AtLzRpYq3xiLN/Di6kZNEdEM2iPy+z5kkqnMbMjnkLJi2Z3flilN19LIXgWtABWbV4/ILbtFDDI4cIQQiSMIBGDJ6OnDhICGuiylxKSFfxwVmKJE3J5UgBSN2RN8B7TqGjWivcmbazemUgN6UnDaOyBOTLiWsTrN1PNeZFftb7qnOqe42ob9ncoXESgyJ/cs3V/7Xp2qR6ONc1+BTTYlmVHXcZMl1V9TN7S9VScqQEKdwj+IpYa6d8z7b2pPp2lVvmY6/aaVi1Z4bbY53dUsasPtznIugeVJ1nap7fVqpXZhRF3GAQxzTPM9QwxXqaOiOP+IJz1bdGlsz6/5TahWMZx/flvXwAZzxk+8=</latexit><latexit sha1_base64="Mai5bsDED0rJsSW3ZyD51RcQ+d8=">AAACznicjVHLSsNAFD2Nr1pfVZdugkVwVRIRdFl047KCfUAtMplO29C8SCaFUopbf8Ctfpb4B/oX3hmnoBbRCUnOnHvOnbn3ekngZ9JxXgvW0vLK6lpxvbSxubW9U97da2ZxnnLR4HEQp22PZSLwI9GQvgxEO0kFC71AtLzRpYq3xiLN/Di6kZNEdEM2iPy+z5kkqnMbMjnkLJi2Z3flilN19LIXgWtABWbV4/ILbtFDDI4cIQQiSMIBGDJ6OnDhICGuiylxKSFfxwVmKJE3J5UgBSN2RN8B7TqGjWivcmbazemUgN6UnDaOyBOTLiWsTrN1PNeZFftb7qnOqe42ob9ncoXESgyJ/cs3V/7Xp2qR6ONc1+BTTYlmVHXcZMl1V9TN7S9VScqQEKdwj+IpYa6d8z7b2pPp2lVvmY6/aaVi1Z4bbY53dUsasPtznIugeVJ1nap7fVqpXZhRF3GAQxzTPM9QwxXqaOiOP+IJz1bdGlsz6/5TahWMZx/flvXwAZzxk+8=</latexit><latexit sha1_base64="Mai5bsDED0rJsSW3ZyD51RcQ+d8=">AAACznicjVHLSsNAFD2Nr1pfVZdugkVwVRIRdFl047KCfUAtMplO29C8SCaFUopbf8Ctfpb4B/oX3hmnoBbRCUnOnHvOnbn3ekngZ9JxXgvW0vLK6lpxvbSxubW9U97da2ZxnnLR4HEQp22PZSLwI9GQvgxEO0kFC71AtLzRpYq3xiLN/Di6kZNEdEM2iPy+z5kkqnMbMjnkLJi2Z3flilN19LIXgWtABWbV4/ILbtFDDI4cIQQiSMIBGDJ6OnDhICGuiylxKSFfxwVmKJE3J5UgBSN2RN8B7TqGjWivcmbazemUgN6UnDaOyBOTLiWsTrN1PNeZFftb7qnOqe42ob9ncoXESgyJ/cs3V/7Xp2qR6ONc1+BTTYlmVHXcZMl1V9TN7S9VScqQEKdwj+IpYa6d8z7b2pPp2lVvmY6/aaVi1Z4bbY53dUsasPtznIugeVJ1nap7fVqpXZhRF3GAQxzTPM9QwxXqaOiOP+IJz1bdGlsz6/5TahWMZx/flvXwAZzxk+8=</latexit>

z

3

<latexit sha1_base64="S6u7DhWCTEMEQGs5cBkKlBqt71s=">AAAC0HicjVHLSsNAFD2Nr1pfVZdugkVwVRIVdCm6cVnFPqCtMkmnbTAvk4mopYhbf8CtfpX4B/oX3hmnoBbRCUnOnHvPmbn3OrHvpcKyXnPGxOTU9Ex+tjA3v7C4VFxeqaVRlri86kZ+lDQclnLfC3lVeMLnjTjhLHB8XncuDmW8fsWT1IvCU3ET83bAeqHX9VwmiGq3Aib6TndwOzzbLpwXS1bZUsscB7YGJehViYovaKGDCC4yBOAIIQj7YEjpacKGhZi4NgbEJYQ8FecYokDajLI4ZTBiL+jbo11TsyHtpWeq1C6d4tObkNLEBmkiyksIy9NMFc+Us2R/8x4oT3m3G/o72isgVqBP7F+6UeZ/dbIWgS72VA0e1RQrRlbnapdMdUXe3PxSlSCHmDiJOxRPCLtKOeqzqTSpql32lqn4m8qUrNy7OjfDu7wlDdj+Oc5xUNsq21bZPt4p7R/oUeexhnVs0jx3sY8jVFAl70s84gnPxolxbdwZ95+pRk5rVvFtGQ8fvFiUWA==</latexit><latexit sha1_base64="S6u7DhWCTEMEQGs5cBkKlBqt71s=">AAAC0HicjVHLSsNAFD2Nr1pfVZdugkVwVRIVdCm6cVnFPqCtMkmnbTAvk4mopYhbf8CtfpX4B/oX3hmnoBbRCUnOnHvPmbn3OrHvpcKyXnPGxOTU9Ex+tjA3v7C4VFxeqaVRlri86kZ+lDQclnLfC3lVeMLnjTjhLHB8XncuDmW8fsWT1IvCU3ET83bAeqHX9VwmiGq3Aib6TndwOzzbLpwXS1bZUsscB7YGJehViYovaKGDCC4yBOAIIQj7YEjpacKGhZi4NgbEJYQ8FecYokDajLI4ZTBiL+jbo11TsyHtpWeq1C6d4tObkNLEBmkiyksIy9NMFc+Us2R/8x4oT3m3G/o72isgVqBP7F+6UeZ/dbIWgS72VA0e1RQrRlbnapdMdUXe3PxSlSCHmDiJOxRPCLtKOeqzqTSpql32lqn4m8qUrNy7OjfDu7wlDdj+Oc5xUNsq21bZPt4p7R/oUeexhnVs0jx3sY8jVFAl70s84gnPxolxbdwZ95+pRk5rVvFtGQ8fvFiUWA==</latexit><latexit sha1_base64="S6u7DhWCTEMEQGs5cBkKlBqt71s=">AAAC0HicjVHLSsNAFD2Nr1pfVZdugkVwVRIVdCm6cVnFPqCtMkmnbTAvk4mopYhbf8CtfpX4B/oX3hmnoBbRCUnOnHvPmbn3OrHvpcKyXnPGxOTU9Ex+tjA3v7C4VFxeqaVRlri86kZ+lDQclnLfC3lVeMLnjTjhLHB8XncuDmW8fsWT1IvCU3ET83bAeqHX9VwmiGq3Aib6TndwOzzbLpwXS1bZUsscB7YGJehViYovaKGDCC4yBOAIIQj7YEjpacKGhZi4NgbEJYQ8FecYokDajLI4ZTBiL+jbo11TsyHtpWeq1C6d4tObkNLEBmkiyksIy9NMFc+Us2R/8x4oT3m3G/o72isgVqBP7F+6UeZ/dbIWgS72VA0e1RQrRlbnapdMdUXe3PxSlSCHmDiJOxRPCLtKOeqzqTSpql32lqn4m8qUrNy7OjfDu7wlDdj+Oc5xUNsq21bZPt4p7R/oUeexhnVs0jx3sY8jVFAl70s84gnPxolxbdwZ95+pRk5rVvFtGQ8fvFiUWA==</latexit><latexit sha1_base64="S6u7DhWCTEMEQGs5cBkKlBqt71s=">AAAC0HicjVHLSsNAFD2Nr1pfVZdugkVwVRIVdCm6cVnFPqCtMkmnbTAvk4mopYhbf8CtfpX4B/oX3hmnoBbRCUnOnHvPmbn3OrHvpcKyXnPGxOTU9Ex+tjA3v7C4VFxeqaVRlri86kZ+lDQclnLfC3lVeMLnjTjhLHB8XncuDmW8fsWT1IvCU3ET83bAeqHX9VwmiGq3Aib6TndwOzzbLpwXS1bZUsscB7YGJehViYovaKGDCC4yBOAIIQj7YEjpacKGhZi4NgbEJYQ8FecYokDajLI4ZTBiL+jbo11TsyHtpWeq1C6d4tObkNLEBmkiyksIy9NMFc+Us2R/8x4oT3m3G/o72isgVqBP7F+6UeZ/dbIWgS72VA0e1RQrRlbnapdMdUXe3PxSlSCHmDiJOxRPCLtKOeqzqTSpql32lqn4m8qUrNy7OjfDu7wlDdj+Oc5xUNsq21bZPt4p7R/oUeexhnVs0jx3sY8jVFAl70s84gnPxolxbdwZ95+pRk5rVvFtGQ8fvFiUWA==</latexit>

y

3

_{= z}

0

<latexit sha1_base64="sLHkNqLR2WjTYwLPvDVzhCACY5g=">AAAC4XicjVHLSsQwFD3W1/iuutRFcRBcDa0KuhEG3bhUcFTwRRozWuyLNBXGYTbu3Ilbf8Ct/oz4B/oX3sQM+EA0pe25595zkpsb5nFUKN9/6XF6+/oHBitDwyOjY+MT7uTUbpGVkosGz+JM7oesEHGUioaKVCz2cylYEsZiL7zY0Pm9SyGLKEt3VCsXRwk7S6NmxJki6sSdPUyYOg+b7VbneMlb87rhVefY907cql/zzfJ+gsCCKuzaytxnHOIUGThKJBBIoQjHYCjoOUAAHzlxR2gTJwlFJi/QwTBpS6oSVMGIvaDvGUUHlk0p1p6FUXPaJaZXktLDPGkyqpOE9W6eyZfGWbO/ebeNpz5bi/6h9UqIVTgn9i9dt/K/Ot2LQhOrpoeIesoNo7vj1qU0t6JP7n3qSpFDTpzGp5SXhLlRdu/ZM5rC9K7vlpn8q6nUrI65rS3xpk9JAw6+j/Mn2F2sBX4t2F6u1tftqCuYwRwWaJ4rqGMTW2iQ9zUe8Ignhzs3zq1z91Hq9FjNNL4s5/4dvJGafw==</latexit><latexit sha1_base64="sLHkNqLR2WjTYwLPvDVzhCACY5g=">AAAC4XicjVHLSsQwFD3W1/iuutRFcRBcDa0KuhEG3bhUcFTwRRozWuyLNBXGYTbu3Ilbf8Ct/oz4B/oX3sQM+EA0pe25595zkpsb5nFUKN9/6XF6+/oHBitDwyOjY+MT7uTUbpGVkosGz+JM7oesEHGUioaKVCz2cylYEsZiL7zY0Pm9SyGLKEt3VCsXRwk7S6NmxJki6sSdPUyYOg+b7VbneMlb87rhVefY907cql/zzfJ+gsCCKuzaytxnHOIUGThKJBBIoQjHYCjoOUAAHzlxR2gTJwlFJi/QwTBpS6oSVMGIvaDvGUUHlk0p1p6FUXPaJaZXktLDPGkyqpOE9W6eyZfGWbO/ebeNpz5bi/6h9UqIVTgn9i9dt/K/Ot2LQhOrpoeIesoNo7vj1qU0t6JP7n3qSpFDTpzGp5SXhLlRdu/ZM5rC9K7vlpn8q6nUrI65rS3xpk9JAw6+j/Mn2F2sBX4t2F6u1tftqCuYwRwWaJ4rqGMTW2iQ9zUe8Ignhzs3zq1z91Hq9FjNNL4s5/4dvJGafw==</latexit><latexit sha1_base64="sLHkNqLR2WjTYwLPvDVzhCACY5g=">AAAC4XicjVHLSsQwFD3W1/iuutRFcRBcDa0KuhEG3bhUcFTwRRozWuyLNBXGYTbu3Ilbf8Ct/oz4B/oX3sQM+EA0pe25595zkpsb5nFUKN9/6XF6+/oHBitDwyOjY+MT7uTUbpGVkosGz+JM7oesEHGUioaKVCz2cylYEsZiL7zY0Pm9SyGLKEt3VCsXRwk7S6NmxJki6sSdPUyYOg+b7VbneMlb87rhVefY907cql/zzfJ+gsCCKuzaytxnHOIUGThKJBBIoQjHYCjoOUAAHzlxR2gTJwlFJi/QwTBpS6oSVMGIvaDvGUUHlk0p1p6FUXPaJaZXktLDPGkyqpOE9W6eyZfGWbO/ebeNpz5bi/6h9UqIVTgn9i9dt/K/Ot2LQhOrpoeIesoNo7vj1qU0t6JP7n3qSpFDTpzGp5SXhLlRdu/ZM5rC9K7vlpn8q6nUrI65rS3xpk9JAw6+j/Mn2F2sBX4t2F6u1tftqCuYwRwWaJ4rqGMTW2iQ9zUe8Ignhzs3zq1z91Hq9FjNNL4s5/4dvJGafw==</latexit><latexit sha1_base64="sLHkNqLR2WjTYwLPvDVzhCACY5g=">AAAC4XicjVHLSsQwFD3W1/iuutRFcRBcDa0KuhEG3bhUcFTwRRozWuyLNBXGYTbu3Ilbf8Ct/oz4B/oX3sQM+EA0pe25595zkpsb5nFUKN9/6XF6+/oHBitDwyOjY+MT7uTUbpGVkosGz+JM7oesEHGUioaKVCz2cylYEsZiL7zY0Pm9SyGLKEt3VCsXRwk7S6NmxJki6sSdPUyYOg+b7VbneMlb87rhVefY907cql/zzfJ+gsCCKuzaytxnHOIUGThKJBBIoQjHYCjoOUAAHzlxR2gTJwlFJi/QwTBpS6oSVMGIvaDvGUUHlk0p1p6FUXPaJaZXktLDPGkyqpOE9W6eyZfGWbO/ebeNpz5bi/6h9UqIVTgn9i9dt/K/Ot2LQhOrpoeIesoNo7vj1qU0t6JP7n3qSpFDTpzGp5SXhLlRdu/ZM5rC9K7vlpn8q6nUrI65rS3xpk9JAw6+j/Mn2F2sBX4t2F6u1tftqCuYwRwWaJ4rqGMTW2iQ9zUe8Ignhzs3zq1z91Hq9FjNNL4s5/4dvJGafw==</latexit>

z

2

<latexit sha1_base64="B4cxcQxPjTt1K215yjubiHzKY6E=">AAACz3icjVHLSsNAFD2Nr1pfVZdugkVwVZIi6FJ047IF+4C2SjKdtkPzIpkoWipu/QG3+lfiH+hfeGdMQS2iE5KcOfeeM3PvdSNPJNKyXnPG3PzC4lJ+ubCyura+UdzcaiRhGjNeZ6EXxi3XSbgnAl6XQnq8FcXc8V2PN93RqYo3r3iciDA4lzcR7/rOIBB9wRxJVKfjO3Lo9se3k4vKZbFklS29zFlgZ6CEbFXD4gs66CEEQwofHAEkYQ8OEnrasGEhIq6LMXExIaHjHBMUSJtSFqcMh9gRfQe0a2dsQHvlmWg1o1M8emNSmtgjTUh5MWF1mqnjqXZW7G/eY+2p7nZDfzfz8omVGBL7l26a+V+dqkWijyNdg6CaIs2o6ljmkuquqJubX6qS5BARp3CP4jFhppXTPptak+jaVW8dHX/TmYpVe5blpnhXt6QB2z/HOQsalbJtle3aQen4JBt1HjvYxT7N8xDHOEMVdfKO8IgnPBs149q4M+4/U41cptnGt2U8fAB3kZRD</latexit><latexit sha1_base64="B4cxcQxPjTt1K215yjubiHzKY6E=">AAACz3icjVHLSsNAFD2Nr1pfVZdugkVwVZIi6FJ047IF+4C2SjKdtkPzIpkoWipu/QG3+lfiH+hfeGdMQS2iE5KcOfeeM3PvdSNPJNKyXnPG3PzC4lJ+ubCyura+UdzcaiRhGjNeZ6EXxi3XSbgnAl6XQnq8FcXc8V2PN93RqYo3r3iciDA4lzcR7/rOIBB9wRxJVKfjO3Lo9se3k4vKZbFklS29zFlgZ6CEbFXD4gs66CEEQwofHAEkYQ8OEnrasGEhIq6LMXExIaHjHBMUSJtSFqcMh9gRfQe0a2dsQHvlmWg1o1M8emNSmtgjTUh5MWF1mqnjqXZW7G/eY+2p7nZDfzfz8omVGBL7l26a+V+dqkWijyNdg6CaIs2o6ljmkuquqJubX6qS5BARp3CP4jFhppXTPptak+jaVW8dHX/TmYpVe5blpnhXt6QB2z/HOQsalbJtle3aQen4JBt1HjvYxT7N8xDHOEMVdfKO8IgnPBs149q4M+4/U41cptnGt2U8fAB3kZRD</latexit><latexit sha1_base64="B4cxcQxPjTt1K215yjubiHzKY6E=">AAACz3icjVHLSsNAFD2Nr1pfVZdugkVwVZIi6FJ047IF+4C2SjKdtkPzIpkoWipu/QG3+lfiH+hfeGdMQS2iE5KcOfeeM3PvdSNPJNKyXnPG3PzC4lJ+ubCyura+UdzcaiRhGjNeZ6EXxi3XSbgnAl6XQnq8FcXc8V2PN93RqYo3r3iciDA4lzcR7/rOIBB9wRxJVKfjO3Lo9se3k4vKZbFklS29zFlgZ6CEbFXD4gs66CEEQwofHAEkYQ8OEnrasGEhIq6LMXExIaHjHBMUSJtSFqcMh9gRfQe0a2dsQHvlmWg1o1M8emNSmtgjTUh5MWF1mqnjqXZW7G/eY+2p7nZDfzfz8omVGBL7l26a+V+dqkWijyNdg6CaIs2o6ljmkuquqJubX6qS5BARp3CP4jFhppXTPptak+jaVW8dHX/TmYpVe5blpnhXt6QB2z/HOQsalbJtle3aQen4JBt1HjvYxT7N8xDHOEMVdfKO8IgnPBs149q4M+4/U41cptnGt2U8fAB3kZRD</latexit><latexit sha1_base64="B4cxcQxPjTt1K215yjubiHzKY6E=">AAACz3icjVHLSsNAFD2Nr1pfVZdugkVwVZIi6FJ047IF+4C2SjKdtkPzIpkoWipu/QG3+lfiH+hfeGdMQS2iE5KcOfeeM3PvdSNPJNKyXnPG3PzC4lJ+ubCyura+UdzcaiRhGjNeZ6EXxi3XSbgnAl6XQnq8FcXc8V2PN93RqYo3r3iciDA4lzcR7/rOIBB9wRxJVKfjO3Lo9se3k4vKZbFklS29zFlgZ6CEbFXD4gs66CEEQwofHAEkYQ8OEnrasGEhIq6LMXExIaHjHBMUSJtSFqcMh9gRfQe0a2dsQHvlmWg1o1M8emNSmtgjTUh5MWF1mqnjqXZW7G/eY+2p7nZDfzfz8omVGBL7l26a+V+dqkWijyNdg6CaIs2o6ljmkuquqJubX6qS5BARp3CP4jFhppXTPptak+jaVW8dHX/TmYpVe5blpnhXt6QB2z/HOQsalbJtle3aQen4JBt1HjvYxT7N8xDHOEMVdfKO8IgnPBs149q4M+4/U41cptnGt2U8fAB3kZRD</latexit>

z

1

<latexit sha1_base64="IT56pLCrAY6UzCnHNlWRUsojFZ4=">AAACz3icjVHLSsNAFD2Nr1pfVZdugkVwVRIRdFl047IF+4C2SpJO28G8SCZKLRW3/oBb/SvxD/QvvDNOQS2iE5KcOfeeM3PvdWOfp8KyXnPG3PzC4lJ+ubCyura+UdzcaqRRlnis7kV+lLRcJ2U+D1ldcOGzVpwwJ3B91nSvTmW8ec2SlEfhuRjFrBs4g5D3uecIojqdwBFDtz++nVzYl8WSVbbUMmeBrUEJelWj4gs66CGChwwBGEIIwj4cpPS0YcNCTFwXY+ISQlzFGSYokDajLEYZDrFX9B3Qrq3ZkPbSM1Vqj07x6U1IaWKPNBHlJYTlaaaKZ8pZsr95j5WnvNuI/q72CogVGBL7l26a+V+drEWgj2NVA6eaYsXI6jztkqmuyJubX6oS5BATJ3GP4glhTymnfTaVJlW1y946Kv6mMiUr957OzfAub0kDtn+OcxY0Dsq2VbZrh6XKiR51HjvYxT7N8wgVnKGKOnnHeMQTno2acWPcGfefqUZOa7bxbRkPH3UxlEI=</latexit><latexit sha1_base64="IT56pLCrAY6UzCnHNlWRUsojFZ4=">AAACz3icjVHLSsNAFD2Nr1pfVZdugkVwVRIRdFl047IF+4C2SpJO28G8SCZKLRW3/oBb/SvxD/QvvDNOQS2iE5KcOfeeM3PvdWOfp8KyXnPG3PzC4lJ+ubCyura+UdzcaqRRlnis7kV+lLRcJ2U+D1ldcOGzVpwwJ3B91nSvTmW8ec2SlEfhuRjFrBs4g5D3uecIojqdwBFDtz++nVzYl8WSVbbUMmeBrUEJelWj4gs66CGChwwBGEIIwj4cpPS0YcNCTFwXY+ISQlzFGSYokDajLEYZDrFX9B3Qrq3ZkPbSM1Vqj07x6U1IaWKPNBHlJYTlaaaKZ8pZsr95j5WnvNuI/q72CogVGBL7l26a+V+drEWgj2NVA6eaYsXI6jztkqmuyJubX6oS5BATJ3GP4glhTymnfTaVJlW1y946Kv6mMiUr957OzfAub0kDtn+OcxY0Dsq2VbZrh6XKiR51HjvYxT7N8wgVnKGKOnnHeMQTno2acWPcGfefqUZOa7bxbRkPH3UxlEI=</latexit><latexit sha1_base64="IT56pLCrAY6UzCnHNlWRUsojFZ4=">AAACz3icjVHLSsNAFD2Nr1pfVZdugkVwVRIRdFl047IF+4C2SpJO28G8SCZKLRW3/oBb/SvxD/QvvDNOQS2iE5KcOfeeM3PvdWOfp8KyXnPG3PzC4lJ+ubCyura+UdzcaqRRlnis7kV+lLRcJ2U+D1ldcOGzVpwwJ3B91nSvTmW8ec2SlEfhuRjFrBs4g5D3uecIojqdwBFDtz++nVzYl8WSVbbUMmeBrUEJelWj4gs66CGChwwBGEIIwj4cpPS0YcNCTFwXY+ISQlzFGSYokDajLEYZDrFX9B3Qrq3ZkPbSM1Vqj07x6U1IaWKPNBHlJYTlaaaKZ8pZsr95j5WnvNuI/q72CogVGBL7l26a+V+drEWgj2NVA6eaYsXI6jztkqmuyJubX6oS5BATJ3GP4glhTymnfTaVJlW1y946Kv6mMiUr957OzfAub0kDtn+OcxY0Dsq2VbZrh6XKiR51HjvYxT7N8wgVnKGKOnnHeMQTno2acWPcGfefqUZOa7bxbRkPH3UxlEI=</latexit><latexit sha1_base64="IT56pLCrAY6UzCnHNlWRUsojFZ4=">AAACz3icjVHLSsNAFD2Nr1pfVZdugkVwVRIRdFl047IF+4C2SpJO28G8SCZKLRW3/oBb/SvxD/QvvDNOQS2iE5KcOfeeM3PvdWOfp8KyXnPG3PzC4lJ+ubCyura+UdzcaqRRlnis7kV+lLRcJ2U+D1ldcOGzVpwwJ3B91nSvTmW8ec2SlEfhuRjFrBs4g5D3uecIojqdwBFDtz++nVzYl8WSVbbUMmeBrUEJelWj4gs66CGChwwBGEIIwj4cpPS0YcNCTFwXY+ISQlzFGSYokDajLEYZDrFX9B3Qrq3ZkPbSM1Vqj07x6U1IaWKPNBHlJYTlaaaKZ8pZsr95j5WnvNuI/q72CogVGBL7l26a+V+drEWgj2NVA6eaYsXI6jztkqmuyJubX6oS5BATJ3GP4glhTymnfTaVJlW1y946Kv6mMiUr957OzfAub0kDtn+OcxY0Dsq2VbZrh6XKiR51HjvYxT7N8wgVnKGKOnnHeMQTno2acWPcGfefqUZOa7bxbRkPH3UxlEI=</latexit>

F

IGURE

1 – Illustration de la création d’une image stego

y

3

à l’itération

k = 3 par la stratégie min max à partir de

{z

0

_{, z}

1

_{, z}

2

_{, z}

3

}. On suppose que les classifieurs sont linéaires

et que la valeur

f

i

_(z

j

_{) est la distance algébrique par rapport}

au plan de séparation. Les lignes en traitillé correspondent aux

distances positives, les lignes en pointillé à celles négatives, et

les lignes en gras correspondent à

max

i

f

i

(z

j

). Ici la stratégie

min max donne y

3

_{= z}

0

_.

Notons que la sécurité de cet algorithme de stéganographie

dépend de deux facteurs : (i) l’ensemble de tous les classifieurs

possibles

_{F ; (ii) la qualité de l’attaque d’un classifieur f ∈}

F. Ainsi, apporter une amélioration à l’un de ces deux points

amène à l’amélioration global du schéma.

3

Expériences

3.1

Choix de l’ensemble des classifieurs

_F

Dans ce papier, nous voyons les réseaux de neurones comme

un outil permettant de choisir un classifieur

f parmi la classe

de fonctions

_{F, tel que f minimise le taux de mauvaise}

classification (3) :

ˆ

P

err

(f ;

X , Y ) =

1

|X |

X

x∈X

I

{f(x) > 0}+

1

|Y |

X

x∈Y

I

{f(x) < 0} .

(8)

Les réseaux de neurones convolutifs (CNN) ont le bon goût

d’être différentiables, c’est-à-dire qu’on peut calculer

∂f

_∂x

pour

tout

x et pour tout f

_{∈ F.}

C’est pourquoi nous décidons que l’ensemble des

classi-fieurs

_{F est égal à l’ensemble des CNNs qui ont pour}

archi-tecture celle de Xu-Net [4]. Nous choisissons ce classifieur car

il atteint de très bonnes performances sur la stégalanyse des

images JPEG, et parce que son entraînement nécessite moins

de ressources en temps et mémoire que SRNet [5] par exemple.

3.2

Détails des expériences

Insertion :

L’algorithme d’insertion utilisé pour initialiser le

protocole pour calculer les coûts de modifications des

coeffi-cients DCT est J-Uniward [6]. Nous utilisons la version JPEG

de la base d’images BossBase [7] de taille

512

_{× 512 en niveau}

de gris et compressées avec un facteur de qualité de 75. Un taux

d’insertion de 0.4 bits par coefficient AC DCT non nul (bpnzac)

est choisi.

Classification/Stéganalyse :

L’implémentation proposée de

Xu-Net utilise la librairie TensorFlow. Les poids du classifieur

sont initialisés aléatoirement (bruit Gaussien de moyenne nulle

et d’écart-type 0.01), et utilise

2

_{× 4000 images cover et stego}

pour l’entraînement, et les

2

_{× 6000 restantes pour le test. 290}

époques sont utilisées pour l’entraînement avec l’algorithme

d’optimisation ADAM avec pour taux d’apprentissage initial

de

0.001 qui est diminué toutes les 5000 itérations à 0.9 fois sa

valeur. Les autres paramètres d’ADAM sont ceux par défaut.

La taille du mini-batch est de 64 (32 paires cover-stego) et

l’entraînement utilise les images entières de taille

512

× 512

pixels. La configuration qui donne la plus basse erreur de

classification sur la base d’entraînement est utilisée comme

le résultat de l’entraînement. Les expériences ont été réalisées

avec la carte Nvidia GPU Quadro P6000 (24 GB de mémoire).

Chaque itération dure approximativement 35 heures : 30h pour

entraîner XU-Net et 5h pour générer la base de stego adverses

(en parallèle sur 36 cœurs de CPU).

Attaque :

L’attaque ADV-EMB décrite dans la Section 1 est

implémentée afin de modifier les coefficients DCT selon (2).

Pour calculer la dérivée partielle

_∂x

∂f

i

par rapport au

i

−ième

co-efficient DCT, et parce que Xu-Net admet des images spatiales

non arrondies en entrée, l’IDCT est effectuée dans une couche

supplémentaire ajoutée à l’entrée du réseau. La dérivée par

rapport à l’image dans le domaine JPEG est alors calculée par

différentiation automatique par la fonction tf.gradient()

de la librairie TensorFlow.

Les autres stratégies d’insertion :

Dans le papier [1] sont

suggérées deux stratégies itératives, que l’on appelle dans la

suite "Stratégie aléatoire" et "Stratégie de la dernière itération".

La stratégie aléatoire diffère de la stratégie

min max à l’étape

de l’attaque lors de la création de l’ensemble d’images

_Y

k

. En

effet, le stéganographe choisit à la place au hasard à chaque

fois une image issue de l’ensemble

_Z

0

,

_Z

1

_{, . . . ou}

Z

k

_{. Ainsi}

le stéganalyste entraîne le classifieur

f

k

_{entre les cover}

X et

les stego

_Y

_{random = Z}

k

0

_{∪ Z}

1

_{∪ · · · ∪ Z}

k

. La stratégie de

la dernière itération s’obtient à partir de la stratégie aléatoire,

seulement au lieu de choisir au hasard, le stéganographe choisit

les stego issues de la dernières itération, i.e. il envoie l’attaque

Y

k

last-it = Z

k

. Ainsi cette fois

f

last-it

k

est entraîné entre

X et

Y

k

last-it

. Dans la Table 1, les résultats de ces deux stratégies

sont comparées à la stratégie

min max pour les cinq premières

itérations.

Évaluation :

Afin d’évaluer la sécurité de ce nouveau

proto-cole vis-à-vis des méthodes de stéganalyse différentes de celui

pris pour cible (ici XU-Net), nous calculons les caractéristiques

DCTR [8] et GFR [9]. Les ensembles d’entraînement et de test

sont constitués chacun de 5000 paires d’images cover et stego.

Le classifieur linéaire régularisé [10] est utilisé pour calculer

P

err

. On entraîne également SRNet [5] sur 290 époques pour

seulement deux itérations : la première et la dernière, à cause de

son coût de calcul. Les images utilisées sont toujours de taille

512

× 512, la taille du mini-batch est de 16 (8 paires

cover-stego).

3.3

Résultats expérimentaux

0

2

4

6

8

k

7.5

10.0

12.5

15.0

17.5

20.0

22.5

25.0

P

er

r

(%)

XU-Net

DCTR

GFR

SRNet

F

IGURE

2 –

P

err

des classifieurs entraînés et évalués à chaque

fois sur

_{X et Y}

k

) pour chaque itération

k. L’algorithme est

opti-misé par rapport à Xu-Net. Les classifieurs DCTR et GFR sont

basés sur l’association de caractéristiques stéganographiques

(DCTR [8] et GFR [9]) et l’analyse discriminante linéaire

régularisée de Fisher [10].

La Figure 2 montre l’évolution de l’erreur

P

err

en fonction

du paramètre

k pour différents classifieurs f

k

_{qui ont été}

entraînés pour classifier les images cover

_{X et stego Y}

k

envoyées par le stéganographe à la

k

ieme

_{-itération du protocole.}

qu’elles soient le moins détectables par tous les classifieurs

précédents

_{f

0

, f

1

_{, . . . , f}

k−1

}, ce qui signifie qu’elles ne sont

pas optimisées par rapport au classifieur

f

k

_{utilisé pour évaluer}

la sécurité du schéma (et qui est donc le meilleur classifieur

en possession du stéganalyste car il est optimisé pour détecter

la dernière attaque du stéganographe). Ainsi l’évaluation du

scénario obéit au principe de Kerckhoffs : le stéganalyste

connaît la stratégie du stéganographe.

Cette figure montre également que le taux d’erreur augmente

pour les différents schémas de stéganalyse utilisés, ce qui

signifie que le schéma stéganographique devient en moyenne

plus sécurisé au fur et à mesure des itérations. Si nous évaluons

la qualité de la procédure par l’erreur

P

err

du classifieur

Xu-Net, la sécurité a augmenté de

6.9% à 21.7% au bout de neuf

itérations, ce qui est très satisfaisant.

Si nous évaluons la sécurité de la stratégie obtenue à l’aide

de Xu-Net avec d’autres schémas stéganographiques,

l’évolu-tion des autres schémas est similaire : il y a augmental’évolu-tion et

convergence du taux d’erreur au fur et à mesure des itérations.

L’amélioration apportée par le protocole proposé dans ce papier

n’est ainsi pas propre au stéganalyste cible, mais généralisable

à d’autres méthodes de stéganalyse.

Dans la Table 1, la stratégie d’insertion (7) est comparée aux

stratégies "aléatoire" et "dernière itération". Nous remarquons

que la stratégie

min max offre une meilleur sécurité jusqu’à

l’itération

k = 5, avec un gain de 4.7% par rapport à la stratégie

aléatoire à l’itération 5, et

5% par rapport à la "dernière

itération" à l’itération 2.

2

k

0

1

2

3

4

5

min max

6.9

12.9

15.8

16.2

18.4

20.1

Aléatoire

6.9

12.1

12.4

16.2

15.3

15.4

Dernière itération

6.9

12.1

10.5

–

–

–

T

ABLE

1 –

P

err

(en %) donné par les différentes stratégies

pour les cinq premières itérations : stratégie

min max, stratégie

aléatoire et stratégie de la dernière itération données dans [1].

4

Conclusions et perspectives

Ce papier propose un schéma stéganographique qui utilise

une insertion adverse, basée sur une stratégie

min max. Ce

protocole peut être utilisé pour améliorer le schéma

stégano-graphique classique basé sur le calcul des coûts comme

J-Uniward, mais il peut en pratique être appliqué à n’importe

quel schéma qui permet d’ajuster les coûts de modification.

Nos test montrent l’avantage (i) du caractère itératif du

proto-cole qui permet d’améliorer la sécurité des objets stego et (ii) de

l’utilisation d’une stratégie

min max à la place d’une stratégie

aléatoire (qui consiste à choisir au hasard une stego issue de

l’une des itérations passées) ou d’une stratégie qui consiste à

2. La version finale du papier présentera les résultats après des itérations

supplémentaires, résultats non obtenus à temps pour la soumission de ce papier.

choisir les stego issues de l’itération passée.

On remarque que, contrairement aux autres insertions

ad-verses effectuées par les GANs [11], ce schéma repose sur

l’attaque d’un classifieur cible, ce qui permet d’accélérer la

convergence et d’améliorer l’efficacité.

De prochains travaux seront dédiés à déterminer de

meilleures stratégies pour ajuster les coûts, ainsi que de

nou-velles manières d’attaquer un classifieur.

Références

[1] W. Tang, B. Li, S. Tan, M. Barni, and J. Huang,

“Cnn-based adversarial embedding for image steganography,”

IEEE Transactions on Information Forensics and

Secu-rity, 2019.

[2] T. Pevný and A. D. Ker, “Exploring non-additive

distor-tion in steganography,” in Proceedings of the 6th ACM

Workshop on Information Hiding and Multimedia

Secu-rity.

ACM, 2018, pp. 109–114.

[3] T. Filler and J. Fridrich, “Gibbs construction in

stegano-graphy,” IEEE Transactions on Information Forensics and

Security, vol. 5, no. 4, pp. 705–720, 2010.

[4] G. Xu, “Deep convolutional neural network to detect

j-uniward,” in Proceedings of the 5th ACM Workshop on

Information Hiding and Multimedia Security.

ACM,

2017, pp. 67–73.

[5] M. Boroumand, M. Chen, and J. Fridrich, “Deep residual

network for steganalysis of digital images,” IEEE

Tran-sactions on Information Forensics and Security, 2019.

[6] V. Holub, J. Fridrich, and T. Denemark, “Universal

distor-tion funcdistor-tion for steganography in an arbitrary domain,”

EURASIP Journal on Information Security, vol. 2014,

no. 1, p. 1, 2014.

[7] P. Bas, T. Filler, and T. Pevný, “"break our steganographic

system" : The ins and outs of organizing boss,” in

In-ternational Workshop on Information Hiding, vol. 6958,

LNCS.

Springer Berlin Heidelberg, 2011, pp. 59–70.

[8] V. Holub and J. Fridrich, “Low-complexity features for

jpeg steganalysis using undecimated dct,” IEEE

Tran-sactions on Information Forensics and Security, vol. 10,

no. 2, pp. 219–228, 2015.

[9] X. Song, F. Liu, C. Yang, X. Luo, and Y. Zhang,

“Ste-ganalysis of adaptive jpeg steganography using 2d gabor

filters,” in Proceedings of the 3rd ACM workshop on

information hiding and multimedia security.

ACM,

2015, pp. 15–23.

[10] R. Cogranne, V. Sedighi, J. Fridrich, and T. Pevný,

“Is ensemble classifier needed for steganalysis in

high-dimensional feature spaces ?” in IEEE International

Workshop on Information Forensics and Security (WIFS),

2015, pp. 1–6.

[11] W. Tang, S. Tan, B. Li, and J. Huang, “Automatic

stegano-graphic distortion learning using a generative adversarial

network,” IEEE Signal Processing Letters, vol. 24, no. 10,

pp. 1547–1551, 2017.