Une introduction au codage de r´eseau al´eatoire La r´egion Γ∗ n

28  Download (0)

Texte intégral

(1)

Une introduction au codage de r ´eseau al ´eatoire La r ´egion Γ

n

des vecteurs d’entropie

Christine Bachoc

Universit ´e Bordeaux I, IMB

Ecole de printemps Codage et Cryptographie´ 17 - 21 Mars 2014, Universit ´e Joseph Fourier, Grenoble

(2)

R ´eseaux multi-sources multi-destinataires

[X2X3] [X1X3] [X1X2]

X1 X2 X3

Network

(3)

R

C’estla r ´egionRdes taux de transmissionωr ´ealisables:

I G= (V,E)acyclique; capacit ´ecede chaque ar ˆete.

I ssources,tdestinataires.

I On demande quetirec¸oive l’information transmise par un certain sous-ensembleσide sources.

I X= (X1, . . . ,Xs),Xivariable al ´eatoire associ ´ee `a la sourcesi, de loi uniforme surAωi, ind ´ependantes.

ω= (ω1, . . . , ωs)est untaux de transmission r ´ealisables’il existe des fonctions d’encodagefe(X)pour chaque ar ˆete, d ´efinies localement, et de d ´ecodageDiaux destinataires, telles que,

Prob` Di

`fe(X))e∈In(ti)

´=` Xi

´

i∈σi

´7→1 (|A| →+∞) et chaque ar ˆete est utilis ´ee au pluscefois.

(4)

R

Siω= (ω1, . . . , ωs)est untaux de transmission r ´ealisable, il existe des v.a.

Ys, s∈S Ue, e∈E

v ´erifiant:

H(Ys)≥ωs(s∈S)

H(YS) =X

s∈S

H(Ys)

H(UOut(v)|UIn(v)) =0(v∈V) H(Ue)≤ce

H(Yβ(t)|UIn(t)) =0(t∈T).

Toutes ces conditions sontlin ´eaires en les entropies des v.a. jointes.

Probl `eme:d ´ecrire lelieu des vecteurs d’entropieassoci ´es `anv.a.

X1, . . . ,Xn:

h= (hα)α⊂[n], hα=H(Xα).

(5)

Plan

1. Entropie d’une variable al ´eatoire

2. Vecteur d’entropie associ ´e `anv.a. et r ´egionΓn

3. In ´egalit ´es informationnelles, in ´egalit ´es de base, in ´egalit ´es de Shannon.

Le c ˆoneΓn.

4. Vecteurs d’entropie et groupes finis.

5. Petites dimensions:n=2,3,4.

(6)

Entropie d’une variable al ´eatoire

I Quantit ´e d’information contenue dans un ´ev `enementA:

−log(P(A))

I Entropie d’une v.a. discr `eteX= quantit ´e d’information contenue dansX H(X) =−X

x

P(X =x)logP(X =x)

I Exemple:X variable binaire,P(X =0) =p,P(X =1) =1−p, H(X) =h(p) :=−plog(p)−(1−p)log(1−p)

I Exemple: loi deX uniforme surm ´el ´ements,H(X) =log(m).

(7)

Quantit ´es informationnelles associ ´ees `a deux v.a.

H(X|Y) I(X,Y) H(Y|X)

H(X) H(Y)

H(X,Y)

I Entropie conditionnelle

H(X|Y) =H(X,Y)−H(Y)≥0

I Information mutuelle

I(X,Y) =H(X) +H(Y)−H(X,Y)≥0

(8)

Γ

n

I X= (X1, . . . ,Xn)v.a. discr `etes. Pourα⊂[n],Xα:= (Xi)i∈α.

I Levecteur d’entropieassoci ´e `aX:

h=h(X) = (hα)α6=∅∈R2

n−1

hα=H(Xα) α⊂[n], (h=0).

I SoitΓnl’ensemble de tous les vecteursh. C’est lar ´egion d’entropie.

I Probl `eme: d ´ecrireΓn. Il n’est pas ferm ´e.

Son adh ´erenceΓnest un c ˆone convexe.

(9)

Γ

n

est un c ˆone convexe

I Sih,h0∈Γn, alorsh+h0∈Γn: sihcorrespond `a(X1, . . . ,Xn)eth0 `a (X10, . . . ,Xn0), alorsh+h0est le vecteur d’entropie de(Y1, . . . ,Yn)pour Yi= (Xi,Xi0)(copies ind ´ependantes).

I En particulier,sih∈Γnetk∈Z≥0,kh∈Γn.

I Sih∈Γnet`∈Z≥0, alorsh/`∈Γn: soitm≥0 et

Uune variable binaire telle queP(U=1) =1/(`m) Yi=

(0 siU=0 XimsiU=1.

Alors:

H(Yα|U)≤H(Yα)≤H(Yα,U) =H(U) +H(Yα|U)

soit 1

`H(Xα)≤H(Yα)≤h(1/(`m)) +1

`H(Xα).

(10)

Le c ˆone Γ

n

I C’est le c ˆone d ´efini par lesin ´egalit ´es de base.

I Exemple:n=2. On a vu:

H(X1,X2)≥H(X1)≥0, H(X1) +H(X2)−H(X1,X2)≥0.

Donc

Γ2⊂Γ2:={(h1,h2,h12)∈R3 :h1≥0,h2≥0, h12≥h1, h12≥h2

h1+h2−h12≥0.}

I En g ´en ´eral, lesin ´egalit ´es de basesont (H(X) =0):

H(Xα)≥H(Xβ)≥0 siβ⊂α

H(Xα) +H(Xβ)−H(Xα∪β)−H(Xα∩β)≥0.

(11)

I Toute in ´egalit ´e lin ´eaire sur lesH(Xα)qui se d ´eduit des in ´egalit ´es de base s’appelle unein ´egalit ´e de Shannon. Ce sont donc les

combinaisons lin ´eaires `a coefs positifs des in ´egalit ´es de base.

I On d ´efinit lec ˆone des in ´egalit ´es de Shannon:

Γn:={h= (hα)∈R2

n−1

:hα≥0

hα−hβ≥0 (β⊂α) hα+hβ−hα∪β−hα∩β≥0.}

I On a vu que:

Γn ⊂Γn⊂Γn

I Un grand nombre de r ´esultats en th ´eorie de l’information peuvent se d ´emontrer parprogrammation lin ´eairesurΓn.

(12)

Exemple: le partage de secrets

On veut partager un secretSen trois morceauxX,Y,Z de sorte que:

1. Aucun des morceauxX,YouZ ne fournisse d’information surS 2. On peut retrouverS `a partir de deux parmi les trois.

On veut savoir comment r ´ealiser un tel sch ´ema de fac¸on la plus ´economique, c’est- `a-dire en minimisant les ’tailles’ deX,Y,Z relativement `aS.

Traduction des contraintes en termes de quantit ´es informationnelles:

1. I(S,X) =I(S,Y) =I(S,Z) =0

2. H(S|X,Y) =H(S|Y,Z) =H(S|X,Z) =0.

On cherche `a minimiser

(H(X) +H(Y) +H(Z))/H(S).

On va chercher s’il y a unelimite informationnelle.

(13)

Exemple: le partage de secrets

Rappel:

I(S,X) =H(S) +H(X)−H(S,X), H(S|X,Y) =H(S,X,Y)−H(X,Y).

On r ´esoud le programme lin ´eaire:

min{h1+h2+h3 :h∈Γ4

h4=1

h1+h4−h14=0, h2+h4−h24=0, h3+h4−h34=0, h124−h12=0,h234−h23=0, h134−h13=0}

On trouvemin=3(softwareITIPInformation Theoretic Inequality Prover, Yeung and Yan). Ensuite on se demande si cette valeur est atteinte surΓ4. C’est le cas avec:S,Nind ´ependantes uniform ´ement distribu ´ees sur{0,1,2}

et

X=N, Y =S+Nmod 3, Z =S+2Nmod 3.

(14)

Groupes finis

On va voir une construction qui permet essentiellement de r ´ealiser tout vecteur d’entropie `a l’aide de groupes finis et de leurs sous-groupes.

Construction:

I Gun groupe etG1, . . . ,Gndes sous-groupes deG.

I G/Gi ={gGi : g∈G}les classes `a gauche deGmoduloGi.

I Gest muni de la loi uniforme. On consid `ere les v.a.Xi: Xi:G→G/Gi

g7→gGi

I On noteGα:=∩i∈αGi. Alors

H(Xα) =log |G|

|Gα|.

(15)

H(Xα) =log |G|

|Gα|. Loi deXα: soitgiGi∈G/Gi.

P(Xα= (giGi)i∈α) =P(Xi=giGi, i∈α)

=P(gGi=giGi, i∈α)

=P(g∈giGi, i∈α)

=| ∩i∈αgiGi|

|G| .

Mais soit∩i∈αgiGi =∅, soit∩i∈αgiGicontient un ´el ´ementg∈G, auquel cas gGi =giGiet

| ∩i∈αgiGi|=| ∩i∈αgGi|=|g`

i∈αGi

´|=|gGα|=|Gα|.

(16)

On a montr ´e:

P(Xα= (giGi)i∈α) =

( 0 si ∩i∈αgiGi =∅

|Gα|

|G| sinon.

Donc la loi deXαest uniforme sur son support, donc H(Xα) =log |G|

|Gα|.

R ´esum ´e:`a tout groupeGet tout sous-groupes(G1, . . . ,Gn)on a associ ´e le vecteur d’entropieh= (hα)α⊂[n]∈Γn:

hα=log |G|

|Gα|, Gα=∩i∈αGi.

On noteΥnl’ensemble de tous les vecteurs d’entropie obtenus par cette construction. On a donc:

Υn⊂Γn⊂Γn⊂Γn.

(17)

R ´eciproque:Pour touth∈Γn, il existe(fk)k≥0,fk ∈Υntels que

k→+∞lim fk

k =h.

I Soith∈Γnassoci ´e `aX= (X1, . . . ,Xn), o `uXiprend ses valeurs dansAi. On noteAα=Q

i∈αAi.

I On suppose quekest tel quekP(X=a)∈Z≥0pour touta∈A[n].

I SoitT ∈Rn×kle tableau:

T =

a1 . . . a1

a2 . . . a2

... . . . ... an . . . an

| {z }

kP(X=a)

. . . . . . ... . . .

a01 . . . a01

a02 . . . a02

... . . . ... a0n . . . a0n

| {z }

kP(X=a0)

(18)

I SoitTαle tableau extrait form ´ee des lignes deT d’indicei∈α. Soit G=Sk, permutant les colonnes deT, Gi=Stab(Ti) (i∈[n]).

I On aGα=Stab(Tα)est le produit direct deSkP(Xα=aα). Donc 1

k log |G|

|Gα|=1

klog k!

Q

aα∈Aα(kP(Xα=aα))!

'k→+∞− X

aα∈Aα

P(Xα=aα)logP(Xα=aα)

'k→+∞H(Xα).

On a montr ´e que, pourfk =` log|G|G|

α|

´

α⊂[n], lim

k→+∞

fk

k =h.

(19)

Groupes finis et in ´egalit ´es informationnelles

Unein ´egalit ´e informationnelleest une relation X

α⊂[n]

bαhα≥0

v ´erifi ´ee par touth∈Γn. On peut l’ ´ecrire aussib·h≥0.

Interpr ´etation g ´eom ´etrique:le c ˆoneΓnest contenu dans le demi-plan Hb={h : b·h≥0}.

Γn

b

Hb

(20)

D’apr `es ce qui pr ´ec `ede,

Γn⊂Hb ⇐⇒ Υn⊂Hb. Autrement dit, pour montrer une in ´egalit ´e du type:

X

α⊂[n]

bαH(Xα)≥0,

il suffit de montrer que,pour tout groupe finiGet tout sous-groupes G1, . . . ,GndeG,

X

α⊂[n]

bαlog |G|

|Gα|≥0.

(21)

Exemple: les in ´egalit ´es de base

Rappel: ce sont celles qui d ´efinissentΓn: H(Xα)≥H(Xβ)≥0 siβ⊂α

H(Xα) +H(Xβ)−H(Xα∪β)−H(Xα∩β)≥0.

Pour les ´el ´ements deΥn, elle deviennent:

|Gα|

|Gβ| ≤1 siβ⊂α et |Gα||Gβ|

|Gα∪β||Gα∩β|≤1.

La premi `ere est imm ´ediate. La deuxi `eme se d ´eduit facilement du r ´esultat bien connu:siHetK sont deux sous-groupes d’un m ˆeme groupeΓet si HK:={hk :h∈H,k∈K}, alors

|HK|= |H||K|

|H∩K|.

(indication:H=Gα,K =Gβ,H∩K =Gα∪β, et prendreΓ =Gα∩β).

(22)

Γ

2

= Γ

2

, Γ

3

= Γ

3

,

Strat ´egie pour montrer queΓn = Γn: on cherche les sommets du polytope Γn∩ {h[n]=1}puis on cherche `a les r ´ealiser `a l’aide de groupes, `a un facteur multiplicatif pr `es.

Exemple:n=2:

Γ2={(h1,h2,h12)∈R3 :h1≥0, h2≥0,h12≥h1, h12≥h2, h1+h2−h12≥0.}

h1

h2

(1,0) (1,1) (0,1)

(23)

Notons qu’il suffit de consid ´erer un sommet dans chaque orbite sous l’action du groupeSn.

n=2:

sommet G G1 G2 G12

(1,0) Z2 Z2 {0} {0}

(1,1) Z2 {0} {0} {0}

n=3:

Γ3

(h1,h2,h3,h23,h13,h12,h123)∈R7 :h123≥h12≥h1≥0 h1+h2−h12≥0 h12+h3−h123≥0 h12+h13−h123−h1≥0

et permutations..¯

(24)

sommet G G1 G2 G3

10001011 Z2 {0} Z2 Z2

0111111 Z2 Z2 {0} {0}

1111111 Z2 {0} {0} {0}

1 2 1 2 1

21111 Z2×Z2 h(1,0)i h(0,1)i h(1,1)i

(25)

La dimension 4: Γ

4

6= Γ

4

I Zhang et Yeung (1998): une in ´egalit ´e entropique ’non Shannon’ (ie non impliqu ´ee par les in ´egalit ´es de base):

2I(X3,X4)≤I(X1,X2) +I(X1,(X3,X4)) +3I(X3,X4|X1) +I(X3,X4|X2).

Γ4

Γ4 [ZY98]

(26)

La dimension 4

I En termes de groupes (|Gα=∩i∈αGi):

|G13|3|G14|3|G34|3|G23||G24| ≤ |G1||G12||G3|2|G4|2|G134|4|G234|.

I Autres in ´egalit ´es ’non Shannon’: Makarychev et al. (2002), Zhang (2003), Mat ´us (2007), Dougherty et al. (2006).

I Mat ´us (2007) montre queΓ4 n’estpas polyhedralie ne peut ˆetre caract ´eris ´e pas un nombre fini d’in ´egalit ´es.

(27)

L’in ´egalit ´e d’Ingleton

L’in ´egalit ´e d’Ingleton, v ´erifi ´ee par le rang d’un matro¨ıde repr ´esentable, d ´efinit avecΓ4un sous-ensemble deΓ4:

h12+h13+h14+h23+h24≥h123+h124+h34+h1+h2.

Γ4

Γ4

Ingleton

R. W. Yeung,Information Theory and Network Coding, Springer, 2008 R. W. Yeung,Facets of entropy, 2012 (ISIT plenary talk 2009)

(28)

Algebra, Codes and Networks

June 16–20, 2014 Bordeaux Institute of Mathematics

Plenary speakers Andrew Barron, Yale Ronald Cramer, U. Leiden and CWI Alexandros Dimakis, U. Texas at Austin Michael Gastpar, EPFL Swastik Kopparty, Rutgers Damien Stehlé, ENS Lyon Vinod Vaikuntanathan, MIT Mary Wootters, U. Michigan Sergey Yekhanin, Microsoft

The centre of excellence CPU - IdEx Bordeaux together with the COST programme of the European Science Foundation, and the Institut de Mathématiques de Bordeaux, are pleased to announce the conference ACN 2014 from June 16 to June 20 in Bordeaux.

Coding theory has emerged from the need to ensure reliable communication and has since morphed into a multi-purpose tool whose methods borrow from computer science, information theory and mathematics. Coding techniques are very much present in the development of a number of recent applications, such as : network coding, cloud computing and distributed storage, multi-antenna systems of communication, or quantum computing.

This conference will address theory and applications of coding theory, featuring interac- tions with algebra, theoretical computer science and discrete mathematics. The event has been initiated by COST Action IC1104 and will be particularly welcoming to contributions relevant to its themes.

Scientific committee :Christine Bachoc, Alexander Barg, Marcus Greferath, Frank Kschi- schang, Madhu Sudan, Gilles Zémor.

http://acn2014.u-bordeaux.fr/

Figure

Updating...

Références

Sujets connexes :