Une introduction au codage de r ´eseau al ´eatoire La r ´egion Γ
∗ndes vecteurs d’entropie
Christine Bachoc
Universit ´e Bordeaux I, IMB
Ecole de printemps Codage et Cryptographie´ 17 - 21 Mars 2014, Universit ´e Joseph Fourier, Grenoble
R ´eseaux multi-sources multi-destinataires
[X2X3] [X1X3] [X1X2]
X1 X2 X3
Network
R
C’estla r ´egionRdes taux de transmissionωr ´ealisables:
I G= (V,E)acyclique; capacit ´ecede chaque ar ˆete.
I ssources,tdestinataires.
I On demande quetirec¸oive l’information transmise par un certain sous-ensembleσide sources.
I X= (X1, . . . ,Xs),Xivariable al ´eatoire associ ´ee `a la sourcesi, de loi uniforme surAωi, ind ´ependantes.
ω= (ω1, . . . , ωs)est untaux de transmission r ´ealisables’il existe des fonctions d’encodagefe(X)pour chaque ar ˆete, d ´efinies localement, et de d ´ecodageDiaux destinataires, telles que,
Prob` Di
`fe(X))e∈In(ti)
´=` Xi
´
i∈σi
´7→1 (|A| →+∞) et chaque ar ˆete est utilis ´ee au pluscefois.
R
Siω= (ω1, . . . , ωs)est untaux de transmission r ´ealisable, il existe des v.a.
Ys, s∈S Ue, e∈E
v ´erifiant:
H(Ys)≥ωs(s∈S)
H(YS) =X
s∈S
H(Ys)
H(UOut(v)|UIn(v)) =0(v∈V) H(Ue)≤ce
H(Yβ(t)|UIn(t)) =0(t∈T).
Toutes ces conditions sontlin ´eaires en les entropies des v.a. jointes.
Probl `eme:d ´ecrire lelieu des vecteurs d’entropieassoci ´es `anv.a.
X1, . . . ,Xn:
h= (hα)α⊂[n], hα=H(Xα).
Plan
1. Entropie d’une variable al ´eatoire
2. Vecteur d’entropie associ ´e `anv.a. et r ´egionΓ∗n
3. In ´egalit ´es informationnelles, in ´egalit ´es de base, in ´egalit ´es de Shannon.
Le c ˆoneΓn.
4. Vecteurs d’entropie et groupes finis.
5. Petites dimensions:n=2,3,4.
Entropie d’une variable al ´eatoire
I Quantit ´e d’information contenue dans un ´ev `enementA:
−log(P(A))
I Entropie d’une v.a. discr `eteX= quantit ´e d’information contenue dansX H(X) =−X
x
P(X =x)logP(X =x)
I Exemple:X variable binaire,P(X =0) =p,P(X =1) =1−p, H(X) =h(p) :=−plog(p)−(1−p)log(1−p)
I Exemple: loi deX uniforme surm ´el ´ements,H(X) =log(m).
Quantit ´es informationnelles associ ´ees `a deux v.a.
H(X|Y) I(X,Y) H(Y|X)
H(X) H(Y)
H(X,Y)
I Entropie conditionnelle
H(X|Y) =H(X,Y)−H(Y)≥0
I Information mutuelle
I(X,Y) =H(X) +H(Y)−H(X,Y)≥0
Γ
∗nI X= (X1, . . . ,Xn)v.a. discr `etes. Pourα⊂[n],Xα:= (Xi)i∈α.
I Levecteur d’entropieassoci ´e `aX:
h=h(X) = (hα)α6=∅∈R2
n−1
hα=H(Xα) α⊂[n], (h∅=0).
I SoitΓ∗nl’ensemble de tous les vecteursh. C’est lar ´egion d’entropie.
I Probl `eme: d ´ecrireΓ∗n. Il n’est pas ferm ´e.
Son adh ´erenceΓ∗nest un c ˆone convexe.
Γ
∗nest un c ˆone convexe
I Sih,h0∈Γ∗n, alorsh+h0∈Γ∗n: sihcorrespond `a(X1, . . . ,Xn)eth0 `a (X10, . . . ,Xn0), alorsh+h0est le vecteur d’entropie de(Y1, . . . ,Yn)pour Yi= (Xi,Xi0)(copies ind ´ependantes).
I En particulier,sih∈Γ∗netk∈Z≥0,kh∈Γ∗n.
I Sih∈Γ∗net`∈Z≥0, alorsh/`∈Γ∗n: soitm≥0 et
Uune variable binaire telle queP(U=1) =1/(`m) Yi=
(0 siU=0 XimsiU=1.
Alors:
H(Yα|U)≤H(Yα)≤H(Yα,U) =H(U) +H(Yα|U)
soit 1
`H(Xα)≤H(Yα)≤h(1/(`m)) +1
`H(Xα).
Le c ˆone Γ
nI C’est le c ˆone d ´efini par lesin ´egalit ´es de base.
I Exemple:n=2. On a vu:
H(X1,X2)≥H(X1)≥0, H(X1) +H(X2)−H(X1,X2)≥0.
Donc
Γ∗2⊂Γ2:={(h1,h2,h12)∈R3 :h1≥0,h2≥0, h12≥h1, h12≥h2
h1+h2−h12≥0.}
I En g ´en ´eral, lesin ´egalit ´es de basesont (H(X∅) =0):
H(Xα)≥H(Xβ)≥0 siβ⊂α
H(Xα) +H(Xβ)−H(Xα∪β)−H(Xα∩β)≥0.
I Toute in ´egalit ´e lin ´eaire sur lesH(Xα)qui se d ´eduit des in ´egalit ´es de base s’appelle unein ´egalit ´e de Shannon. Ce sont donc les
combinaisons lin ´eaires `a coefs positifs des in ´egalit ´es de base.
I On d ´efinit lec ˆone des in ´egalit ´es de Shannon:
Γn:={h= (hα)∈R2
n−1
:hα≥0
hα−hβ≥0 (β⊂α) hα+hβ−hα∪β−hα∩β≥0.}
I On a vu que:
Γ∗n ⊂Γ∗n⊂Γn
I Un grand nombre de r ´esultats en th ´eorie de l’information peuvent se d ´emontrer parprogrammation lin ´eairesurΓn.
Exemple: le partage de secrets
On veut partager un secretSen trois morceauxX,Y,Z de sorte que:
1. Aucun des morceauxX,YouZ ne fournisse d’information surS 2. On peut retrouverS `a partir de deux parmi les trois.
On veut savoir comment r ´ealiser un tel sch ´ema de fac¸on la plus ´economique, c’est- `a-dire en minimisant les ’tailles’ deX,Y,Z relativement `aS.
Traduction des contraintes en termes de quantit ´es informationnelles:
1. I(S,X) =I(S,Y) =I(S,Z) =0
2. H(S|X,Y) =H(S|Y,Z) =H(S|X,Z) =0.
On cherche `a minimiser
(H(X) +H(Y) +H(Z))/H(S).
On va chercher s’il y a unelimite informationnelle.
Exemple: le partage de secrets
Rappel:
I(S,X) =H(S) +H(X)−H(S,X), H(S|X,Y) =H(S,X,Y)−H(X,Y).
On r ´esoud le programme lin ´eaire:
min{h1+h2+h3 :h∈Γ4
h4=1
h1+h4−h14=0, h2+h4−h24=0, h3+h4−h34=0, h124−h12=0,h234−h23=0, h134−h13=0}
On trouvemin=3(softwareITIPInformation Theoretic Inequality Prover, Yeung and Yan). Ensuite on se demande si cette valeur est atteinte surΓ∗4. C’est le cas avec:S,Nind ´ependantes uniform ´ement distribu ´ees sur{0,1,2}
et
X=N, Y =S+Nmod 3, Z =S+2Nmod 3.
Groupes finis
On va voir une construction qui permet essentiellement de r ´ealiser tout vecteur d’entropie `a l’aide de groupes finis et de leurs sous-groupes.
Construction:
I Gun groupe etG1, . . . ,Gndes sous-groupes deG.
I G/Gi ={gGi : g∈G}les classes `a gauche deGmoduloGi.
I Gest muni de la loi uniforme. On consid `ere les v.a.Xi: Xi:G→G/Gi
g7→gGi
I On noteGα:=∩i∈αGi. Alors
H(Xα) =log |G|
|Gα|.
H(Xα) =log |G|
|Gα|. Loi deXα: soitgiGi∈G/Gi.
P(Xα= (giGi)i∈α) =P(Xi=giGi, i∈α)
=P(gGi=giGi, i∈α)
=P(g∈giGi, i∈α)
=| ∩i∈αgiGi|
|G| .
Mais soit∩i∈αgiGi =∅, soit∩i∈αgiGicontient un ´el ´ementg∈G, auquel cas gGi =giGiet
| ∩i∈αgiGi|=| ∩i∈αgGi|=|g`
∩i∈αGi
´|=|gGα|=|Gα|.
On a montr ´e:
P(Xα= (giGi)i∈α) =
( 0 si ∩i∈αgiGi =∅
|Gα|
|G| sinon.
Donc la loi deXαest uniforme sur son support, donc H(Xα) =log |G|
|Gα|.
R ´esum ´e:`a tout groupeGet tout sous-groupes(G1, . . . ,Gn)on a associ ´e le vecteur d’entropieh= (hα)α⊂[n]∈Γ∗n:
hα=log |G|
|Gα|, Gα=∩i∈αGi.
On noteΥnl’ensemble de tous les vecteurs d’entropie obtenus par cette construction. On a donc:
Υn⊂Γ∗n⊂Γ∗n⊂Γn.
R ´eciproque:Pour touth∈Γ∗n, il existe(fk)k≥0,fk ∈Υntels que
k→+∞lim fk
k =h.
I Soith∈Γ∗nassoci ´e `aX= (X1, . . . ,Xn), o `uXiprend ses valeurs dansAi. On noteAα=Q
i∈αAi.
I On suppose quekest tel quekP(X=a)∈Z≥0pour touta∈A[n].
I SoitT ∈Rn×kle tableau:
T =
a1 . . . a1
a2 . . . a2
... . . . ... an . . . an
| {z }
kP(X=a)
. . . . . . ... . . .
a01 . . . a01
a02 . . . a02
... . . . ... a0n . . . a0n
| {z }
kP(X=a0)
I SoitTαle tableau extrait form ´ee des lignes deT d’indicei∈α. Soit G=Sk, permutant les colonnes deT, Gi=Stab(Ti) (i∈[n]).
I On aGα=Stab(Tα)est le produit direct deSkP(Xα=aα). Donc 1
k log |G|
|Gα|=1
klog k!
Q
aα∈Aα(kP(Xα=aα))!
'k→+∞− X
aα∈Aα
P(Xα=aα)logP(Xα=aα)
'k→+∞H(Xα).
On a montr ´e que, pourfk =` log|G|G|
α|
´
α⊂[n], lim
k→+∞
fk
k =h.
Groupes finis et in ´egalit ´es informationnelles
Unein ´egalit ´e informationnelleest une relation X
α⊂[n]
bαhα≥0
v ´erifi ´ee par touth∈Γ∗n. On peut l’ ´ecrire aussib·h≥0.
Interpr ´etation g ´eom ´etrique:le c ˆoneΓ∗nest contenu dans le demi-plan Hb={h : b·h≥0}.
Γ∗n
b
Hb
D’apr `es ce qui pr ´ec `ede,
Γ∗n⊂Hb ⇐⇒ Υn⊂Hb. Autrement dit, pour montrer une in ´egalit ´e du type:
X
α⊂[n]
bαH(Xα)≥0,
il suffit de montrer que,pour tout groupe finiGet tout sous-groupes G1, . . . ,GndeG,
X
α⊂[n]
bαlog |G|
|Gα|≥0.
Exemple: les in ´egalit ´es de base
Rappel: ce sont celles qui d ´efinissentΓn: H(Xα)≥H(Xβ)≥0 siβ⊂α
H(Xα) +H(Xβ)−H(Xα∪β)−H(Xα∩β)≥0.
Pour les ´el ´ements deΥn, elle deviennent:
|Gα|
|Gβ| ≤1 siβ⊂α et |Gα||Gβ|
|Gα∪β||Gα∩β|≤1.
La premi `ere est imm ´ediate. La deuxi `eme se d ´eduit facilement du r ´esultat bien connu:siHetK sont deux sous-groupes d’un m ˆeme groupeΓet si HK:={hk :h∈H,k∈K}, alors
|HK|= |H||K|
|H∩K|.
(indication:H=Gα,K =Gβ,H∩K =Gα∪β, et prendreΓ =Gα∩β).
Γ
∗2= Γ
2, Γ
∗3= Γ
3,
Strat ´egie pour montrer queΓ∗n = Γn: on cherche les sommets du polytope Γn∩ {h[n]=1}puis on cherche `a les r ´ealiser `a l’aide de groupes, `a un facteur multiplicatif pr `es.
Exemple:n=2:
Γ2={(h1,h2,h12)∈R3 :h1≥0, h2≥0,h12≥h1, h12≥h2, h1+h2−h12≥0.}
h1
h2
(1,0) (1,1) (0,1)
Notons qu’il suffit de consid ´erer un sommet dans chaque orbite sous l’action du groupeSn.
n=2:
sommet G G1 G2 G12
(1,0) Z2 Z2 {0} {0}
(1,1) Z2 {0} {0} {0}
n=3:
Γ3=˘
(h1,h2,h3,h23,h13,h12,h123)∈R7 :h123≥h12≥h1≥0 h1+h2−h12≥0 h12+h3−h123≥0 h12+h13−h123−h1≥0
et permutations..¯
sommet G G1 G2 G3
10001011 Z2 {0} Z2 Z2
0111111 Z2 Z2 {0} {0}
1111111 Z2 {0} {0} {0}
1 2 1 2 1
21111 Z2×Z2 h(1,0)i h(0,1)i h(1,1)i
La dimension 4: Γ
∗46= Γ
4I Zhang et Yeung (1998): une in ´egalit ´e entropique ’non Shannon’ (ie non impliqu ´ee par les in ´egalit ´es de base):
2I(X3,X4)≤I(X1,X2) +I(X1,(X3,X4)) +3I(X3,X4|X1) +I(X3,X4|X2).
Γ4
Γ∗4 [ZY98]
La dimension 4
I En termes de groupes (|Gα=∩i∈αGi):
|G13|3|G14|3|G34|3|G23||G24| ≤ |G1||G12||G3|2|G4|2|G134|4|G234|.
I Autres in ´egalit ´es ’non Shannon’: Makarychev et al. (2002), Zhang (2003), Mat ´us (2007), Dougherty et al. (2006).
I Mat ´us (2007) montre queΓ∗4 n’estpas polyhedralie ne peut ˆetre caract ´eris ´e pas un nombre fini d’in ´egalit ´es.
L’in ´egalit ´e d’Ingleton
L’in ´egalit ´e d’Ingleton, v ´erifi ´ee par le rang d’un matro¨ıde repr ´esentable, d ´efinit avecΓ4un sous-ensemble deΓ∗4:
h12+h13+h14+h23+h24≥h123+h124+h34+h1+h2.
Γ4
Γ∗4
Ingleton
R. W. Yeung,Information Theory and Network Coding, Springer, 2008 R. W. Yeung,Facets of entropy, 2012 (ISIT plenary talk 2009)
Algebra, Codes and Networks
June 16–20, 2014 Bordeaux Institute of Mathematics
Plenary speakers Andrew Barron, Yale Ronald Cramer, U. Leiden and CWI Alexandros Dimakis, U. Texas at Austin Michael Gastpar, EPFL Swastik Kopparty, Rutgers Damien Stehlé, ENS Lyon Vinod Vaikuntanathan, MIT Mary Wootters, U. Michigan Sergey Yekhanin, Microsoft
The centre of excellence CPU - IdEx Bordeaux together with the COST programme of the European Science Foundation, and the Institut de Mathématiques de Bordeaux, are pleased to announce the conference ACN 2014 from June 16 to June 20 in Bordeaux.
Coding theory has emerged from the need to ensure reliable communication and has since morphed into a multi-purpose tool whose methods borrow from computer science, information theory and mathematics. Coding techniques are very much present in the development of a number of recent applications, such as : network coding, cloud computing and distributed storage, multi-antenna systems of communication, or quantum computing.
This conference will address theory and applications of coding theory, featuring interac- tions with algebra, theoretical computer science and discrete mathematics. The event has been initiated by COST Action IC1104 and will be particularly welcoming to contributions relevant to its themes.
Scientific committee :Christine Bachoc, Alexander Barg, Marcus Greferath, Frank Kschi- schang, Madhu Sudan, Gilles Zémor.
http://acn2014.u-bordeaux.fr/