Compression de texte

Compression de texte

Thierry Lecroq

Universit´e de Rouen FRANCE

La compression

message −→ message cod´e gain d’espace de stockage gain de temps de transmission

La compression

2 types

sans perte : le message d´ecod´e est ´egal au message d’origine

⇒ texte

avec perte : le message d´ecod´e est diffrent du message d’origine

⇒ images et sons

Entropie

A={a₀, . . . , an−1} ets=cardA

Soit une source d’informations S= (A,P) P = (p0, . . . , ps−1)

p_i : probabilit´e d’occurrence de a_i dans un mot surA⁺

S est une sourcesans m´emoire si les p_i sont ind´ependants et stables (source stationaire)

S est une sourcemarkoviennesi les p_i d´ependent des symboles pr´ec´edemment ´emis

Entropie

D´efinition

H(S) =H(p₀, . . . , ps−1)

=−

s−1

X

i=0

pilog₂(pi)

=

s−1

X

i=0

pilog₂(1 p_i)

Entropie

Proposition

Soit S = (A,P) une source alors0≤H(S)≤log₂s

Longueur moyenne d’un code

C : code

f : fonction de codage S = (A,P) : source

|C|=

s−1

X

i=0

|f(ai)|p_i

Exemple 1

S = ({a,b,c,d},(¹₂,¹₄,¹₈,¹₈)) C

f(a) =00 f(b) =01 f(c) =10 f(d) =11

|C|= 2

H(S) = ¹ ×1 +¹ ×2 +¹ ×3 +¹ ×3 = 1,75

Exemple 2

S = ({a,b,c,d},(¹₂,¹₄,¹₈,¹₈)) C

f(a) =0 f(b) =10 f(c) =110 f(d) =1110

|C|= 1,875 H(S) = 1,75

Th´ eor` eme de Shannon

Th´eor`eme

Soit S une source sans m´emoire d’entropieH. Tout code uniquement d´echiffrable deS sur un alphabetA de cardinals, de longueur moyenne ` v´erifie :

`≥ H

log₂s.

De plus il existe un code uniquement d´echiffrable de S sur un alphabet de cardinal sde longueur moyenne `qui v´erifie :

` < H + 1.