15 000

Faulté dessienes etdegénie

Département d'informatiqueetde génielogiiel

IFT-4003/7023

Hiver2020

Version:16février

Travail pratique #1

Introdution odage arithmétique

Questions

Donnezledéveloppement pourvosréponses,en partiulier quandlealulest long.

1. (10points.) Entropie.

(a) L'artiste punk Anthropy fait un grati sur un mur de sa ville haque nuit. À

haquefois,ilhoisitunmotauhasarddansleditionnairefrançais. Disonsque

leditionnaire français ontient exatement

15 000

mots. Aussi, Anthropyérit lemothoisiàl'aide del'une de ses

7

annettesde peinture deouleurs variées.

Quelleest,en bits,l'entropieassoiéeà haunde ses gratis?

(b) Patriksoure d'insomnie. Tant qu'à passerde longuesheures àne pasdormir,

iltraversel'épreuve leplusagréablement possibleen jouant auxartes. Cequ'il

faitesttrèssimple: àhaquetour,ilmélangetoutlepaquet,iltiredeuxartes,il

remarqueles numérosdees deuxartes(mais pasleursouleurs) etilinsrit la

pairedenumérosen ordreroissant. Quelle estl'entropiedelapairedenuméros

qu'ilinsrit à haque tour?

Supposonsquesonpaquetneontientpaslesjokers;i.e.ilontient

52

artes. De plus,faitesattentionaufaitqueletiragedelapremièrearteauneinuenesur

letiragedeladeuxième arte: il nerestealorsque

53

artesdanslepaquet etil estunpeu moinsprobable detirerunearte ayant lemêmenuméroqueelledu

premiertirage. Voiitrois exemplesdetours eetués parPatrik.

ˆ Il tire ladamede oeur,puis le

4

depique, don ilinsrit lapaire

4 12

.

ˆ Il tire le

6

detrèe,puis le

9

depique, don ilinsrit lapaire

6 9

.

1 1

9

nénupharsdisposés enune grille

3 × 3

ommesuit.

A B C

D E F

G H I

Malgréequesuggèresonnom,Kaoagitd'unemanièrepartiulièrement ordon-

née. Elle saute exatement une fois à haque seonde. Elle ne saute qu'à un

nénupharimmédiatementvoisin,dansl'une desquatrediretionsnord, sud,est,

ouest. Elle ne saute pasailleurs quesur l'un de ses

9

nénuphars. Avant haun de ses sauts, elle dresse laliste des nénuphars vers lesquels elle pourrait sauter.

Çasigniequ'elleobtientunelistede

2

,

3

ou

4

destinations,toutdépendantd'où elle se trouve. Elle hoisit dans la liste le nénuphar vers lequel elle saute ave

probabilitéuniformeentreles destinationspossibles. Voyonstroisexemples.

ˆ Si Kao se trouve sur le nénuphar A, alorselle pourrait sauter vers B ou D

ave probabilité

1 / 2

pourhaque destination.

ˆ SiKaosetrouvesurlenénupharB,alorsellepourraitsauterversA,CouE

ave probabilité

1 / 3

pourhaque destination.

ˆ Si Kao se trouve sur lenénuphar E, alorselle pourrait sauter vers B, D, F

ou Have probabilité

1 / 4

.

LafaçondesauterdeKaoformeunmodèledeMarkovd'ordre

1

. Calulezquelle estl'entropied'unsauten général.

indiquezs'ilestuniquementdéodable. Sioui,donnezunejustiation(parexemple,

une trae de l'algorithme vu en lasse). Si non, donnez aussi une justiation (par

exemple,une haîne de bitsqui estdéodable dedeux façonsdiérentes).

Code 1 Code 2 Code 3 Code 4 Code 5

a: 00

b: 010

: 0110

d: 0111

e: 100000

f: 100001

g: 10001

h: 1001

i: 1010

j: 10110

k: 10111

l: 11

a: 000

b: 00010

: 001

d: 00110

e: 010

f: 01010

g: 011

h: 01110

i: 1010

j: 11

k: 1110

a:000

b:00011

:001

d:0100

e:0101

f:011

g:01111

h:100

i:10011

j:1010

k:10101

l:1011

a: 00

b: 001

: 0011

d: 001110

e: 0011101

f: 00111011

g: 001111

h: 0011111

i: 00111111

j: 01

k: 011

l: 0111

a: 00

b: 0010

: 001010

d: 010

e: 01010

f: 011

g: 01110

h: 0111010

i: 101010

j: 110

k: 11010

l: 1101010

m: 111

n: 11110

o: 1111010

3. (10 points.) Codes préxes. Soit l'alphabet

{

^a

,

^b

,

,

^d

,

^e

,

^f

,

^g

,

^h

,

ⁱ

,

^j

}

^{. Danshaun}

des as si-dessous, indiquez s'il existe un ode préxe dont la longueur du mot de

ode de haque symboleest elleindiquéedansletableau. Sioui, donnezuntel ode

préxe. Sinon,expliquezpourquoi.

(a)

a b d e f g h i j

3 2 4 4 5 6 3 4 6 2

(b)

a b d e f g h i j

5 6 1 2 6 4 6 4 5 3

4. (10points.) Codespréxes. Considérezl'alphabet

Σ

^{suivantainsiquelesfréquenes}

d'apparitionassoiées.

a b d e f g h i j k l

11 2 8 10 7 5 6 4 3 9 12 1

(a) Construisez un ode préxe pour

Σ

^{en utilisant} l'algorithme de Shannon-Fano.

Calulezlalongueur moyennedesmots de ode.

(b) Construisez un ode préxe pour

Σ

^{en utilisant} l'algorithme de Human. Cal- ulezlalongueur moyennedesmots deode.

5. (10 points.) Codes de Golomb. Considérons l'alphabetdes nombres naturels. La

probabilitédunombre

i

^,

i ≥ 0

^,est:

p i = 1 8 ·

7 8

ⁱ

Considérez le ode de Golomb de paramètre

m = 5

^{. Montrez la forme des mots de}

ode pourles divers naturels. Aussi, donnez expliitement les mots de ode pour les

naturels

0

^à

11

^{. Enn,alulezlalongueurmoyennedumotdeoded'unnatureltiré}

aléatoirementen fontion desprobabilités.

Voii deux identitésqui peuventvousêtre utiles.

∞

X

i=0

r ⁱ = 1 1 − r

∞

X

i=0

i · r ⁱ = r (1 − r) ²

6. (10points.) CodesdeTunstall. ConstruisezleodedeTunstalldontleditionnaire

ala apaitéde ontenir

25

^{mots. L'alphabetsoure etles} probabilitésdes symboles sont lessuivants.

a b d

3 10

2 10

1 10

4

10

boles suivants.

a b d

4 20

5 20

9 20

2 20

Vous devez dérire la gestion de l'intervalle de travail au ours de l'enodage de la

haîne

acdb

,enommençantparl'intervalleomplet. Ilyainqmomentsdistints: le momentpréédantl'enodagedupremiersymboleethaundesmomentsquisuivent

immédiatementl'enodaged'unsymbole. Vousdevezfairelesredimensionnementsde

l'intervalle de travail (à l'aide de

E ¹

^,

E ²

^et

E ³

^{) au fur età mesure. Faites deux fois}

l'exerie: une fois en manipulant des frations exates etune autre fois en nombres

entiers, où l'intervalleomplet omporte

16

tuiles.

Remise des travaux

Vous devez remettre le travail dans la boîte de dépt de monPortail au plus tard le

25 février. Veuillez ignorer la date de remise insrite dans le plan de ours. Les autres

modalitésde remise sont insritesdansleplan deours.