Algorithmique avanc´ ee 2018-2019

Algorithmique avanc´ ee 2018-2019

TD6 : Entropie et codage 1 Echauffement ´

Question 1 : On a une pi` ece biais´ ee de probabilit´ e 0 < p < 1 (on ne connaˆıt pas p). Comment peut-on simuler une pi` ece parfaite en utilisant la piece biais´ ee ? Combien de lanc´ es sont-ils n´ ecessaires en moyenne ? Question 2 : On a une pi` ece parfaite (p = 1/2).

1. Comment peut-on simuler un d´ e ` a n ∈ {3, 4, 5, . . .} faces ? 2. Quel est le temps moyen d’ex´ ecution ?

3. Peut-on r´ ealiser cette simulation en temps born´ e ?

2 Entropie

Question 1 : Soit X une v.a. sur un domaine fini. Quelle est (en g´ en´ eral) la relation d’in´ egalit´ e entre H (X ) et H (Y ) si

a. Y = 2 ^X ? b. Y = cos(X ) ?

Question 2 : Quelle est la valeur minimale de H (p ₁ , . . . , p _n ) = H (~ p) pour ~ p dans l’ensemble des vecteurs de probabilit´ e de dimension n ? Donner tous les ~ p qui r´ ealisent ce minimum.

Question 3 : On lance une pi` ece parfaite jusqu’` a obtenir face. La v.a. X d´ enote le nombre de lancers effectu´ es.

a. Trouver H (X ).

b. On tire au hasard une v.a. X selon cette distribution. Trouver une s´ equence efficace de requˆ etes oui/non de la forme

Est-ce que X est dans l’ensemble S ?

pour d´ eterminer X . Comparer H(X ) avec l’esp´ erance du nombre de requˆ etes n´ ecessaires pour trouver X.

Question 4 : Dans le cadre des InterENS Culturelles 2017, une s´ erie de 7 matchs d’improvisation est organis´ ee entre les ´ equipes de Cachan et de Rennes. La premi` ere ´ equipe ` a remporter 4 matchs est d´ eclar´ ee gagnante. Soit X la v.a. repr´ esentant les r´ esultats possibles, par exemple CCCC, RCRCRCR ou CCCRRRR. Soit Y le nombre de matchs jou´ es (4 ≤ Y ≤ 7). On suppose les ´ equipes ´ equilibr´ ees, et les matchs ind´ ependants. Calculer H (X), H (Y ), H(Y |X ) et H (X|Y ).

3 Codes uniquement d´ echiffrables

Question 1 : [Algorithme de Sardinas & Patterson]

Si u, v ∈ Σ ^∗ , on d´ efinit u − v = {u ⁰ ∈ Σ ^∗ | u = v · u ⁰ }. Ainsi, u − v est r´ eduit ` a 0 ou un ´ el´ ement. (par exemple, abc − a = {bc}, ab − ba = ∅).

Etant donn´ ´ e S ⊆ Σ ^∗ , on d´ efinit

T 0 = [

u,v∈S u6=v

u − v

et on d´ efinit T comme ´ etant le plus petit ensemble qui contient T 0 et qui satisfait l’in´ egalit´ e [

s∈S,v∈T

((s − v) ∪ (v − s)) ⊆ T

a. L’objectif de cette question est de montrer que S est uniquement d´ echiffrable ssi T ne contient pas le mot vide. Pour tout i ≥ 1, on pose

1

Algorithmique avanc´ ee 2018-2019

T i = T _i−1 ∪ S

u∈S,v∈T

((u − v) ∪ (v − u)) Il est facile de voir que T = S

i T i et que les T i ne contiennent que des suffixes de mots de S. En outre, puisque T i ⊂ T i+1 pour i ≥ 0, il existe n ≥ 0 tel que T = T n = T n+1 .

D´ emontrer les deux lemmes suivants :

(a) Lemma 1 Pour tout u ∈ T et pour tous u ₁ , . . . , u _k , v ₁ , . . . , v _` ∈ S tels que u ₁ u ₂ . . . u _k = uv ₁ v ₂ . . . v _l , on a ε ∈ T .

(b) Lemma 2 Pour tout i, s’il existe u ∈ T _i et u ₁ , . . . , u _k , v ₁ , . . . , v _{`</sub> ∈ S tels que uu <sub>1</sub> . . . u <sub>k</sub> = v <sub>1</sub> . . . v <sub>`} , alors il existe v ∈ T ₀ et u ⁰ ₁ , . . . , u ⁰ _k , v ₁ ⁰ , . . . , v _{`</sub> <sup>0</sup> ∈ S tels que vu <sup>0</sup> <sub>1</sub> . . . u <sup>0</sup> <sub>k</sub> = v <sub>1</sub> <sup>0</sup> . . . v <sup>0</sup> <sub>`} . Conclure.

b. Parmi les ensembles S suivants, lesquels sont uniquement d´ echiffrables ?

S 0 = {0, 10, 11} S 1 = {0, 01, 11} S 2 = {0, 01, 10}

S 3 = {0, 01} S 4 = {00, 01, 10, 11} S 5 = {110, 11, 10}

S 6 = {110, 11, 100, 00, 10}

c. Donner un algorithme (polynomial) pour d´ ecider si S est un code uniquement d´ echiffrable. Estimer la complexit´ e de l’algorithme.

2