Introduction Formalisation du problème La notion d’incertitude, ou "entropie" Résolution du problème Conclusion Énoncé du problème Premières remarques Programme pour la suite

(1)

Introduction Formalisation du problème La notion d’incertitude, ou "entropie"

Résolution du problème Conclusion

Énoncé du problème Premières remarques Programme pour la suite

(2)

Le(s) Problème(s)

vite" ?

Problème (Nombre de questions)

Combien de questions à poser pour un questionnaire optimal ?

(3)

Le(s) Problème(s)

Problème (Questionnaire optimal)

Quel méthode pour construire un questionnaire qui va "au plus vite" ?

(4)

Le(s) Problème(s)

Problème (Questionnaire optimal)

Quel méthode pour construire un questionnaire qui va "au plus vite" ?

(5)

Quelles sont les bonnes questions ?

Celles dont on a aucune raison de privilégier une réponse affirmative ou négative

Exemple

"Est-ce un personnage réel ou fictif ?"

(6)

Quelles sont les bonnes questions ?

(7)

Quelles sont les bonnes questions ?

Exemple

"Est-ce un personnage réel ou fictif ?"

(8)

Les enjeux

On a donc une idée de comment procéder

L’enjeu : donner unsens précisaux choses, puis les étudier rigoureusement

(9)

Les enjeux

On a donc une idée de comment procéder MAIS

Les termes sont tropflouspour pouvoir démontrer quoi que ce soit L’enjeu : donner unsens précisaux choses, puis les étudier

rigoureusement

(10)

Les enjeux

Les termes sont tropflouspour pouvoir démontrer quoi que ce soit

(11)

Les enjeux

Les termes sont tropflouspour pouvoir démontrer quoi que ce soit L’enjeu : donner unsens précisaux choses, puis les étudier

rigoureusement

(12)

De la nécessité de la formalisation

unesuperstar, et les deux autres soientinconnus

(13)

De la nécessité de la formalisation

Supposons qu’il n’y ait que trois personnages possibles, A, B et C.

Supposons maintenant que parmi ces trois personnages, l’un soit unesuperstar, et les deux autres soientinconnus

(14)

De la nécessité de la formalisation

Supposons qu’il n’y ait que trois personnages possibles, A, B et C.

Supposons maintenant que parmi ces trois personnages, l’un soit unesuperstar, et les deux autres soientinconnus

(15)

De la nécessité de la formalisation

Attention

La notion d’optimalité n’a rien d’évident. Il est donc nécessaire de lui donner un sens précis, ainsi qu’aux autres notions utilisées.

(16)

Programme pour la suite

I à la notion d’optimalité d’un questionnaire

I au procédé proposé

Déterminer combien de questions à poser pour un questionnaire optimal

Étudier l’optimalité du procédé proposé

(17)

Programme pour la suite

Donner un sens précis :

I à la notion de questionnaire

(18)

Programme pour la suite

(19)

Programme pour la suite

(20)

Programme pour la suite

(21)

Programme pour la suite

(22)

Programme pour la suite

(23)

Qu’est-ce qu’un questionnaire ? L’optimalité

Le procédé proposé

Comment dessiner un questionnaire ?

Si on noteN le nombre de personnages auxquels on peut penser, un questionnaire peut naturellement être représenté par unarbre binaireet deN noeudsde cet arbre, marquant la fin du

questionnaire, c’est-à-dire l’obtention d’une réponse.

Mais pour être sûr que ce soit unebonne définition, il faut se poser laquestion inverse:

(24)

Comment dessiner un questionnaire ?

Si on noteN le nombre de personnages auxquels on peut penser,

(25)

Comment dessiner un questionnaire ?

(26)

Comment dessiner un questionnaire ?

(27)

La question inverse

Problème

Est-ce quen’importe quelchoix d’arbre, et n’importe quelchoix deN noeudsdans cet arbre peut représenter un questionnaire ?

Réponse

Non, il faut qu’aucun des noeuds ne soit ancêtre d’un autre.

(28)

La question inverse

Problème

Est-ce quen’importe quelchoix d’arbre, et n’importe quelchoix deN noeudsdans cet arbre peut représenter un questionnaire ?

Réponse

Non, il faut qu’aucun des noeuds ne soit ancêtre d’un autre.

(29)

La définition

Définition

Un questionnaire est un couple(A,T) où Aest un arbre binaire et T un ensemble de N noeuds dont aucun n’est parent d’un autre.

(30)

La définition

Définition

Un questionnaire est un couple(A,T) où Aest un arbre binaire et T un ensemble de N noeuds dont aucun n’est parent d’un autre.

(31)

Le contrat

(32)

Le contrat

(33)

Le contrat

(34)

Le contrat

(35)

De la nécessité des probabilités

Comme on l’a vu, la définition de l’optimalité doit prendre en compte le caractèrefondamentalement probabilistede l’expérience

(36)

De la nécessité des probabilités

Comme on l’a vu, la définition de l’optimalité doit prendre en compte le caractèrefondamentalement probabilistede l’expérience

(37)

L’univers

Vocabulaire

Pour une expérience aléatoire donnée, on appelleunivers, classiquement notéΩ, l’ensemble des issues possibles

Exemple (Lancer de dé)

Pour un lancer de dé à six faces,Ω ={1,2,3,4,5,6}

(38)

L’univers

Vocabulaire

(39)

L’univers

Vocabulaire

Pour un lancer de dé à six faces,Ω ={1,2,3,4,5,6}

(40)

Événement

Pour un lancer de dé, "le résultat est pair", ce qui correspond au sous-ensemble{2,4,6}, est un événement.

(41)

Événement

Vocabulaire

On appelleévénement tout sous-ensemble de l’universΩ

(42)

Événement

Vocabulaire

On appelleévénement tout sous-ensemble de l’universΩ

(43)

Distribution de probabilité

Définition (Distribution de probabilité)

SiΩ ={ω₁, ..., ωn}est un ensemble fini, etp = (pω)_ω∈Ω une collection de réels entre 0 et 1, on dit quep est unedistribution de probabilitésurΩ si

pω1 +pω2 +...+pωn = X

ω∈Ω

pω=1

Exemple (Lancé de dé)

Sur{1,2, ...,6},p1 =p2 =...=p6= ¹₆ est une distribution de probabilité, la plus naturelle pour modéliser un lancer de dé non truqué

(44)

Distribution de probabilité

pω1+pω2 +...+pωn = X

ω∈Ω

pω =1

6

probabilité, la plus naturelle pour modéliser un lancer de dé non truqué

(45)

Distribution de probabilité

pω1+pω2 +...+pωn = X

ω∈Ω

pω =1

Exemple (Lancé de dé)

Sur{1,2, ...,6},p1 =p2=...=p6= ¹₆ est une distribution de probabilité, la plus naturelle pour modéliser un lancer de dé non truqué

(46)

Probabilité d’un événement

Aun événement. On définitp_A laprobabilité de l’événement A par :

pA =X

ω∈A

pω

Pour un lancer de dé non truqué, la probabilité de l’événement : "le résultat est pair" estp2+p4+p6=3×¹₆ = ¹₂

(47)

Probabilité d’un événement

Définition (Probabilité d’un événement)

SoitΩun ensemble fini, p une distribution de probabilité surΩ, et Aun événement. On définitp_A laprobabilité de l’événement A par :

pA =X

ω∈A

pω

Pour un lancer de dé non truqué, la probabilité de l’événement : "le résultat est pair" estp2+p4+p6=3×¹₆ = ¹₂

(48)

Probabilité d’un événement

Définition (Probabilité d’un événement)

SoitΩun ensemble fini, p une distribution de probabilité surΩ, et Aun événement. On définitp_A laprobabilité de l’événement A par :

pA =X

ω∈A

pω

Pour un lancer de dé non truqué, la probabilité de l’événement : "le résultat est pair" estp2+p4+p6=3× ¹₆ = ¹₂

(49)

Conditionnement

Définition (Probabilité sachant un événement)

SoitΩun ensemble,p une distribution de probabilité surΩ, etA un événement de probabilité non-nulle. On définit la distribution de probabilité "sachantA"p^(A) par :

p^(A)_ω = (_p

ω

pA si ω∈A 0 sinon

Pour un lancer de dé, la probabilité que le résultat soit 2 sachant que celui-ci est pair est ¹₃

(50)

Conditionnement

p^(A)_ω = (_p

ω

que celui-ci est pair est ¹₃

(51)

Conditionnement

p^(A)_ω = (_p

ω

Pour un lancer de dé, la probabilité que le résultat soit 2 sachant que celui-ci est pair est ¹₃

(52)

Indépendance

l’événement "AetB sont réalisés", notéA∩B, a pour probabilité : p_A∩B =p_A×p_B

Ce qui est la même chose que de dire quep_B^(A)=p_B

Exemple (Deux lancers de pièce indépendants)

Si on lance deux pièce de façon indépendante, l’univers est Ω ={(P,P),(P,F),(F,P),(F,F)} et la probabilité que l’on obtienne une certaine issue est ¹₂ ×¹₂ = ¹₄

(53)

Indépendance

Définition

SoientA etB deux événements. On dits qu’ils sont indépendants si l’événement "AetB sont réalisés", notéA∩B, a pour probabilité :

p_A∩B =p_A×p_B

(54)

Indépendance

Définition

SoientA etB deux événements. On dits qu’ils sont indépendants si l’événement "AetB sont réalisés", notéA∩B, a pour probabilité :

p_A∩B =p_A×p_B

(55)

Notations

Dans la suite, on noteraN le nombre de personnagespossibles, Ω ={1, ...,N}l’ensemble de ces personnagespossibles, pi la probabilitéque le personnagei apparaisse, et pour un

questionnaire donné, on noteral_i lalongueur de la série de questionspour aboutir au personnage i.

(56)

Qu’est-ce qu’un questionnaire optimal ?

caractèrefondamentalement probabilistede l’expérience.

(57)

Qu’est-ce qu’un questionnaire optimal ?

Attention

Comme on l’avait vu, il est nécessaire de prendre en compte le caractèrefondamentalement probabilistede l’expérience.

(58)

Qu’est-ce qu’un questionnaire optimal ?

Définition

SoitQ un questionnaire. Notonsli la longueur de la série de questions pour arriver ài. On définit la longueur moyenne deQ, notéeE(Q) (comme "espérance"), par :

E(Q) =

N

X

i=1

pili

E(Q)≤E(Q⁰)

(59)

Qu’est-ce qu’un questionnaire optimal ?

Définition

SoitQ un questionnaire. Notonsli la longueur de la série de questions pour arriver ài. On définit la longueur moyenne deQ, notéeE(Q) (comme "espérance"), par :

E(Q) =

N

X

i=1

pili

Définition

On dira queQ est optimal si pour tout autre questionnaireQ⁰,

E(Q)≤E(Q⁰)

(60)

Le contrat

(61)

Le contrat

(62)

Le contrat

(63)

Le contrat

(64)

Le questionnaire de Fano

sépareΩen deux sous-ensemblesΩ₁ ={1, ...,u}et Ω2 ={u+1, ...,M}, où u est le plus petit entier tel que :

p₁+...+p_u ≥ 1 2

Définition

On appellera lequestionnaire de Fanole questionnaire obtenu par l’itération successive duprincipe de dichotomie

(65)

Le questionnaire de Fano

Définition (Principe de dichotomie)

SoitΩ ={1, ...,M},p= (p1, ...,p_M), avecp_M ≥...≥p1. On sépareΩen deux sous-ensemblesΩ₁ ={1, ...,u}et

Ω2 ={u+1, ...,M}, où u est le plus petit entier tel que :

p₁+...+p_u ≥ 1 2

Définition

(66)

Le questionnaire de Fano

Définition (Principe de dichotomie)

SoitΩ ={1, ...,M},p= (p1, ...,p_M), avecp_M ≥...≥p1. On sépareΩen deux sous-ensemblesΩ₁ ={1, ...,u}et

Ω2 ={u+1, ...,M}, où u est le plus petit entier tel que :

p₁+...+p_u ≥ 1 2

Définition

(67)

Le contrat

I à la notion d’incertitude

(68)

Le contrat

(69)

Le contrat

(70)

Le contrat

(71)

Parenthèse technique sur le logarithme L’entropie

Qu’est-ce que le logarithme ?

C’est une fonction deR^∗+ dansR Elle est traditionnellement notée log Elle vérifie des propriétés bien particulières

(72)

Qu’est-ce que le logarithme ?

C’est une fonction deR^∗+ dansR

(73)

Qu’est-ce que le logarithme ?

C’est une fonction deR^∗+ dansR Elle est traditionnellement notée log

Elle vérifie des propriétés bien particulières

(74)

Qu’est-ce que le logarithme ?

C’est une fonction deR^∗+ dansR Elle est traditionnellement notée log Elle vérifie des propriétés bien particulières

(75)

Graphe du logarithme

(76)

Propriétés fondamentales du logarithme

Proposition (Propriétés fondamentales du logarithme) Soienta,b deux réels strictement positifs. Alors :

1 log(a×b) =log(a) +log(b)

2 log(2) =1

3 log(1) =0

4 log ^a_b

=log(a)−log(b)

(77)

Propriétés fondamentales du logarithme

Proposition (Propriétés fondamentales du logarithme) Soienta,b deux réels strictement positifs. Alors :

1 log(a×b) =log(a) +log(b)

2 log(2) =1

3 log(1) =0

4 log ^a_b

=log(a)−log(b)

Un mot d’ordre : log transforme lesmultiplicationsenadditions

(78)

Conséquence immédiate mais utile

Proposition

Soitn un entier. Alors :

log(2ⁿ) =n

(79)

Objectif

Problème

Trouver une fonctionH qui à unedistribution de probabilité associe laquantité d’incertitude quant au résultat de l’expérience.

Méthode

On va chercher desaxiomes pertinents, c’est-à-dire des propriétés qui nous paraissent naturelles à imposer à notre fonction. Puis, on verra si ces axiomes ne nous disent pas quelle fonction pourrait convenir.

(80)

Objectif

Problème

Trouver une fonctionH qui à unedistribution de probabilité associe laquantité d’incertitude quant au résultat de l’expérience.

Méthode

On va chercher desaxiomes pertinents, c’est-à-dire des propriétés qui nous paraissent naturelles à imposer à notre fonction. Puis, on verra si ces axiomes ne nous disent pas quelle fonction pourrait convenir.

(81)

Quatre axiomes

Pour tout entiern, H 1

n+1, ..., 1 n+1

≥H 1

n, ...,1 n

(A₁)

H 1

nm, ..., 1 nm

−H 1

n, ...,1 n

=H 1

m, ..., 1 m

(A₂)

H(p)−H(pA,1−pA) =pAH

p^(A)

+ (1−pA)H

p^(A)

(A₃)

q 7→H(q,1−q) continue (A₄)

(82)

Quatre axiomes

Pour tout entiern, H

1

n+1, ..., 1 n+1

≥H

1

n, ...,1 n

(A₁)

p^(A)

+ (1−pA)H

p^(A)

(A₃)

(83)

Quatre axiomes

n+1, ..., 1 n+1

≥H 1

n, ...,1 n

(A₁)

H

1

nm, ..., 1 nm

−H

1

n, ...,1 n

=H

1

m, ..., 1 m

(A₂)

p^(A)

+ (1−pA)H

p^(A)

(A₃)

(84)

Quatre axiomes

n+1, ..., 1 n+1

≥H 1

n, ...,1 n

(A₁)

H 1

nm, ..., 1 nm

−H 1

n, ...,1 n

=H 1

m, ..., 1 m

(A₂)

p^(A)

+ (1−pA)H

p^(A)

(A₃)

(85)

Quatre axiomes

n+1, ..., 1 n+1

≥H 1

n, ...,1 n

(A₁)

H 1

nm, ..., 1 nm

−H 1

n, ...,1 n

=H 1

m, ..., 1 m

(A₂)

p^(A)

+ (1−pA)H

p^(A)

(A₃)

(86)

Une seule fonction possible (ou presque)

Théorème

Les seules fonctions vérifiant (A₁),(A₂),(A₃)et (A₄)sont les :

p = (p1, ...,pn)7−→ −C

n

X

i=1

pilogpi

oùC est une constante positive.

(87)

L’entropie

Définition

On appellera entropie la fonction :

p= (p1, ...,pn)7−→ −

n

X

i=1

pilogpi

que l’on noteraH

(88)

Le contrat

(89)

Le contrat

(90)

Le contrat

(91)

Le contrat

(92)

Borne inférieure de la longueur moyenne Le questionnaire de Fano est-il optimal ?

Le problème

E(Q)≥K

(93)

Le problème

Problème (Problème de la borne inférieure)

TrouverK >0 telle que, pour tout questionnaireQ : E(Q)≥K

(94)

Un rappel

aucun est ancêtre d’un autre.

Mais qu’est-ce que cettepropriété nous impose sur la longueur moyenne minimale d’un questionnaire ?

(95)

Un rappel

Rappel

Un questionnaire est unarbre binaire ainsi queN noeuds dont aucun est ancêtre d’un autre.

(96)

Un rappel

Rappel

Un questionnaire est unarbre binaire ainsi queN noeuds dont aucun est ancêtre d’un autre.

(97)

Une remarque

Proposition

Un arbre de profondeurn possède 2ⁿ noeuds terminaux.

(98)

Une remarque

Proposition

Un arbre de profondeurn possède 2ⁿ noeuds terminaux.

(99)

Inégalité de Kraft

Théorème

SiQ est un questionnaire, alors, en notantl_i la longueur de la série de questions aboutissant ài :

N

X

i=1

1

2^lⁱ ≤1 (Kr)

(100)

Intuition

l’issue d’une expérience aléatoire, on sent que ce sera notre borne inférieure. On va le montrer grâce à l’inégalité deKraft.

(101)

Intuition

Conjecture

L’entropieétant le "manque d’information" dont on dispose sur l’issue d’une expérience aléatoire, on sent que ce sera notre borne inférieure. On va le montrer grâce à l’inégalité deKraft.

(102)

Un rappel

Proposition

Soitn un entier. Alors :

log(2ⁿ) =n

(103)

Un coup de pouce

(104)

L’entropie est la borne inférieure

Théorème

Pour tout questionnaireQ :

E(Q)≥H(p)

(105)

Le contrat

(106)

Le contrat

(107)

Le contrat

(108)

Le contrat

(109)

La désillusion

Remarque

Le questionnaire de Fano n’est pas toujours optimal.

(110)

La désillusion

Remarque

Le questionnaire de Fano n’est pas toujours optimal.

(111)

La consolation

Théorème

Le questionnaire de Fano est "presque optimal", au sens où : H(p)≤E(Q)<H(p) +1

(112)

La consolation

Théorème

Le questionnaire de Fano est "presque optimal", au sens où : H(p)≤E(Q)<H(p) +1