Dans cette section, nous rappelons les d´efinitions portant sur les mesures de l’infor- mation introduites par Shannon (1948). Dans un premier temps, nous pr´esentons l’en- tropie de Shannon, la divergence de Kullback-Leibler et l’information mutuelle comme mesures de l’information. Dans un second temps, nous pr´esentons comment ces mesures peuvent ˆetre utilis´ees pour compresser les donn´ees. Enfin, nous soulignons le lien qu’il existe entre l’estimation bay´esienne et la compression.
3.3.1 Mesure de l’information
Shannon (1948) d´efinit l’entropie d’une variable al´eatoire X prenant ses valeurs dans un espace des observations discretX , comme une mesure de l’incertitude qu’il existe sur les r´ealisations de la variable. L’entropie (Eq. 3.64) est en fait la moyenne de la variable − log p(X) qui mesure l’incertitude d’obtenir X. En effet, plus p(X) est petit, plus cette mesure est grande et l’´ev´enement est incertain :
H(X) =−X
x∈X
p(x) log p(x) (3.64)
Nous notons que l’entropie est maximale pour une distribution uniforme surX et qu’elle est nulle pour un distribution de dirac. En effet, la probabilit´e de dirac repr´esente une r´ealisation certaine, n’apportant aucune information. Cette mesure s’exprime en bits d’in- formation car la base logarithmique consid´er´ee est 2.
A partir de cette d´efinition, Shannon ´enonce son premier th´eor`eme de codage de source ou de compression sans perte. Il montre, que si on associe un mot de code cx `a chaque
r´ealisation x de l’espace des observations, encore appel´e dictionnaire, tel que ce code ga- rantisse un d´ecodage unique, alors la longueur moyenne des mots de code est sup´erieure `a l’entropie. La longueur des mots de code L(cx) se mesure en bits de Turing, c’est-`a-dire
qu’elle prend une valeur enti`ere. X
x∈X
p(x)L(cx)≥ H(X) (3.65)
De plus, il montre que l’´egalit´e est atteinte pour un code qui v´erifie− log p(x) = L(cx) et
qui est appel´e code de Shannon-Fano.
D’autre part, Shannon montre qu’il est possible de construire un codage pr´efixe binaire v´erifiant l’in´egalit´e de Kraft (Eq. 3.66) et qui permet de coder la source X.
X
x∈X
2−L(cx)≤ 1 (3.66)
Ce codage v´erifie L(cx) =d− log p(x)e et la longueur moyenne de codage reste inf´erieure
`a H(X) + 1. Par ce th´eor`eme, Shannon montre qu’il est possible de coder une source tout en s’approchant de la limite ´etablie par l’entropie. N´eanmoins, ce th´eor`eme s’applique pour une source dont les r´ealisations se succ`edent `a l’infini. D’autre part, il faut noter, que cette limite d´epend fortement de la connaissance de la distribution des donn´ees.
3.3. COMPRESSION SANS PERTE ET MODELISATION´ 51
3.3.2 La divergence de Kullback-Leibler et l’information mutuelle
La divergence de Kullback-Leibler est introduite et utilis´ee pour d´efinir le principe de discrimination minimum (Kullback & Leibler, 1951). Ce principe consiste `a choisir une distribution p(X) lorsqu’un a priori q(X) est disponible et que p(X) doit satisfaire un jeu de contraintes. Ce principe de discrimination minimum est encore interpr´et´e comme le principe du maximum d’entropie (Jaynes, 1968). La divergence de Kullback-Leibler est d´efinie par : dKL(p| q) = X x∈X p(x) logp(x) q(x) (3.67)
Dans le cadre de la compression, cette divergence peut se r´einterpr´eter en tant qu’une redondance de codage. Cette quantit´e d’information correspond `a coder une source X qui suit la probabilit´e p(X) en utilisant un code de Shannon-Fano construit `a partir de q(X). En l’occurrence, si on se trompe sur le mod`ele statistique de X, alors la quantit´e d’information suppl´ementaire utilis´ee lors du codage sera sup´erieure `a la divergence de Kullback-Leibler. De plus, nous notons que cette quantit´e est toujours positive et est nulle si et seulement si p(X) = q(X). Enfin, notons que cette divergence n’est pas sym´etrique. Maintenant, consid´erons deux variables al´eatoires X et Y telles que p(X, Y ) soit la distri- bution conjointe. Alors l’information mutuelle (Shannon, 1948) entre ces deux variables est d´efinie par :
I(X, Y ) = dKL(p(X, Y )| p(X)p(Y )) = X x∈X X y∈Y p(x, y) log p(x, y) p(x)p(y) (3.68) Cette quantit´e d’information correspond `a la quantit´e d’information suppl´ementaire n´ec- essaire au codage des deux sources lorsque les variables sont consid´er´ees comme ´etant ind´ependantes. L’information mutuelle est souvent interpr´et´ee comme la quantit´e d’in- formation partag´ee par les deux variables. Cette quantit´e admet aussi les d´efinitions sui- vantes (Eq. 3.69). Dans ce cas, cette mesure s’interpr`ete comme la diff´erence entre la lon- gueur minimale de codage de X (ou Y ) seul et la longueur de codage de X sachant Y (ou Y | X).
I(X, Y ) = H(X) + H(Y )− H(X, Y ) = H(X) − H(X | Y ) = H(Y ) − H(Y | X) (3.69) Cette quantit´e est positive, sym´etrique et s’annule si et seulement si les variables sont ind´ependantes statistiquement.
Une multitude d’autres mesures de l’information existent (Taneja, 2001). Mais, nous uti- lisons les mesures pr´ec´edentes puisqu’elles permettent de d´eduire des bornes pour la compression.
3.3.3 Codage et estimation
Dans ce paragraphe, nous montrons en quoi l’estimation de param`etres est un sch´ema de codage de source. Plus particuli`erement, l’estimation MAP est un sch´ema de codage d’un processus stochastique Xnen deux parties. Ce processus stochastique est compos´e de n variables i.i.d associ´ees une distribution inconnue p(X). La limite de codage de Shannon du processus Xnest ´egale `a nH(X).
52 3. FONDEMENTS THEORIQUES´ p(x| (x))θ^ ^ θ( )x p(x| (x))θ^ ^ θ( )x codeur
entropique entropiquedecodeur x
estimateur
x
decodeur codeur
p( )θ
FIG. 3.4 – Cette figure pr´esente comment l’estimation de param`etre peut ˆetre vue comme un probl`eme de codage d’information. La partie en noire correspond `a une estimation MV o `u les
param`etres sont connus au codage et d´ecodage. Le mod`ele param´etrique p(X | Θ) est connu
par le codeur et le d´ecodeur. La partie bleue ajout´ee, correspond `a une estimation MAP o `u la distribution a priori des param`etres est connue du codeur et du d´ecodeur. Ce processus de codage est optimal en longueur de code puisque l’estimation vise `a la minimiser.
Nous rappelons l’estimateur MAP sous sa forme logarithmique : ˆ θM AP(xn) = arg min θ {− log p(x n| θ) − log p(θ)} (3.70) = arg min θ ( − n X k=1 log p(xk | θ) − log p(θ) ) (3.71) Cette estimation minimise la longueur de code n´ecessaire `a encoder conjointement la r´ealisation xn et l’estim´e ˆθM AP. Imaginons, un codeur et un d´ecodeur qui ont acc`es `a
la distribution a priori p(Θ), alors l’estim´e peut ˆetre cod´e avec un code de Shannon- Fano. En l’occurrence, le vecteur de param`etres ˆθM AP est encod´e avec− log p(ˆθM AP) bits.
D’un autre cot´e, chaque r´ealisation xkpeut ˆetre encod´ee avec− log p(xk| ˆθM AP) bits. Le
sch´ema de ce type de codage est pr´esent´e dans la Figure 3.4. Nous notons que l’aug- mentation de la longueur du processus diminue l’entropie moyenne li´ee aux variables ind´ependantes. En effet, quand n tend vers l’infini, la longueur de code moyenne tend vers n1(H(Xn | ˆθ
M AP)− log p(θ)) = H(X | ˆθM AP)−log p(θ))n . Ainsi, la longueur de code
moyenne li´ee aux param`etres tend vers z´ero. Comme nous l’avons remarqu´e au §3.2.2, l’augmentation de n est pr´ef´erable pour de meilleurs estimations. Nous concluons que les deux points de vue s’accordent. Contrairement, au codage entropique, ce codage est op- timis´e pour une r´ealisation du processus. Si maintenant, nous voulons coder une infinit´e de r´ealisations du processus, nous voulons comparer la longueur obtenue `a l’entropie du signal. Consid´erons donc la divergence de Kullback-Leibler entre la vraie distribution q = p(Xn) et la distribution r = p(Xn| ˆθ(Xn))p(ˆθ(Xn)) : dKL(q| r) = X xn p(xn) log p(x n) p(xn| ˆθ(xn))p(ˆθ(xn)) =− X xn p(xn) log p(ˆθ(xn)| xn) (3.72) Par la construction du sch´ema d’encodage, nous sommes s ˆurs que la distribution p(Θ | Xn) est d´eterministe ce qui implique que la divergence dKL(q| r) est nulle. En cons´equence,
3.3. COMPRESSION SANS PERTE ET MODELISATION´ 53
ce syst`eme de codage admet comme limite inf´erieure de longueur de code, l’entropie de Shannon. Toutefois, nous avons suppos´e pour d´eduire Eq. 3.72 que la distribution a priori des param`etres v´erifie la relation de Bayes. Consid´erons, que les param`etres soient encod´es avec une distribution a priori w(θ) qui ne v´erifie pas la relation de Bayes. Alors, la divergence devient : dKL(q| r) = X xn p(xn) log p(ˆθ(x n)) w(ˆθ(xn)) (3.73) = X θ X xn:ˆθ(xn)=θ p(xn) log p(θ) w(θ) = X θ p(θ) log p(θ) w(θ) (3.74)
Ainsi la redondance de codage ´equivaut `a la divergence de Kullback-Leibler entre la vraie distribution des param`etres p(Θ) et l’a priori donn´ee w(Θ). Ce que nous appelons la vraie distribution correspond `a la distribution induite par la relation de Bayes connais- sant la vraie distribution p(Xn). En cons´equence, le syst`eme de codage est optimal au sens du codage de Shannon-Fano si la distribution a priori est bien choisie puisque le codage atteint la limite de Shannon. N´eanmoins, dans bien des cas la distribution des donn´ees p(Xn) n’est pas connue ce qui ne permet pas de reconstituer l’a priori sur les pa- ram`etres. Cependant, nous savons que l’information suppl´ementaire `a encoder vient du choix de l’a priori sur les param`etres. Aussi, nous avons un crit`ere objectif pour le choix du meilleur a priori donn´e par l’Eq. 3.74. Il est d´emontr´e que la minimisation par MAP d´ecrite dans l’Eq. 3.70 tend `a r´eduire la redondance de codage des param`etres, en mini- misant la divergence de Kullback-Leibler. Nous concluons que l’estimation bay´esienne MAP est ´equivalente `a construire un sch´ema de codage sans perte qui tend vers la limite de codage de Shannon.
Nous avons vu comment l’estimation de param`etres peut se r´e´enoncer en termes d’ef- ficacit´e de codage. Cependant, cette minimisation se fait dans le cadre d’une famille de mod`eles fix´ee. Nous d´ecrivons par la suite comment le principe de longueur minimale de codage sert pour l’estimation de famille de mod`eles.
3.3.4 Principe de Longueur de Description Minimale (LDM)
Comme nous l’avons vu pr´ec´edemment, la distribution a priori est d´eterminante pour le codage et l’estimation. Rissanen (1983) pr´esente le principe de Longueur de Descrip- tion Minimale (LDM) pour le codage universel. Pour un certain jeu de r´ealisations et une collection finie de mod`eles, le principe LDM s´electionne le mod`ele engendrant la lon- gueur minimale de description des donn´ees. La validit´e du principe LDM d´epend des propri´et´es de la longueur de description employ´ee ou plus pr´ecis´ement des propri´et´es du sch´ema de codage sous-jacent. Pour formaliser ces propri´et´es, Rissanen (1986) d´etermine la borne inf´erieure de la redondance de codage. Puis, Clarke & Barron (1990) d´etermine la borne inf´erieure de la redondance minimax du code avec lequel les donn´ees sont en- cod´ees pour une classe de mod`eles donn´ee. Ainsi les sch´emas de codage, aboutissant `a des longueurs de description dont la redondance v´erifie ces bornes inf´erieures, sont ap- pel´es des codes universels.
54 3. FONDEMENTS THEORIQUES´
M = {p(Xn | θ), θ ∈ Rk}. Soit un processus Xnqui est mod´elis´e par une des distribu-
tions de la famille. La redondance de codage est exprim´ee par la divergence de Kullback- Leibler telle que R(θ, q) = dKL(p(Xn | θ) | q(Xn)). Le probl`eme pos´e est de d´eterminer
la longueur minimax de redondance d´efinie par : min
q(Xn)maxθ R(θ, q) (3.75)
Ce crit`ere consiste `a trouver la distribution q(Xn) qui induit la longueur de code la plus proche du pire cas de codage. A l’inverse du cas d´ecrit au§3.3.3, ici nous supposons que le processus est distribu´e selon une des lois conditionnelles deM. Ne connaissant pas cette loi, nous voulons trouver une distribution qui codera au mieux les r´ealisations. La premi`ere borne de la redondance de codage est obtenue par Rissanen (1986). Il sup- pose qu’un estimateur ˆθ se calcule avec une pr´ecision de 1/√n. Il montre que pour toute distribution q(Xn), except´e certaines distributions appartenant `a un ensemble qui tend vers l’ensemble vide `a l’infini, l’in´egalit´e suivante est v´erifi´ee presque s ˆurement :
lim
n→∞R(ˆθ, q)≥
k
2log n (3.76)
Cette in´egalit´e sert `a d´efinir la limite d’un code universel. Si nous voulons construire un codeur universel du processus, nous voulons calculer la meilleure distribution q qui induit la longueur de code minimale. Mais cette in´egalit´e r´e´ecrite dans Eq. 3.77 montre que dans la majorit´e des cas une distribution q ne fera pas mieux que le codeur MAP pr´esent´e au§3.3.3 en prenant une distribution a priori telle que − log p(θ) = k2log n. Cet a
priori uniforme implique par cons´equent que l’estimation MAP est une estimation MV.
−X xn p(xn| ˆθ) log q(xn)≥ −X xn p(xn| ˆθ) log p(xn| ˆθ) + k 2log n (3.77) D’autre part, Dawid (1987) particularise l’in´egalit´e pr´ec´edente en montrant que :
− log q(xn)≥ − log p(xn| ˆθ(xn)) +k
2log n (3.78)
Les distributions q qui ne satisfont pas ces deux in´egalit´es engendrent la classe des codes universels. D’ailleurs, Rissanen (n.d.) montre qu’en prenant la distribution q(Xn) d´efinie dans l’Eq. 3.79, les in´egalit´es s’inversent en in´egalit´es strictes.
− log q(xn) =− log p(xn| ˆθ(xn)) + k
2log n + C (3.79)
o `u C est un constante de normalisation telle que la distribution v´erifie l’in´egalit´e de Kraft (Eq. 3.66). Ce codage universel revient au final `a une description de l’information en deux parties comme elle a ´et´e pr´esent´ee dans la Figure 3.4.
De plus, Clarke & Barron (1990) montrent que la borne obtenue pour le probl`eme du minimax (Eq. 3.75) est donn´ee par :
min q(Xn)maxθ R(θ, q) = log p(ˆθ)− k 2log ( n 2π)− log det(I(ˆθ)) −1/2 (3.80)
Cette borne est encore appel´ee la complexit´e d’information stochastique. D´es lors, nous remarquons que cette borne correspond au facteur d’Occam exprim´e pour les mod`eles
3.4. COMPRESSION AVEC PERTES ET EXTRACTION D’INFORMATION 55
param´etriques dans Eq. 3.56. Par cons´equent, nous soulignons le fait que les probl`emes d’inf´erence bay´esienne sont ´equivalents aux probl`emes de codage de source.
Maintenant que nous avons ces bornes, nous pouvons d´ecrire le principe LDM qui per- met de s´electionner la meilleure famille de mod`eles. En termes de codage, la meilleure famille de mod`eles param´etriques est celle qui donne un code universel qui minimise la longueur de repr´esentation. Ainsi, l’estimation de param`etres et la s´election de mod`eles s’exprime dans le cadre du codage comme le principe de longueur de description mini- male en s’appuyant sur le code universel (Eq. 3.79) :
min θ,k ½ − log p(xn| θ) +k 2 log n ¾ (3.81) D’autre part, en s’appuyant sur la borne minimax et en prenant un a priori de Jeffreys (Eq. 3.58), le principe de longueur de description minimale se g´en´eralise par :
min θ,k ½ − log p(xn| θ) + µ k 2log n + log Z det(I(φ))−1/2dφ ¶¾ (3.82) Il est `a noter que dans toutes ces fac¸ons d’aborder le probl`eme, il r´esulte que le signal est toujours cod´e en deux parties. C’est-`a-dire que l’information est s´epar´ee en deux quan- tit´es, dont une concerne le codage du mod`ele et l’autre concerne le signal exprim´e dans le mod`ele. Les in´egalit´es pr´ec´edentes nous montrent que ne connaissant pas a priori la distribution du processus, le meilleur moyen de le coder est de diviser l’information en deux parties. En fin de compte, la mod´elisation param´etrique est r´einterpr´et´ee comme le codage des propri´et´es du signal et le codage du reste n´ecessaire `a la d´etermination de celui-ci. Alors, ces deux aspects du signal peuvent ˆetre mesur´es par les quantit´es d’infor- mation qu’ils v´ehiculent.