La probabilité a priori

Le problème introductif des kangourous

La probabilité a priori que nous allons voir a pour rôle d’incorporer de l’infor- mation sur la fonction spectrale recherchée tout en ne rajoutant aucune corrélation non justifiée par les données de départ. Une bonne introduction sur ce sujet nous vient du problème des kangourous [56] qui s’énonce comme suit :

Dans une population de kangourous, un tiers d’entre eux ont les yeux bleus et un tiers d’entre eux sont gauchers.

Combien d’entre eux ont les yeux bleus en plus d’être gauchers?

Le problème se comprend plus formellement avec le tableau Tab.3.1résumant les différentes probabilités en jeu ici.

Gaucher Droitier

Bleus p1 p2

Non bleus p3 p4

Ta b l e 3.1 Tableau introduisant les probabilités du problème des kangourous.

• p1+ p2 = 1/3 car un tiers des kangourous ont les yeux bleus ; • p1+ p3 = 1/3 car un tiers des kangourous sont gauchers ;

• p1+ p2+ p3 + p4 = 1 car la somme des probabilités est normalisée à 1. Le problème est ainsi mal conditionné car il nous manque de l’information pour le résoudre (nous avons trois équations pour quatre inconnues).

Le tableau Tab.3.2nous décrit cependant trois cas de figure particulièrement intéressants qui serviront de cas limites ici :

A) le cas de corrélations positives maximales où tous les kangourous gauchers ont les yeux bleus ;

B) le cas de corrélations négatives maximales où aucun kangourou gaucher n’a les yeux bleus ;

C) le cas sans corrélation entre le fait d’être gaucher et d’avoir les yeux bleus. Ce dernier cas correspond à la supposition naturelle que la fraction de kangourous aux yeux bleus qui sont gauchers est la même que la fraction de la population totale de kangourous à avoir les yeux bleus. Autrement dit, il n’existe pas de corrélation entre le fait d’être gaucher et le fait d’avoir les yeux bleus.

Une façon d’obtenir une solution au problème est de maximiser une fonction de régularisation dépendant des probabilités par rapport aux contraintes énoncées précédemment. Plusieurs fonctions de régularisation sont possibles mais seule la maximisation de la fonction

{pi} 7−→ −X i

pi ln(pi) (3.86)

en tenant compte des différentes contraintes donne p1 = 1/9, soit le cas sans cor- rélation. Ainsi, seule cette fonction de régularisation entropique (d’après l’expression standard de l’entropie en physique statistique) permet éventuellement de rajouter

A Gaucher Droitier Bleus 1/3 0 Non bleus 0 2/3 B Gaucher Droitier Bleus 0 1/3 Non bleus 1/3 1/3 C Gaucher Droitier Bleus 1/9 2/9 Non bleus 2/9 4/9

Ta b l e 3.2 Tableau détaillant trois cas spéciaux du problème des kangourous. A : Le

cas de corrélations positives maximales. B : Le cas de corrélations négatives maximales. C : Le cas sans corrélation.

de l’information sans ajouter de fausses corrélations qui ne sont pas justifiées par les données [56,62,63]. Nous allons donc utiliser cette fonction pour construire la probabilité a priori de la méthode d’entropie maximale.

Probabilité entropique et modèle par défaut La probabilité a priori s’écrit

P(A) ∝ eαS (3.87)

où α est un paramètre ajustable et S un terme d’entropie sur lequel nous reviendrons juste et qui contient de l’information sur ce qui est attendu de la fonction spectrale recherchée. La forme exponentielle est ici choisie afin de pouvoir facilement compa- rer cette probabilité avec la vraisemblance Eq.(3.83) lorsqu’on les multiplie ensemble dans l’équation Eq.(3.80). Le paramètre α va alors pouvoir être ajusté pour modifier l’importance de la probabilité a priori par rapport à la vraisemblance. De plus, cette forme a le mérite d’assurer la positivité de la probabilité a priori.

Le terme d’entropie S de la probabilité a priori, appelé entropie différentielle [63], peut être mis sous la forme

S =₋ Z _dω 2π A(ω) ln  A(ω) D(ω)  (3.88)

oùD(ω) est le modèle par défaut utilisé dans la méthode d’entropie maximale. Ce modèle par défaut est choisi au départ en ayant des propriétés attendues pour la fonction spectrale, que ce soit une certaine normalisation ou encore des moments à haute fréquence appropriés, décrits dans l’annexe Ann.A. Il est clair d’après la définition Eq.(3.88) que le rapportA(ω)/D(ω) doit être positif pour toute fréquence ω.A(ω) étant une distribution de probabilité comme montré dans la section Sec.2.5, D(ω) doit aussi être positif pour toute fréquence ω. On peut alors voir ce modèle par défaut comme étant une distribution préalable du poids spectral qui va ensuite être déplacé au cours du prolongement analytique pour donner naissance à la fonction spectrale recherchée. À noter que l’entropie est négative, maximisée à la valeur 0 par A(ω) = D(ω). Souvent, ce sont des modèles par défaut gaussiens ou plats (constants sur un intervalle donné) qui sont utilisés.

Maintenant, comment peut-on vraiment comprendre l’entropie différentielle Eq.(3.88) au sens traditionnel de l’entropie ? On peut très bien réécrire ce terme sous la forme S = ₋ Z _dω 2π D(ω) A(ω) D(ω)ln  A(ω) D(ω)  (3.89) qui est très similaire à la forme traditionnelle en−P

i pi ln(pi) de l’entropie à deux détails près. En effet, iciD(ω) sert de mesure d’intégration (renforçant son interpré- tation en terme de distribution préalable du poids spectral) et le rapportA(ω)/D(ω) n’est généralement pas une distribution de probabilité. Ceci n’est pas un problème car l’entropie différentielle est une entropie relative. On peut aisément le voir en l’écrivant comme S = − Z dω 2π A(ω) ln(A(ω)) −  − Z dω 2π A(ω) ln(D(ω))  = S[_{A] − S[A, D]} (3.90)

où S[A] est l’entropie liée à A(ω) tandis que S[A, D] est l’entropie croisée entre A(ω) etD(ω). Mais où se trouve la notion d’incertitude dans cette entropie différentielle ? La meilleure façon de comprendre cela est de la relier à la divergence de Kullback- Leibler DKL(_{A||D) =} Z dω 2π A(ω) ln  A(ω) D(ω)  (3.91)

via

S = _−DKL(_{A||D) .} (3.92)

Cette divergence vaut 0 lorsqueA(ω) = D(ω) et augmente (en valeur absolue car le signe de la divergence change suivant queA(ω) < D(ω) ou A(ω) > D(ω)) lorsque les deux fonctions diffèrent. Ceci est illustré à la figure Fig.3.4comparant un modèle par défaut gaussien avec des fonctions spectrales de même norme mais de largeur à demi-hauteur ou de centre différent.

F i g u r e 3.4 Illustration de l’intégrande de la divergence de Kullback-Leibler pour un

modèle par défaut gaussien comparé à des fonctions spectrales de même norme mais de largeur à demi-hauteur (gauche) ou de centre (droite) différent.

Plus A(ω) et D(ω) diffèrent, plus la divergence est grande et plus l’entropie diminue. L’entropie différentielle représente alors l’incertitude sur le fait que la fonction spectraleA(ω) soit clairement différente du modèle par défaut D(ω).