Comparaison de distributions

Les deux types de machine probabiliste présentés dans les chapitres

sui-vants diffèrent dans leur méthode de calcul de l’inférence. LesSMTBIs

uti-lisent l’inférence exacte comme méthode de résolution. Cependant, le

ré-sultat n’est pas exact puisque les SMTBIs utilisent le calcul stochastique

comme méthode de calcul. En cela, la distribution calculée est une

approxi-mation de la distribution visée. Le constat est le même pour les machines

SMABIs mais pas pour les mêmes raisons. En effet, celles-ci implémentent

une méthode d’échantillonnage et ne peuvent donc offrir que des

approxi-mations des distributions cherchées de par leur méthode de résolution.

Dans les deux cas, nous avons besoin d’analyser quantitativement

l’ap-proximation qui est faite par ces machines. Pour cela, nous utilisons la

RMSE, pour Root Mean Square Error, qui est l’erreur quadratique moyenne

entre deux distributions ainsi que la divergence de Kullback-Leibler (DKL).

La différence entre ces deux types de comparaison est la prise en compte des

erreurs sur les faibles valeurs de probabilités dans le cas de la DKL grâce

à la fonction logarithme. En effet, de par sa formule, la RMSE sera peu

impactée par des différences sur des faibles valeurs de probabilités.

3.5.1 RMSE : Root Mean Square Error

SoitP(X

_ex

) le résultat expérimental calculé par une machine etP(X

_th

)

le résultat théorique souhaité. Nous calculons laRMSE en considérant

plu-sieurs expériences conduisant à pluplu-sieursP(X

ex

) et moyennant la somme des

carrés des différences entre les valeurs théoriques et expérimentales, comme

montré sur l’équation 3.11. La moyenne est indiquée par les symboles "<

>".

RM SE (P(X

th

), P(X

ex

)) =<

s X xi∈X

(P(x

ⁱ_th

)−P(x

i ex

))

2

> (3.11)

3.6. CONCLUSION

3.5.2 DKL : divergence de Kullback-Leibler

SoitP(X

ex

) le résultat expérimental calculé par une machine etP(X

th

)

le résultat théorique souhaité. Nous calculons la DKL comme montré sur

l’équation 3.12.

DKL (P(X

_th

), P(X

ex

)) =

^X xi∈X

P(x

ⁱ_th

) log P(x

ⁱ_th

)

P(x

i ex

)

!

(3.12)

3.6 Conclusion

Nous avons donné les définitions des principaux concepts utilisés dans

ces travaux de thèse et énoncé les propriétés et théorèmes liés au domaine

des probabilités et de l’inférence probabiliste. La présentation de l’inférence

exacte et de ses limites nous permet de comprendre pourquoi les machines

SMTBIs du chapitre 4 sont conçues de cette façon et pourquoi elles ne

peuvent adresser qu’une classe de problèmes restreinte. Les machines

SMA-BIs, présentées dans le chapitre 5, implémentent une méthode de résolution

approchée de l’inférence. Il nous a alors paru opportun de revoir certaines

méthodes d’échantillonnage et d’expliciter l’algorithme de Gibbs qui est

uti-lisé dans nos machines. Le fonctionnement des machines étant basé sur

l’in-terprétation de programmes ProBT, il est nécessaire de savoir programmer

avec ce langage probabiliste. Celui-ci nous permet également d’avoir les

ré-sultats des inférences des applications présentées et ainsi étudier l’efficacité

de nos machines. Enfin, nous avons présenté le calcul stochastique qui est le

modèle de calcul choisi pour les deux types de machine. Cette partie

com-prend la présentation des BSGs utilisés comme source d’entropie nécessaire

à nos machines.

Chapitre 4

Machine bayésienne

stochastique pour la

résolution de problèmes

d’inférence exacte

Dans ce chapitre est présenté la conception d’une machine bayésienne

traitant l’inférence exacte, appelée SMTBI pour Stochastic Machine for

Tractable Bayesian Inference. Pour cela, nous utilisons la formule de Bayes

et nous réalisons tous les calculs nécessaires : sommes, produits et division

avec une arithmétique stochastique.

Nous présentons dans les sections suivantes les principes mathématiques,

les principes du codage de l’information et les principes d’architecture

ma-térielle sur lesquels sont fondées de telles machines.

Celles-ci réalisent le calcul d’une inférence pour un problème bayésien

spécifique. Afin de rendre générique l’implémentation de tels circuits, un

syn-thétiseur logique transforme n’importe quel programme probabiliste ProBT

en un fichier VHDL qui spécifie le circuit réalisant l’inférence.

Nous développons trois exemples d’application comme illustration de

cette chaîne de synthèse. Un exemple académique simple sur trois variables

est utilisé comme preuve de concept. Les filtres bayésiens sur le problème de

la synchronisation deLFSRspour l’acquisition de séquences pseudo bruitées

(Pseudo noise (PN) sequence acquisition) en télécommunications et la fusion

de capteurs, pour permettre l’évitement d’obstacle d’un robot autonome,

sont deux applications où l’on montre l’efficacité des machines SMTBI.

4.1 Problématique

A ce jour, le calcul d’inférence peut être réalisé par n’importe quel

or-dinateur en utilisant les outils logiciels de programmation probabiliste cités

dans le chapitre précédent. Ces calculs sont effectués sur des processeurs

standards qui utilisent une arithmétique flottante et une architecture

maté-rielle de Von Neumann. Nous avons mentionné précédemment que

l’augmen-tation de la puissance de calcul nécessite des progrès constants de la part

des fondeurs pour réduire la taille des composants. La difficulté de

main-tenir ce qu’on appelle la loi de Moore entrave également les performances

en efficacité énergétique des circuits. Dans le cadre spécifique des inférences

bayésiennes, il semble naturel de penser que des calculateurs déterministes

standardisés ne siéent pas au mieux aux problèmes où l’aléa est une donnée

fondamentale du problème.

La complexité des calculs nécessaires pour l’inférence exacte est liée au

temps que ceux-ci prennent pour être réalisés. En effet, les problèmes que

l’on peut traiter en inférence exacte sont des problèmes où le temps de

calcul est assez réduit pour que le résultat soit disponible dans un temps

raisonnable. Dans le cas d’un traitement robotique par exemple, le temps de

calcul raisonnable correspond au temps maximal entre deux commandes.

Nous pensons que le calcul stochastique, qui intègre l’aléatoire dans son

concept, est plus approprié pour résoudre les problèmes probabilistes. La

machine présentée dans ce chapitre est une première initiative qui va dans

ce sens.

Dans le document Conception de machines probabilistes dédiées aux inférences bayésiennes (Page 59-63)