Le facteur de Bayes

Imaginons que nous demandions à une personne de lancer dix fois un dé. La suite des 10 résultats peut représenter de manière métaphorique des données com-portementales que nous aurions collectées et que nous essaierions de modéliser.

Imaginons que nous sachions que le dé peut être de deux types, à 6 faces ou à 12 faces, mais que nous ne savons pas lequel des deux types de dé le lanceur a utilisé. Cette incertitude illustre de manière métaphorique la situation où nous disposons de deux théories concurrentes pour tenter d’expliquer comment a été

engendré le comportement du sujet. Notons tout de suite que si dans la série des résultats de lancers nous trouvons au moins un résultat supérieur à 6, nous saurons immédiatement que c’est le dé à 12 faces qui a été utilisé.

A côté de ce cas, imaginons que la série des résultats est une suite de dix « 1 » consécutifs. Peut-on se faire une idée de ce que c’est l’un des deux types de dé qui a été probablement utilisé ? Si les deux dés sont réguliers et les lancers « honnêtes », nous disposons de deux modèles concurrents du phénomène apparent : la probabi-lité d’apparition de la face « 1 » est soitπ₁=¹₆ (modèleM₁) soitπ₂= ₁₂¹ (modèle M₂). Dans cette situation, nous souhaitons sélectionner le meilleur des deux, sans en privilégier un a priori (il n’y a pas d’« hypothèse nulle »). La question est : lequel de ces deux modèles est le plus probablement vrai, compte tenu des données observées ?

Nous allons chercher à calculer P(M₁|D) et P(M₂|D), nommées probabilités a posteriori des modèles (car elles apparaissent après avoir examiné les données).

De façon équivalente, on décide d’examiner le rapport a posteriori ^P_P⁽₍^M_M^1|D)

2|D). Ce rapport fonctionne comme une balance à deux plateaux : s’il est supérieur à 1, on dira que la balance penche du côté deM₁et inversement.

Nous ne connaissons pas P(Mm|D),m∈ {1,2}, mais nous savons par la formule d’inversion de Bayes que :

P(Mm|D) =P(D|M_m)P(Mm) P(D) où :

– P(D|M_m)est la vraisemblance du modèle ;

– P(Mm) est la probabilité a priorique le modèle m soit correct (ou l’idée que nous en avons avant tout examen des données) ;

– P(D) est la probabilité marginale d’observer les données telles qu’elles sont, quel que soit le vrai modèle,

– P(M_m|D) est la probabilitéa posteriori du modèle, telle que nous en jugeons après avoir pris connaissance des données.

A part les vraisemblancesP(D|M_m), facilement calculables comme dans la section précédente, aucune de ces probabilités n’est connue et nous les manipulons pour l’instant de façon tout à fait abstraite et formelle. La formule de Bayes permet d’écrire le rapport des probabilitésa posterioricomme :

P(M₁|D)

P(M₂|D) = P(D|M₁)P(M₁)/P(D) P(D|M₂)P(M₂)/P(D)

= P(D|M₁)

P(D|M₂)×P(M₁)

P(M₂). (6.1)

Nous nous sommes débarrassés d’une probabilité inconnue (P(D)) et il nous reste à interpréter les autres quantités qui apparaissent sous forme de rapport. Le rapport a priori ^P_P⁽₍^M_M¹⁾

2), à droite, a une signification simple : il représente le crédit relatif

que nous accordons àM₁par rapport àM₂a priori, c’est-à-dire avant tout examen des données concrètes de l’expérience. Le rapport ^P_P⁽₍^M_M^1|D)

2|D), à gauche, représente le crédit relatif que nous accordons à M₁ par rapport àM₂a posteriori, c’est-à-dire après avoir pris connaissance des données. Par conséquent, le facteur multiplicatif (lire « B-1-2 ») :

B₁₂=P(D|M₁)

P(D|M₂) (6.2)

qui vient s’intercaler entre les deux rapports précédents : P(M₁|D)

P(M₂|D) = B₁₂×P(M₁) P(M₂)

représente l’amplitude d’un changement d’avis, après avoir pris connaissance des données. On l’appellefacteur de Bayes. S’il est supérieur à 1, cela signifie qu’après avoir examiné les données, nous révisons à la hausse le crédit accordé à M₁ par rapport àM₂.

A vrai dire, en situation de test, on ignore tout simplement lequel des deux est vrai, ce qui revient à dire que nous n’accordons pas plus de valeur à l’un qu’à l’autre.

Nous allons traduire cette incertitudea priorisur les modèles par l’équiprobabilité : P(M₁) =P(M₂) = 1

2.

On note qu’en écrivant cela, nous entrons dans un usage de la notion de probabilité qui se distingue de ce que nous avons vu jusqu’alors. Nousposonsune probabilitéa priorisur les modèles, sans que cela renvoie à quelque expérience concrète que ce soit. Il n’existe pas pour ces probabilités d’expérience concrète de tirage aléatoire, dont la fréquence empirique tendrait vers elles (comme dans un lancer de dé ou de pièce). Il s’agit davantage d’une traduction probabiliste de notre « croyance » initiale dans l’un et l’autre modèle. On parle parfois à ce propos de probabilité subjective. C’est un pas conceptuel qu’il faut franchir pour pouvoir utiliser toute la puissance de l’approche bayésienne. Ce choix des probabilités initiales est pro-bablement assez peu important, car ce qui va nous intéresser en premier lieu, ce n’est pas tant cette première idée sur la plausibilité des modèles que le changement d’avis que nous suggère les données à partir de leur examen.

En remplaçantP(M₁)etP(M₂)par ces valeurs, on a alors la simplification : P(M₁|D)

P(M₂|D) = P(D|M₁) P(D|M₂).

A cette condition, on voit que le rapport a posteriori que nous cherchons à cal-culer est simplement égal au facteur de Bayes, c’est-à-dire au rapport des vrai-semblances, que nous pouvons donc adopter comme statistique de décision. Nous déciderons de validerM₁ si :

B₁₂= P(D|M₁) P(D|M₂) >1

et inversement si B₁₂ <1. Calculons les vraisemblances des deux modèles. On a P(D|M₁) =π₁¹⁰et P(D|M₂) =π¹⁰₂ . Le facteur de Bayes est donc :

B₁₂= P(D|M₁) P(D|M₂)= π₁¹⁰

π₂¹⁰ = π₁ π₂

₁₀

= 2¹⁰= 1024.

On dira que la balance penche clairement du côté deM₁: il est plus vraisemblable d’obtenir une telle séquence sousM₁ que sousM₂. Mais nous souhaitons, au-delà de la probabilité des données elles-mêmes, spécifier la probabilité desmodèles.