Modèles bayésiens de la cognition et du langage
Julien Diard 1 , Jean-Luc Schwartz 2
1 CNRS -- Laboratoire de Psychologie et NeuroCognition, Grenoble
2
CNRS -- GIPSA-Lab, Grenoble
02 Juillet 2020 – Cours (dé)confiné de l’ILCB
http://diard.wordpress.com julien.diard@univ-grenoble-alpes.fr
Pour aller plus loin…
• Modèles bayésiens de la cognition et du langage Partie 2 : COSMO, un cadre computationnel pour la modélisation bayésienne de la communication parlée
• Jean-Luc Schwartz (GIPSA-Lab), Jeudi 9 Juillet 11h
• Cours de Stanislas Dehaene
• 2011-2012 : « Le cerveau statisticien : la révolution Bayésienne en Sciences Cognitives »
• 2012-2013 : « Le bébé statisticien : les théories Bayésiennes de l’apprentissage »
• Cours « Cognition Bayésienne »
• J. Diard, Grenoble, 18h, Oct-Déc 2020 (?), formation doctorale
• Description, slides, audio de l’année 2018-2019 : disponible à
http://diard.wordpress.com
Plan
• Panorama des modèles « bayésiens » en science cognitive
• Exemple minimal de modèle et d’inférence bayésienne
• Modélisation bayes(-optimale) de la perception
• Modélisation bayésienne de la perception multi-sensorielle
• Modèle de perception visuo-haptique (Ernst & Banks, 2002)
• Modèle de « causal inference »
Objet d’étude Modèle et objet
isomorphes en terme de… Exemple de contrainte Marr Domaine en psycho /
neurosciences Vocabulaire, terminologie N agents (un statisticien +
N-1 sujets) Nombre d’observations limitées Statistiques en psycho
sociale Statistiques bayésiennes
N agents Comportement dynamique
du système
Localisation géographique des agents, graphe de connectivité, cliques sociales
Psychologie sociale, modèles d’émergence de langage
2 agents (un statisticien +
un sujet) Nombre d’observations limitées Statistiques, machine
learning, optimal exp.
design Statistiques bayésiennes
2 agents Interactions observées Format acoustique du médium de
transmission Comp / Alg / Imp
Modélisation de la communication
Théorie de l’information
1 agent Comportement observé
(entrées / sorties) Tâche à résoudre Computationnel Modélisation cognitive
« optimale »
Bayes-optimal Ideal observer Rational model
1 agent Propriétés macro du
traitement de l’information
par l’objet physique Représentations, processus Algorithmique Modélisation cognitive Bayesian cognitive modeling Bayesian algorithmic modeling
1 agent Propriétés micro du
traitement de l’information Unité de traitement axone / soma,
arbre dendritique et connectivité, Implémentation Neuroscience
computationnelles Bayesian brain Free-energy principle
Objet d’étude Modèle et objet
isomorphes en terme de… Exemple de contrainte Marr Domaine en psycho /
neurosciences Vocabulaire, terminologie N agents (un statisticien +
N-1 sujets) Nombre d’observations limitées Statistiques en psycho
sociale Statistiques bayésiennes
N agents Comportement dynamique
du système
Localisation géographique des agents, graphe de connectivité, cliques sociales
Psychologie sociale, modèles d’émergence de langage
2 agents (un statisticien +
un sujet) Nombre d’observations limitées Statistiques, machine
learning, optimal exp.
design Statistiques bayésiennes
2 agents Interactions observées Format acoustique du médium de
transmission Comp / Alg / Imp
Modélisation de la communication
Théorie de l’information
1 agent Comportement observé
(entrées / sorties) Tâche à résoudre Computationnel Modélisation cognitive
« optimale »
Bayes-optimal
Bayesian decision theory Ideal observer, Rational models
1 agent Propriétés macro du
traitement de l’information
par l’objet physique Représentations, processus Algorithmique Modélisation cognitive Bayesian cognitive modeling Bayesian algorithmic modeling
1 agent Propriétés micro du
traitement de l’information Unité de traitement axone / soma,
arbre dendritique et connectivité, Implémentation Neuroscience Bayesian brain
Modèle COSMO
(Laurent, R., Barnaud, M.-L., Schwartz, J.-L., Bessière, P., and Diard, J. (2017). The
modèle cognitif
modèle cognitif modèle physique
Objet d’étude Modèle et objet
isomorphes en terme de… Exemple de contrainte Marr Domaine en psycho /
neurosciences Vocabulaire, terminologie N agents (un statisticien +
N-1 sujets) Nombre d’observations limitées Statistiques en psycho
sociale Statistiques bayésiennes
N agents Comportement dynamique
du système
Localisation géographique des agents, graphe de connectivité, cliques sociales
Psychologie sociale, modèles d’émergence de langage
2 agents (un statisticien +
un sujet) Nombre d’observations limitées Statistiques, machine
learning, optimal exp.
design Statistiques bayésiennes
2 agents Interactions observées Format acoustique du médium de
transmission Comp / Alg / Imp
Modélisation de la communication
Théorie de l’information
1 agent Comportement observé
(entrées / sorties) Tâche à résoudre Computationnel Modélisation cognitive
« optimale »
Bayes-optimal Ideal observer Rational model
1 agent Propriétés macro du
traitement de l’information
par l’objet physique Représentations, processus Algorithmique Modélisation cognitive Bayesian cognitive modeling Bayesian algorithmic modeling
1 agent Propriétés micro du
traitement de l’information Unité de traitement axone / soma,
arbre dendritique et connectivité, Implémentation Neuroscience Bayesian brain
Objet d’étude Modèle et objet
isomorphes en terme de… Exemple de contrainte Marr Domaine en psycho /
neurosciences Vocabulaire, terminologie N agents (un statisticien +
N-1 sujets) Nombre d’observations limitées Statistiques en psycho
sociale Statistiques bayésiennes
N agents Comportement dynamique
du système
Localisation géographique des agents, graphe de connectivité, cliques sociales
Psychologie sociale, modèles d’émergence de langage
2 agents (un statisticien + un sujet)
Le sujet est objet d’étude Le statisticien est objet
d’ingéniérie Nombre d’observations limitées Statistiques, machine
learning, optimal exp.
design Statistiques bayésiennes
2 agents Interactions observées Format acoustique du médium de
transmission Comp / Alg / Imp
Modélisation de la communication
Théorie de l’information
1 agent Comportement observé
(entrées / sorties) Tâche à résoudre Computationnel Modélisation cognitive
« optimale »
Bayes-optimal Ideal observer Rational model
1 agent Propriétés macro du
traitement de l’information
par l’objet physique Représentations, processus Algorithmique Modélisation cognitive Bayesian cognitive modeling Bayesian algorithmic modeling
1 agent Propriétés micro du
traitement de l’information Unité de traitement axone / soma,
arbre dendritique et connectivité, Implémentation Neuroscience
computationnelles Bayesian brain Free-energy principle
cognition descriptive (“as it is”) vs
cognition prescriptive (“as-it ought to be”)
Objet d’étude Modèle et objet
isomorphes en terme de… Exemple de contrainte Marr Domaine en psycho /
neurosciences Vocabulaire, terminologie N agents (un statisticien +
N-1 sujets) Nombre d’observations limitées Statistiques en psycho
sociale Statistiques bayésiennes
N agents Comportement dynamique
du système
Localisation géographique des agents, graphe de connectivité, cliques sociales
Psychologie sociale, modèles d’émergence de langage
2 agents (un statisticien + un sujet)
Le sujet est objet d’étude Le statisticien est objet
d’ingéniérie Nombre d’observations limitées Statistiques, machine
learning, optimal exp.
design Statistiques bayésiennes
2 agents Interactions observées Format acoustique du médium de
transmission Comp / Alg / Imp
Modélisation de la communication
Théorie de l’information
1 agent Comportement observé
(entrées / sorties) Tâche à résoudre Computationnel Modélisation cognitive
« optimale »
Bayes-optimal Ideal observer Rational model
1 agent Propriétés macro du
traitement de l’information
par l’objet physique Représentations, processus Algorithmique Modélisation cognitive Bayesian cognitive modeling Bayesian algorithmic modeling
1 agent Propriétés micro du
traitement de l’information Unité de traitement axone / soma,
arbre dendritique et connectivité, Implémentation Neuroscience Bayesian brain
Terminologie - débattue,
- variable dans le temps,
- différente dans ces sous-domaines !
Aujourd’hui : bayésien ≈ probabiliste
Objet d’étude Modèle et objet
isomorphes en terme de… Exemple de contrainte Marr Domaine en psycho /
neurosciences Vocabulaire, terminologie N agents (un statisticien +
N-1 sujets) Nombre d’observations limitées Statistiques en psycho
sociale Statistiques bayésiennes
N agents Comportement dynamique
du système
Localisation géographique des agents, graphe de connectivité, cliques sociales
Psychologie sociale, modèles d’émergence de langage
2 agents (un statisticien + un sujet)
Le sujet est objet d’étude Le statisticien est objet
d’ingéniérie Nombre d’observations limitées Statistiques, machine
learning, optimal exp.
design Statistiques bayésiennes
2 agents Interactions observées Format acoustique du médium de
transmission Comp / Alg / Imp
Modélisation de la communication
Théorie de l’information
1 agent Comportement observé
(entrées / sorties) Tâche à résoudre Computationnel Modélisation cognitive
« optimale »
Bayes-optimal Ideal observer Rational model
1 agent Propriétés macro du
traitement de l’information
par l’objet physique Représentations, processus Algorithmique Modélisation cognitive Bayesian cognitive modeling Bayesian algorithmic modeling
1 agent Propriétés micro du
traitement de l’information Unité de traitement axone / soma,
arbre dendritique et connectivité, Implémentation Neuroscience
computationnelles Bayesian brain Free-energy principle
Plan
• Panorama des modèles « bayésiens » en science cognitive
• Exemple minimal de modèle et d’inférence bayésienne
• Modélisation bayes(-optimale) de la perception
• Modélisation bayésienne de la perception multi-sensorielle
• Modèle de perception visuo-haptique (Ernst & Banks, 2002)
• Modèle de « causal inference »
Exemple minimal de modèle et d’inférence bayésienne
• Exemple
• S’il pleut, alors Alice a son parapluie
• Alice a son parapluie
• Raisonnement déductif (logique)
• modus ponens
• A implique B, A est vrai : B est vrai
• modus tollens
• A implique B, B est faux : A est faux
• Aucune règle logique applicable
• Raisonnement (humain) des plausibilités : on infère « Il pleut, plausiblement »
• Cette inférence est « capturable » en probabilités
Exemple minimal : définition du modèle
• Deux variables
• A = {il pleut, il ne pleut pas}
• B = {Alice a son parapluie, Alice n'a pas son parapluie}
• Modèle probabiliste sur ces variables
• Définir le modèle = définir la distribution conjointe P(A B)
• P(A B) = P(A) P(B | A)
• Définir les termes du modèle
• P(A)
• P([A=il pleut]) = 0,4
• P([A=il ne pleut pas]) = 1 - 0,4 = 0,6
• P(B | A)
• 2 distributions sur B (une pour chaque valeur de A)
Exemple minimal : définition du modèle
• Deux variables
• A = {il pleut, il ne pleut pas}
• B = {Alice a son parapluie, Alice n'a pas son parapluie}
• Modèle probabiliste sur ces variables
• Définir le modèle = définir la distribution conjointe P(A B)
• P(A B) = P(A) P(B | A)
• Définir les termes du modèle
• P(A)
• P([A=il pleut]) = 0,4
• P([A=il ne pleut pas]) = 1 - 0,4 = 0,6
• P(B | A)
• 2 distributions sur B (une pour chaque valeur de A)
Règle du produit
P(A B) = P(A)P(B | A)
= P(B)P(A | B)
Exemple minimal : définition du modèle
• Deux variables
• A = {il pleut, il ne pleut pas}
• B = {Alice a son parapluie, Alice n'a pas son parapluie}
• Modèle probabiliste sur ces variables
• Définir le modèle = définir la distribution conjointe P(A B)
• P(B A) = P(A) P(B | A)
• Définir les termes du modèle
• P(A)
• P([A=il pleut]) = 0,4
• P([A=il ne pleut pas]) = 1 - 0,4 = 0,6
• P(B | A)
• 2 distributions sur B (une pour chaque valeur de A)
P(A) A=il pleut A=il ne pleut pas
0,4 0,6
Règle de la somme
(de normalisation)
Exemple minimal : définition du modèle
• Deux variables
• A = {il pleut, il ne pleut pas}
• B = {Alice a son parapluie, Alice n'a pas son parapluie}
• Modèle probabiliste sur ces variables
• Définir le modèle = définir la distribution conjointe P(A B)
• P(B A) = P(A) P(B | A)
• Définir les termes du modèle
• P(A)
• P([A=il pleut]) = 0,4
• P([A=il ne pleut pas]) = 1 - 0,4 = 0,6
• P(B | A)
• 2 distributions sur B (une pour chaque valeur de A)
P(A) A=il pleut A=il ne pleut pas
0,4 0,6
P(B | A) A=il pleut A=il ne pleut pas B=Alice n'a pas
son parapluie 0,05 0,9
B=Alice a son 0,95 0,1
Règles de calcul
• Règle du produit à Théorème de Bayes
• Règle de la somme à généralisation à n cas
• Règle du produit et règle de la somme à Règle de marginalisation
Reverend Thomas Bayes (~1702-1761)
P( B | A) = P( B)P(A | B)
P(A) , si P(A) , 0 X
a 2 A
P([A = a]) = 1
X P(A B) = P( B)
P(B | A) A=il pleut A=il ne pleut pas B=Alice n'a pas
son parapluie 0,05 0,9
B=Alice a son
parapluie 0,95 0,1
P(A B) A=il pleut A=il ne pleut pas
B=Alice n'a pas
son parapluie 0,02 0,54
B=Alice a son
parapluie 0,38 0,06
P(A) A=il pleut A=il ne pleut pas
0,4 0,6
P(B | A)P(A) = P(A B)
Attention :
P(B | A), P(B A) et P(A | B) ne sont pas le même objet mathématique !
Même si ce sont tous des tableaux 2x2
• P(B | A) somme à 1 par colonne
• P(A B) somme à 1 sur les 4 cases
• P(A | B) sommera à 1 par ligne
P(A B) A=il pleut A=il ne pleut pas B=Alice n'a pas
son parapluie 0,02 0,54
B=Alice a son
parapluie 0,38 0,06
P(B)
B=Alice n'a pas son
parapluie 0,56
B=Alice a son
parapluie 0,44
P(A | B) A=il pleut A=il ne pleut pas B=Alice n'a pas
son parapluie p
1p
2B=Alice a son
parapluie p
3p
4P(B) = X
A
P(A B) P(A | B) = P(A B) / P(B)
X
A
P(A B) = P(B)
Exemple minimal : première inférence
• Probabilité qu’il pleuve, sachant qu’Alice a son parapluie ?
•
P(A | B) = P(A)P( B | A) P( B)
= P(A B) P A P(A B)
Le théorème de Bayes pour
« inverser » les connaissances
P(A | [B = Alice a son parapluie])
Démontre que définir P(A B) est suffisant
(pour n’importe quelle inférence !)
Exemple minimal : première inférence
• Probabilité qu’il pleuve, sachant qu’Alice a son parapluie ?
• P([A = Il pleut] | [ B = Alice a son parapluie])
= P([A = Il pleut]) P([ B = Alice a son parapluie] | [A = Il pleut]) P([ B = Alice a son parapluie])
= P([A = Il pleut]) P([ B = Alice a son parapluie] | [A = Il pleut]) P A P(A [ B = Alice a son parapluie])
= 0 . 4 ⇤ 0 . 95
0 . 4 ⇤ 0 . 95 + 0 . 6 ⇤ 0 . 1
= 0 . 86
Exemple minimal : conclusion
• Probabilité qu’il pleuve, sans autre information ?
•
• Probabilité qu’il pleuve, sachant qu’Alice a son parapluie ?
•
• Observer qu’Alice a son parapluie rend bien plus plausible (probable) qu’il pleuve
∎ P([ A = Il pleut] | [B = Alice a son parapluie]) = 0 . 86
P([A = Il pleut]) = 0 . 4
Plan
• Panorama des modèles « bayésiens » en science cognitive
• Exemple minimal de modèle et d’inférence bayésienne
• Modélisation bayes(-optimale) de la perception
• Modélisation bayésienne de la perception multi-sensorielle
• Modèle de perception visuo-haptique (Ernst & Banks, 2002)
• Modèle de « causal inference »
Modélisation de la perception
• Perception
• Un problème inverse (Poggio 80’s)
• Modèle bayésien
• Inversion
S1 S2 Sn V
S1 S2 Sn
? V
stimulus
sensations
perception
P(S 1 S 2 . . . S n V ) = P(V )P(S 1 S 2 . . . S n | V ) P(V | S 1 S 2 . . . S n ) = P(V )P(S 1 S 2 . . . S n | V )
P(S 1 S 2 . . . S n )
Terminologie : modèle bayésien « optimal »
• Modèle bayésien
• Inférence : inversion
- Modèle génératif, prédictif - Fonction de vraisemblance
(likelihood function) si f(V) = P(S
1… S
n| V) Prior
Conjointe
Evidence
≠ perceptual evidence Posterior
Modèle de perception, de décodage
P(S 1 S 2 . . . S n V ) = P(V )P(S 1 S 2 . . . S n | V )
P(V | S 1 S 2 . . . S n ) = P(V )P(S 1 S 2 . . . S n | V ) P(S 1 S 2 . . . S n )
P(V | S 1 S 2 . . . S n ) / P(V )P(S 1 S 2 . . . S n | V )
Résultat de l’inférence : ambigüités
• P(V | S 1 S 2 … S n )
• Inversion de P(S 1 S 2 … S n | V)
• Distribution à plusieurs pics : ambigüité
• Pas de problème mal posé en probabilités
(Lmi = 300)
P(ThetaL | Lmi Cp_li)
0.00 0.12 0.25 0.37 0.50
-180-135 -90 -45 0 45 90 135 170
P(DistL | Lmi Cp_li)
0.00 0.12 0.25 0.37 0.50
0 5 10 15 20 25
Non-uniform prior
• Capturer les régularités statistiques
• Accélère la perception des événements fréquents
• diffusion-drift model, race-to-threshold, accumulation of log perceptual evidence
• Avantage adaptatif
• En informatique : Huffman coding
• Light comes from above
• Light is stationary
• Viewpoint is above the scene
• Contours follow statistics of natural scene
• Object perception favors
• regular geometrical shapes, convex geometrical shapes
• Face perception favors convex faces
• Movement perception favors
• Rigid objects, low translation and rotation speeds
• Body movement perception favors
• Low rotation speeds, upright positions
P(V | S 1 S 2 . . . S n ) / P(V )P(S 1 S 2 . . . S n | V )
Light comes from above: Shape from shading
Mamassian, P. and Landy, M. S. (1998). Vision Research Mamassian, P. and Goutcher, R. (2001). Cognition
Combinaison prior-likelihood
• Apprentissage ultra-rapide de concept
• « Scandale de l'induction »
• Apprentissage du langage malgré la pauvreté du stimulus
• Exemple : l’expérience des Tufas
P(V | S 1 S 2 . . . S n ) / P(V )P(S 1 S 2 . . . S n | V )
Voici les Tufas
Où sont les Tufas
parmi ces nouveaux objets ?
Modèle :
Hyp. : structure d’arbre Var. : un mot est un nœud Prior : favorise les nœuds bas
Likelihood : traduit un tirage uniforme des exemplaires dans leur catégorie
P(V | S 1 S 2 . . . S n ) / P(V )P(S 1 S 2 . . . S n | V )
Plan
• Panorama des modèles « bayésiens » en science cognitive
• Exemple minimal de modèle et d’inférence bayésienne
• Modélisation bayes(-optimale) de la perception
• Modélisation bayésienne de la perception multi-sensorielle
• Modèle de perception visuo-haptique (Ernst & Banks, 2002)
• Modèle de « causal inference »
Modèle de fusion multi-sensorielle
• Multi-cue fusion
• Vision
• Aperture effect (Weiss, Simoncelli and Adelson 2002)
• Slant from position, scaling, etc. cues (Knill, 1998, Hillis et al., 2004)
• Depth from texture and motion cues (Jacobs, 1999)
• Haptic : Geometry and force cues (Drewing & Ernst 2006)
• Multi-sensory fusion
• Bimodal
• Vision and proprioception (van Beers et al., 1996, Zupan, Merfeld and Darlot, 2002, Nardini, Begus and Mareschal, 2012)
• Vision and acoustic, McGurk effect (Alais & Burr, 2004, Battaglia et al., 2003; Körding et al., 2007, Sato et al., 2007)
• Vision and haptic (Ernst & Banks, 2002, Gepshtein & Banks, 2003)
• Trimodal
• Vision, acoustic and tactile (Wozny, Beierholm and Shams, 2008)
• Vision, vestibular, podokinesthetic (Jürgens & Becker, 2006)
P(V | S 1 S 2 . . . S n ) / P(V )P(S 1 | V )P(S 2 | V ) . . . P(S n | V )
Humans integrate visual and haptic
information in a statistically optimal fashion
• Experimental setup
Bayesian model of visuo-haptic fusion
• Joint distribution
• Terms of the model
• Inference for visuo-haptic fusion
P(X S H S V ) = P(X )P(S H | X ) P(S V | X ) P(X ) = U (X )
P(S H | X ) = G µ 1 (X), 1 (X) (S H ) P(S V | X ) = G µ 2 (X), 2 (X) (S V )
P(X | [S H = s H ] [S V = s V ])
/ P([S H = s H ] | X)P([S V = s V ] | X)
/ G µ 1 (X ) , 1 (X) (S H )G µ 2 (X) , 2 (X ) (S V )
Causal inference
• Y a-t-il une source unique, ou deux sources distinctes ?
Körding, K. P., Beierholm, U., Ma, W. J., Quartz, S., Tenenbaum, J. B., and Shams, L. (2007). Causal inference in multisensory perception. PLoS one, 2(9):e943.
Modèle ségrégation totale C=2
Modèle intégration totale C=1
Modèle « causal inference » C variable inconnue
è sommation sur C
Modèle « causal inference » sans propagation
è tirage sur C / max sur C
Conclusion
• Panorama des modèles « bayésiens » en science cognitive
• Exemple minimal de modèle et d’inférence bayésienne
• Modélisation bayes(-optimale) de la perception
• Modélisation bayésienne de la perception multi-sensorielle
• Modèle de perception visuo-haptique (Ernst & Banks, 2002)
• Modèle de « causal inference »
à Modélisation bayésienne algorithmique : monter en complexité des
représentations intermédiaires supposées
Modèle BRAID de reconnaissance visuelle de mots
≈ une sorte de modèle IA en probabilités
02/07/2020 J Diard – LPNC-CNRS 42
JDBRAID
= P W0:T L1:T1:N L1:T
1:N P0:T1:N A1:T µ1:TA 1:TA CA1:T 1:N P1:T
G1:T S1:T1:N I1:N1:T I1:N1:T D1:T 1:N
1:N D0:T CD1:T 1:N
!
= P(W0)P(D0)
YN
n=1
P(P0n)
YT
t=1
266666 66666 66666 66666 66666 66666 66666 66666 66666 66666 66666 66666 66666 66666 66666 64
P(Wt|Wt 1)
YN
n=1
P(Ltn|Wt) P(Dt|Dt 1)P(CDt
1:N|Dt)
YN
n=1
hP( Dt
n | Lt nCDt
n)P( Lt
n|LtnPtn)i
YN
n=1
P(Ptn|Ptn1)
P(At|µtA tA)P(µtA)P( tA)
YN
n=1
P(CAt n|At)
YN
n=1
P( Pt
n|Ptn Int CAt n) P(Gt)
YN
n=1
hP(Stn)P( Int)P(Itn|St1:N Int Gt)i
377777 77777 77777 77777 77777 77777 77777 77777 77777 77777 77777 77777 77777 77777 77777 75 2 Vanilla BRAID, box-model version
B R A I D
‘B’ ‘R’ ‘A’ ‘I’ ‘D’
“BRAID”
Acuity
Letter Sensory Submodel
Lateral interference
Stimulus Visual Attentional Submodel
Attentional modulation of information flow Letter Perceptual Submodel
Dynamic models over letters
Perceived letters
Bidirectional information flow Lexical Knowledge Submodel
Dynamic models over lexical variables
Recognized word
1 Vanilla BRAID, re-make of the figure from the draft paper
Letter Sensory submodel Visual Attentional submodel Letter Perceptual submodel Lexical Knowledge submodel
St1 St2 St3 SNt
I1t I2t I3t ItN
It1 It2 I3t INt
Gt
. . . Pt
1 Pt
2 Pt
3 Pt
N CAt
1 CAt
2 CAt
3 CAt
N
At µtA t
A
. . .
P1t P2t P3t . . . PNt
Lt 1
Lt 2
Lt 3
...
Lt N Lt1
Lt2
Lt3
...
LtN Wt
Dt 1
Dt 2
Dt 3
Dt N
CDt 1
CDt 2
CDt 3
...
CDt N
Dt
Modèle COSMO de
perception de la parole
• Partie 2 : COSMO, un cadre computationnel pour la modélisation bayésienne de la
communication parlée
• Jean-Luc Schwartz (GIPSA-Lab), Jeudi 9 Juillet 11h
C!
OS! OL!
SV!’
λSV!
SV!
MV!
λMV!
MV!’
Mo de l o f th e co mmu nica tio n si tu ati on C og nit ive mo de l o co mmu nica tin g agent
Internalization
Listener Environment
Speaker
O L
S C Env
O S
M
2.8 Step 3 of the toy version of the COSMO-Oscillations model : version June, 17rd, 2020
This is a variant of the version of June, 3rd, 2020, in which the loudness variables L are directly computed from the inputI; this computation does not depend on the current phoneF e.
Temporal Control Module
Phone Sensory Layer Phone Perceptual Layer Syllable-to-Phone Lexical Layer Syllable Perceptual Layer Word-to-Syllable Lexical Layer Perceptual LayerWord
OnsetBU FetS,1 FetS,4 FetS,12
It1 It4 I12t
Lt1 Lt4 Lt12
FetP,1 FetP,4 FetP,12
FetL,1 FetL,4 FetL,12
SS,1t SS,3t
. . . . . .
. . . SP,1t StP,2 StP,3
OnsetTD SL,1t StL,2 StL,3
WSt WPt
!
Amax
A