• Aucun résultat trouvé

Modèles bayésiens de la cognition et du langage

N/A
N/A
Protected

Academic year: 2022

Partager "Modèles bayésiens de la cognition et du langage"

Copied!
44
0
0

Texte intégral

(1)

Modèles bayésiens de la cognition et du langage

Julien Diard 1 , Jean-Luc Schwartz 2

1 CNRS -- Laboratoire de Psychologie et NeuroCognition, Grenoble

2

CNRS -- GIPSA-Lab, Grenoble

02 Juillet 2020 – Cours (dé)confiné de l’ILCB

http://diard.wordpress.com julien.diard@univ-grenoble-alpes.fr

(2)

Pour aller plus loin…

• Modèles bayésiens de la cognition et du langage Partie 2 : COSMO, un cadre computationnel pour la modélisation bayésienne de la communication parlée

• Jean-Luc Schwartz (GIPSA-Lab), Jeudi 9 Juillet 11h

• Cours de Stanislas Dehaene

• 2011-2012 : « Le cerveau statisticien : la révolution Bayésienne en Sciences Cognitives »

• 2012-2013 : « Le bébé statisticien : les théories Bayésiennes de l’apprentissage »

• Cours « Cognition Bayésienne »

• J. Diard, Grenoble, 18h, Oct-Déc 2020 (?), formation doctorale

• Description, slides, audio de l’année 2018-2019 : disponible à

http://diard.wordpress.com

(3)

Plan

• Panorama des modèles « bayésiens » en science cognitive

• Exemple minimal de modèle et d’inférence bayésienne

• Modélisation bayes(-optimale) de la perception

• Modélisation bayésienne de la perception multi-sensorielle

• Modèle de perception visuo-haptique (Ernst & Banks, 2002)

• Modèle de « causal inference »

(4)

Objet d’étude Modèle et objet

isomorphes en terme de… Exemple de contrainte Marr Domaine en psycho /

neurosciences Vocabulaire, terminologie N agents (un statisticien +

N-1 sujets) Nombre d’observations limitées Statistiques en psycho

sociale Statistiques bayésiennes

N agents Comportement dynamique

du système

Localisation géographique des agents, graphe de connectivité, cliques sociales

Psychologie sociale, modèles d’émergence de langage

2 agents (un statisticien +

un sujet) Nombre d’observations limitées Statistiques, machine

learning, optimal exp.

design Statistiques bayésiennes

2 agents Interactions observées Format acoustique du médium de

transmission Comp / Alg / Imp

Modélisation de la communication

Théorie de l’information

1 agent Comportement observé

(entrées / sorties) Tâche à résoudre Computationnel Modélisation cognitive

« optimale »

Bayes-optimal Ideal observer Rational model

1 agent Propriétés macro du

traitement de l’information

par l’objet physique Représentations, processus Algorithmique Modélisation cognitive Bayesian cognitive modeling Bayesian algorithmic modeling

1 agent Propriétés micro du

traitement de l’information Unité de traitement axone / soma,

arbre dendritique et connectivité, Implémentation Neuroscience

computationnelles Bayesian brain Free-energy principle

(5)

Objet d’étude Modèle et objet

isomorphes en terme de… Exemple de contrainte Marr Domaine en psycho /

neurosciences Vocabulaire, terminologie N agents (un statisticien +

N-1 sujets) Nombre d’observations limitées Statistiques en psycho

sociale Statistiques bayésiennes

N agents Comportement dynamique

du système

Localisation géographique des agents, graphe de connectivité, cliques sociales

Psychologie sociale, modèles d’émergence de langage

2 agents (un statisticien +

un sujet) Nombre d’observations limitées Statistiques, machine

learning, optimal exp.

design Statistiques bayésiennes

2 agents Interactions observées Format acoustique du médium de

transmission Comp / Alg / Imp

Modélisation de la communication

Théorie de l’information

1 agent Comportement observé

(entrées / sorties) Tâche à résoudre Computationnel Modélisation cognitive

« optimale »

Bayes-optimal

Bayesian decision theory Ideal observer, Rational models

1 agent Propriétés macro du

traitement de l’information

par l’objet physique Représentations, processus Algorithmique Modélisation cognitive Bayesian cognitive modeling Bayesian algorithmic modeling

1 agent Propriétés micro du

traitement de l’information Unité de traitement axone / soma,

arbre dendritique et connectivité, Implémentation Neuroscience Bayesian brain

(6)

Modèle COSMO

(Laurent, R., Barnaud, M.-L., Schwartz, J.-L., Bessière, P., and Diard, J. (2017). The

modèle cognitif

modèle cognitif modèle physique

(7)

Objet d’étude Modèle et objet

isomorphes en terme de… Exemple de contrainte Marr Domaine en psycho /

neurosciences Vocabulaire, terminologie N agents (un statisticien +

N-1 sujets) Nombre d’observations limitées Statistiques en psycho

sociale Statistiques bayésiennes

N agents Comportement dynamique

du système

Localisation géographique des agents, graphe de connectivité, cliques sociales

Psychologie sociale, modèles d’émergence de langage

2 agents (un statisticien +

un sujet) Nombre d’observations limitées Statistiques, machine

learning, optimal exp.

design Statistiques bayésiennes

2 agents Interactions observées Format acoustique du médium de

transmission Comp / Alg / Imp

Modélisation de la communication

Théorie de l’information

1 agent Comportement observé

(entrées / sorties) Tâche à résoudre Computationnel Modélisation cognitive

« optimale »

Bayes-optimal Ideal observer Rational model

1 agent Propriétés macro du

traitement de l’information

par l’objet physique Représentations, processus Algorithmique Modélisation cognitive Bayesian cognitive modeling Bayesian algorithmic modeling

1 agent Propriétés micro du

traitement de l’information Unité de traitement axone / soma,

arbre dendritique et connectivité, Implémentation Neuroscience Bayesian brain

(8)

Objet d’étude Modèle et objet

isomorphes en terme de… Exemple de contrainte Marr Domaine en psycho /

neurosciences Vocabulaire, terminologie N agents (un statisticien +

N-1 sujets) Nombre d’observations limitées Statistiques en psycho

sociale Statistiques bayésiennes

N agents Comportement dynamique

du système

Localisation géographique des agents, graphe de connectivité, cliques sociales

Psychologie sociale, modèles d’émergence de langage

2 agents (un statisticien + un sujet)

Le sujet est objet d’étude Le statisticien est objet

d’ingéniérie Nombre d’observations limitées Statistiques, machine

learning, optimal exp.

design Statistiques bayésiennes

2 agents Interactions observées Format acoustique du médium de

transmission Comp / Alg / Imp

Modélisation de la communication

Théorie de l’information

1 agent Comportement observé

(entrées / sorties) Tâche à résoudre Computationnel Modélisation cognitive

« optimale »

Bayes-optimal Ideal observer Rational model

1 agent Propriétés macro du

traitement de l’information

par l’objet physique Représentations, processus Algorithmique Modélisation cognitive Bayesian cognitive modeling Bayesian algorithmic modeling

1 agent Propriétés micro du

traitement de l’information Unité de traitement axone / soma,

arbre dendritique et connectivité, Implémentation Neuroscience

computationnelles Bayesian brain Free-energy principle

cognition descriptive (“as it is”) vs

cognition prescriptive (“as-it ought to be”)

(9)

Objet d’étude Modèle et objet

isomorphes en terme de… Exemple de contrainte Marr Domaine en psycho /

neurosciences Vocabulaire, terminologie N agents (un statisticien +

N-1 sujets) Nombre d’observations limitées Statistiques en psycho

sociale Statistiques bayésiennes

N agents Comportement dynamique

du système

Localisation géographique des agents, graphe de connectivité, cliques sociales

Psychologie sociale, modèles d’émergence de langage

2 agents (un statisticien + un sujet)

Le sujet est objet d’étude Le statisticien est objet

d’ingéniérie Nombre d’observations limitées Statistiques, machine

learning, optimal exp.

design Statistiques bayésiennes

2 agents Interactions observées Format acoustique du médium de

transmission Comp / Alg / Imp

Modélisation de la communication

Théorie de l’information

1 agent Comportement observé

(entrées / sorties) Tâche à résoudre Computationnel Modélisation cognitive

« optimale »

Bayes-optimal Ideal observer Rational model

1 agent Propriétés macro du

traitement de l’information

par l’objet physique Représentations, processus Algorithmique Modélisation cognitive Bayesian cognitive modeling Bayesian algorithmic modeling

1 agent Propriétés micro du

traitement de l’information Unité de traitement axone / soma,

arbre dendritique et connectivité, Implémentation Neuroscience Bayesian brain

Terminologie - débattue,

- variable dans le temps,

- différente dans ces sous-domaines !

Aujourd’hui : bayésien ≈ probabiliste

(10)

Objet d’étude Modèle et objet

isomorphes en terme de… Exemple de contrainte Marr Domaine en psycho /

neurosciences Vocabulaire, terminologie N agents (un statisticien +

N-1 sujets) Nombre d’observations limitées Statistiques en psycho

sociale Statistiques bayésiennes

N agents Comportement dynamique

du système

Localisation géographique des agents, graphe de connectivité, cliques sociales

Psychologie sociale, modèles d’émergence de langage

2 agents (un statisticien + un sujet)

Le sujet est objet d’étude Le statisticien est objet

d’ingéniérie Nombre d’observations limitées Statistiques, machine

learning, optimal exp.

design Statistiques bayésiennes

2 agents Interactions observées Format acoustique du médium de

transmission Comp / Alg / Imp

Modélisation de la communication

Théorie de l’information

1 agent Comportement observé

(entrées / sorties) Tâche à résoudre Computationnel Modélisation cognitive

« optimale »

Bayes-optimal Ideal observer Rational model

1 agent Propriétés macro du

traitement de l’information

par l’objet physique Représentations, processus Algorithmique Modélisation cognitive Bayesian cognitive modeling Bayesian algorithmic modeling

1 agent Propriétés micro du

traitement de l’information Unité de traitement axone / soma,

arbre dendritique et connectivité, Implémentation Neuroscience

computationnelles Bayesian brain Free-energy principle

(11)

Plan

• Panorama des modèles « bayésiens » en science cognitive

• Exemple minimal de modèle et d’inférence bayésienne

• Modélisation bayes(-optimale) de la perception

• Modélisation bayésienne de la perception multi-sensorielle

• Modèle de perception visuo-haptique (Ernst & Banks, 2002)

• Modèle de « causal inference »

(12)

Exemple minimal de modèle et d’inférence bayésienne

• Exemple

• S’il pleut, alors Alice a son parapluie

• Alice a son parapluie

• Raisonnement déductif (logique)

• modus ponens

• A implique B, A est vrai : B est vrai

• modus tollens

• A implique B, B est faux : A est faux

• Aucune règle logique applicable

• Raisonnement (humain) des plausibilités : on infère « Il pleut, plausiblement »

• Cette inférence est « capturable » en probabilités

(13)

Exemple minimal : définition du modèle

• Deux variables

• A = {il pleut, il ne pleut pas}

• B = {Alice a son parapluie, Alice n'a pas son parapluie}

• Modèle probabiliste sur ces variables

• Définir le modèle = définir la distribution conjointe P(A B)

• P(A B) = P(A) P(B | A)

• Définir les termes du modèle

• P(A)

• P([A=il pleut]) = 0,4

• P([A=il ne pleut pas]) = 1 - 0,4 = 0,6

• P(B | A)

• 2 distributions sur B (une pour chaque valeur de A)

(14)

Exemple minimal : définition du modèle

• Deux variables

• A = {il pleut, il ne pleut pas}

• B = {Alice a son parapluie, Alice n'a pas son parapluie}

• Modèle probabiliste sur ces variables

• Définir le modèle = définir la distribution conjointe P(A B)

• P(A B) = P(A) P(B | A)

• Définir les termes du modèle

• P(A)

• P([A=il pleut]) = 0,4

• P([A=il ne pleut pas]) = 1 - 0,4 = 0,6

• P(B | A)

• 2 distributions sur B (une pour chaque valeur de A)

Règle du produit

P(A B) = P(A)P(B | A)

= P(B)P(A | B)

(15)

Exemple minimal : définition du modèle

• Deux variables

• A = {il pleut, il ne pleut pas}

• B = {Alice a son parapluie, Alice n'a pas son parapluie}

• Modèle probabiliste sur ces variables

• Définir le modèle = définir la distribution conjointe P(A B)

• P(B A) = P(A) P(B | A)

• Définir les termes du modèle

• P(A)

• P([A=il pleut]) = 0,4

• P([A=il ne pleut pas]) = 1 - 0,4 = 0,6

• P(B | A)

• 2 distributions sur B (une pour chaque valeur de A)

P(A) A=il pleut A=il ne pleut pas

0,4 0,6

Règle de la somme

(de normalisation)

(16)

Exemple minimal : définition du modèle

• Deux variables

• A = {il pleut, il ne pleut pas}

• B = {Alice a son parapluie, Alice n'a pas son parapluie}

• Modèle probabiliste sur ces variables

• Définir le modèle = définir la distribution conjointe P(A B)

• P(B A) = P(A) P(B | A)

• Définir les termes du modèle

• P(A)

• P([A=il pleut]) = 0,4

• P([A=il ne pleut pas]) = 1 - 0,4 = 0,6

• P(B | A)

• 2 distributions sur B (une pour chaque valeur de A)

P(A) A=il pleut A=il ne pleut pas

0,4 0,6

P(B | A) A=il pleut A=il ne pleut pas B=Alice n'a pas

son parapluie 0,05 0,9

B=Alice a son 0,95 0,1

(17)

Règles de calcul

• Règle du produit à Théorème de Bayes

• Règle de la somme à généralisation à n cas

• Règle du produit et règle de la somme à Règle de marginalisation

Reverend Thomas Bayes (~1702-1761)

P( B | A) = P( B)P(A | B)

P(A) , si P(A) , 0 X

a 2 A

P([A = a]) = 1

X P(A B) = P( B)

(18)

P(B | A) A=il pleut A=il ne pleut pas B=Alice n'a pas

son parapluie 0,05 0,9

B=Alice a son

parapluie 0,95 0,1

P(A B) A=il pleut A=il ne pleut pas

B=Alice n'a pas

son parapluie 0,02 0,54

B=Alice a son

parapluie 0,38 0,06

P(A) A=il pleut A=il ne pleut pas

0,4 0,6

P(B | A)P(A) = P(A B)

Attention :

P(B | A), P(B A) et P(A | B) ne sont pas le même objet mathématique !

Même si ce sont tous des tableaux 2x2

• P(B | A) somme à 1 par colonne

• P(A B) somme à 1 sur les 4 cases

• P(A | B) sommera à 1 par ligne

(19)

P(A B) A=il pleut A=il ne pleut pas B=Alice n'a pas

son parapluie 0,02 0,54

B=Alice a son

parapluie 0,38 0,06

P(B)

B=Alice n'a pas son

parapluie 0,56

B=Alice a son

parapluie 0,44

P(A | B) A=il pleut A=il ne pleut pas B=Alice n'a pas

son parapluie p

1

p

2

B=Alice a son

parapluie p

3

p

4

P(B) = X

A

P(A B) P(A | B) = P(A B) / P(B)

X

A

P(A B) = P(B)

(20)

Exemple minimal : première inférence

• Probabilité qu’il pleuve, sachant qu’Alice a son parapluie ?

P(A | B) = P(A)P( B | A) P( B)

= P(A B) P A P(A B)

Le théorème de Bayes pour

« inverser » les connaissances

P(A | [B = Alice a son parapluie])

Démontre que définir P(A B) est suffisant

(pour n’importe quelle inférence !)

(21)

Exemple minimal : première inférence

• Probabilité qu’il pleuve, sachant qu’Alice a son parapluie ?

• P([A = Il pleut] | [ B = Alice a son parapluie])

= P([A = Il pleut]) P([ B = Alice a son parapluie] | [A = Il pleut]) P([ B = Alice a son parapluie])

= P([A = Il pleut]) P([ B = Alice a son parapluie] | [A = Il pleut]) P A P(A [ B = Alice a son parapluie])

= 0 . 4 ⇤ 0 . 95

0 . 4 ⇤ 0 . 95 + 0 . 6 ⇤ 0 . 1

= 0 . 86

(22)

Exemple minimal : conclusion

• Probabilité qu’il pleuve, sans autre information ?

• Probabilité qu’il pleuve, sachant qu’Alice a son parapluie ?

• Observer qu’Alice a son parapluie rend bien plus plausible (probable) qu’il pleuve

∎ P([ A = Il pleut] | [B = Alice a son parapluie]) = 0 . 86

P([A = Il pleut]) = 0 . 4

(23)

Plan

• Panorama des modèles « bayésiens » en science cognitive

• Exemple minimal de modèle et d’inférence bayésienne

• Modélisation bayes(-optimale) de la perception

• Modélisation bayésienne de la perception multi-sensorielle

• Modèle de perception visuo-haptique (Ernst & Banks, 2002)

• Modèle de « causal inference »

(24)

Modélisation de la perception

• Perception

• Un problème inverse (Poggio 80’s)

• Modèle bayésien

• Inversion

S1 S2 Sn V

S1 S2 Sn

? V

stimulus

sensations

perception

P(S 1 S 2 . . . S n V ) = P(V )P(S 1 S 2 . . . S n | V ) P(V | S 1 S 2 . . . S n ) = P(V )P(S 1 S 2 . . . S n | V )

P(S 1 S 2 . . . S n )

(25)

Terminologie : modèle bayésien « optimal »

• Modèle bayésien

• Inférence : inversion

- Modèle génératif, prédictif - Fonction de vraisemblance

(likelihood function) si f(V) = P(S

1

… S

n

| V) Prior

Conjointe

Evidence

≠ perceptual evidence Posterior

Modèle de perception, de décodage

P(S 1 S 2 . . . S n V ) = P(V )P(S 1 S 2 . . . S n | V )

P(V | S 1 S 2 . . . S n ) = P(V )P(S 1 S 2 . . . S n | V ) P(S 1 S 2 . . . S n )

P(V | S 1 S 2 . . . S n ) / P(V )P(S 1 S 2 . . . S n | V )

(26)

Résultat de l’inférence : ambigüités

• P(V | S 1 S 2 … S n )

• Inversion de P(S 1 S 2 … S n | V)

• Distribution à plusieurs pics : ambigüité

• Pas de problème mal posé en probabilités

(Lmi = 300)

P(ThetaL | Lmi Cp_li)

0.00 0.12 0.25 0.37 0.50

-180-135 -90 -45 0 45 90 135 170

P(DistL | Lmi Cp_li)

0.00 0.12 0.25 0.37 0.50

0 5 10 15 20 25

(27)

Non-uniform prior

• Capturer les régularités statistiques

• Accélère la perception des événements fréquents

• diffusion-drift model, race-to-threshold, accumulation of log perceptual evidence

• Avantage adaptatif

• En informatique : Huffman coding

• Light comes from above

• Light is stationary

• Viewpoint is above the scene

• Contours follow statistics of natural scene

• Object perception favors

• regular geometrical shapes, convex geometrical shapes

• Face perception favors convex faces

• Movement perception favors

• Rigid objects, low translation and rotation speeds

• Body movement perception favors

• Low rotation speeds, upright positions

P(V | S 1 S 2 . . . S n ) / P(V )P(S 1 S 2 . . . S n | V )

(28)

Light comes from above: Shape from shading

Mamassian, P. and Landy, M. S. (1998). Vision Research Mamassian, P. and Goutcher, R. (2001). Cognition

(29)

Combinaison prior-likelihood

• Apprentissage ultra-rapide de concept

• « Scandale de l'induction »

• Apprentissage du langage malgré la pauvreté du stimulus

• Exemple : l’expérience des Tufas

P(V | S 1 S 2 . . . S n ) / P(V )P(S 1 S 2 . . . S n | V )

(30)

Voici les Tufas

(31)

Où sont les Tufas

parmi ces nouveaux objets ?

(32)
(33)

Modèle :

Hyp. : structure d’arbre Var. : un mot est un nœud Prior : favorise les nœuds bas

Likelihood : traduit un tirage uniforme des exemplaires dans leur catégorie

P(V | S 1 S 2 . . . S n ) / P(V )P(S 1 S 2 . . . S n | V )

(34)

Plan

• Panorama des modèles « bayésiens » en science cognitive

• Exemple minimal de modèle et d’inférence bayésienne

• Modélisation bayes(-optimale) de la perception

• Modélisation bayésienne de la perception multi-sensorielle

• Modèle de perception visuo-haptique (Ernst & Banks, 2002)

• Modèle de « causal inference »

(35)

Modèle de fusion multi-sensorielle

• Multi-cue fusion

• Vision

• Aperture effect (Weiss, Simoncelli and Adelson 2002)

• Slant from position, scaling, etc. cues (Knill, 1998, Hillis et al., 2004)

• Depth from texture and motion cues (Jacobs, 1999)

• Haptic : Geometry and force cues (Drewing & Ernst 2006)

• Multi-sensory fusion

• Bimodal

• Vision and proprioception (van Beers et al., 1996, Zupan, Merfeld and Darlot, 2002, Nardini, Begus and Mareschal, 2012)

• Vision and acoustic, McGurk effect (Alais & Burr, 2004, Battaglia et al., 2003; Körding et al., 2007, Sato et al., 2007)

• Vision and haptic (Ernst & Banks, 2002, Gepshtein & Banks, 2003)

• Trimodal

• Vision, acoustic and tactile (Wozny, Beierholm and Shams, 2008)

• Vision, vestibular, podokinesthetic (Jürgens & Becker, 2006)

P(V | S 1 S 2 . . . S n ) / P(V )P(S 1 | V )P(S 2 | V ) . . . P(S n | V )

(36)

Humans integrate visual and haptic

information in a statistically optimal fashion

• Experimental setup

(37)

Bayesian model of visuo-haptic fusion

• Joint distribution

• Terms of the model

• Inference for visuo-haptic fusion

P(X S H S V ) = P(X )P(S H | X ) P(S V | X ) P(X ) = U (X )

P(S H | X ) = G µ 1 (X), 1 (X) (S H ) P(S V | X ) = G µ 2 (X), 2 (X) (S V )

P(X | [S H = s H ] [S V = s V ])

/ P([S H = s H ] | X)P([S V = s V ] | X)

/ G µ 1 (X ) , 1 (X) (S H )G µ 2 (X) , 2 (X ) (S V )

(38)
(39)

Causal inference

• Y a-t-il une source unique, ou deux sources distinctes ?

Körding, K. P., Beierholm, U., Ma, W. J., Quartz, S., Tenenbaum, J. B., and Shams, L. (2007). Causal inference in multisensory perception. PLoS one, 2(9):e943.

(40)

Modèle ségrégation totale C=2

Modèle intégration totale C=1

Modèle « causal inference » C variable inconnue

è sommation sur C

Modèle « causal inference » sans propagation

è tirage sur C / max sur C

(41)

Conclusion

• Panorama des modèles « bayésiens » en science cognitive

• Exemple minimal de modèle et d’inférence bayésienne

• Modélisation bayes(-optimale) de la perception

• Modélisation bayésienne de la perception multi-sensorielle

• Modèle de perception visuo-haptique (Ernst & Banks, 2002)

• Modèle de « causal inference »

à Modélisation bayésienne algorithmique : monter en complexité des

représentations intermédiaires supposées

(42)

Modèle BRAID de reconnaissance visuelle de mots

≈ une sorte de modèle IA en probabilités

02/07/2020 J Diard – LPNC-CNRS 42

JDBRAID

= P W0:T L1:T1:N L1:T

1:N P0:T1:N A1:T µ1:TA 1:TA CA1:T 1:N P1:T

G1:T S1:T1:N I1:N1:T I1:N1:T D1:T 1:N

1:N D0:T CD1:T 1:N

!

= P(W0)P(D0)

YN

n=1

P(P0n)

YT

t=1

266666 66666 66666 66666 66666 66666 66666 66666 66666 66666 66666 66666 66666 66666 66666 64

P(Wt|Wt 1)

YN

n=1

P(Ltn|Wt) P(Dt|Dt 1)P(CDt

1:N|Dt)

YN

n=1

hP( Dt

n | Lt nCDt

n)P( Lt

n|LtnPtn)i

YN

n=1

P(Ptn|Ptn1)

P(AttA tA)P(µtA)P( tA)

YN

n=1

P(CAt n|At)

YN

n=1

P( Pt

n|Ptn Int CAt n) P(Gt)

YN

n=1

hP(Stn)P( Int)P(Itn|St1:N Int Gt)i

377777 77777 77777 77777 77777 77777 77777 77777 77777 77777 77777 77777 77777 77777 77777 75 2 Vanilla BRAID, box-model version

B R A I D

‘B’ ‘R’ ‘A’ ‘I’ ‘D’

“BRAID”

Acuity

Letter Sensory Submodel

Lateral interference

Stimulus Visual Attentional Submodel

Attentional modulation of information flow Letter Perceptual Submodel

Dynamic models over letters

Perceived letters

Bidirectional information flow Lexical Knowledge Submodel

Dynamic models over lexical variables

Recognized word

1 Vanilla BRAID, re-make of the figure from the draft paper

Letter Sensory submodel Visual Attentional submodel Letter Perceptual submodel Lexical Knowledge submodel

St1 St2 St3 SNt

I1t I2t I3t ItN

It1 It2 I3t INt

Gt

. . . Pt

1 Pt

2 Pt

3 Pt

N CAt

1 CAt

2 CAt

3 CAt

N

At µtA t

A

. . .

P1t P2t P3t . . . PNt

Lt 1

Lt 2

Lt 3

...

Lt N Lt1

Lt2

Lt3

...

LtN Wt

Dt 1

Dt 2

Dt 3

Dt N

CDt 1

CDt 2

CDt 3

...

CDt N

Dt

(43)

Modèle COSMO de

perception de la parole

• Partie 2 : COSMO, un cadre computationnel pour la modélisation bayésienne de la

communication parlée

• Jean-Luc Schwartz (GIPSA-Lab), Jeudi 9 Juillet 11h

C!

OS! OL!

SV!

λSV!

SV!

MV!

λMV!

MV!

Mo de l o f th e co mmu nica tio n si tu ati on C og nit ive mo de l o co mmu nica tin g agent

Internalization

Listener Environment

Speaker

O L

S C Env

O S

M

2.8 Step 3 of the toy version of the COSMO-Oscillations model : version June, 17rd, 2020

This is a variant of the version of June, 3rd, 2020, in which the loudness variables L are directly computed from the inputI; this computation does not depend on the current phoneF e.

Temporal Control Module

Phone Sensory Layer Phone Perceptual Layer Syllable-to-Phone Lexical Layer Syllable Perceptual Layer Word-to-Syllable Lexical Layer Perceptual LayerWord

OnsetBU FetS,1 FetS,4 FetS,12

It1 It4 I12t

Lt1 Lt4 Lt12

FetP,1 FetP,4 FetP,12

FetL,1 FetL,4 FetL,12

SS,1t SS,3t

. . . . . .

. . . SP,1t StP,2 StP,3

OnsetTD SL,1t StL,2 StL,3

WSt WPt

!

Amax

A

(44)

Merci de votre attention !

Références

Documents relatifs

At large ξ the whole disk is very close to the Newtonian rotation curve, and we recover the results of TP99. When ξ becomes close to 1, i.e. when the disk inner radius ap- proaches

PARTIE B: SIMULATION NUMERIQUE DU COMPORTEMENT DYNAMIQUE D'UN MANIPULA- TEUR RIGIDE ET ALGORITHME DE COMMANDE

Here, we clustered the expression patterns of DAM genes from several species (i.e., apple, Japanese pear, Japanese apricot, peach, sweet cherry, Chinese cherry, leafy spurge

Meanwhile, workloads acquired at science-gateway level contain detailed information about users, pilot jobs, task sub-steps, bag of tasks and workflow executions.. In this work,

KEYWORDS : Computational Markovian modeling, computational Bayesian inference, hierarchical Bayesian modeling, Monte Carlo Markov chain, sequential Monte Carlo, computational

Through- out the entire series retention times and column lengths showed excellent proportionality, which was not the case for separation numbers and HETP values as shown in Figure

In this work, we introduce a general Bayesian framework providing a sound basis for signal detection using information theoretic tools. The methodology is based a consistent 1

According to (Rubin, 1976), the assumptions about the missing data mechanisms may be classified into three categories : 1) missing completely at random (MCAR) : the probability that