• Aucun résultat trouvé

Implémentation d un système préattentionnel avec des neurones impulsionnels

N/A
N/A
Protected

Academic year: 2022

Partager "Implémentation d un système préattentionnel avec des neurones impulsionnels"

Copied!
47
0
0

Texte intégral

(1)

avec des neurones impulsionnels

Sylvain Chevallier

LIMSI - CNRS Université Paris-Sud 11

Orsay, France Sous la direction de : Philippe Tarroux (LIMSI) et Hélène Paugam-Moisy (Université de Lyon)

25 juin 2009

(2)

Sommaire

1. Contexte des recherches Attention visuelle Approche bio-inspirée Problématique

2. Filtrage neuronal Principes

Résultats expérimentaux 3. Architecture préattentionnelle

Description de l’architecture Résultats sur les saillances Focus d’attention

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 2 / 32

(3)

Change blindness

(4)

Change blindness

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 3 / 32

(5)

Change blindness

(6)

Attention visuelle

I Métaphore du faisceau attentionnel

I Représentation interne clairsemée[Ballard, 95]

I Le monde comme une mémoire externe[O’Regan, 92]

Intérêts pour la vision artificielle

I Complexité algorithmique[Tsotsos, 90]

I Sélection attentionnelle pour réduire l’espace de recherche

I Exploration séquentielle : mécanisme inférentiel[Helmholtz, 1886]

Définitions :

I Préattention et attention

I Covert attentionetovert attention

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 4 / 32

(7)

Attention visuelle

I Métaphore du faisceau attentionnel

I Représentation interne clairsemée[Ballard, 95]

I Le monde comme une mémoire externe[O’Regan, 92]

Intérêts pour la vision artificielle

I Complexité algorithmique[Tsotsos, 90]

I Sélection attentionnelle pour réduire l’espace de recherche

I Exploration séquentielle : mécanisme inférentiel[Helmholtz, 1886]

Définitions :

I Préattention et attention

I Covert attentionetovert attention

(8)

Bio-inspiration

I Proposer des solutions efficaces inspirées par la biologie

I Abstraction de la réalité biologique

I Compromis entre les modèles réalistes et les systèmes artificiels

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 5 / 32

(9)

Préattention

Traits caractéristiques[Treisman, 80]:

I interviennent dans les traitements préattentifs

I extraits de façon parallèle

I ne sont pas tous équivalents

(10)

Modèle de l’attention visuelle

Guided search theory[Wolfe, 94]

Carte de saillance :

I Postulée par la plupart des théories attentionnelles

I Pas de corrélats neuronaux clairement identifiés

I Carte distribuée sur plusieurs régions ?

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 7 / 32

(11)

Implémentations existantes

[Itti & Koch, 98]

Principales caractéristiques 1. Décomposition en traits

caractéristiques 2. Combinaison sur une

carte de saillances 3. Sélection par WTA du

focus d’attention

Modèles neuronaux existant interviennent dans (2) ou (3)

(12)

Problématique

Proposition d’une architecture préattentionnelle

I Purement ascendante (bottom-up)

I Modèle decovert attention

I Carte de saillance

Définition des saillances

Les saillances sont des contrastes locaux, globalement rares, qui portent des informations dans plusieurs modalités visuelles et sur différentes échelles spatiales.

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 9 / 32

(13)

Problématique

Inspiration des voies parvo et magnocellulaire : Parvo basses fréquences

spatiales, pas de couleurs, plus rapide

Magno hautes fréquences spatiales, couleurs, plus lente

⇒Saillances : informations des hautes fréquences dans les régions préactivées par les basses fréquences

(14)

Neurones impulsionnels

Intérêts :

I Représentation unifiée de l’information

I Fusion d’informations de nature différentes

I Architecture modulaire Particularités :

I Traitement sélectif de l’information

I Seuillage implicite

I Différents comportements :

I Intégrateur temporel

I Détecteur de coïncidences

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 10 / 32

(15)

Neurones impulsionnels

Originalités :

I Pas deresetaprès chaque image

I Filtrage neuronal

Traitement temporel des informations visuelles

I Filtrage par approximations successives

I Processusanytime[Dean & Boddy, 88]

I Permet d’échanger de la qualité du résultat contre du temps de calcul

(16)

Implémentation du système

I Système synchrone hybride[Morrison, 05]

I Plusieurs modèles de neurones impulsionnels

SN.LIF

SN.SLIF

SN.Dirac

Mask

MC.List

E.List Event

D.Inflow

D.Spiking Map Device

Spiking Neuron

Mask Container

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 11 / 32

(17)

Sommaire

1. Contexte des recherches Attention visuelle Approche bio-inspirée Problématique

2. Filtrage neuronal Principes

Résultats expérimentaux 3. Architecture préattentionnelle

Description de l’architecture Résultats sur les saillances Focus d’attention

(18)

Modèle de neurone

Intégrateur à fuite ouLeaky Integrate-and-Fire(LIF) :

dVi

dt =−λiVi(t) +ui(t), siVi

sinon émission d’un potentiel d’action etVirevient àVreset

I Vi(t): potentiel membranaire

I λi : constante de relaxation membranaire

I ui(t): commande

I Pas de période réfractaire

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 13 / 32

(19)

Cartes de filtrage

Carte neuronales

I Transduction : conversion pixels en PA

I Intégration :

résultats du filtrage

(20)

Transduction

dVi

dt =−λiVi(t) +KLi, siVi

sinon émission d’un potentiel d’action etVirevient àVreset

avecτ=1/λ détails

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 15 / 32

(21)

Intégration

dVj

dt =−λjVj(t) +∑Pi=1j wijSi(t), siVj

sinon émission d’un potentiel d’action etVjrevient àVreset

détails

Codage impulsionnel

(22)

Intégration

dVj

dt =−λjVj(t) +∑Pi=1j wijSi(t), siVj

sinon émission d’un potentiel d’action etVjrevient àVreset

détails

Codage fréquentiel

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 16 / 32

(23)

Contexte des recherches Filtrage neuronal Architecture préattentionnelle

Principes

Résultats expérimentaux

Évaluation du filtrage neuronal

I Validation sur des images de test artificielles

I Comparaison filtrage neuronal et filtrage par convolution

I Erreur quadratique moyenne

I Étude de paramètres

I Les résultats sont obtenus de façon graduelle

I Les premiers PA codent pour les coefficients les plus importants

Impulsionnel obtention rapide d’un résultat partiel Fréquentiel résultat proche du filtrage par convolution

I Biais pour les valeurs de luminance importantes

(24)

Contexte des recherches Filtrage neuronal Architecture préattentionnelle

Principes

Résultats expérimentaux

Évaluation du filtrage neuronal

I Validation sur des images de test artificielles

I Comparaison filtrage neuronal et filtrage par convolution

I Erreur quadratique moyenne

I Étude de paramètres

Influence deτSDOG Influence dewmax

I Les résultats sont obtenus de façon graduelle

I Les premiers PA codent pour les coefficients les plus importants

Impulsionnel obtention rapide d’un résultat partiel Fréquentiel résultat proche du filtrage par convolution

I Biais pour les valeurs de luminance importantes

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 17 / 32

(25)

Contexte des recherches Filtrage neuronal Architecture préattentionnelle

Principes

Résultats expérimentaux

Évaluation du filtrage neuronal

I Validation sur des images de test artificielles

I Comparaison filtrage neuronal et filtrage par convolution

I Erreur quadratique moyenne

I Étude de paramètres

Résultat du filtrage obtenu par approximations successives

I Les résultats sont obtenus de façon graduelle

I Les premiers PA codent pour les coefficients les plus importants

Impulsionnel obtention rapide d’un résultat partiel Fréquentiel résultat proche du filtrage par convolution

I Biais pour les valeurs de luminance importantes

(26)

Évaluation du filtrage neuronal

I Validation sur des images de test artificielles

I Comparaison filtrage neuronal et filtrage par convolution

I Erreur quadratique moyenne

I Étude de paramètres Conclusion

I Les résultats sont obtenus de façon graduelle

I Les premiers PA codent pour les coefficients les plus importants

Impulsionnel obtention rapide d’un résultat partiel Fréquentiel résultat proche du filtrage par convolution

I Biais pour les valeurs de luminance importantes

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 17 / 32

(27)

Sommaire

1. Contexte des recherches Attention visuelle Approche bio-inspirée Problématique

2. Filtrage neuronal Principes

Résultats expérimentaux

3. Architecture préattentionnelle Description de l’architecture Résultats sur les saillances Focus d’attention

(28)

Architecture de la préattention

I Entrées

I Luminance et couleurs

I Traits caractéristiques

I Contrastes

I Orientations

I Oppositions de couleurs

I Parvo et magnocellulaire

I Basses fréquences guident l’attention

I Intégrateurs/détecteurs de coïncidences

I Focalisation attentionnelle

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 19 / 32

(29)

Extraction de saillances

Comparaison avec l’algorithme d’Itti

I Approchecoarse-to-fine

I Moins sensible aux valeurs absolues des luminances

I Apparition graduelle des résultats

Itti Original Neuronal

(30)

Extraction de saillances

Comparaison avec l’algorithme d’Itti

I Approchecoarse-to-fine

I Moins sensible aux valeurs absolues des luminances

I Apparition graduelle des résultats

Itti Original Neuronal

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 20 / 32

(31)

Extraction de saillances

Comparaison avec l’algorithme d’Itti

I Approchecoarse-to-fine

I Moins sensible aux valeurs absolues des luminances

I Apparition graduelle des résultats

(32)

Focalisation attentionnelle

S F

I Réseau récurrent

I Connexion DOG

I Implémente un WTA

I Dynamique des champs neuronaux

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 21 / 32

(33)

Évaluation

I Méthodologie de[Rougier & Vittay, 06]

I Deux cartes

I Cible en mouvement

I bruit gaussien

I distracteurs

(34)

Évaluation

Baricentre de l’activité : F¯i= 1 K

K

j=1

fi,j

Mesure d’erreur :Efocus= 1 N

N

i=1

d(Si,F¯i)

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 22 / 32

(35)

Résultats de l’évaluation

I Plus robuste aux bruits

I Moins sensible aux distracteurs (jusqu’à 3)

(36)

Résultats de l’évaluation

I Plus robuste aux bruits

I Moins sensible aux distracteurs (jusqu’à 3)

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 23 / 32

(37)

Focalisation sur une séquence d’images naturelles

I 30 images

I 76x56 pixels

I Architecture complète

I Robot est saillant

(38)

Focalisation sur une séquence d’images naturelles

Efocus= 1 K

K

i=1

d(Si,F¯i)

I Précision améliorée lorsque l’algorithme dispose de plus de temps

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 25 / 32

(39)

Conclusions

I Architecture préattentionnelle

I Bio-inspirée

I Neurones impulsionnels

I Codage temporel

I Résultats obtenus graduellement

I Extraction des saillances

I Contrastes, orientations, couleurs

I Préactivation par les basses fréquences

I Focus d’attention

I Robuste aux bruits et aux distracteurs

I Application sur une séquence d’images naturelles

(40)

Perspectives

I Apports qualitatifs du filtrage neuronal

I Caractérisation mathématique du filtrage neuronal

I Lien entre les approches impulsionnelles et fréquentielles

I Apport du codage temporel précis pour le WTA

I Integration sur une plateforme robotique

I Boucles sensori-motrices

I Influences descendantes (top-down)

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 27 / 32

(41)

Merci

(42)

Annexe

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 29 / 32

(43)

Neurones des cartes d’entrée

dVi

dt =−λiVi(t) +KLi, siVi

sinon émission d’un potentiel d’action etVirevient àVreset avecLi la valeur du pixel considéré

ˆti=−1 λi

ln

1−λiϑ KLi

retour

Φi = 1 ˆti

= − λi

ln 1−λKLiϑ

i

≈ K ϑLi

(44)

Neurones des cartes d’entrée

retour

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 30 / 32

(45)

Neurones des cartes d’intégration

dVj

dt =−λjVj(t) +∑Pi=1j wijSi(t), siVj

sinon émission d’un potentiel d’action etVjrevient àVreset

Si(t) =

Ni

f=1

δ(t−tfi)

retour

(46)

Neurones des cartes d’intégration

dVj

dt =−λjVj(t) +∑Pi=1j wijSi(t), siVj

sinon émission d’un potentiel d’action etVjrevient àVreset

Vj(t) =

Pj

i=1

wij

Ni

f=1

e−λj(t−fˆti)H(t,fˆti)

Vj(Tj)≈

Pj

i=1

wij

1−e−QNi/Li 1−e−Q/Li avecQ=λKjϑ

retour

S. Chevallier (LIMSI - CNRS) Architecture préattentionnelle 25 juin 2009 31 / 32

(47)

Codage fréquentiel

P4 P3 P2 P1

S

ϑ

t ISI

V

4 ms 5 ms 5 ms 4 ms

6 ms

Références

Documents relatifs

Nous pr´esentons dans cette note un r´esultat de compl´etude pour les types ` a quantificateurs positifs du syst`eme F de J.-Y.. Ce r´esultat g´en´eralise un th´eor`eme

En conclusion, nous donnons du théorème I (et du théorème 2) un corollaire qui généralise un résultat de A. 224) sur l f absence de convergence en probabilité dans certains cas

Un besoin en fonds de roulement positif signifie que les actifs circulants sont supérieurs au crédit fournisseur, et donc qu'une partie des actifs circulants doit être financée par

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des

Dans SpikeAnts, les trois types de synchronisations qui émergent au niveau macroscopique sont complètement déterminés par deux paramètres de contrôle qui agissent sur la

On procède bien entendu

Produits – Charges = Résultat de l’exercice comptable.. Résultat

Charges d'exploitation Produits d'exploitation Achats de marchandises 2 400 000 Ventes de marchandises Variation de stocks(si-sf) 70 000 Production vendue Frais de réparation