Réseaux de neurones formels

Réseaux de neurones formels

Christian Jutten

Lab. des Images et des Signaux (LIS)

UMR 5083 Centre National de la Recherche Scientifique, Institut National Polytechnique de Grenoble,

Contenu

• I. Introduction

• II. Quelques flashs de neurobiologie

• III. Modèles mathématiques

• IV. Coopération et compétition

• V. Mémoires associatives linéaires

• VI. Perceptrons multi-couches

• VII. Modèles de Hopfield

• VIII. Cartes auto-organisatrices de Kohonen

• IX. Séparation de sources

• X. Présentation du BE et des mini-projets

Chapitre 1

Introduction

Introduction: différences et similarités

Introduction: différences et similarités

WUN D

E BA R R

ME E UX RVEILL

RVEILLE D WUN

E

BA R

R

ME

UX

Introduction: différences et similarités

sound

sound

Introduction: différences et similarités

Introduction: différences et similarités

Introduction

• Calcul neuromimétique

• Pourquoi cette approche ? Pour quels objectifs ?

Perception Robotique

Apprentissage

Introduction

• Quelques mots de neurobiologie

– Système nerveux humain

• 10¹² neurones

• 1000 à 10.000 synapses par neurone – Des propriétés remarquables

• Complexité

• Variabilité et fiabilité

• Parallélisme

• Performances

• Compacité

• Plasticité

Introduction

• Un peu d’histoire… les pionniers

– Modèle de McCulloch et Pitts (1943)

• automates booléens

• connexions fixes

– Perceptron de Rosenblatt (1958)

• modèle linéaire + seuil

• connexions modifiables – Adaline de Widrow (1960)

• modèle linéaire

• connexions modifiables

Introduction

• Encore un peu d’histoire … les années 1970

– Neurodynamique : Amari (depuis 1967 au Japon) – Mémoires associatives de Kohonen (Finlande, 1970)

– Modèle de membrane, RN électroniques : J. Hérault (depuis 1968, France)

– Coopération et compétition, Adaptive Resonance Theory : Grossberg (1968, USA)

– Extraction de traits pertinents, mémoire : Anderson (depuis 1972, USA)

Introduction

• Et l’histoire continue… le boum des années 1980

– Physique statistique et réseaux de neurones formels : mémoires auto-associatives, optimisation combinatoire (Hopfield, 1982, USA)

– Réseaux multi-couches

• Neocognitron : Fukushima (1980, Japon)

• Multi Layer Perceptron et Backpropagation : Werbos 1974, Parker 1982, Le Cun 1985, Rumelhart et McClelland 1986 – Cartes auto-organisatrices de Kohonen (Finlande, 1982)

– Implémentations matérielles, parallèles, circuits intégrés, optiques – Beaucoup d’applications sont développées, revues spécialisées et

conférences internationales, intérêt des industriels

Introduction

• Et … aujourd’hui

– Outil reconnu : nombreux packages, boîte à outils dans Matlab – Machine learning, Support Vector Machine

Chapitre 2

Flashs de neurobiologie

Flashs de neurobiologie

• Les neurones : des processeurs élémentaires de formes variées

mais avec des similarités :

– beaucoup d’entrées – une unité de traitement – une sortie

Flashs de neurobiologie

• Connexions entre neurones, jusqu’à 10.000 !

Flashs de neurobiologie

• Potentiel d’action : signal simple/métabolisme complexe

Ions Na⁺ K⁺ Cl^- Ca⁺⁺ Mg⁺⁺ Autres

Intérieur 50 400 60 0,4 10 250

Extérieur 440 20 560 10 54 -

t

- 60 mV 60 mV

10 mV dépolarisation

Flashs de neurobiologie

• Du potentiel synaptique … au potentiel d’action : la sommation spatio-temporelle

– Synapses proches : peu d’atténuation et de retard

– Synapses lointaines : atténuation forte et retard important

t

t somme

t

t somme

axone dendrites

synapse

lointaine synapse proche

Flashs de neurobiologie

• Codage de l’information

– sorties analogiques ou binaires

– information liée à l’amplitude, les fréquences instantanée ou moyenne

• Exemple : codage du mouvement

2 s

Flashs de neurobiologie

• Au repos

– fréquence des potentiels d’action non nulle, – les variations sont souvent plus significatives

• Fréquence vs somme des entrées

– seuil

– partie plus ou moins linéaire – saturation

f

Σ e

Flashs de neurobiologie

• Plasticité synaptique dans le cortex cérébelleux

Flashs de neurobiologie

• Plasticité synaptique dans le cortex visuel humain

1959)

Flashs de neurobiologie

• Règle de Hebb sur la plasticité synaptique

• Tirée de l’ouvrage de D. O. Hebb, The organization of the behaviour, Wiley, New-York, 1949

When an axon of cell A is near enough to excite a cell B and repeatedly or

persistently takes part in firing it, some growth process or metabolic changes take place in one or both cells such that A’s efficiency as one of the cells firing B, is increased (page 62)

• Une co-activité entraîne un renforcement synaptique

A B

sens de l'information

Flashs de neurobiologie

• Plasticité synaptique :

– croissance ou régression des connexions,

– modifications à court terme ou à long terme, si stimulations – oubli en absence de stimulation

• De façon qualitative

Pré-syn. Post-syn. Hebb R-S

Oui Oui ++ ++

Non Oui ? --

Oui Non ? -

Non Non ? -

Flashs de neurobiologie

• Organisation en réseaux

– environ 10¹² neurones, – 1000 à 10.000 synapses par neurones,

– plusieurs types de neurones, – une organisation en couches, – une organisation en colonne, – des connexions excitatrices ou inhibitrices,

– des architectures particulières.

Flashs de neurobiologie

• Organisation en réseaux : l’exemple du système olfactif

• Des structures typiques

– convergence/divergence – inhibitions de divers types – contrôle central

Flashs de neurobiologie

• Organisation en réseaux : l’exemple du cortex visuel

• Des structures typiques :

– le cortex : une structure en couches,

– les micro-colonnes,

– les feuillets de dominance oculaire et d’orientation

Flashs de neurobiologie

• Le cerveau des vertébrés – complexe

• nombre d’unités et de connexions,

• grande variabilité des composants neurones et synapses,

• un métabolisme très complexe,

• un système multi-échelle : moléculaire, cellulaire, réseau,

• des architectures variées,

– fiable et performant

• durée de vie importante,

• la perte de composants altère peu le fonctionnement,

• plasticité synaptique et apprentissage.

Chapitre 3

Modèles mathématiques

Modèles mathématiques

• Modèles du neurone

– modèle non linéaire – équation entrée/sortie

• Modèles de réseaux

– structure en couches

– divers types de connexions

• Modèles de plasticité ou d’apprentissage

Modèles mathématiques

• Les bases des modèles du neurone

soma

dendrites axone

arborisation terminale

x_j

w_ij

neurone i

y_i

x x

x

x₁ x₂

x_n

w_i1 w_i2

w_in

+

Modèles mathématiques

• Modèle de neurone 1

• Quelques exemples pour N(.)

+

x₁ x₂

x_n

p_i y_i

N(.) w_i1

w_i2 w_in

) (

1

2 2 1

1

i i

n j

ij j

in n i

i i

p N y

w x

w x w

x w

x p

=

=

+ +

+

=

∑

L

p )

(p N

p )

( p N

p )

(p N p

) (p N

Modèles mathématiques

• Modèle de neurone 1

– avec N(.) = signe(.) – cas de 2 entrées

• La frontière entre les régions +1 et -1 est définie par :

) (

)

( _{1 1 2 2}

2 2 1

1

i i

i i

i i

i i

i

w x w

x signe p

signe y

w x w

x p

θ

θ = + −

−

=

+

=

+

x₁

x₂

p_i y_i

N(.) w_i1

w_i2

1 2 2 1

1 0

i i

i i

i

x w x

w x w

x

θ θ +

−

=

=

− +

plutôt ressemblant plutôt

différent

Modèles mathématiques

• Modèle de neurone 2

1

2 2

1 1

p n

j

p ij j

p in n

p i p

i i

w x

w x

w x

w x

p

−

=

−

=

− +

+

− +

−

=

∑

w x

L

p )

( p N

p )

( p N

+

x₁ x₂

x_n

p_i y_i

K(.) w_i1

w_i2 w_in

Modèles mathématiques

• Modèle de neurone 2

– distance euclidienne, 2 entrées – fonction noyau :

• La frontière entre les régions :

[ ]

) (

2 / 2 1 2 2

2 1 1

i i

i i

i

p K y

w x

w x

p

=

− +

−

=

+

x₁

x₂

p_i y_i

K(.) w_i1

w_i2



 <

= 0sinon si

) 1

( p θ

p K

[ ]

θ

θ

<

− +

−

<

− +

−

=

2 2

2 / 2 1 2 2

2 1 1

ou

i i

i

w x

w x

w x

w x

p

plutôt ressemblant plutôt

Modèles mathématiques

• Modèles de réseaux : quelques exemples

Connexions directes Connexions récurrentes

Modèles mathématiques

• Modèles de réseaux : notations

wij Neurone i Neurone j

Connexion de j vers i

Modèles mathématiques

• Apprentissage

– par des exemples, souvent bruités

– AVEC superviseur : (données bruitées, réponse désirée bruitée) – SANS superviseur : (données bruitées)

• Règle de calcul

• Objectifs

– résumer les exemples avec un petit nombre de paramètres – bonne réponse même pour des exemples non appris

(

( )

)

ij f w x y y

w = , , ,

∆

Modèles mathématiques

• Apprentissage

– 7 points de la forme : (x_i, f(x_i) + b_i) – droite : 2 paramètres

– parabole : 3 paramètres

– polynome de degré 6 7 paramètres = apprentissage par CŒUR – apprentissage par CŒUR = mauvaise GENERALISATION

+

+ + +

+ +

+

Modèles mathématiques

• Règles d’apprentissage : quelques exemples

• Hebb

• Règles avec oubli

i moy j

ij

i j ij ij

i j ij

y x

x w

y x w

y x w

) ( −

=

∆

=

∆

=

∆

µ µ µ

[

]

ij

j j ij

ij

y g x

f w

w

y g x f w

w

y x w

w

µ γ

µ γ

µ γ

+

−

=

∆

+

−

=

∆

+

−

=

∆

Neurone j

Neurone i

Connexion de j vers i wij

Modèles mathématiques

• Résumé sur les modèles de réseaux neuronaux

– Un réseau de n neurones a au plus n² interconnexions

– La sortie de chaque neurone requiert n sommes de produits et une opération non linéaire

– Pour le réseau tout entier, on a donc de l’ordre de n² sommes de produit et n opération non linéaires

– L’apprentissage requiert la modification des n² interconnexions, soit n² équations

– La complexité d’un réseau est de O(n²) opérations et mémoire.

) (

ou

1

i p n

j

j ij

i N w x y K

y  = x− w









= 

∑

=

(

( )

)

ij f w x y y

w = , , ,

∆

Modèles mathématiques

• Réseaux de neurones formels vs vrais réseaux de neurones

– Neurones

• Modèles de neurones très simples

• Faible variabilité, pas de sommation spatio-temporelle,

• Modèles à “beaucoup” d’entrées/une sortie – Réseaux

• Nombre de cellules faibles /réalité

• Structure régulière

• Modèle local – Apprentissage

• Règle simpliste, avec ou sans superviseur

• Autres types d’aprentissage (pénalité-récompense)