Réseaux de neurones formels

Réseaux de neurones - Master Sciences Cognitives - 2005

1

Réseaux de neurones formels

Christian Jutten

Lab. des Images et des Signaux (LIS)

UMR 5083 Centre National de la Recherche Scientifique, Institut National Polytechnique de Grenoble,

Université Joseph Fourier

Grenoble

Contenu

• I. Introduction

• II. Quelques flashs de neurobiologie

• III. Modèles mathématiques

• IV. Coopération et compétition

• V. Mémoires associatives linéaires

• VI. Perceptrons multi-couches

• VII. Modèles de Hopfield

• VIII. Cartes auto-organisatrices de Kohonen

• IX. Séparation de sources

• X. Présentation du BE et des mini-projets

Réseaux de neurones - Master Sciences Cognitives - 2005

3

Chapitre 4

Coopération et compétition

Coopération et compétition : introduction

• Réseaux à connexions locales

• Connexions excitatrices et inhibitrices

• Connexions fixes : pas d’apprentissage

• Principe : algorithme codé dans le réseau

• Deux exemples :

– filtrage spatial non linéaire,

– résolution de problèmes d’optimisation

Réseaux de neurones - Master Sciences Cognitives - 2005

5

Coopération et compétition : filtrage spatial non linéaire (1D)

• Réseaux à inhibitions latérales récurrentes

u N(u)

x(n)

y(n) α (i)

β (i) excitation

inhibition

[ ( ) * ( ) ( ) * ( ) ]

)

( n N x n n y n n

y = α − β

Coopération et compétition : filtrage spatial non linéaire (1D)

• Convolution : notation *, α et β noyaux de convolution

• Convolution = filtrage

– quelques exemples

) ( ) (

) (

* ) (

) ( ) (

) (

* ) (

i i n y n

n y

i i n x n

n x

b b i

a a i

β β

α α

∑

∑

+

−

= +

−

=

−

=

−

= ^x(n)

y(n) α (i)

β (i) excitation

inhibition

3 / ) 1 (

3 / ) ( 3

/ ) 1 (

) (

* ) (

) 1 ( ) 1 (

) 0 ( ) ( )

1 ( ) 1 (

) (

* ) (

+ +

+

−

=

− +

+ +

−

=

n x n

x n

x n

n x

n x n

x n

x n

n x

α

α α

α

α

Réseaux de neurones - Master Sciences Cognitives - 2005

7

Coopération et compétition : filtrage spatial non linéaire (1D)

• Réponse à un créneau constant

n x(n)

n x(n)

x(n)

y(n) α(i)

β(i) excitation

inhibition

A = 0.5

A = 0.8

Coopération et compétition : filtrage spatial non linéaire (1D)

• Réponse à un créneau constant, avec un grand gain (A>2)

n x(n)

n y(n)

n x(n)

n y(n)

n x(n)

y(n)

n x(n)

y(n)

Réseaux de neurones - Master Sciences Cognitives - 2005

9

Coopération et compétition : filtrage spatial non linéaire (2D)

• Réseau 2-D

entrées neurones sorties

u

N(u)

Coopération et compétition : filtrage spatial non linéaire (2D)

• Réponse à une entrée de type « pavé »

A = 5 A = 20

A = 0.5

A = 10

Réseaux de neurones - Master Sciences Cognitives - 2005

11

Coopération et compétition : filtrage spatial non linéaire (2D)

• Réponse à image de caractères alpha-numériques

Coopération et compétition : filtrage spatial non linéaire (2D)

• Réponse à une image bruitée

x(n)

y(n) α(i)

β(i) excitation

inhibition

Réseaux de neurones - Master Sciences Cognitives - 2005

13

Coopération et compétition : résolution de problèmes d’optimisation

• Codage du problème : réseau partagé en groupes

– inhibitions mutuelles intra-groupe – excitations sélectives inter-groupe

• Equation d’évolution des sorties des neurones

n i

p p

T x

p p

x p dt p

dp

i i

i e

i

= (

−

) − ( −

) − ( −

), = 1 , L ,

repos au

retour de

temps de

constante :

es inhibitric entrées

des somme :

es excitatric entrées

des somme :

min repos

max

T x x

p p

p

i e

<

<

Coopération et compétition : résolution de problèmes d’optimisation

• Variations du potentiel d’un neurone

• Système de n équations différentielles couplées

– sous certaines conditions (supposées satisfaites), le système possède des états d’équilibre stable

• 2 exemples d ’applications : base de données, coloriage

n i

p p

T x

p p

x p dt p

dp

i i

i e

i

= (

−

) − ( −

) − ( −

), = 1 , L ,

t p(t)

p

x

croissant

t p(t)

p

x

croissant

Réseaux de neurones - Master Sciences Cognitives - 2005

15

Coopération et compétition : base de données

• Codage neuronal de la BD • La base de données :

– 5 enregistrements – 5 champs

David Dupont BAC 40ans Cél Anne Dupont SUP 30ans Mar Pierre Durand BEP 40ans Mar Célia Durand BAC 30ans Mar Paul Durand BAC 20ans Cél

base Prénom

Situation

Nom

Age

Etudes

Coopération et compétition : base de données

David Dupont BAC 40ans Cél Anne Dupont SUP 30ans Mar Pierre Durand BEP 40ans Mar Célia Durand BAC 30ans Mar Paul Durand BAC 20ans Cél

base Prénom

Situation

Nom

Age

Etudes

Rappel par

enregistrement

Réseaux de neurones - Master Sciences Cognitives - 2005

17

Coopération et compétition : base de données

David Dupont BAC 40ans Cél Anne Dupont SUP 30ans Mar Pierre Durand BEP 40ans Mar Célia Durand BAC 30ans Mar Paul Durand BAC 20ans Cél

Rappel par

forçage de BAC

base Prénom

Situation

Nom

Age

Etudes

Coopération et compétition : coloriage d’une carte

• Règles

– Deux régions contiguës ont des couleurs différentes

– Quatre couleurs suffisent

• Codage par réseau

– Une région représentée par un groupe

– Un groupe contient 4 neurones

– 1 neurone est associé à 1

couleur

Réseaux de neurones - Master Sciences Cognitives - 2005

19

Coopération et compétition : coloriage d’une carte

• Codage par réseau

– Une région représentée par un groupe

– Un groupe contient 4 neurones – 1 neurone est associé à 1 couleur

• Connexions

– inhibitrices intra-groupe : une région a une couleur pure (pas un mélange)

– sélectives (voisins) inter-groupe :

• excitatrices entre cellules de couleurs différentes

• inhibitrices entre cellules de même couleur

Océan

Bordeaux Toulouse

Océan voisin de Boirdeaux

Bordeaux voisn de Toulouse

Océan pas voisin de Toulouse

Coopération et compétition

• Les réseaux sans apprentissage présentent des propriétés intéressantes :

– La non-linéarité entraîne des résultats performants

– Les connexions permettent de gérer de façon implicite des contraintes complexes

– Le principe consiste à coder le problème dans une architecture de réseau

– La stabilité du réseau requiert des conditions

particulières, sinon risque de minima locaux

Réseaux de neurones - Master Sciences Cognitives - 2005

21

Contenu

• I. Introduction

• II. Quelques flashs de neurobiologie

• III. Modèles mathématiques

• IV. Coopération et compétition

• V. Mémoires associatives linéaires

• VI. Perceptrons multi-couches

• VII. Modèles de Hopfield

• VIII. Cartes auto-organisatrices de Kohonen

• IX. Séparation de sources

• X. Présentation du BE et des mini-projets

Chapitre 5

Mémoire associative linéaire

Réseaux de neurones - Master Sciences Cognitives - 2005

23

Mémoire associative linéaire :principes

• Réseau :

– connexions totales directes, et adaptables (apprentissage) – neurone à caractéristique linéaire ou booléenne

• Deux représentations équivalentes

x₁

x₂ y₂

y₁

x_p

y₃

y_n

y₂ y₁

y₃

y_n

x₁ x₂ x_p

w₁₁ w₁₂ w_1p

w₃₂

w_np w_n2

w_n1

w₂₁ w₂₂ w_2p

WX Y =

= ∑

= p j

j ij

i

w x

y

1

Règles de calcul matriciel

• Produit matrice-vecteur,

– si le nombre colonne de W = dim X

• Produit scalaire : somme des produit termes à termes

– vecteurs de même dimension – ressemblance entre vecteurs, – si vecteurs normés : cos(U,V)

WX Y =

= ∑

= p j

j ij

i

w x

y

1

∑

=

+ +

+

=

=

⋅

n

i i

n n T

v u

v u v

u v

u

_L r

r V UV U

i

X

=

Y

Réseaux de neurones - Master Sciences Cognitives - 2005

25

Mémoire associative linéaire :apprentissage

• Objectif : mémoriser N associations (X ^k , Y ^k )

• Apprentissage : à chaque association k

• A la fin de l’apprentissage, W vaut :

• Remarques

– c’est la somme des matrices d ’inter- corrélations des N associations

– chaque poids est un mélange des N associations

– chaque association est distribuée sur tous les poids du réseau

kj ik ij

ij

k w k y x

w ( + 1 ) = ( ) +

∑

∑

=

=

N k

T k N k

k

kj ik

ij

y x

w

1 1

) ( :

soit W Y X

y

y

y

x

x

x

w

w

w

w

w

w

w

w

w

w

y

Mémoire associative linéaire : rappel

• Objectif : retrouver Y ^k en sortie de la mémoire en présentant X ^k

• Les poids sont fixés. Si on présente X ^r

• Si les vecteurs X ^k sont orthonormés, c-à-d

( )

∑

∑

=

=

=

 





 



= 

=

N k

r T k k

N r k

T k k r

1

1

) (

) (

X X

Y

X X

Y X

W Y

y

y

y

x

x

x

w

w

w

w

w

w

w

w

w

w

y

( )

(

)

N

Y

X

X

Y X X

Y = ∑ ^{( )} = ^{( )}

l kl T

k

X = δ

X )

(

Réseaux de neurones - Master Sciences Cognitives - 2005

27

Mémoire associative linéaire : rappel

• Objectif : retrouver Y ^k en sortie de la mémoire en présentant X= X ^k + b, où b est un bruit supposé décorrélé des X ^k :

• Le rappel donne donc Y ^k perturbé par les autres sorties apprises Y ^j pondérées par les coefficients

( )

( )

∑

∑

∑

≠

=

=

+

=

+

=

 +







 



= 

k j

T j j

k N k

k T k k

N k k

T k k

b X

Y Y

b X

X Y

b X

X Y Y

) (

) (

) (

) (

) (

1 1

y

y

y

x

x

x

w

w

w

w

w

w

w

w

w

w

y

b

X

)

(

Mémoire associative linéaire : rappel

• A partir de la relation :

on remarque que la qualité du rappel :

– augmente si le bruit est décorrélé des « patterns », – diminue avec la puissance du bruit,

– diminue avec le nombre d’associations à mémoriser.

• On distingue trois types de mémoires associatives :

– les mémoires auto-associatives : X et Y sont de même nature, et la mémoire permet de restaurer des données incomplètes ou bruitées,

– les mémoires hétéro-associatives : X et Y sont de nature différentes, par exemple à un caractère X on associe son code ASCII,

– les classifieurs, qui sont des mémoires hétéro-associatives particulières : Y est la classe de X.

( )

∑

+

=

k j

j T

k

Y

X b

Y

Y ( )

Réseaux de neurones - Master Sciences Cognitives - 2005

29

Mémoire associative linéaire : exemple

• Mémoire auto-associative

« Patterns » Clés Sorties pour

N = 120

Sorties pour

N = 500

Mémoire associative linéaire : exemple

• Classifieur

Classe 0

Classe 1

Classe 2

Classe 3

Réseaux de neurones - Master Sciences Cognitives - 2005

31

Mémoire associative linéaire : robustesse ?

• Propriété de rappel de données incomplètes ou bruitée étonnante !

• Robustesse ?

– Peu tolérant aux

transformations géométriques – mesure de ressemblance =

produit scalaire ou cos

– Exemple : images translatées d ’un pixel ne se ressemblent pas

29 . . 0

cos = = −

t t

X X

X

θ X

Mémoire associative linéaire : coût ?

• Coût en mémoire

Mémoire de N images de n = 10

pixels avec 1 pixel = 1 octet Mémoire classique :

pour N images : N x 10

octets Mémoire associative :

1 image : matrice de n x n = 10

x10

octets N images : idem !

N < 15% nbre pixels = 15 10

images, sinon rappel catastrophique ! Rapport complexité, optimal pour N

:

(Compl. MA)/(Compl. MC) > 7

Réseaux de neurones - Master Sciences Cognitives - 2005

33

Mémoire associative linéaire : robustesse ?

• Hypothèse d’orthonormalité ? – En général, elle est fausse

• Pré-traitement pour augmenter l’orthogonalité – opérateur Laplacien (Kohonen)

) 1 ( )

( 2 ) 1 ( )

~ ( i = − X i − + X i − X i +

X Vecteurs

initiaux

Vecteurs après

prétraitement

Mémoire associative linéaire : robustesse ?

• Pré-traitement pour augmenter l’orthogonalité – opérateur Laplacien (Kohonen)

Avant prétraitement 98 . 0 cos

2 1

2

1

⋅ =

= X X X θ X

03 .

~ 0

~

~

~ cos

2 1

2

1

⋅ = −

= X X X θ X

Après prétraitement

Réseaux de neurones - Master Sciences Cognitives - 2005

35

Mémoire associative linéaire : amélioration

• MA optimale au sens des Moindres Carrés (Kohonen, Oja) – En réponse à X, on obtient une estimation

– On cherche B qui minimise l ’erreur quadratique

• On montre que la solution est égale à :

où MX et MY sont les matrices de taille pxN et nxN formées par l’ensemble des N associations apprises.

B Y WX

Y ˆ = = +

2 2 2

ˆ Y WX Y B

Y − = − =

= MX MY

W .

Mémoire associative linéaire : limitation

• Réseaux à une couche : limités à des problèmes linéairement séparables

• Le problème XOR :

– X

et X

sont 2 variables booléennes, on veut calculer (apprendre) Y, tel que : Y = X

⊕ X

θ

X

X

Y = signe(w

X

+ w

X

- θ) 0 1 0

1 ^X

X

w

w

Y=+1 Y=-1

Réseaux de neurones - Master Sciences Cognitives - 2005

37

Au-delà de la mémoire associative linéaire

• Avec une couche cachée

• Le problème devient linéairement séparable dans l’espace 3-D : X

, X

, X

AND X

• Pour un ^problème complexe : Combien de couches ? Combien de neurones ? Calcul des poids ?

1.5 X

X

0 0

1

1

X

X

0.5

0.5

0.5 1

1 1

1 1 1

-2

X

AND X

Vers les MLP : Influence des couches

• Exemple de classification avec des données 2-D

1 couche 2 couches 3 couches

Réseaux de neurones - Master Sciences Cognitives - 2005

39

Contenu

• I. Introduction

• II. Quelques flashs de neurobiologie

• III. Modèles mathématiques

• IV. Coopération et compétition

• V. Mémoires associatives linéaires

• VI. Perceptrons multi-couches

• VII. Modèles de Hopfield

• VIII. Cartes auto-organisatrices de Kohonen

• IX. Séparation de sources

• X. Présentation du BE et des mini-projets