2.1.2 L'intégrateur à fuite de [Reiss and Taylor, 1991] . . . 39 2.1.3 L'esprit du réseau . . . 41 2.2 Généraliser une fonction . . . . 41 2.2.1 Les généralisateurs de fonctions . . . 41 2.2.2 Le perceptron, une mémoire procédurale . . . 42 2.3 Apprendre par coeur . . . . 43 2.3.1 Les mémoires auto-associatives . . . 44 2.3.2 Le réseau de Hopeld, une mémoire déclarative . . . 44 2.3.3 Le problème de l'interférence . . . 46 2.4 Discussion . . . . 47
Chapitre 2. Notion de mémoire en connexionnisme
Le connexionnisme se dénit comme l'étude des réseaux de neurones articiels et prend ses racines dans les travaux fondateurs de McCulloch et Pitts, Hebb et Rosenblatt au travers de trois articles de références que sont [McCulloch and Pitts, 1943], [Hebb, 1949] et [Rosenblatt, 1958]. L'idée fondatrice est d'imiter dans une certaine mesure les mécanismes cérébraux an de concevoir des systèmes pouvant éventuellement concurrencer la cognition humaine. Si ces buts premiers n'ont pas été atteints, les eorts mis en ÷uvre ont cependant permis la mise au point de nouveaux outils sous la forme des réseaux de neurones articiels qui autorisent un traitement numérique, distribué, parallèle et adaptatif de l'information. Nous ne présenterons cependant pas l'ensemble des concepts et modèles liés au domaine du connexionnisme, pour cela on préférera consulter [Hertz et al., 1991]. Notre objectif est ici de montrer comment un même formalisme neuronal permet de réaliser des réseaux respectivement capables de manipuler la connaissance sous l'angle procédural ou sous l'angle déclaratif. A cette n, nous introduirons les concepts nécessaires à la compréhension des modèles et nous nous intéresserons alors à deux réseaux classiques, à savoir, les perceptrons qui s'identient à des généralisateurs de fonctions, et les réseaux de Hopeld qui s'identient à des mémoires associatives.
2.1 Les fondements du connexionnisme
Les fondements du connexionnisme reposent sur la dénition de l'unité de base qui est le neurone articiel. Bien qu'il partage le nom de neurone avec son homologue biologique, il demeure néanmoins un modèle articiel qui ne partage qu'un nombre restreint des propriétés du neurone biologique, ce dernier possédant des mécanismes chimiques complexes qu'il semble encore dicile de spécier aujourd'hui de façon formelle. Le neurone articiel n'est lui qu'une unité de calcul plus ou moins complexe selon le modèle considéré. Il existe en eet plusieurs modèles de neurones. Historiquement, le premier modèle proposé dès 1943 fut le neurone formel de W. MacCulloch et W. Pitts. Il constitue la matière de nombreux réseaux de neurones classiques tels que les perceptrons ou bien les réseaux de Hopeld (qui seront détaillés par la suite). Ce modèle se révèle cependant inadéquat vis-à-vis de certaines classes de problèmes, notamment celles exigeant la prise en compte explicite du temps. Il est alors nécessaire de recourir à des modèles de neurones plus complexes tels que le neurone impulsionnel, le neurone à fuite ou bien encore le gated dipole.
2.1.1 Le neurone formel
Dès les années 1940, W. MacCulloch et W. Pitts proposent dans [McCulloch and Pitts, 1943] la première modélisation du neurone sous la forme d'un automate à seuil possédant plusieurs signaux binaires d'entrée ainsi qu'un signal binaire de sortie (cf. gure 2.1). Cet automate eectue une somme pondérée de ses entrées (via les synapses) qui correspondent aux signaux de sortie d'autres automates ou bien à des valeurs fournies par un système externe, provoquant alors un signal de sortie (0/1 ou -1/1) selon que cette somme dépasse un certain seuil ou non.
On peut voir sur la gure 2.1 un neurone avec ses entréesXi et leurs pondérations respectives
Wi. Le signal de sortieS se calcule de la façon suivante :
S =f(Pn
i=1(wiXi)−β) (2.1)
avec f(x) = 1 six≥0 (2.2)
= 0 sinon (2.3)
f est la fonction d'activation permettant de seuiller la sortie du neurone etβ le seuil d'activation
2.1. Les fondements du connexionnisme X X X 1 i n w wi 1 ΣwiXi wn S .. . .. .
Fig. 2.1 Le neurone formel avec ses entréesXi, les pondérations des entréesWi et le signal de
sortie S
La dénition de ce neurone formel, qui se dénit donc comme un automate à seuil booléen,
peut être étendue en autorisant des sorties continues sur un intervalle (généralement [0,1] ou
[−1,1]). Il sut pour cela de prendre par exemple une fonction linéaire à seuil ou une sigmoïde.
2.1.2 L'intégrateur à fuite de [Reiss and Taylor, 1991]
Si le neurone formel est historiquement le premier modèle de neurone, il existe aujourd'hui de nombreux autres modèles permettant notamment de mieux rendre compte des phénomènes tem-porels existant au sein du neurone biologique. Parmi ceux-ci, on trouve en particulier le modèle du neurone impulsionnel de [Gerstner, 1998], le gated dipole de [Grossberg, 1984] et l'intégrateur à fuite de [Reiss and Taylor, 1991] (cf. gure 2.2). Nous ne détaillerons ici que le modèle de l'in-tégrateur à fuite étant donné qu'il nous servira dans nos modélisations et on pourra se reporter par exemple à [Frezza-Buet et al., 2000] pour de plus amples explications sur les autres modèles. A partir de la constatation que les neurones biologiques agissent comme des intégrateurs à fuite dans le sens où ils stockent sur leur surface un résidu du signal ayant provoqué leur décharge, [Reiss and Taylor, 1991] proposent le principe de l'intégrateur à fuite qui repose sur la notion de potentiel de membrane.
On considère que l'entrée I(t) d'un neurone au tempst peut prendre une valeur continue entre
0 et 1. Le potentiel de membraneA(t) est alors décrit selon les équations suivantes :
A(t+ 1) =f(I).I(t) + (1−f(I)).A(t) (2.4)
où la fonction f(I) s'écrit, avec les constantesaetd:
f(I) =d(1−I) +aI (2.5)
Finalement, la sortie du neurone est calculée grâce à la fonction de Heaviside H:
Out(t+ 1) =H(A(t)−0.5) (2.6) Comme illustré sur la gure 2.3, l'activité d'un neurone se caractérise par une montée du signal de sortie jusqu'à un niveau maximal suivie d'une descente progressive de ce signal. Plus
préci-semment, les fonctions A etf sont telles qu'elles permettent une attaque temporelle en1/ln(a)
et une décroissance temporelle en 1/ln(d). Il est donc possible de choisir précisément la forme
Chapitre 2. Notion de mémoire en connexionnisme temps Activité du neurone 1 t t+1 t+2 t+3 temps Activité du neurone 1 t t+1 t+2 t+3 Neurone impulsionnel Neurone formel temps Activité du neurone 1 t t+1 t+2 t+3 temps Activité du neurone 1 t t+1 t+2 t+3 "Gated dipole" Neurone à fuite
Fig. 2.2 Les prols respectifs de l'activité de sortie des neurones selon les modèles formel, impulsionnel, à fuite et gated dipole
Temps Neurone A Neurone B Neurone C
0.5 0 1 5 0 Activité 10
Fig. 2.3 Ce schéma représente pour trois neurones A, B et C la forme typique de l'activité obtenue par le mécanisme de trace (en traits pleins), l'entrée I(t) est représentée en pointillés. Il illustre par ailleurs comment il est possible de corréler deux événements disjoints grâce à leurs traces résiduelles. La zone hachurée représente l'intervalle de temps durant lequel on peut par
2.2. Généraliser une fonction