Du neurone biologique au neurone formel

II.5. Fonction d’activation

II.5.1 Fonction binaire à seuil II.5.2. Fonction linéaire

II.5.3. Fonction a seuil ou a multi seuil II.5.4. Fonction sigmoïde

II.6. Les réseaux de neurones

II.6.1. Les réseaux de neurones bouclés(Dynamiques) II.6.1.1. Réseaux à connexion récurrents II.6.1.2. Réseau à connexion complet

II.6.2. Les réseaux de neurones non bouclés (statistique) II.6.2.1. Réseau monocouche

II.6.2.2. Réseaux multicouche II.6.2.3. Réseaux à connexion local

II.7. L’apprentissage des réseaux de neurones

II.7.1. Apprentissage supervisée II.7.2. Apprentissage non supervisée

II.8. Le perceptron multicouche MLP

II.8.1. La mise en œuvre des réseaux de neurones multicouches II.8.2. L’apprentissage des réseaux MLP

20

II.1. Introduction

Depuis une dizaine d’années, l’utilisation des réseaux de neurones artificiels(RAN) s’est développée dans de nombreuses disciplines (sciences économiques, écologie et environnement, biologie et médecine…). Ils sont notamment appliqués pour résoudre des problèmes de classification, de prédiction, de catégorisation, d’optimisation, de reconnaissance de formes et de mémoire associative. Dans le cadre du traitement des données, les RNA constituent une méthode d’approximation de systèmes complexes, particulièrement utile lorsque ces systèmes sont difficiles à modéliser à l’aide des méthodes statistiques classiques.

L’objectif de ce chapitre est multiple : il s’agit tout d’abord de rappeler les définitions fondamentales relatives aux réseaux de neurones ainsi que leurs propriétés mathématiques. Nous décrirons ensuite les principaux types des réseaux de neurones. Finalement nous nous attacherons à détailler le type de réseau de neurones utilisé dans notre thèse (MLP), et plus particulièrement ses propriétés et sa mise en œuvre. Tout au long de ce chapitre nous allons chercher à éclaircir les concepts généraux des réseaux de neurones et détailler d’avantage les notions auxquelles nous avons fait appel pour élaborer ce travail.

II.2. Historique

D’une façon générale, on situe le début des réseaux de neurones artificiels en 1943 avec les travaux de Mc Culloch et pitts [29], qui montrent qu’un réseau de neurones discret, sans contrainte de topologie, peut représenter n’importe quelle fonction booléenne au même titre qu’un ordinateur. En 1958, Rosenblatt propose le premier algorithme d’apprentissage, qui permet d’ajuster les paramètres d’un neurone. En 1969, Minsky et Papert publient le livre « percep trons » [30] dans lequel ils utilisent une solide argumentation mathématique pour démontrer les limitations des réseaux de neurones à une seule couche. Ce livre aura une influence telle que la plupart des chercheurs quitterons le champ de recherche sur les réseaux de neurones. En 1982, Hopfiled propose des réseaux de neurones associatifs [31] et l’intérêt pour les réseaux de neurones renait chez les scientifiques. En 1986, Rumelhart, HINTON ET Williams publient l’algorithme de « rétro propagation de l’erreur » qui permet d’optimiser les paramètres d’un réseau de neurones à plusieurs couches [32].

A partir de ce moment, la recherche sur les réseaux neurones connait un essor fulgurant. Aujourd’hui, on retrouve les réseaux de neurones solidement implantés dans diverses industries :

Chapitre II Les réseaux de neurones artificiels (ANN) 21 - reconnaissance de formes - classification - identification - prédiction - filtrage - commande, régulation - optimisation combinatoire

II.3. Du neurone biologique au neurone formel

Les réseaux de neurones formels sont, à l’origine, une tentative de modélisation mathématique du cerveau humain. Les travaux de Mac Culloch et pitts présentent un modèle assez simple pour les neurones et explorent les possibilités de ce modèle. L’idée principale des réseaux de neurones artificiels est de donner une unité simple, un neurone, qui est capable de réaliser quelques calculs élémentaires. On relie ensuite un nombre important de ces unités et on essaye de déterminer la puissance de calcul de réseau ainsi obtenu [33].

Le modèle biologique illustré dans la figure II.1 décrit un modèle simple du neurone biologique qui a servi à la mise en place des premiers neurones formels.

Figure II.1 : Neurone biologique

Dans le cerveau, les neurones sont reliés entre eux par l’intermédiaire d’axones et de dendrites. En première approche, on peut considérer que ces sortes de filaments sont des

22

conducteurs d’électricité et peuvent ainsi véhiculer des messages depuis un neurone vers un autre. Les dendrites représentent les entrées du neurone et l’axone sa sortie.

Un neurone émet un signal en fonction des signaux qui lui proviennent des autres neurones. On observe, en fait, au niveau d’un neurone, une intégration des signaux reçus au cours du temps, c'est-à-dire une sorte de sommations des signaux. En général, quand la somme dépasse un certain seuil, le neurone émet a sont tour un signal électrique. La notion de synapse explique la transmission des signaux entre axone et une dendrite. Au niveau de la jonction, quand un signal arrive au niveau de la synapse, un signal électrique est émis de l’autre coté et on a donc une transmission. En fait, suivant le type de la synapse, l’activité d’un neurone peut renforcer ou diminuer l’activité de ses voisins. On parle ainsi de synapse excitatrice ou inhibitrice [33].

Un neurone formel (artificiel) est un processeur très simple, simulé sur ordinateur ou réaliser sur circuit électrique intégré, imitant grossièrement la structure et le fonctionnement d’un neurone biologique. Le plus simple concept d’un neurone est un automate binaire qui réalise une somme "S" pondérée de ses entrées et compare cette somme à un seuil "B".

- si S>B la sortie de neurone vaut +1 et le neurone est dit actif. - si S<B la sortie vaut -1 et le neurone est dit inactif.

La modélisation consiste à mettre en œuvre un système de réseau neuronal sous un aspect non pas biologique mais artificiel, cela suppose que d’après le principe biologique on aura une correspondance pour chaque élément composant le neurone biologique, donc une modélisation pour chacun d’entre eux.

On pourra résumer cette modélisation par le tableau suivant qui nous permettra de voir clairement la transition entre le neurone biologique et le neurone formel [34].

Neurone biologique Neurone artificiel

Synapses Axones Dendrite somma Poids de connexion Signal de sortie Signal d’entrée Fonction d’activation

Chapitre II Les réseaux de neurones artificiels (ANN)

23