Réseaux de neurones

Le cerveau, ce principal organe avec lequel on pense, on réfléchit, on raisonne et j’en passe des termes qualifiant ces fonctionnalités, mais que bon nombre, même les spécialistes ne savent pas avec précision comment le cerveau fait tout cela. Le cerveau est sans doute le membre de l’être humain le moins maîtrisé par les spécialistes du point de vue de son fonctionnement et ses capacités [53].

Nous n’avons pas l’intention ici de répondre à la question de son fonctionnement, loin de là, nous allons juste essayer d’exposer un modèle de fonctionnement assez rudimentaire qui a fait ses preuves dans un grand nombre d’applications et notamment en ingénierie, le terme « rudimentaire » a été utilisé dans le sens où on a simplifié au maximum le fonctionnement supposé du réseau de neurones biologique.

Les réseaux de neurones biologiques réalisent facilement un certain nombre d’applications telles que la reconnaissance de formes, le traitement du signal, l’apprentissage la mémorisation et surtout la généralisation [53]. Ces applications sont pourtant, malgré tous les efforts déployés en algorithmique et en intelligence artificielle, à la limite des possibilités actuelles. C’est à partir de l’hypothèse que le comportement intelligent émerge de la structure complexe et du comportement actif des éléments de base du cerveau que les réseaux de neurones artificiels se sont développés.

IV.3.1 Neurones biologiques

Le cerveau humain contient près de 86 milliards de neurones, et il existe environ 200 types de neurones [54]. Dans un neurone nous pouvons distinguer trois régions principales (figure IV.1) : le corps cellulaire qui contient le noyau du neurone ainsi que la machine biochimique nécessaire à la synthèse d’enzymes ; les dendrites, qui se divisent comme les branches d’un arbre, recueillent l’information d’autres neurones et l’acheminent vers le corps de la cellule ; l’axone, généralement très long et unique, il conduit l’information du corps cellulaire vers d’autres neurones avec qui il fait des connexions appelées synapses.

Chapitre IV Intelligence artificielle et prédiction

57

Fig. IV.1 : Schéma d’un neurone biologique [55, 56]

Au niveau des synapses, la transmission de l’information se fait par l’intermédiaire de molécules chimiques : les neuromédiateurs. Quand un signal électrique arrive au niveau de la synapse, il provoque l’émission de neuromédiateurs excitateurs ou inhibiteurs qui vont se fixer sur les récepteurs dendritiques de l’autre côté de l’espace inter-synaptique. Lorsque suffisamment de molécules excitatrices se sont fixées, un signal électrique est émis dans les dendrites. Le neurone compare alors la somme de tous ces signaux à un seuil. Si la somme excède ce seuil, le neurone émet un signal électrique (émission d’un potentiel d’action) le long de son axone [51, 55, 56]. Sinon, il reste inactif et ne stimule pas les neurones auxquels il est connecté.

IV.3.2 Neurones artificiels (formels)

Un réseau de neurones artificiels RNA est à l’origine une tentative de modélisation mathématique du cerveau humain. Ainsi, il représente un modèle de calcul dont la conception est très schématiquement inspirée du fonctionnement des neurones biologiques [57].

La figure (IV.2) montre la structure d’un neurone artificiel. Chaque neurone artificiel est un processeur élémentaire. Il reçoit un nombre variable d’entrées en provenance de neurones amont. À chacune de ces entrées est associée un poids w abréviation de weight (en anglais) représentatif de la force de la connexion. Chaque processeur élémentaire est doté d’une sortie unique, qui se ramifie ensuite pour alimenter un nombre variable de neurones aval. À chaque connexion est associée un poids.

58

Les RNA sont généralement optimisés par des méthodes d’apprentissage de type probabiliste, en particulier bayésiennes. Ils sont placés d’une part dans la famille des applications statistiques, qu’ils enrichissent avec un ensemble de paradigmes permettant de créer des classifications rapides, et d’autre part dans la famille des méthodes de l’intelligence artificielle auxquelles ils fournissent un mécanisme perceptif indépendant des idées propres de l’implémenteur, ainsi que des informations d’entrée au raisonnement logique formel.

Fig. IV.3 : Fonctionnement de base d’un neurone

Le neurone calcule la somme pondérée de ses entrées puis cette valeur passe à travers la fonction d’activation pour produire sa sortie.

IV.3.3 Histoire de l’évolution des RNA

Une première vague d’intérêt aux RNA a vu le jour après l’introduction par McCulloch et Pitts en 1943 de la notion des neurones simplifiés (perceptron). Ces neurones ont été présentés comme un modèle du neurone biologique et comme un élément de base pour des circuits (réseaux) capables de réaliser des fonctions logiques, arithmétiques et symboliques complexes. En 1949 Hebb, physiologiste américain, propose une loi de modification des propriétés des connexions entre les neurones, qui explique en partie le conditionnement pavlovien chez l’animal [52].

Les premiers succès de cette méthode fut présentés par Rosenblatt en 1957 qui a construit le premier neuro-ordinateur basé sur le modèle du Perceptron et la appliqué au domaine de la reconnaissance des formes. En 1960 Widrow un automaticien, a développé le modèle Adaline qui a amélioré la loi d’apprentissage [58].

Quand Minsky et Papert publièrent en 1969 leur ouvrage qui met en exergue les limitations théoriques du perceptron, il y a eu abandon financier des recherches dans le domaine, les chercheurs se tournèrent principalement vers l’IA et les systèmes à bases de règles [59]. Seuls quelques chercheurs ont continué leurs efforts parmi lesquels on note Teuvo Kohonen, Stephen Grossberg, James Anderson et Kunihiko Fukushima.

En 1982 Hopfield, un physicien reconnu à qui l’on doit le renouveau d’intérêt pour les RNA [60] au travers d’un article court, clair et bien écrit, présente une théorie du fonctionnement et des possibilités des réseaux de neurones. Hopfield fixe préalablement le comportement à atteindre pour son modèle et construit à partir de là, la structure et la loi

Chapitre IV Intelligence artificielle et prédiction

59

d’apprentissage correspondant au résultat escompté. Ce modèle est aujourd’hui encore très utilisé pour des problèmes d’optimisation. Notons qu’à cette date, l’IA est l’objet d’une certaine désillusion, elle n’a pas répondu à toutes les attentes et s’est même heurtée à de sérieuses limitations. Aussi, bien que les limitations du Perceptron mises en avant par Minsky ne soient pas levées par le modèle d’Hopfield, les recherches sont relancées.

La machine de Boltzmann (1983) est le premier modèle connu apte à traiter de manière satisfaisante les limitations recensées dans le cas du perceptron. Mais l’utilisation pratique s’avère difficile, la convergence de l’algorithme étant extrêmement longue (les temps de calcul sont considérables) [61].

En 1985 la rétropropagation de gradient apparaît. C’est un algorithme d’apprentissage adapté aux réseaux de neurones multicouches. A partir de cette découverte, nous avons la possibilité de réaliser une fonction non linéaire d’entrée/sortie sur un réseau en décomposant cette fonction en une suite d’étapes linéairement séparables [52]. De nos jours, les réseaux multicouches et la rétropropagation de gradient restent le modèle le plus étudié et le plus productif au niveau des applications.

Et depuis les réseaux neuronaux ont connu un grand essor vu les applications potentielles et la disponibilité de grands calculateurs. En fait les réseaux de neurones sont utilisés dans de nombreux domaines à cause de leurs propriétés, en particulier, leur capacité d’apprentissage et de généralisation.

Néanmoins les RNA ont besoin de cas réels servant d’exemples pour leur apprentissage. Ces cas doivent être d’autant plus nombreux que le problème est complexe et que sa topologie est peu structurée. Sur un plan pratique, cela n’est pas toujours facile, car les exemples peuvent être soit en quantité absolument limitée ou trop onéreuse à collecter en nombre suffisant.

IV.3.4 Comportement du neurone artificiel

On distingue deux phases. La première est habituellement le calcul de la somme pondérée des entrées (a) selon l’expression suivante [52] :

∑( ) ( )

À partir de cette valeur, une fonction de transfert calcule la valeur de l’état du neurone. C’est cette valeur qui sera transmise aux neurones en aval. Il existe de nombreuses formes possibles pour la fonction de transfert. Les plus courantes sont présentées sur la figure IV.4. On remarquera qu’à la différence des neurones biologiques dont l’état est binaire, la plupart des fonctions de transfert sont continues, offrant une infinité de valeurs possibles comprises dans l’intervalle [0, +1] (ou [-1, +1]).

60

Fig. IV.4 : Différents types de fonctions de transfert pour le neurone artificiel a : Fonction à seuil (S : la valeur du seuil) ; b : Linéaire par morceaux ; c : Sigmoïde.

Nous constatons que les équations décrivant le comportement des neurones artificiels n’introduisent pas la notion de temps. En effet, et c’est le cas pour la plupart des modèles actuels de réseaux de neurones, nous avons affaire à des modèles à temps discret, synchrone, dont le comportement des composants ne varie pas dans le temps.