Principe et méthodologie des réseaux de neurones

Une des premières applications des réseaux de neurones artificiels (RNA) en étude QSAR fut utilisée en recherche pour corréler une structure moléculaire avec une propriété biologique. Celle-ci date de 1971 avec les travaux de Hiller et al.25_{. Dans cette étude, les}

auteurs rapportent l’utilisation des perceptrons, les réseaux de neurones dont l’architecture est la plus simple, pour classer des dioxanes substitués par rapport à leur activité physiologique.Les applications des RNA dans les études QSAR ou QSPR sont caractérisées par une large variété d’architectures de réseaux de neurones et des approches différentes pour représenter les structures chimiques ou les méthodes de prétraitement.

Un réseau de neurones est composé d’unités de calcul, appelées neurones artificiels, (cercles blancs, figure 44) disposées en différentes couches et reliées entre elles pour échanger de l’information. Un neurone est un processeur élémentaire recevant des variables d’entrée arrivant de neurones en amont ou d’un fichier constitué de données expérimentales. Chaque neurone possède une sortie qui se divise ensuite pour alimenter les neurones en aval. A chaque connexion entre neurones en amont et entrées ou entre sortie et neurones en aval, un poids est attribué pour représenter la force de ces connexions. Un neurone réalise trois opérations successives sur ses entrées :

propriété descripteur

y = ax+ b

y = a + bx+ cx²

58 | P a g e

- Pondération : multiplication de chaque entrée par le poids représentatif de la connexion

- Sommation : somme des entrées pondérées

- Activation : transformation de la somme par une fonction (sinusoïdale, linéaire…) qui permet d’obtenir la valeur de sortie transmise au neurone en aval.

De façon générale, les réseaux de Hopfield sont les plus utilisés dans le domaine de la modélisation QSAR et QSPR. C’est un réseau composé d’une couche d’entrée, d’une couche de sortie et d’une ou plusieurs couches cachées, avec un nombre fini de neurones composant ces différentes couches. Dans la couche d’entrée, chaque unité de calcul est associée à un descripteur du système à étudier. La couche de sortie est reliée aux propriétés physico- chimiques. Si le réseau ne comporte pas de couches cachées, c’est la couche de sortie qui fait seule la sommation et l’activation. Les couches cachées peuvent être présentes en tant qu’intermédiaires entre la couche d’entrée et de sortie pour réaliser également des opérations de sommation et d’activation. Les unités de calcul qui constitue cette couche cachée sont, en général, deux fois moins nombreuses que celles composant la couche précédente. La figure 44 montre un schéma simplifié de cette organisation. L’information se propage d’une couche à l’autre dans ce réseau. Il est appelé de type « feed-forward » car les poids sont modifiés par rétropropagation pour tenter de réduire la différence entre valeur calculée et valeur fournie.

Fig. 44 : Architecture générale d’un réseau de neurones artificiels.

Cinq actions sont nécessaires et incontournables pour la bonne mise en œuvre d’un réseau de neurones (figure 45).

Couche d’entrée

Connexion

Couche cachée

59 | P a g e

Fig. 45 : Conception d’un réseau de neurones

Les entrées choisies doivent, toutes, être indépendantes les unes des autres. Ensuite, il faut déterminer avec justesse les paramètres qui ont une réelle influence sur la propriété à modéliser car ce sont eux et leur nombre qui détermineront le type de réseau à utiliser et tout ce qui en découle. Dans cette étude, des réseaux de neurones artificiels (RNA) sans couche cachée sont utilisés.

L’apprentissage du réseau est une procédure cruciale pour ajuster les connexions des neurones à la source d’information. Celui-ci passe par un algorithme d’apprentissage. Il va modifier les poids du réseau pour « coller » au mieux à l’expérience. Les poids sont tout d’abord fixés à zéro, puis, une fois que le réseau reçoit les informations expérimentales, ce dernier va pouvoir optimiser ces poids en fonction des données qu’il reçoit et des itérations faites. Le réseau va minimiser l’écart entre valeurs de sortie calculées et valeurs expérimentales à l’aide d’un algorithme. La méthode d’apprentissage la plus utilisée est la rétropropagation car elle est économe en termes de nombre d’opérations à effectuer pour optimiser la pondération de chaque entrée. Il y a cependant d’autres méthodes plus précises telles que les méthodes dites de Quasi-Newton ou de Newton modifiée mais celles-ci ne sont pas disponibles sur le logiciel Stuttgart Neural Network Simulator, SNNS version 4.2, utilisé pour cette étude. L’algorithme de rétropropagation a été originellement proposé par Rumelhart et al., en 198626 _{et est développé comme suit}18 _:

Soit un neurone j d’une couche de sortie et i d’une couche précédente. L’activité totale du neurone j est calculée suivant l’équation (1):

=  

(1)

yi étant l’activité du neurone i de la couche supérieure et cij le coefficient synaptique, ou

poids de la connexion entre j et i.

La valeur yj est calculée en utilisant une fonction de transfert sigmoïde exponentielle,

selon l’équation (2) : 1. Détermination des entrées et des sorties 2. Collecte des données expérimentales normalisées 3. Détermination du nombre de neurones cachés 4. Réalisation de l’apprentissage 5. Evaluation des performances du réseau C ONCEP TION

60 | P a g e

=_{1 +} 1  (2)

Quand les activités de tous les neurones de sortie ont été déterminées, le coût J est calculé (cf équation 3). J détermine l’erreur de la valeur de sortie calculée par rapport à la valeur fournie dans le fichier de données expérimentales.

 =1₂ −  (3) 

où yj représente l’activité du neurone de sortie j et dj la valeur fournie dans le fichier de

données expérimentales.

Cette fonction coût varie selon l’équation (4), quand la valeur de sortie est modifiée, =_ 

=  −  

(4) Selon l’équation (5), quand la valeur d’entrée est modifiée,

=_  =         =  1 −  (5) Selon l’équation (6), quand la valeur du coefficient synaptique est modifiée,

 =_ =       =   (6)

Et selon l’équation (7), quand la valeur de l’activité d’un neurone de la couche précédente est modifiée. =_  =          =    (7)

Ce schéma mathématique continue jusqu’à ce que l’écart entre la valeur calculée et la valeur tirée de l’expérience soit acceptable. On dit alors que le système a convergé.18

L’apprentissage est ainsi appelé « apprentissage supervisé ». Celui-ci n’est possible que sur un large jeu de données expérimentales et si les solutions de la base d’apprentissage sont connues.

Il faut cependant faire attention au surapprentissage qui peut être généré par un trop grand nombre d’itérations. Le réseau est alors incapable de retrouver l’allure générale de la relation entre les entrées et la sortie mais il reproduit l’allure de l’échantillon. Il est donc devenu trop spécialisé et ne généralise plus.

La validation, quant à elle, sert à vérifier la véracité et l’efficacité de l’apprentissage en présentant au réseau des expériences qui ne sont pas présentes dans l’apprentissage. Si les performances du réseau ne sont pas satisfaisantes, il faudra modifier l’architecture du réseau ou la base d’apprentissage.

61 | P a g e