Tab III. 1 Les fonctions d'activation usuelles [2] La fonction
III. 6 3 Limitations de surajustement
III.7 Les étapes de la conception d'un réseau de neurones
III.7.4 Méthode d’apprentissage
La phase d'apprentissage des réseaux de neurones est indispensable avant toute étape de traitement. L‟apprentissage du réseau exige, la génération préalable de paires (Entrées/Sorties) "corpus de données".
Les entrées sont préalablement calculées par la méthode SDA (voir chapitre II) à partir de matériaux simulés. Les données d'entraînement utilisées sont formées de 1000 à 5000 échantillons simulés tirés aléatoirement dans des domaines fixes (voir Tab III.1).
Les performances du réseau en cours d‟apprentissage peuvent être représentées par l'évolution des différentes erreurs quadratiques moyennes calculées sur les trois ensembles décrits précédemment (Apprentissage; Validation; Test).
L‟algorithme d‟apprentissage « LM » est employé dans notre cas, puisqu'il est rapide et performant.
Réseaux pour la caractérisation des échantillons type ferrite-YIG 161 Entrées de réseau : Les paramètres « S »
Sorties des réseaux : Les paramètres « » et « »
Nombre des couches cachées 1 2 3 3
Nombre de neurones dans chaque couche cachée
[40] [10 20] [10 25 25] [10 25 25]
Type des couches cachées sigmoïde tansig /logsig sigmoïdes sigmoïdes Nombre de couples (tests,
validations et d‟apprentissage) 1100 1100 1100 2167
Nombre de couples tests 55 55 55 109
Nombre de couples de validations 55 55 55 109
Nombre de couples d‟apprentissage 990 990 990 1949
Réseaux pour la caractérisation des échantillons type ferrite-YIG 161 Entrées de réseau : Les paramètres « S »
Sorties des réseaux : Les paramètres « » et « » et « e »
Nombre des couches cachées 1 4 5 2
Nombre de neurones dans chaque couche
[20] [10 20 20 20] [10 10 10 10 10] [20 20]
Type des couches cachées Sigmoïde sigmoïdes sigmoïdes sigmoïdes
Nombre de couples (tests,
validations et d’apprentissage) 1100 1100 1100 1100
Nombre de couples tests 55 55 55 55
Nombre de couples de validations 55 55 55 55
86 Le choix d'un nombre suffisant des neurones cachés assure une bonne généralisation. La technique d'arrêt prématuré « early stopping » est utilisée afin d‟éviter le phénomène de sur- apprentissage.
Afin d‟améliorer la performance des réseaux neuronaux multicouches, il est également préférable de normaliser les données d‟entrée et de sortie.
III.8 Conclusion
Les réseaux de neurones resteront une source essentielle d‟idées nouvelles dans différents domaines. A cette fin, nous avons consacré ce chapitre aux quelques notions sur les réseaux de neurones. Plus précisément, nous nous sommes intéressés aux réseaux multicouches "PMC" qui sont des approximateurs universels (description de leur fonctionnement et leur apprentissage et aux différentes étapes de leur traitement,…etc.).
Nous avons adapté les réseaux de neurones aux cas particuliers de la résolution de problème inverse en caractérisation magnétique.
En effet, ces réseaux sont capables de modéliser un processus physique à partir de données mises à disposition afin de généraliser sur de nouvelles données. Pour cette raison, nous utilisons ces PMC pour rechercher ou approcher la relation liant les entrées (Paramètres S: "S*11", "S*12", "S*21" et "S*22") avec les sorties (Paramètres de tenseur de perméabilité :"µ " et " " et l‟épaisseur de la couche mince « e »).
87
B
ibliographie du
C
hapitre III
[Pitts, 1943] W. Pitts, W. S. McCulloch, “A logical calculus of ideas immanent in nervous activity. Bulletin of Mathematical Biophysics”, Vol 5 : pp 115-133, 1943.
[Hebb, 1949], D. Hebb, “The Organization of Behavior”. Wiley : New York, 1949.
[Rosenblatt, 1957] F. Rosenblatt, “The perceptron : a perceiving and recognizing automaton”. Technical report, Cornell Aeronautical Lab, 1957.
[Papert et al., 1969] M. L. Papert, Minsky, S. A. Papert. “Perceptrons”. Cambridge, MIT Press, 1969.
[LeCun, 1985] Y. Le Cun. , „‟A learning scheme for threshold networks‟‟. In Cognitiva'95, pages 599-604, Paris, France, 1985.
[LeCun,1987] Y. Le Cun. “Modèles connexionnistes de l'apprentissage“. PhD thesis, Université Pierre et Marie Curie, 1987.
[LeCun, 1989] Y. Le Cun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, and L. D. Jackel, “Backpropagation applied to handwritten zip code recognition“. Neural Computation, 1: pp 541-551, 1989.
[Rivals, 1995] I. Rivals, “Modélisation et commande de processus par réseaux de neurones : application au pilotage d'un véhicule autonome“. PhD thesis , Université Pierre et Marie Curie de Paris, 1995.
[Diaza et al., 2007] H. Gonzalez-Diaza, I. Bonetb, C. Terand, E. De Clercqe, R. Bellob, M. Garciab, L. Santanaa, and E. Uriartea. , “Ann-qsar model for selection of anticancer leads from structurally heterogeneous series of compounds“. European Journal of Medicinal Chemistry, 42 :pp 580-585, 2007.
[Brajard et al., 2006] J. Brajard, C. Jamet, C. Moulin, and S. Thiria. “Use of a neuro- variational inversion for retrieving oceanic and atmospheric constituents from satellite ocean colour sensor : Application to absorbing aerosols“. Neur. Net., 19 : pp178-185, 2006.
[1] fr.wikipedia.org/wiki/Neuronal_network [2] http://www.sylbarth.com/nn.php
[Rumelhart et al., 1986] D. E. Rumelhart, G. E. Hinton, and R. J. Williams. ,‟‟Learning internal representations by error back-propagation‟‟. Parallel Distributed Processing :
88 Explorations in the Microstructure of Cognitions, pp 318-362, Bradford Books/MIT Press, Cambridge, Mass, 1986.
[Fahlman, 1988] S. E. Fahlman. Faster-learning variations on back-propagation : “An empirical study“. In Morgan-Kaufmann, editor, Connectionist Models Summer School, Los Altos CA, 1988.
[Riedmiller et al., 1993] M. Riedmiller and H. Braun. “A direct adaptative method for faster backpropagation learning “. In Proceedings of the IEEE Internationnal Conference on Neural Networks (ICNN93), San Francisco, April 1993.
[Dunkin et al., 1997] N. Dunkin, J. Shawe-Taylor, and P. Koiran. “A new incremental learning technique“. In Springer Verlag, editor, Neural Nets Wirn Vietri-96. Proceedings of the 8th Italian Workshop on Neural Nets, pp 112-118, 1997.
[LeCun et al., 1990] Y. Le Cun, J. Denker, S. Solla, R. E. Howard, L. D. Jackel. “Optimal brain damage“. In D. S. Touretzky, editor, Advances in Neural Information Processing Systems II, San Mateo, CA, Morgan Kauffman. 1990.
[Hassibi et al., 1993] B. Hassibi, G. Stork. “Second order derivatives for network pruning : Optimal brain surgeon“. Advances in Neural Information Processing Systems, volume 5, pp 164-171. Morgan Kaufmann, San Mateo, CA, 1993.
[Torresen et al., 1998] J. Torresen, S. Tomita. “Parallel Architectures for Artifcial Neural Networks“, Neural Networks. IEEE CS Press, 1998.
[Kiat et al., 2005] S. Kiat, T. S. Guan, Q. Yinan, L. Shanchun , „‟Output partitioning of neural networks„‟. In Elsevier Science, editor, Neurocomputing, volume 68, pp 38-53, October 2005.
[Cybenko, 1989] G. Cybenko. „‟Approximation by superpositions of sigmoîdal function. Mathematics of Control„‟, Signals and Systems, Vol 2 : pp303-314, 1989.
[Funuhashi, 1989] K. Funuhashi. „‟On the approximate relaization of continuous mapping by neural networks‟‟. Neural Networks, Vol 2 : pp183-192, 1989.
[Giles et al., 1994] C.L. Giles, T. Taxwell, „‟Learning, invariance and generalization in high- order neural networks„‟, Optical Neural Networks, pp 344-350, 1994.
[Nguyen et Widrow, 1990] D. Nguyen and B. Widrow. Improving the learning speed of 2- layer neural networksby choosing initial values of the adaptive weights. Proc. Int. Join. Conf. on Neur. Networks, 3 :21-26, 1990.
[P. Borne et al. ; 2007 ]
P. Borne, M. Benrejeb, J. Haggège „‟ Les réseaux de neurones: Présentation et applications‟‟, Edition Technip, Paris, 2007.
89