HAL Id: hal-00805620
https://hal.archives-ouvertes.fr/hal-00805620
Submitted on 28 Mar 2013
HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.
MONNA: A multiple ordinate neural network architecture
Olivier Lezoray, Hubert Cardot, Dominique Fournier, Marinette Revenu
To cite this version:
Olivier Lezoray, Hubert Cardot, Dominique Fournier, Marinette Revenu. MONNA: A multiple or- dinate neural network architecture. EIS’2000, Jun 2000, Paisley, United Kingdom. pp.47-53. �hal- 00805620�
./10320547698:4<;7=>6@?BA
C 47DE?$6GFH4<IJ4<KLFNM"OP05KQR=>6@IJ?$F@01SUT4
VW?XIYDTZ\[@[^]`_K052X476GZ@05F@abM4cVW?X47K
dBeLf>fXf VW?$47Kg]`hi\jkVWl
./1052m054767nP847;<=>6H?BAo01KQR=npTK05qB?X4<KgnrQR6
s Ttu4<6GFVW?X6@M=XF
8v_wjV
w03FH4bTK032>4<6@Z@03F^?X056@4$]yxWz*{X|
}Xfd~>fXf .bqFH4205/1/54X]hijkVWl
s
Ttu4<6GFBnyVW?X6GM=XFo>6G4<AmqXnp01ZGIJ6@?nrQR6
C =>IY01K05SmT4bhE=>T6@K01476
il V]P_NK032>4<6@Z@03FHaM4VW?X4<Kg]VW?$IJDTZ[G[
d7eLf>f>f
VW?X4<Kg]-hi\jkVWl
C =>IJ05K01SUT4$nyhE=>T6@K05476^o05KQR=npTK01q7?X47K"npQR6
?X6@05K4<FGFH4 i\4<2>4<KUT
il V[w i\jc]`x9MMT ?X6Ga7q^E?X/XT05K
dBeLfXf>f
VW?X47K"]`hijkVWl
?X6@05K4<FGFH4$nyi\4<2X47KUT`o>6@4AmqXnp01Z@IY6H?npQR6
<EX
>^ ¡13¢£P¤^¦¥§v^¡m¨ª©^«E¦¬B§¬^ ®¢®¦¡¯¤¢¡5° ±¤©R²g¬>¤°³
±^£$¬X¤¡5«-© ±´Hvµ¤p¬>¤µu²© :¡¶¤¢£yH·u¢^¡13©^¬©R²µ^¡¸Wµ^³
¡5 3¹°¡¯¤µ ¥W©¬79p@¬ª°¥º¹¤ ©R²¢£P^¤»"¼½p¬ª·"¢^¬ª¡
<¦¬¾¦¬¾¡¶¤N£y©¹^£¢£P^·"¢^¡13©^¬½ ±^¡¸¤¢¬¿¹¤©<¹¡¸^¦¬>¤®µ
°B¦¬BÀ©^° ±¢B¦¡¸¤®¢¡1° ±¤G»ÁXN£P¡5¡¸¤ ¹H¤µ!©^¬ ¤¡
©R²b¤ÂH¤ ±££p¦¡5¡1£P¤c¬X¤° ±£¬>¤¡1«-©^ ±´^䢿©¬X¤Äµ¢ ¦¥9¦³
¬X^¡1¦¬7Å©¬ª£rÆÇ¡1«-©Ç¢£P^®¤»>¤À5Ȫ¤¢3£rPÉ@^¡13©^¬Ê©R²À¤®<¢®
¬X¤° ±^£$¬X¤¡5«-© ±´¦¥vÈX£p·u¤¡¶¤¦ :¡5 °ª¢¡1° ±¤^¬Xµ§¦¥vÈX ±©ÂH¤
¡¦ª¤N¢£PH·u¢¡53©¬X»cË ©^ ®¤®©ÂH¤ Ã'¡¦ª¤\£y¤® ¬ª¦¬Bcµ<¤¡¸¤ ¥§¦¬>¤
^°¡¸©^¥º^¡13¢®£¦£rÆ9¡¦ª¤¬ª°¥º¹®¤ ©¨²g3µµ¤¬¬>¤° ±©¬»§>ª¤ µ^³
¢°B3©^¬Ç\¦£¦£r°B¡5 ®^¡¸¤®µc¹Æ¡¯¤¡3©¬µ<^¡¸¹H¤² ±©¥¡¶¤
ÌuÍUÎg¥º¢B¦¬X¤£P¤ ¬ª¦¬7§µ¡¯<¹®^¤v ®¤¯Èª©H¦¡¸©^ Æ»WXª¤¤®ÏȤ ³
¦¥W¤¬ª¡¸^£> ±¤°£r¡3±ª©^«¡¦ª^¡`¡¶B'^ ±¢B¦¡¸¤¢¡1° ±¤'¢^¬ <¢®3¤Â^¤
²H¡¸¤ '£P¤ ¬ª¦¬7ÃE¦¥:È>£P¤ ¬X¤° ±^£L¬>¤¡1«-©^ ±´^ ^¬XµN^¬¦¥9³
ÈX ±©ÂH¤µÈª¤ ¶²©^ ¥º^¬X¢¤§¦¬c¢£P^®·"¢®¡53©¬X»
ÐEÑÒ7Ó
BªÔgÕÖvX×RÔ
Ó
ØgÙªÚÛºÜ^ÝRÞ<ß±àPáRâ9ÞãUá®ÙÚváÜä±åä`ÞãæçÜä®ä¨àPè$æÜá±àyÞéºß®ÚGê7ëàyß±ÚÜ
ì
ÙªÜä±ÚvÞãUá±ßÜàyéàyéí9íÚéªÚßÜ^á±àyéíܧÛWÞîÚç>ïÙàæÙNÜ<ä±ä±ÞæàÜ^á±Ú@ä
ïàpá®ÙÜéàPé
ì
ëáºð¶ß®Ú
ì
ß®ÚGä±Úé7á±Ú@îbñBâÜò<ÚGæá±ÞßÞãuÜá¨á®ß±àyñëá®ÚGäó
ÜÄæçÜä®äôÁõ¸éÅá±ÙªàyäÜß±á±àæçyÚö:ï"ÚÜß±Ú àPé7á±ÚGß±Ú@äRá®ÚGîàyé¿ä±ë
ì
Úß±÷
ò7àä±ÚGîcæçÜä®ä¨àPè$æÜá±àyÞéÞãîÜ^áÜô\ØgÙÚGß±ÚWàä Üíß®ÚGÜ^á'éBëÛ§ñ$ÚGß
ÞãmÜçyíÞ<ß±àPá±ÙªÛWä-ÞãmæçyÜ<ä±ä±àpèXæÜ^á®àPÞ<éºÞãmîÜá®Üªôø ÜàyéçPâWÞ<éÚæGÜé
ê<ëªÞá±Úgá®ÙÚvîÚ@æàä¨àyÞé9á®ß±ÚGÚGäùûúöªü<üý¯öá±ÙªÚ:ÛWÚá±ÙªÞBîªä`ñªÜ<ä¨Ú@î§Þ<é
á±ÙÚºá®ÙÚÞ<ß±âcÞã:þgÜHâÚ@äùÿý1öá®ÙÚNä¨á®Üá±àäRá®àyæGÜç-ÛWÚá±ÙÞîä ùÿ^ý
ð3îâBéªÜÛ9àævæçPÞ<ëªîäGö éªÚGÜß®ÚGä¨á-éÚGàPí<ÙBñ$Þ<ß®äóEÜé$î9á±ÙÚéÚëªß®Üç
éÚáRï"Þß®åäÁùHý¯ôgïuÚ Üß±Ú'àyé7á±Úß®ÚGä¨á±Ú@îïàpá®Ùbá±Ùàä:çÜä¨ááRâ
ì
ÚÞã
Û9Úá±ÙÞîÞãuæçyÜ<ä±ä±àPè$æÜá±àyÞéUôcÚ
ì
ß±Þ
ì
Þ7ä¨Ú9ÜécÜßæÙàpá®ÚGæá±ëß®Ú
ñªÜä±ÚGîbÞ<é éÚGëßÜçéÚáRï"Þß®åä:àyéÞ<ß®îÚßá±Þä¨àyÛ
ì
çPàPã¶âÞ<éá±ÙªÚ
äRá®ß±ëªæá±ë߮ںÞãá®ÙÚ\éÚáRïuÞ<ß±åä'ë$ä¨Ú@îÀñ7â!ÜéÄÜëá®ÞÛºÜ^á®àyæºÜéªî
îâBéªÜÛ9àæ îÚá±ÚGß±ÛWàyéªÜ^á®àPÞ<éÞãá±ÙÚ§é7ëªÛñXÚß:ÞãÙªàyîîÚééÚGë÷
ß®ÞéªäGôcØgÙªÚá®ß®ÜàPéàyéíàyäWÜçä±Þä±àPÛ
ì
çyàpè$ÚGîÄñBâÀçyàPÛWàPá±àyéí á®ÙÚ
á®Ü<ä¨åJÞãá±ÙÚæçÜä®ä¨àPèªÞßWïÙàyçyÚbíàyò7àyéí!ÙàyÛ á±Þ!çyÚGÜß®éÇÞéçyâ
á±ÙªÚ9îÜá®ÜNß±ÚGçyÜá±àyéí\á®ÞáRï"ÞNæçyÜ<ä±ä±ÚGäGôëßäRá®ëªîâbàäïàPá±ÙªàPé
Ü9íÚGéÚßÜçXã¶ßÜÛWÚï"Þß®å>ö<ïàPá±ÙÞ<ëávÜ
ì
ß®àPÞ<ß±à>ÞéNá±ÙªÚ
ì
ß±Þ<ñçPÚGÛ
ñXÚàyéíá®ß±Ú@Ü^á®ÚGîLôcÚïàyçPçLä±ÙÞ^ïá±Ù$Ü^áïÙÚéá±ÙÚéBëÛñXÚßgÞã
æçÜä®ä±ÚGäEÞã>Þ<ñÝRÚGæá®ä`á±Þ ñXÚîàä¨á±àyéíëàä±ÙÚGîWàyéÜ'ñªÜ<ä¨Úvàyä-ÙàPí<ÙUö
ÞëªßuÜßæÙàPá±Ú@æá±ëªß±Úá®Úéªîªä`á®ÞíàyòÚvñ$Úá¨á±ÚGßgß±Ú@ä¨ëçPá®äð3æÞ߮߱Ú@æá±çyâ
æçÜä®ä±àpèªÚ@îîÜ^áÜgß®Üá±Ú@ó>á±ÙªÜé Üä¨àyéíçyÚEçÜß®íÚEÛëªçpá®àp÷¯çyÜHâ<ÚßLéÚGë÷
ßÜçLéÚáRïuÞ<ß±åð5ø uóô
gÑ
Ó Ö:
Ó
cÔ- ª ׸
"!
Öv
cÚ
ì
ß®Þ
ì
Þ<ä±Úá±Þ\ë$ä¨ÚÜéÜßæÙàPá±ÚGæá±ëß®Ú ø#%$&$(' ð5øbëçP÷
á±à
ì
çyÚ)ß®îàPéªÜá±Ú$:ÚGëßÜç$:ÚáRïuÞ<ß±å*'vß®æÙªàpá®ÚGæá®ëß®Ú@óuÛºÜîÚ'Þã
ä±ÚòÚGß®Üç:ä¨ÛºÜçPç:éªÚëßÜçéÚáRïuÞ<ß±åä9á®ÞÄä¨Þ<çPò<ÚÜ
ì
ß±Þ<ñçPÚGÛ Þã
æçÜä®ä±àpè$æGÜ^á®àPÞ<éUô ØgÙªÚ éÚGëß®ÜçéªÚáRï"Þß®åBäëªä±ÚGî¾Üß±ÚÛëçPá±àP÷
çÜHâÚßéÚáRïuÞ<ß±åäïàPá±Ù!ß®Úá±ß®Þ
ì
ß±Þ
ì
Üí7Ü^á±àyÞébÞãuá®ÙÚºíßÜîàPÚGé<á
Ú߮߮Þߺð3ø +-,møbëçPá±àP÷. ÜHâÚGß&ÚßæÚ
ì
á±ß®Þé$ä®óôWØuâ
ì
àæÜçyçyâömÜ
éÚGëß®ÜçLéÚáRï"Þß®å\æÞ<éªä±àyä¨á®ägÞãÜéNàyé
ì
ëá:çÜHâÚGß'ð
ì
Üß®ÜÛ9Úá±ÚGß®ä
æÙªÜß®Ü<æá±ÚGß±à0/àyéí ÜéJÞ<ñÝRÚGæáóö-ÞãÞéÚÞ<ßáRï"ÞÀÙàyîªîÚéÇçyÜHâ7÷
Úßä'Üé$îÞã"ÜécÞ<ëá
ì
ëá çyÜHâ<Úß
ì
ß®Þ^òBàyîàyéíá±ÙªÚ\æçÜä®äÞã-á®ÙÚ
ÞñÝRÚGæá@ôcÚºæÙÞBÞ<ä±Úá®ÞNëªä±ÚºÜécÜßæÙàpá®ÚGæá±ë߮ڧÞã-Ûëªçpá®à
ì
çyÚ
éÚGëß®ÜçéÚáRïuÞ<ß±åäàyé9Þ<ß®îÚßá±ÞÞñáÜàyé9ñXÚá±á±ÚGß
ì
Úß±ã¶Þß®ÛWÜéªæÚ
ÞãgæçÜä®ä¨àPè$æGÜ^á±àyÞéæÞÛ
ì
Üß±Ú@îá±ÞÞ<éçPâbÞ<éÚ9çyÜß±í<Ú§ø + ð3àPé
ì
Üߨá®àyæëçyÜßgïÙÚéNá±ÙÚéBëÛ§ñ$ÚGßÞãæçyÜ<ä±ä±ÚGä"ñXÚGæÞÛWÚGä"ÙàyíÙ$óô
ØgÙÚ\Üß®æÙàPá±Ú@æá®ëß±ÚWø#%$&$('æÞ<éªä¨á±ß®ëªæá®àPÞ<éàä îÞ<éÚWàPé
á±Ùªß±ÚGÚä¨á±Ú
ì
ä,
1
ØgÙÚ9æÞ<éªäRá®ß±ë$æá±àyÞéÞãEá±ÙÚ éªÚëßÜçéÚáRï"Þß®åNÜß®æÙàPá±Ú@æ÷
á®ëß±ÚÜææÞßîàyéíá±Þ'á®ÙÚ:éBëÛñXÚßuÞãUæçÜä®ä±ÚGäÞãLÞ<ñÝRÚGæá®ä
á®Þºñ$Ú ä±Ú Üß®Üá±Ú@îLö
1
ÜÛ9Úá±ÙÞîcîâBéªÜÛWàæÜçPçyâbèªéªîàPéíá®ÙÚºÞ
ì
á®àPÛºÜçEé7ëªÛ§÷
ñ$ÚGßÞãéÚëªß±Þ<éªä"Þãá±ÙÚ'ÙàîîÚGéçyÜHâ<Úß@ö
1
ØgÙÚÄæÞ<éªä¨á±ß®ëªæá®àPÞ<é½Þã\ÜÙàPÚGß®Üß®æÙBâÞã9éªÚëßÜç éªÚá¨÷
ïuÞ<ß±åäñß®àPéªíàyéíá±Þá±ÙÚ:æçyÜ<ä±ä±àPè$æÜá±àyÞé9Þãªá®ÙÚ:Þ<ñÝRÚGæá®äGô
2.1. Principle of construction
ØgÙªÚ§æÞ<éªä¨á±ß®ëªæá®àPÞ<ébÞãEá±ÙªÚ§ÜßæÙàPá±Ú@æá±ëªß±Ú àää¨ë
ì
Úß®òBàyä±ÚGîUô
õ¯áñëàyçyîªäÜbä±Úá ÞãéÚGëßÜç`éÚáRïuÞ<ß±åäºð5Üã¶Þß®ÚGä¨á ÞãéÚëªß®Üç
éÚáRï"Þß®åä®óômØgÙÚ:æçÜä®ä±àpè$æGÜ^á®àPÞ<éÞãLîÜá®ÜñBâÞéªçPâ Þ<éÚçÜß®íÚ
éÚáRï"Þß®åæÜéºñ$Úîà æëçPáuïÙÚGéWá±ÙÚ:éBëÛ§ñ$ÚGß-ÞãLæçyÜ<ä±ä±ÚGä`Þã
ÞñÝRÚ@æá®ävá±ÞñXÚ9ä±Ú
ì
ÜßÜ^á±Ú@îbàäÙàPí<Ù,vá±ÙàäéÚëªß®ÜçéªÚáRï"Þß®å
ì
ß±Ú@ä¨ÚGé7á®äîà æëªçpá®àPÚ@ä§ÞãvíÚGéÚßÜçyà0/GÜ^á®àPÞ<éUôÅÙªÜá9ï"Ú
ì
ß±Þ÷
ì
Þ7ä¨ÚæÞé$ä¨àäRáä-àyéë$ä¨àyéí9Þéçyâºä¨ÛºÜçyç>éÚëªß®Üç$éÚáRïuÞ<ß±åä(,ñBâ
ä¨ÛºÜçyç1öªï"Ú ëéªîÚGß®ä¨á®Üéªîä¨àyÛ
ì
çyÚäRá®ß±ë$æá±ëªß±Ú<ô"õ¸é$îÚÚ@îLö$àPãEá±ÙªÚ
æÜ
ì
ÜæàPáRâ Þã>í<ÚéÚGß®ÜçPà0/GÜá±àyÞé§ÞãUÜéÚáRï"Þß®å àäEï"ÚGÜå<ÚéÚ@îñBâ
á±ÙÚéBëÛñXÚßgÞãæçÜä®ä¨Ú@äEá±ÞWîàä±æß±àyÛWàPé$Ü^á±Ú<öÜä±àPÛ
ì
çyàpèXæÜ^á®àPÞ<é
Þãgá±ÙÚ
ì
ß®ÞñçyÚÛ æÜé!ñ$ÚÜß®ÚGîë$æá±àyÞé!Þãá±ÙÚNéBëÛñXÚߧÞã
æçÜä®ä¨Ú@äuÙ$ÜHò7àyéí9á±ÞºñXÚ'ß®ÚGæÞ<íéà0/Ú@î\ñBâ\á®ÙàäéÚáRï"Þß®å>ôEØgÙàyä
ÞñBòBàPÞ<ëªä¨çyâàyéBòÞçyòÚ@ä Üé!àyéªæß±Ú@Üä±ÚºàPé!á®ÙÚéBëÛ§ñ$ÚGßÞãgéªÚá¨÷
ïuÞ<ß±åäÙªÜHòBàyéíºá®Þîàä®æß®àPÛWàyéªÜ^á®Úä¨ÚGòÚGß®ÜçæçÜä®ä±ÚGäGô ëßÜß±÷
æÙàpá®ÚGæá±ëß®Ú-Üß®àä¨Ú@äUàyé á±ÙªÚ`ã¶ÞçyçyÞ^ïàPéívï"ÜHâ<ôÞ<ßÜ
ì
ß±Þ<ñçyÚÛ½Þã
æçÜä®ä¨àPè$æÜá±àyÞéWÙªÜHòBàyéí á®Þ§ä±Ú
ì
Üß®Üá±ÚæçyÜ<ä±ä±ÚGäGö<ø#%$&$('¿àyä
æÞÛ
ì
Þ<ä±ÚGîÞã`ܺä±ÚávÞãEëéªæÞ<ééÚ@æá±Ú@îéÚáRï"Þß®åäöªÚGÜæÙÞ<éÚ
ñ$ÚGàPéí§àPé7á®ÚéªîÚ@î\á®Þ§ä±Ú
ì
Üß®Üá±Úá®ÙÚÚçyÚÛWÚé7áä`ã¶ß®ÞÛÊáRï"Þ§îàä¨÷
á±àyéªæáæçÜä®ä¨Ú@äô:õ¯ãEá®ÙÚ
ì
ß±Þ<ñçPÚGÛ Ù$ÜäÄæçÜä®ä¨Ú@äöªá±ÙªÜáçyÚGÜîªä
ëªä"á±ÞWÙªÜHò<Ú éÚëßÜçLéªÚáRï"Þß®åBäuñXÚàyéíWëªä¨Ú@î
ã¶Þß`æçÜä®ä±àpè$æGÜ^á®àPÞ<éUômØgÙÚ:îà æëçPáRâàyéºä¨Ú
ì
ÜßÜ^á®àPéªíæçÜä®ä¨Ú@ä
àyäuä¨àyÛ
ì
çPàPèªÚ@î\ñBâá®ÙÚä
ì
ÚGæàÜçyà0/GÜ^á®àPÞ<éºÞãUÚ@ÜæÙºéÚáRïuÞ<ß±å>öñXÚ÷
æÜë$ä¨Ú:ÜéÚáRïuÞ<ß±åàyä-àPé7á±ÚGß±Ú@äRá®ÚGîWÞ<éçPâ§àPé\ä±Ú
ì
ÜßÜ^á±àyÞé9Þã>áRï"Þ
æçÜä®ä¨Ú@äôuÞéªä±ÚGê7ëÚGé<á®çPâ<ö<Üá`á±ÙÚ:á±àyÛ9ÚÞãLàPá®äEá®ß®ÜàPéªàPéí$öÚ@ÜæÙ
éÚáRï"Þß®åçyÚGÜß±é$äUá®Þß®ÚGæÞíéªà/GÚ-ÞéªçPâÚÜÛ
ì
çPÚ@äÞãá±ÙªÚGä±Ú-áRï"Þ
æçÜä®ä¨Ú@äô ØgÙÚcä¨á±ß®ëªæá±ëß®Ú Þã'á±ÙÚcéÚëªß®ÜçéÚáRïuÞ<ß±åäëªä¨Ú@î
àyäá®ÙÚWã¶ÞçyçPÞ^ïàyéíÞéªÚ ,§ÜNçÜHâÚGßÞãgàPé
ì
ëá®ä æÞé7á®ÜàPéªàPéíbÜ<ä
ÛWÜéBâNéÚGëß®Þéªä:Ü<äá®ÙÚéBëÛ§ñ$ÚGßÞãEÜá¨á®ß±àyñëá®ÚGäÜä®ä¨ÞæàÜ^á®ÚGî
ïàpá®ÙÄá±ÙªÚÞ<ñÝRÚGæá§á®ÞñXÚbæçÜä®ä¨àPèªÚ@îLö-ÜÙàyîªîÚéJçyÜHâ<ÚßWæÞé÷
á®Üàyéàyéíܺò^Üß±àÜñçyÚ éBëÛ§ñ$ÚGßvÞãEéÚGëß®ÞéªäÜéªîbÞ<éÚ Þ<ëá
ì
ëá
éÚëß®ÞémôØgÙªÚ§ò^ÜçyëÚ9Þã`á®ÙÚWÞëá
ì
ëáéÚëªß±Þ<é àäàyéá®ÙÚ9àPé÷
á±Úß®ò^Üç !#"pô 'æGæÞßîàyéíÀá±ÞÄá±ÙÚcä¨àyíéÅÞãá®ÙÚ ß®ÚGä±ëçPá
Üä®ä¨ÞæàÜ^á®ÚGîºïàPá±Ùá®Ùàyävä¨àyéíçyÚéÚëªß±Þ<éUöÜéÞñÝRÚ@æáàyäæçyÜ<ä±ä±àP÷
èªÚGîcàyécÞ<éÚºÞã"á±ÙªÚWáRïuÞbæçÜä®ä±ÚGäá±Ù$Ü^á'á±ÙªÚ\éÚáRï"Þß®åä±Ú
ì
Ü÷
ß®Üá±ÚGäGô:ØgÙàä:ÙªÜ<ää±Úò<ÚßÜçUÜ<îò^Üé7á®ÜíÚGäGô:ØgÙÚ9ä¨àyÛ
ì
çPàæàPáRâÞã
á±ÙÚWáÜä±å Üä®ä¨ÞæàyÜá±ÚGîá±ÞÚGÜ<æÙéªÚëßÜçEéÚáRïuÞ<ß±åä±àyÛ
ì
çPàPèªÚGä
á±ÙÚ\æÞéBòÚGß±í<ÚéªæÚ§Þãuá®ÙÚWá±ßÜàyéàyéíÜäï"Úçyç-Üäá®ÙÚä±ÚGÜß®æÙ
ã¶Þß:ÜWä¨àyÛ
ì
çyÚä¨á±ß®ëªæá±ëß®Ú'Üägï"Ú'ïàPçyçUä¨ÚGÚã¶ëß±á±ÙÚGßGô
2.2. Training
'äá±ÙÚgéÚGëßÜçBéÚáRï"Þß®åäUëªä±ÚGî§ñBâ'ÞëßEÜß®æÙàPá±Ú@æá®ëß±Ú"Üß®Ú
òÚß®âä±àyÛ
ì
çPÚ ð3ÞéçyâcÞéÚ\ÙªàyîîÚéÄçÜHâÚGßGöÞéçyâÞ<éÚ\éÚGëß®Þé
ÞãÞ<ëá
ì
ëáóöuá®ÙÚbíÚGéÚßÜçyà0/GÜ^á®àPÞ<éYÞãá®ÙÚàyß\äRá®ß±ë$æá±ëªß±ÚæGÜé
ßÜç>éÚáRï"Þß®åägîâBéªÜÛWàæÜçyçyâôEØgÙÞ<ä±ÚàPéªæçPë$îÚá±ÙÚ îâBéªÜÛWàyæ
æß®ÚGÜá±àyÞéÞã"á±ÙÚºéÞîÚ@ä ùyüý¯öUá®ÙÚ'&æGÜä®æÜîÚGäæÞ߮߮ÚçÜ^á±àyÞé(&
ÜçyíÞ<ß±àPá±ÙªÛ ù)^ý¯öá±ÙÚ*&á®àPçyçPàyéí+&ºÜçyíÞ<ß±àPá±ÙÛ ù,Hý1öá®ÙÚNÜçPí<Þ÷
ß®àpá®ÙÛ-&ä¨ÚGçpã¦÷¯Þß®í<Üéà0/àyéí.&ùyüGÿ^ý"Üé$îcá±ÙÚ/&ë
ì
ä¨á®Üߨá0&§ÜçPí<Þ÷
ß®àpá®ÙÛ ù1^ý1ô ØgÙÚGä±ÚÜçPí<Þß®àpá®ÙÛºä\Üß®Úëªä±ÚGîá®ÞYÚGçPàyÛWàPéªÜá±Ú
á±ÙªÚéªÚÚGîá±ÞºîÚá±ÚGß±ÛWàyéÚàPéÜîò^ÜéªæÚWð¶ñXÚã¶Þ<ß±Úá±ÙÚá®ß®ÜàPéàyéí
Þã ÜÀéÚáRïuÞ<ß±åóá±ÙªÚéBëÛñXÚß\Þã'éÚëß®Þé$äºÞãá±ÙÚ ÙàyîªîÚé
çÜHâÚß@ôØgÙàä àä'ò<Úß®â ëªä±Úã¶ëçuñ$Ú@æÜëªä¨Ú\Übä±àyÛ
ì
çPÚGß éÚáRï"Þß®å
ÙªÜHòBàyéíºçPÚ@ä±ävÙàîîÚé éÚëß®Þé$ä:ß®ÚGîëªæÚGägá®ÙÚ§æÞÛ
ì
çyÚàPáRâNÞã
æÜçyæëçÜ^á±àyÞé$äô32vÞ^ïuÚGòÚß@ö$á±ÙÚ9ã3ÜæáÞã`è4àyéíá®Ùàäé7ëªÛñXÚß
ÞãUéªÚëß®Þéªä-ÞãLá®ÙÚvÙàîîÚGé\çÜHâÚßuæÜéñ$Ú
ì
ÚGéªÜçyà/GàPéªí àpãéÞá
ä±ëàpáÜñçyÚô cÚuá®ÙBëªä
ì
ß®Þ
ì
Þ<ä±Ú-á®ÞÛWÞîàPã¶â á±ÙªÚgä¨á±ß®ëªæá±ëß®ÚuÞãXÜ
éÚGëß®ÜçBéÚáRï"Þß®åîëß±àyéíá±ÙÚ"á®ß®ÜàPéàyéíïÙàPçyÚ"á±ÙBëªäÜçyçyÞ^ïàPéí
á±Þñëàyçyî\îâ7é$ÜÛWàyæGÜçyçPâWÜ'éÚGëßÜçéÚáRïuÞ<ß±å>ô'"á`á±ÙªÚ:á±àyÛWÚvÞã
àPá®ä-á±ßÜàyéàPéªí Ü'éÚëªß®ÜçªéÚáRïuÞ<ß±åä¨á®Üߨáä`ïàPá±ÙÜò<Úß®â9ä±àyÛ
ì
çPÚ
ä¨á±ß®ëªæá®ëß±Ú,Þ<éçyâ§Þ<éÚvéÚGëß®ÞéºÞé\á±ÙÚÙàyîªîÚé\çÜHâÚGßGô$:ÚGë÷
ß®Þéªä9Üß®Ú\á®ÙÚéÜîîÚGîÄÞ<éÚñBâ!Þ<éÚNàyéÄá®ÙÚÙàîîÚéJçyÜHâ<Úß
àyéÞßîÚß\á±ÞÄàyÛ
ì
ß±Þ^ò<Úbá±ÙªÚß®Üá±ÚÞãæçÜä®ä¨àPè$æGÜ^á±àyÞéÞãá®ÙÚ
éÚáRïuÞ<ß±å\Þ<ébܺò^ÜçyàyîÜá±àyÞébä±ÚáGô65-ÜæÙá®àPÛWÚÜWéªÚï½éÚëß®Þé
àä ÜîîÚGîLömá±ÙÚ\éªÚáRï"Þß®å
ì
ß±ÞæÚÚGîªäá±ÞÜéÚGï&á®ß®ÜàPéàyéíñBâ
á±ÙªÚ§ÛWÚá®ÙÞîÞã-ß±Úá±ß®Þ
ì
ß®Þ
ì
Üí<Üá±àyÞéÞã`á®ÙÚ9íßÜîàyÚé7áGôØgÙÚ
àyéàpá®àyÜçïuÚGàPí<Ù<áäÜß±ÚÞñáÜàyéÚGî àPécÜ\ßÜéªîÞ<Û ï"ÜHâÜ^áÚGÜ<æÙ
Üîªîàpá®àPÞ<éÀÞãÜéÚïÊéÚGëß±Þ<é á®Þá±ÙÚÙàyîªîÚé!çÜHâÚGßWð¶èªíëªß±Ú
ü@óô'ØgÙÚ§àyéàPá±àÜçá±ßÜàyéàyéíNîªÜ^á®Ücð87:9óÜ߮ڧä
ì
çPàPá¨á®ÚGî àPé áRïuÞ
ä±ëñªä±Úá®ä ,ÜçyÚGÜß±éªàPéíä¨Úá:ð87<;UóÜé$îÜò^ÜçyàyîÜá±àyÞé9ä¨Úágð=7>-óô
ØgÙàägçyÜá¨á®Úß:æÞ<éªä±àyä¨á®ä"àyéú ?#@ÁÞã7 9 Üé$îºá±ÙªÚ'çPÚ@Üß®éàPéªí9ä±Úá
àyéA, ?#@ÞãB7 9 ô½ØgÙÚçyÚGÜß±éàyéíÀÞã'ÜÀéÚGëß®Üç:éÚáRïuÞ<ß±åÄàä
ì
Úß±ã¶Þß®Û9Ú@îÞ<éC7 ; Üéªî\á®ÙÚ'ò^ÜçyàyîªÜ^á±àyÞéä±Úá7 > àägëªä±ÚGîNá±Þ
Úò^ÜçPëªÜá±Úá±ÙªÚæçÜä®ä¨àPè$æÜá±àyÞéJß®Üá±ÚÞãá±ÙÚbéÚáRïuÞ<ß±å>ôÅØgÙÚ
ò^ÜçyàyîªÜ^á±àyÞéä±Úá:àägéÞá:çyÚGÜß±éÚ@î\ñBâ\á®ÙÚ'éÚGëß®ÜçLéÚáRï"Þß®åäô
Figure 1. An example of neural network with an adaptive structure : when a neuron is added to the hidden layer (in gray), the links are updated and the weights all initialized in a random way.
ØgÙÚá±ßÜàyéàyéí9ÚéªîägÚGàpá®ÙÚßïÙªÚéNá±ÙÚ'éÚáRïuÞ<ß±åWß®ÚGÜ<æÙÚGä
Üä®Ü^á®àyä¨ã¶âBàPéªíßÜ^á±ÚÞãæçyÜ<ä±ä±àPè$æÜá±àyÞéºÞé\á±ÙÚò^ÜçyàyîÜá±àyÞéä¨ÚáGö
ÞߧïÙÚéÄá±ÙÚÛºÜ0àPÛ§ëÛéBëÛñXÚߧÞã:ÙàîîÚGéYéÚGëß±Þ<éªä àä
ß®ÚGÜæÙªÚGîLôõ¯á:àägéÞá®ÚGîÙÚß®Úá±ÙªÜá:îëß®àPéí9á®ÙÚá±ßÜàyéàyéíWÞéÚ
àPéªæß±Ú@Üä±ÚEÜéªîîÚ@æß®ÚGÜä±Úïàpá®Ùá±ÙÚuÜîîàPá±àyÞéÞãBéªÚëß®Þéªä-ð¦èªí÷
ëß±Ú:ú<óôØgÙÚ"á±ßÜàyéàPéªíÜçPí<Þß®àpá®ÙÛ&æGÜé9ñ$Ú:îÚ@ä±æß±àyñXÚGî§àPé9á±ÙªÚ
ã¶ÞçyçPÞ^ïàyéíïgÜHâWã¶ÞßgÞ<éçPâÞéÚéÚëªß®ÜçXéªÚáRï"Þß®åXô mÚáëªägîÚ÷
éÞá®Ú Ü<äºá±ÙªÚéBëÛñXÚßNÞã ÙàîîÚGéÅéÚëß®Þé$äö
á±ÙªÚ
ÛWÜàPÛ§ëÛéBëÛñXÚß"ÞãÙàyîªîÚéNéÚëß®Þé$äö á±ÙÚä®Ü^á±àä¨÷
ã¶â7àyéí§ß®Üá±ÚvÞãmæçÜä®ä¨àPè$æGÜ^á±àyÞémö á®ÙÚéÚáRï"Þß®å§Ù$ÜHò7àyéí
ÙàyîªîÚééÚGëß±Þ<éªäGö uá±ÙÚ'ßÜ^á®ÚÞãæçyÜ<ä±ä±àPè$æÜá±àyÞéÞãéªÚá¨÷
ïuÞ<ß±å Þéá±ÙÚºò^ÜçyàîÜ^á®àPÞ<éîÜá®Üö vá±ÙÚºéªÚáRï"Þß®å
ïÙàyæÙ§á±ÙªÚ:äRá®ß±ëªæá±ëß®ÚgíàyòÚ@ämá®ÙÚñXÚGä¨á`ß®Üá±Ú"ÞãLæçÜä®ä¨àPè$æÜá±àyÞé
Üéªîuá±ÙÚ'ßÜ^á®ÚÞãæçyÜ<ä±ä±àPè$æÜá±àyÞéÞãéªÚáRï"Þß®å ô
üô ö uÜéªî @
úô! :Üé$îÞÛWçyâ\àPéªàpá®àyÜçPà0/Úá®ÙÚ'ïuÚGàPí<Ù7á®ä"Þãá±ÙÚ'éªÚáRï"Þß®å
ô
ÿôàPéªîNá®ÙÚ'ïuÚGàPí<Ù7á®ägïÙàæÙNÛWàyéàyÛ9à0/Úá®ÙÚã¶ëéªæá±àyÞéÞã
Ú߮߱Þ<ßuñBâ\ß®Úá®ß±Þ
ì
ß±Þ
ì
Üí7Ü^á®àPÞ<é\Þãá±ÙÚ'í<ß®Ü<îàPÚGé7áGô
)ªôõ¯ã! #"
á±ÙªÚéÚéªîNá®ÙÚá±ßÜàyéàyéíºÜéªîNíÞ9á±Þ
äRá®Ú
ì%$
ô
1ôõ¯ã! #"&'`á±ÙªÚé% gÜéªî
)(
ô'îîÜ9éÚëß®ÞéNá±Þ9á®ÙÚ'ÙàîîÚéçÜHâÚGß%,
*,+ ôEõ¯ã -./ íÞ9á±Þºä¨á±Ú
ì
úô
$
ôEØgÙÚèªéªÜçUäRá®ß±ë$æá±ëªß±ÚÞãá±ÙªÚ'éÚáRï"Þß®åºàyä"á®ÙªÜ^á:Þã0 ô
ØgÙªÚuÜçyíÞ<ß±àPá±ÙªÛ¿ÜçyçyÞ^ï:äLá±ÞvÞñáÜàyé àPé§Üß±ÚGçPàÜñªçPÚ`ïgÜHâöGá±ÙªÚ
éÚëßÜç>éÚáRïuÞ<ß±åWïÙàæÙñ$Ú@äRá:çyÚGÜß±éªä"ïàPá±ÙçPÚ@ä±ägéªÚëß®Þéªä"àyé
á±ÙÚÙªàyîîÚéÅçÜHâÚß@ô àyíëªß±Ú úÀí<àPò<ÚGäºÜéÅàyçyçPëªä¨á±ßÜ^á®àPÞ<éÞã
á±ÙÚ'àyé21ªëÚGéªæÚÞãá±ÙÚ éBëÛ§ñ$ÚGß:ÞãÙàîîÚGébéÚëß®Þé$äÞéá±ÙªÚ
á±ßÜàyéàPéªíÞãgÜéªÚáRï"Þß®åÄð3 4657 @*Üé$î 487 7ó
ÞéÅá®ÙÚ:9<;çyÜ<ä±ä= îÜ^áÜñªÜ<ä¨Ú<ô éçyâÇá±ÙÚcéÚáRï"Þß®åäºïÙàæÙ
îàyîéÞáê7ëàæå7çyâºß®ÚGÜæÙ\á±ÙÚ>
ê<ë$ÜçyàpáRâ\Üß±Ú
ì
ß±Ú@ä¨ÚGé7á±ÚGîUô
éÚíÚGéÚßÜçyçPâß±Ú@ÜæÙÚ@äEÜéWÞ
ì
á®àPÛºÜç$æÞ<éèªí<ëß®Üá±àyÞé§ïàpá®ÙÜ
ä¨ÛºÜçyçLéBëÛñXÚßÞãÙªàyîîÚééÚëªß±Þ<éªäô
Figure 2. Variation of the rate of classification according to the number of neurons of the hidden layer on the validation database of the "Glass" database (see results).
cÚá®Ù7ë$äEÙªÜHòÚgÜéºÜçPí<Þß®àpá®ÙÛ&ÜçyçyÞ^ïàPéíá±Þ îâ7é$ÜÛWàyæGÜçyçPâ
ÜßæÙàPá±Ú@æá±ëªß±Ú:ø#%$&$('Åë$ä¨Ú@äEá±ÙªàyäuÜçyíÞß®àPá±ÙÛ&á±ÞæGÜ߮߱â§Þëá
á±ÙªÚá®ß®ÜàPéªàPéíJÞãÚ@ÜæÙéªÚëßÜçéÚáRïuÞ<ß±åæÞ<éªäRá®àpá®ëá±àyéíÇàpá@ô
2:Þ^ï"Úò<Úß@öLïÙÚéÀÞ<éÚºÞã"á±ÙÚGÛ çyÚGÜß±éªäÙªÞ^ï á±Þîà@?>Úß®Úé7á±àP÷
Ü^á®Ú`áRï"ÞvæçÜä®ä±ÚGäGöGÞ<éçPâá±ÙªÚuÞ<ñÝRÚGæá®äUñXÚçyÞéªíàyéíá±Þvá±ÙÚ@ä¨Ú`áRïuÞ
æçÜä®ä±ÚGäÜß®Ú
ì
ß®ÚGä±Úé7á±Ú@îNá±Þºá®ÙÚ éÚGëß®ÜçUéÚáRïuÞ<ß±å>ôuØgÙªàyävàPÛ9÷
ì
çyàPÚ@äö-ÞéÄá®ÙÚÞéÚÙªÜé$î!á±ÞÀä±àPÛ
ì
çyàpã¶âÄá±ÙÚNá±ßÜàyéàyéí Þ<éªæÚ
Üí7Üàyé¿Üéªî¾Þ<é¾á®ÙÚ!Þá®ÙÚßbÙ$Üéªî¾á±ÞÇã3ÜæàPçyàPá®Ü^á®Ú!îàyä®æß®àyÛ9àP÷
éªÜá±àyÞé¾ñXÚáRï"ÚÚGéá®ÙÚGä±Ú áRï"ÞæçÜä®ä¨Ú@äNä±àPé$æÚá±ÙÚcéÚáRï"Þß®å
çyÚGÜß®éÚ@îÙÞ^ï¾á±ÞWß®ÚGæÞ<íéà0/ÚÞéªçPâºá®ÙÞ<ä±Úô
ØgÙÚ§Ú߮߱Þ<ßã¶ëéªæá±àyÞéá®ÙªÜ^áïuÚ§ëªä±ÚGîbàäê<ë$ÜîßÜ^á®àyæ'ÚG߱߮Þß
A
=7 :BBCàyé\Ü ä±âBéªæÙß®ÞéÞ<ëªäòÚGß®ä±àPÞ<ébð¦á±ÙªÚvï"ÚàyíÙ7á®ä
Üß®Ú"Û9ÞîàPèªÚ@î ïàPá±Ù9ÚGÜæÙ
ì
ß®ÚGä±Úé7á®Üá±àyÞé ÞãXÜé§ÞñÝRÚ@æáÞãá®ÙÚ
çyÚGÜß®éàyéí!ñªÜ<ä¨ÚHóôDB ñXÚçyÞéí7äºá®ÞFE !HGÜéªîàPé$îàyæGÜ^á®ÚGä
á±ÙªÚîÚGä±àPß®ÚGîYòHÜçPëªÚNÞãvá±ÙªÚNÞ<ëá
ì
ëáWéªÚëß®Þé½ð¦á±ÙªÚæçyÜ<ä±ä9Þã
á±ÙªÚÞ<ñÝRÚGæágá±Þ9ñ$ÚçyÚGÜß®éÚ@îªóö47YàPéªîàyæGÜ^á±Ú@äuá±ÙÚò^ÜçyëÚÞãUá®ÙÚ
Þëá
ì
ëá§éÚëß®Þé*7 JI KMLNOLïÙÚGß±ÚKPLàyéªîàæÜ^á®ÚGäá®ÙÚ
ï"ÚàyíÙ7á®äNñ$ÚáRïuÚGÚé¿á±ÙÚÀÞ<ëá
ì
ëáéÚGëß®Þé¿ÜéªîéªÚëß®ÞéªäÞã
á±ÙªÚ\ÙàîîÚéÀçÜHâÚGßWðRQRóô:N.Làäá±ÙªÚºòHÜçPëªÚºÞã"á±ÙÚ\éªÚëß®ÞéSQ
Þã-á±ÙÚ9ÙàîîÚécçÜHâÚß@ôØgÙÚá®ß®Üéªä¨ã¶Úß:á®ß®Üéªä¨ã¶Úßã¶ëéªæá®àPÞ<éàä
I UT4 4 +WVYX[Z]\ ( ô
õ¯á:ïàyçPçUñXÚ éÞá±Ú@îá®ÙªÜ^áá®ÙÚß®ÚGÜã¦á±ÚGß:àpãEÜWéÚGëß®ÜçLéÚáRï"Þß®å
ä±Ú
ì
Üß®Üá±ÚGä`áRïuÞWæçÜä®ä±ÚGä_^`Üé$î4^
C
ÜéÞ<ñÝRÚGæá"àä"ß±ÚGí<Üß®îÚ@î
ÜäæçyÜ<ä±äa^`àPã7 L -
WÜé$î^
C
àPã7 L "
2.3. Hierarchy of neural networks
cÚNéÞ^ïÙ$ÜHòÚNÜä¨Úá9Þã:éÚëªß®ÜçuéÚáRïuÞ<ß±åä§ä¨Ú
ì
ÜßÜ^á®àPéí
ÚGÜ<æÙÀÞéÚWáRï"ÞbæçÜä®ä¨Ú@äöÜäï"ÚçyçuÜä'Üá®ß®ÜàPéªàPéíÜçPí<Þß®àpá®ÙÛ
ÜçyçyÞ^ïàPéíá±Þ!îâBéªÜÛWàyæGÜçyçPâÀèªé$îYá®ÙÚbÞ
ì
á±àyÛWÜçéBëÛñXÚߺÞã
éÚGëß±Þ<éªä\Þã'á±ÙÚÙàîîÚé¾çyÜHâ<Úß@ôcÚcÛëªä¨áéÞ^ï äì Ú@æàPã¶â
ÙÞ^ï á±Þëªä±Úºá±ÙÚNß±Ú@ä¨ëªçpáäæÞ<ÛWàPéíã¶ß±Þ<Û Ú@ÜæÙ!éÚáRïuÞ<ß±åàPé
ÞßîÚGߺá±ÞYæçyÜ<ä±ä±àPã¶âÇÜéÅÞñÝRÚ@æáGô ÅàPá±ÙÅá®Ùàäàyé7á±Úé7á®àPÞ<éÅïuÚ
ñëàyçî ÜNÙàPÚGß®Üß®æÙBâNÞã-éÚGëßÜçéÚáRï"Þß®åäôØgÙÚã3Ü<æáÞã-ëªä¨÷
àyéíbä¨ÚGòÚßÜçéÚGëßÜçéÚáRï"Þß®åää¨Ú
ì
ÜßÜ^á®àPéíÚGÜ<æÙ Þ<éÚWÞéçyâ
áRï"ÞÇæçyÜ<ä±ä±ÚGäNÜçyçPÞ^ï:äá±ÞÇÙªÜHòÚcÜYÙªàPÚGß®Üß®æÙàæÜçvòBàä¨àyÞé¿éÞá
ÞéªçPâÀÞãvá±ÙÚîÜ^áÜöEñëáWÜçyä±Þ Þãá±ÙÚîÚGæàyä±àyÞéÄÞãæçÜä®ä¨àPè÷
æÜá±àyÞécïÙàæÙcïàyçyç`ñ$ں߮Úè$éÚGîcíßÜîëªÜçyçPâÜáá±ÙÚWá®àPÛWÚ\Þã
ä±ëªææÚGä®ä¨àyòÚàPé7á±ÚG߱߮Þí7Ü^á®àPÞ<éªäEá®Þá®ÙÚéªÚáRï"Þß®åBäGôØgÙÚÙªàPÚGß®Üߨ÷
æÙBâbÞã-éªÚëßÜçéÚáRïuÞ<ß±åäîÚèªéªÚGîñ7âbÞ<ëß'ÜßæÙàPá±ÚGæá±ëß®Úàä
Üß±á±àæëªçyÜá±ÚGîÜß®Þëªéªîºá®Ùß±ÚGÚ
ì
Þ<àPé7áä ,
1
éÚ9ÙªÜ<ä B AéÚáRï"Þß®åävîàä±æß±àyÛWàPé$Ü^á±àyéí
Ú@ÜæÙÞéÚáRï"ÞWæçyÜ<ä±ä±ÚGäGö
1
ØgÙÚgéÚáRïuÞ<ß±åäÜß®Ú"ÞßîÚß®ÚGî§ÜææÞßîàyéí:á®Þá®ÙÚàyß`ê7ëªÜçP÷
àPáRâÞãæçÜä®ä±àpè$æGÜ^á®àPÞ<éUö
1
ØgÙÚ îÚGæàä±àPÞ<éNÞãæçyÜ<ä±ä±àpèXæÜ^á®àPÞ<éàäÛºÜîÚ'ñBâ\ÚGçPàyÛWàPé$Ü^÷
á®àPÞ<éUô
ØgÙÚgèªßä¨á
ì
Þ<àPé7á-àäá®ÙÚ:ñªÜ<ä¨ÚÞãLÜß®æÙªàpá®ÚGæá®ëß®Úgø %$($('ö
ÚGÜ<æÙ\éÚáRïuÞ<ß±åWàäuë$ä¨Ú@îºÞéçyâWá±ÞWä±Ú
ì
Üß®Üá±ÚáRï"Þ§æçyÜ<ä±ä±ÚGäGô cÚ
ä Ú@æàPã¶âÙÚGß±ÚWá®ÙªÜ^á9Üé!ÞñÝRÚGæá ñXÚçyÞéªíàyéíá±ÞéªÞéÚ\Þãuá®ÙÚ
ïàpá®ÙÞëávä±àyíéàPè$æÜéªæÚàyéÞ<éÚÞßgá®ÙÚ'Þá®ÙÚß:æçyÜ<ä±äGô
ØgÙªÚ§ä±ÚGæÞ<éªî
ì
Þàyé<áß®ÚGä¨á®ä:Þ<éá±ÙÚWê7ëªÜçyàPáRâNÞã-æçÜä®ä¨àPè$æÜ÷
á±àyÞéÀÞãuá±ÙÚ\éªÚëßÜçEéÚáRïuÞ<ß±åäGôºþuâcê7ëªÜçyàpáRâ ÞãæçÜä®ä¨àPè$æÜ÷
á±àyÞéUöBï"ÚvëéªîÚßäRáÜéªîWá®ÙÚvßÜ^á®ÚvÞãæçÜä®ä¨àPè$æGÜ^á±àyÞéºÞ<ñá®ÜàPéªÚGî
ñ7âá±ÙÚéÚáRï"Þß®åÜ^áá®ÙÚ ÚGéªîÞãá±ÙªÚá±ßÜàyéàPéªíªôuØgÙªàyäê<ë$ÜçP÷
àpáRâ ÞãXæçyÜ<ä±ä±àpèXæÜ^á®àPÞ<é àäÚò^ÜçyëªÜ^á®ÚGî§ÞéWÜòHÜçPàîÜá±àyÞé§ä±Úá`Üéªî
Û9Ú@Üä±ëß®ÚGäá®ÙÚºæÜ
ì
ÜæàpáRâÞã"ÜéÚáRïuÞ<ß±åá®ÞæÞ߮߱Ú@æá±çyâæçÜä¨÷
ä¨àPã¶âÜébÞñÝRÚ@æávñXÚáRï"ÚÚGéáRïuÞ\æçyÜ<ä±ä±ÚGäð3Üé$îbÞéçyâñXÚáRï"ÚÚGé
á±ÙÚ@ä¨ÚáRïuÞÇæçÜä®ä¨Ú@äNä±àyéªæÚá±ÙÚÀéÚáRïuÞ<ß±åÇçyÚGÜß®éÚ@îÙÞ^ï á®Þ
ß±Ú@æÞí<éà0/ÚÞéçyâÄá®ÙÞ<ä±Ú@óôéÚá±ÙBëªä\æGÜéUöÜáºá±ÙÚbÚGéªîÇÞã
á±ÙÚ§á±ßÜàyéàyéíªöLÜß®ßÜéí<Ú'á±ÙÚ9éÚáRïuÞ<ß±åävÜ<ææÞßîàPéªíºá±ÞNá±ÙÚGàPß
ê<ë$ÜçyàpáRâcÞãvæçyÜ<ä±ä±àpèXæÜ^á®àPÞ<éUöá±ÙÚèªßäRá9éÚáRï"Þß®åñXÚàyéí á±ÙªÜá
ïÙàyæÙbñXÚGä¨áçPÚ@Üß®éÚGîà1ôÚ<ôá±Ù$Ü^áã¶ÞßvïÙªàyæÙbá®ÙÚ§îÚGæàä±àPÞ<ébÞã
æçÜä®ä¨àPè$æÜá±àyÞéNàyägÛWÞ<ä¨á:ß®ÚçyàyÜñçPÚ<ô
ØgÙªÚá±ÙªàPßî
ì
Þ<àPé7áNîÚèªéÚ@äºá®ÙÚîÚ@æàä¨àyÞéÅÞã æçÜä®ä¨àPè$æÜ÷
á±àyÞéUô Ú\Ù$ÜHòÚºÜÙàyÚßÜßæÙ7â ÞãgéÚëßÜç-éÚáRï"Þß®åäæçyÜ<ä±ä±àP÷
èªÚGîÜææÞßîàyéíºá±ÞNá±ÙªÚàyßê7ëªÜçPàPáRâbÞã"æçÜä®ä¨àPè$æÜá±àyÞéUô 2vÞ^ïg÷
ÚòÚGßGöÚ@ÜæÙ½éÚáRï"Þß®å¾îàä±æß±àyÛWàPé$Ü^á±àyéíÞéªçPâ¾áRïuÞÅæçÜä®ä±ÚGäGö
á±ÙÚ
ì
ß®ÞñçyÚÛ Þã-á®ÙÚºæÙÞàæÚWÞã-á±ÙªÚWèªéªÜç`æçyÜ<ä±äÞã"ÜécÞñ÷
ÝRÚGæáºá®Þ!ñ$ÚæçyÜ<ä±ä±àPèªÚGîÇÜß®àyä±ÚGäGô Úä±Úá\ë
ì
ïàPá±ÙÇá®Ùàyä\àPé÷
á±Úé7á®àPÞ<écÜä±ÚçyÚGæá®àPÞ<é ñBâÚGçPàyÛWàPéªÜá±àyÞéUôºØïuÞæß®àPá±Úß®àÜï"Úß®Ú
îÚèªéªÚGîLömá±ÙÚ $BÚ@ê7ëÚé7á±àÜçP÷5`çPàyÛWàPé$Ü^á±àyÞé!æß±àPá±ÚGß±àyÞécÜéªîá±ÙªÚ
ëªÜçyàpáRâ ëá
ì
ëá±÷=5`çyàyÛ9àyéªÜá±àyÞéNæß±àPá±ÚGß±àyÞémô$ÞÛWÚéÞáÜ^á±àyÞé$ä
èªß®ä¨áÞãuÜçyç1ô mÚáëªäîÚéªÞá±Ú A E ^`<^
C (((<^GºÜävá±ÙªÚ
ä¨ÚáÞãªá®ÙÚ:æçÜä®ä¨Ú@äÞãªá®ÙÚÞñÝRÚGæáäàPé§á±ÙªÚgá±ßÜàyéàPéªíñ$Üä±Úö^
àPéªîàyæGÜ^á±Ú@äá±ÙÚºæçyÜ<ä±äÞãÜécÞñÝRÚGæá Üéªî'Yá±ÙÚWéBëÛ§ñ$ÚGß'Þã
æçÜä®ä¨Ú@äô0 àyéªîàæÜá±Ú@ä`á®ÙÚ éÚGëß®ÜçªéÚáRïuÞ<ß±å§àPé\á±ÙÚÙàp÷
ÚßÜßæÙ7â<ö
àPé$îàyæGÜ^á®ÚGä"á±ÙªÚ æçÜä®äîàyä®æß®àPÛWàyéªÜ^á®ÚGîNñBâ\á±ÙªÚ
éÚáRï"Þß®å>ö
A Üéªî
E# G§ä±àPé$æÚWÜéÚáRïuÞ<ß±åbîàä¨÷
æß®àPÛWàyéªÜ^á®ÚGäÞéªçPâáRïuÞ æçyÜ<ä±ä±ÚGäGô àyéªÜçyçPâ§ÞéÚîÚèªéªÚGä 73
Üäá±ÙÚò^ÜçyëÚÞãvá®ÙÚéÚëß®ÞéJÞãvÞ<ëá
ì
ëáºÞãvéÚáRïuÞ<ß±å
ö E ` ]((( X
`
C
GÜä'á±ÙÚä±Úá Þã"éªÚëßÜç`éªÚá¨÷
ïuÞ<ß±åäÜéªî R 9Üäá±ÙÚßÜ^á±ÚÞãæçÜä®ä¨àPè$æÜá±àyÞéÄÞã:á±ÙªÚ
éÚëªß®ÜçLéÚáRï"Þß®å>ô
$ÚGê7ëÚé7á®àyÜçp÷5`çyàPÛWàyéªÜ^á®àPÞ<é uß®àpá®Úß®àPÞ<é#,
"! #%$^&')(.RAB+*
,.-B7R - 0/1"$32 A A S
`
$4#%51$ A A C
+
62"78 "! # $
ØgÙªàyäuæß®àpá®Úß®àPÞ<é9ë$ä¨Ú@äEÞéÚvñ7â§ÞéÚ:á±ÙÚ:éªÚáRï"Þß®åBäEÜ<ææÞßîB÷
àPéíá®Þá±ÙÚºÙàyÚßÜßæÙBâbÜéªîcÚçyàyÛ9àyéªÜá±ÚGä
ì
ß±Þ<íß®ÚGä®ä¨àyòÚGçPâá±ÙªÚ
æçÜä®ä¨Ú@äÜ<ææÞ<ß®îàPéívá±Þá±ÙÚgÞ<ëá
ì
ëáÞãªá®ÙÚgéÚëßÜçBéÚáRïuÞ<ß±åäGô
ØgÙªÚ:ä¨Ú@æÞé$î9æß±àPá±ÚGß±àyÞé9ëªä±ÚGî9àäá±ÙÚ
ì
ß±Þîëªæá`ÞãXá±ÙÚvÞëá±÷
ì
ëá Þã:ÜéÚáRïuÞ<ß±åñBâ á±ÙÚ\ê7ëªÜçPàPáRâ Þãuá®ÙàyäÞéÚ<ô\õ¸éªîÚGÚGîLö
á±ÙÚcîÚGæàyä±àPÞ<éß®ÚçÜ^á±Ú@îÇá±ÞYá±ÙÚÀæçÜä®ä¨àPè$æGÜ^á±àyÞéÅÛºÜ<îÚ ñBâÅÜ
éÚáRï"Þß®å\îÚ
ì
Úé$îäÞéNáRï"Þ§á®Ùàyéí<ä,EàPá®ä
ì
Þá±Úé7á®àyÜçUÞãæçÜä¨÷
ä¨àPè$æÜá±àyÞéYÜéªîÄàPá®äºîÚGæàä±àPÞ<éUôYØgÙªÜéåä á®Þá®Ùàä9æß±àPá±ÚGß±àyÞémö
Ü éÚáRïuÞ<ß±åcã¶Þ<ß9ïÙªàyæÙYá±ÙÚÞëá
ì
ëáºàäºæçyÞ<ä±Ú\á®Þ ªö`ïÙàæÙ
æÙªÜßÜæá±Úß®à0/ÚGäÜ'îëªñàPÞ<ëªä-îÚGæàä±àPÞ<éUöñëá"ïÙàæÙ9ñXÚçyÞéªí<äá®Þ
á±ÙÚ9èªßäRá'àyécá±ÙÚWÙàyÚßÜßæÙBâöLïàyçPçEéÞá ñ$ÚWàyéÚòBàPá®ÜñçPâ ëªä¨Ú@î
ëªÜçPàPáRâ ëá
ì
ëá¨÷ 5`çPàyÛWàPé$Ü^á±àyÞé uß®àpá®Úß®àPÞ<é ,
!%# $^&3')( 3AB*
9
&3:
;8<>=@? /A< C 07"<
,- B
C/1"$42
,-B73 8 - 0/1"$42D
9 `
6B#%51$E
9 C
,-GF7R B8 3 1F2"
9
&3:Üé$îH
9 A
9
&3: F73 : R .F
I
? &KJLJ 9
M J V ( ?
6B2"7";8<>=
S N O
A A I
? &KJLJ
627 !%# $
'"ágá±Ùàää¨á®Üí<ÚöBï"ÚîàyîNéÞá:ä
ì
Ú@æàPã¶â\ïÙàæÙNÚGçPàyÛWàPé$Ü^á±àyÞé
æß®àPá±Úß®àyÞéNá±Þ\ëªä±Úôuõ¯ávÜ
ìì
ÚGÜß®ägÞ<ñBò7àyÞë$ä"á±ÙªÜá:á±ÙÚ§æß®àpá®Úß®àPÞ<é
á±ÞNëªä±Úàäá±Ù$Ü^áïÙàyæÙ íàyòÚGäá±ÙÚ9ñ$Ú@äRáæçÜä®ä¨àPè$æGÜ^á±àyÞéßÜ^á®Úô
2:Þ^ï"Úò<Úß@öÜ^ã¦á®ÚßEÙªÜHòBàyéíæGÜ߮߱àyÚGî§Þëáò^Üß±àyÞëªäá®ÚGä¨á®äÞ<é9ä±Úò7÷
ÚßÜçLñ$Üä±ÚGäGö7àPávîàîéÞá
ì
ß®Þ^òÚvá±ÞºÙªÜHò<ÚÞãí<ß±Ú@Ü^áîà?XÚGß±ÚGéªæÚ
ð¶Þ<éá±ÙÚ çyÚò<ÚçUÞãá®ÙÚ ßÜ^á®Ú'ÞãEæçÜä®ä¨àPè$æÜá±àyÞé$óuñXÚáRï"ÚÚGéNá®ÙÚ
áRï"Þæß®àpá®Úß®àyܪöá®ÙÚ ëªÜçPàPáRâ ëá
ì
ëá¨÷5`çyàPÛWàyéªÜ^á®àPÞ<éæß®àpá®Úß®àPÞ<é
ñXÚàyéí\ä¨çyàyíÙ7á±çyâ\ÙàyíÙÚGßGô
ØgÙÚÞéªçPâîà@?>Úß®ÚéªæÚ'ñ$ÚáRïuÚGÚéNá±ÙÚáRï"Þºæß®àpá®Úß®àyܧçyàPÚ@ägàPé
á±ÙªÚæÙÞàæÚÞãá±ÙÚbéªÚáRï"Þß®å!ëªä¨Ú@îÄá®Þ!ÚçyàPÛWàyéªÜ^á®ÚÜÀæçÜä®äô
ØgÙÚ$BÚGê7ëÚGé7á±àÜçP÷=5`çyàyÛ9àyéªÜá±àyÞé æß±àPá±ÚGß±àyÞébëªä±ÚGäÞéªÚñBâÞéÚ
éÚáRïuÞ<ß±åä ÜæGæÞ<ß®îàyéí á±Þ á®ÙÚÙàyÚßÜßæÙ7â ïÙªÚß®ÚGÜä½á®ÙÚ
ëªÜçPàPáRâ ëá
ì
ëá¨÷ 5`çPàyÛWàPé$Ü^á±àyÞéÁæß®àpá®Úß®àPÞ<é&æÙÞBÞ<ä±ÚGäÜÛWÞéí
Üçyç7á±ÙÚgéÚáRïuÞ<ß±åämá±ÙªÜáEïÙàyæÙ§ÛºÜ0àPÛWà0/Ú@äPF73 R .Fpô
ØgÙàäEàyÛ
ì
çPàyÚGäá®Þ'ëªä¨ÚÜçPçÞãªá®ÙÚÛÁñ$Ú@æÜë$ä¨ÚÞ<éÚgÛëªä¨á`åBéÞ^ï
á±ÙªÚÞëá
ì
ëá9ÞãÚGÜ<æÙÀÞéÚ\Þãgá±ÙÚGÛÜéªîÀÛë$äRá
ì
ß±Þ
ì
Üí7Ü^á®Ú
á±ÙªÚWîªÜ^á®Ü\ã¶ÞßÚGÜ<æÙ éÚáRïuÞ<ß±å>ô 2:Þ^ï"Úò<Úß@ö$àPá'àyäéÞá±Ú@îbá±Ù$Ü^á
á±ÙªÚNä±ÚGê7ëÚé$æÚºÞãgá®ÙÚéÚáRïuÞ<ß±åäçyÚGÜ<îàPéªíbá±Þbá®ÙÚîÚ@æàä¨àyÞé
ÞãæçyÜ<ä±ä±àPè$æÜá±àyÞéàyäNÛºÜîÚàPé¿Ü!ÛWÞß®ÚÙàyÚßÜßæÙàyæGÜç:ïgÜHâ
ã¶Þß á±Ùàä'çÜä¨áæß®àpá®Úß®àPÞ<éUô ÚïàPçyç-ä±ÚÚWá±ÙªÚß®ÚGÜ^ã¦á®Úß'Þ<écò^Üߨ÷
àyÞëªäñªÜä±ÚGäWá®ÙªÜ^áá±Ùàä\àäÜçPïgÜHâäºæÙÚGæå<ÚGîÇÜéªîÇá®ÙªÜ^á\á®ÙÚ
æß®àPá±Úß®àyÞéá®ÞNñXں߮Úá®ÜàPéªÚGîàäßÜ^á±ÙªÚßá±ÙÚ ëªÜçPàPáRâ ëá
ì
ëá¨÷
5`çyàPÛWàyéªÜ^á®àPÞ<é§æß±àPá±ÚGß±àyÞé'á®ÞÙ$ÜHòÚ-ÜÛWÞß®Ú-ÙàyÚßÜßæÙàæÜç
ì
Þ<àPé7á
ÞãòBàPÚGï¾Þãá®ÙÚ'îÚGæàyä±àPÞ<éNÞãæçyÜ<ä±ä±àPè$æÜá±àyÞéUô
QgÑRSUT ª×WV mÓ 7Ö&¸
ØgÙÚ'îÜá®Ü9ñªÜä±ÚGäuã¶Þ<ßïÙàyæÙß®ÚGä±ëçPá®ä"ïàPçyçUñXÚ'íàyòÚGéÙÚGß±Ú
Üß®Úvß®ÚGÜçXîªÜ^á®ÜñªÜä±ÚGä"æÞ<ÛWàPéí§ã¶ß®ÞÛD9¨ØgÙªÚøÜ<æÙàyéÚ& mÚGÜß®é÷
àyéíYXÜá®Ü :Ú
ì
Þ<ä±àpá®Þß®â ÞãXá±ÙÚBZ:éàyòÚGß®ä±àpáRâ§Þã"Üçyàpã¶Þ<ß±éªàyÜ '"á
õ¸ß®ò7àyéÚð Z uõ¨ó=Çù[^ýÜé$î Üçä¨Þvã¶ß±Þ<Û ÞëßÞ^ïé ï"Þß®åBäuð8$BÚGß±Þ<ëªä
ñªÜ<ä¨ÚHó ù$
ý¯ô'ØgÙÚGä±Ú§îÜá®ÜñªÜä±ÚGäÜß®Úëªä±ÚGîàPéòHÜß±àyÞë$äÜߨá®àp÷
æçyÚGäÞ<éæçÜä®ä±àpè$æGÜ^á®àPÞ<éUô'ØgÙàyäïàyçPçÚGéªÜñçyÚ9ëªäá±ÞæÞÛ
ì
Üß±Ú
á±ÙªÚ
ì
Úß±ã¶Þ߮ۺÜéªæÚGäÞã-Þ<ëß'ÜßæÙàPá±ÚGæá±ëß®ÚïàPá±ÙcÞá®ÙÚßéÚGë÷
ßÜçéÚáRï"Þß®åäÜ
ìì
ß®Þ<Ü<æÙÚGävïÙàyæÙcëªä±Úá®ß®Ü<îàPá±àyÞéªÜçÞ<ßàPÛ9÷
ß®Þ^òÚ@î\ÛWÚá®ÙÞîäô
