De quelle variabilité sont capables les réseaux de neurones artificiels ?

HAL Id: inria-00099047

https://hal.inria.fr/inria-00099047

Submitted on 26 Sep 2006

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

De quelle variabilité sont capables les réseaux de neurones artificiels ?

Frédéric Alexandre

To cite this version:

Frédéric Alexandre. De quelle variabilité sont capables les réseaux de neurones artificiels ?. Invariants et variabilité dans les sciences cognitives, ACI Cognitique, Mar 2000, Paris, France, 6 p. �inria- 00099047�

&'() *,+%- %.(/0.1'!2 .3

465 7

8)9

7

8

5;:=<?>A@%B'CA>EDAF?GHB

@%I?GHJK>ELMJNDAGOJK>HPK@QR5S5UTM:=V

8

WYX[ZR\R]

4%PN^M_`^RaRbdceTRV

9 Q 8fg

5 8

h TRi

8kj6l

imQ#5S:=Tnh5

>,o5;:=Q#5;:qpMi=Q#5;rSs

f8

ituQ#Vdo6TR5Si

8v9 tw:=V

g

TR5;:xTRV2yUr

8 y 98zg

TM5S:xTM{:=im:my(7

8

p.i

8

<}|

8

5S<}|

8)f 5 9

TRVr

i

8~9 Q#€TM:=V

898 r‚5 7

8 r 8 T f(jƒ98

V

8f 5SQ#V

8

rdTM5;yU:…„6<:

8

imr~†GHD‡>?ˆ

8

r‰y‚y

8

V2y(7

8"98~9 :=5

8 s f8

r 8 rvQ

f

yU:mi=rŠo5 7

8 h 7

8

5 7

8

rvr;Q#V2yYoi

f

yM‹QMyz{:

8

VŒ7

8 s f :mov7

8

rzo Q

f

5z"TRV:mo

f i8 5Q

f 5 8 V 9 5 8

<)Q#~oy

8

98

< 8 r"o|v7

8

VQRŽ

8 V 8

r":=~o Q#5‰y}TRV2ySr

98

i=T<)Q#‘#V:…yU:mQ#VnŒX

f

:=r)p

8

V’<5

8f rSTRV2y

f

V’o

8)f

oi

f

rd<

8

o5;Q#{iqŽ

8  8 p'Q#V“r

8 5 8 V 9

<Q#~oy

8 s f8

i=T”s

f8

r‰yU:=QRV“Vt

8

r;y/oTRrT

f

r;rS: h TR<:mi

8

s f

tw:=ieVt–•“o6TR5STR:my—ŽT”o5

8

~:qŽ

8 5 8"g f8

nƒ˜At

8

r;y/<

8

ySy

8

5 7

8š™68šj :=QRV›s

f8‚œ;8€g TR:=ry

8

V2y

8 5 98

9 7 8šg#8

i=Q#oo

8

5Š:m<:

8

V/o5 7

8 r 8

V2yUTRV2yzySQ

f y 9 tuTR{Q#5

9 i8 rŠTRoyS:my

f98

r:mV`yS5S:mVr 7

8 s f8

r

98 reGHD‡>

hTR<

8

ŽT”<

8

r&o|v7

8

VQRŽ

8 V 8 r)po

f

:=r‚i

8)f

5Sr‚i=:=~:myUTMyU:mQ#Vr

8 y 8

V›o5SQRo Q#rSTRV2y

98 VQ

fgR8 imi

8 r

g

Q#:

8 r 98

5 8

<}|

8

5S<}|

8

o Q

f

5ži

8 r 9 7

8

o6TRr;r

8

5n

Ÿ  ¢¡—£¤¥&¦ž£§¨~© ªA£«¤ª?¬-¤®­ª?¯ªE©£¥‚£'§¨~© °ª?¯±§²©´³¥&¤Š§¥&©´£'¯

¬¥&¤¶µ¸·º¹

@ 8

r‚GHD‡>«rSQ#V2y

98 r‚5 7

8 r 8 T f(jƒ9

tf V:…y(7

8

r»r;:=~oi

8

rp:=V2y

8

5S<)Q#VV

8

<)y(7

8)8 r)p

8)¼ 8

<šy

f

TMV`y

98

r

<TRi=<

f

i=r‚V

f

½7

8

5S:=s

f8

r”ŽTo6TR5‰yU:=5

98

i

8)f 5Sr

8

V2yU5 7

88 r)pzoQ

f

5ƒ7

8)g TRi

f8 5&i

8f

5;r&rSQ#5‰yU:

8

r&s

f :

r 8

5SQRV`yŽT”i

8)f 5‚ySQ

f

5&:mV`y(7

8

‘#5 7

88 r&o6TR5

9

t¾T

f

yU5

8 r f V:…y(7

8

rn-BV›oi

f r 98

< 8

r&o5SQ#o5;:š7

8

y(7

8 r

Q#5;:=‘#:mV6TRi

8 r 98

<TRi=<

f

iV

f

½7

8

5;:=s

f8Y8 y 9

:=r‰yU5;:={

f 7

8

p#i

8

r'GHD‡>,r

8ž9 :=r‰yU:mV‘

f8 V`yd7

8

‘2TRi

8  8 V2y

o6TM5

f V 8

yU5;Q#:=r;:qŽ

8  8

o5;Q#o5;:š7

8

y(7

8 h Q#V

9

TM

8

V`yUTRi

8M¿

iqtuT

9

TRo(y}TMyS:

g

:my(7

8 s f :2i

8

rÀ5

8 V 9

<TRo6TR{i

8 r

9

tuTRoo5

8

V2yS:=rSrSTR‘

8

nŠ˜

8

y;y

8

5UTRo:

98Y98

rS<)5S:moyU:mQ#Vo

8

5S

8 y 9 Ž

8

r€TM:=V2y

8

V6TRV2y

9 t 8šj

oim:=s

f8

5

<)Q#"

8

V2y

98

rOGHD‡>Áo

8f(g#8 V2yH5

8

o5 7

8 r 8 V`y

8 5 8 y 8kj

yU5UTM:=5

8‡98 rž:mV

g

TM5S:xTMV`ySr‚ŽTdo6TM5;yU:m5

98

9

QRVVz7

88 rV

f

›7

8

5;:=s

f8 rs

f

:`i

8)f

5rSQ#V2y%o5 7

8 r 8 V2y(7

88 r 8 V 8

V2yU5 7

88 nXQ

f

5%<

8

i=TpM<)Q#Vr;:

9 7

8

5SQ#Vr

r;:=~oi

8  8 V`y

f

V´V

8f 5;Q#V

8»ÂÃ p5

8 <

8šg TRV2y

8 V 8 V`yS5 7

8)8 rži

8

rYTR<šyU:

g

:…y(7

8 r 98EÄ

T f yS5

8

rvV

8f

P

5;Q#V

8 r ‡Å

pÆT

gR8

<HǀÈÊÉ`Ë#ÌÍ0Í0Í)Ì

Ä%Î piqtw:=V

™6f8 V<

8?98

< 8 rHTR<)yS:

g

:my(7

8

r€7

8

yUTRV2yHo Q#V

9 7

8

5 7

88 o6TR5

98 rOo Q#:

9

rpT

f

rSr;:%TRoo

8

iš7

8

rO<Q

8)Ï

<:

8

V2yUrOr;• VoTMyU:ms

f8 rpÑÐ

ÖÅ

n

@TAi=QR:

98

h Q#V<šyU:=QRVV

8  8 V2y

9f

V

8)f 5SQ#V

8OÃ

<)Q#Vr;:=r;y

8

TRimQ#5SržŽT

9 7

8

„6V:=5ixT hQRV<)yS:=Q#V

Ò s f :7

8)g TRi

f8 it¾TM<)yU:

g

:my(7

8»9f

V

8f 5;Q#V

8Â»Ã'8

V h Q#V<šyU:=QRV

98 r?TR<)yS:

g

:my(7

8 r 98

rAV

8f 5;Q#V

8 r

‡ÅA8

y

98 rHoQ#:

9

rHÐ

ÃÓÅ

n Ô ÃÑÕ

Ò †Ô Å ÌkÐ

ÃÓÅ

ˆ

ÅkÖ0׉ØKÙÓÚÓÚÓÚÙÛ.Ü

†‰Ë.ˆ

8 8 8ž98 8 8 98 8 8 8f 8 9 f 9 8 8

98

GHD‡> TŽ f VT

f

yS5

8

p6€TR:mrY:=i

8

r‰y‡:m"oQ#5‰y}TRV2y

98 r;Q

f

im:=‘#V

8

5Y:=<):s

f8 p 9

TRVržyUQ

f

rHi

8 r

<TRrp'<

8

y;y

8

i=QR:eo

8

5;

8

y&T

f V

8f 5;Q#V

8»ÃY98 5 8

o5 7

8 r 8 V2y

8 5 f V›:=V

g

TR5;:xTRV2y

9f

~Q#V

98

8kj y(7

8

5;:

8f 5Às

f8

ituQRV»TRoo

8

i=i

8

5STp²r

8

i=Q#V»i

8

r~Q

9 Ž 8 i8

rp05

8

o5 7

8 r 8

V2y}TRV2y²pRo5SQRySQRyK• o

8 p h5SQ#V2yU:qŽ

8 5 8 p

8

yU<Rn

> rSQRV—ySQ

f

5)pixTdimQ#:

9

t¾TRoo5

8

V`yS:=r;rUTR‘

8»9

7

8

„6V:…yži

8

rž<5S:…y²Ž

8 5 8 r 98

"Q

9

:m„<²TMyS:=Q#Vr

98

r

oQ#:

9

r?Ð

ÖŠo 8

5;

8

ySy}TMV`y

9 t 8kj

yU5UTM:=5

8

pzŽT´o6TR5‰yU:m5

9 t 8šj(8

~oi

8

rpÀi

8

rE:mV

g

TM5S:xTMV`ySr

f

yS:=i

8

r~ŽT

i=T—y‹TR<}|

8

5 7

8

TMi=:=r 7

88 nJKi=i

f

r;yU5;Q#Vr»"TR:=V2y

8

V6TRV2yixT—5

8

o5 7

8 r 8

V2yUTMyU:mQ#V

8

y‚iqt

8šj

yS5UTR<šyU:=QRV

98

< 8 rO:=V

g

TR5S:=TRV2yUržoQ

f

5ži

8

rOo5S:mV<:mo6T

f(j

"Q

9 Ž 8 i 8 r

98

GHD‡>‚n

!#"!

X%Q

f

5Hi

8

rH5 7

8 r 8 T f(j9

:=5

8

<šyUrŽT"<Q

f

<}|

8

r)p

98 yK• o

8 o 8 5S<

8

oyS5SQ#VpixTimQ#:

98

hQ#V<)yS:=Q#VV

8 P

 8 V2y‚rtN7

8

<5;:my<QR"

8

ixT—rSQ#~

8/98 r 8

V2yU5 7

8)8 r)p'o QRV

9 7

8

5 7

88 o6TR5i

8

r»<)Q

8šÏ

<):

8

V`ySrdr‰•`P

V6TMoyU:ms

f8 rp(o Q

f

5zi=TRs

f8 imi

8Hf

V 8 hQ#V<)yS:=Q#V®ŽTdr

8)f :=i$

9 7 8 y 8

5;":mV

8 i8 V:

gR8

T

f´9 t¾TR<šyU:

g

:…y(7

8

9f

V

8)f 5SQ#V

8‚»Ã

n Ô ÃÑÕ

$ц %

Å}Ö.׉ØKÙÓÚÓÚÓÚÙÛ.Ü

Ð

ÃÓÅ'&Ô Å ˆ †qZ#ˆ

F?TRVrÀit

8

rSo6TM<

898 r 8

V2yU5 7

8)8 r Ô Å8

yo Q

f 5 98

r h Q#5;

8

rÀrS:m"oi

8 r 98

$ p0<

8

y;y

8 7 8 s f

TMyS:=Q#V

5 8 o5 7

8 r 8 V2y

8”f VŒ|2• o

8

5SoixTRVŒr 7

8

o6TR5UTMV`y"<

8 y 8 rSoTR<

88

V

98f j o6TR5‰yU:

8 r 8 ypvoQ

f 5 f V 8

8

V`yS5 7

8)8€9 Q#VVv7

88 Ô Å

p%iqtuTR<šyU:

g

:…y(7

8&9f

V

8f 5SQ#V

8"Ãeg T 9

Q#V<~rS:=~oi

8  8 V2y»:=V

9

:=s

f8

5

98

s

f8 iÀ<QRy(7

898 itu|2• o

8

5SoixTRVr

8

yU5;Q

fgR8

< 8 y;y

88 V2yU5 7

88

n

˜ 8 r5 7

8 r 8 T f(j

Ž

T”<Q

f

<}|

8 r 98

y 8 i=r&V

8)f 5SQRV

8

r&r;Q#V2y/‘7

8

Vz7

8

5UTMi

8  8 V2y

f

yU:mi=:=r 7

8 r 9 TRVr

98 rvyM‹TM<}|

8 r 98

<i=TRrSr;:m„6<TMyU:mQ#V”†

9

:mrS<5;:=~:=V6TyU:=QRVƈQ

f´9 t¾TRoo5SQ

j

:="TMyU:mQ#V

98

hQ#V<)yU:mQ#Vr

†5 7

8

‘R5

8

r;rS:mQ#Vƈ&QŽ

f

it¾TMoo5

8

V2yU:=r;rUTR‘

8

<)Q#Vr;:=r;y

8 ŽT®oQ#rS:…yU:=QRVV

8

5i

8 r h 5SQRV`yS:qŽ

8 5 8

r~oQ#5;y(7

88

r

o6TM5‡i

8

rAV

8f 5;Q#V

8 r 98

"TRV:qŽ

8 5 8

ŽT€5 7

8

TRim:=r

8

5AT

f

~:

8f j

ixT"<)ixTRr;rS:…„6<²TMyS:=Q#VÑn‡X%Q

f

5‡<

8

i=Tp

9

TMVri

8

<²T

9 5 8e9

tf

V&TRoo5

8

V2yS:=rSrSTR‘

8 r f o 8 5 g :=r 7

8

p#i

8

<TRi=<

f i 98

iqt

8

5;5

8f 5 8

V2yU5

8

iqtuTR<šyU:

g

:…y(7

8

5 7

88 imi

8‡8

yžit¾TR<šyU:

g

:…y(7

8H9

7

8

r;:=5 7

88E98 ržV

8f 5SQ#V

8

ržo

8

5S

8 y 98

"Q

9

:…„

8

5ei

8)f 5SrYoQ#:

9 r 8 yžo6TR5

iNŽT‹

8  8

ixT»o Q#r;:myS:=Q#V

98

r h 5SQRV`yS:qŽ

8 5 8 rer 7

8

o6TR5STMyU5;:=<

8

rn>‡:=Vr;:qp`<

8 r h5SQRV`yS:qŽ

8 5 8 r)p(s

f

:rSQRV`y

i8 r»:=V

g

TR5S:=TRV2yUr

9f

"QRV

98/8šj y(7

8

5S:

8f 5 f

yU:mi

8

roQ

f

5»<

8

ySy

8

y‹TR<}|

8

prSQRV`y

8kj

yS5UTR:…yUro6TR5

TRoo5

8

V`yS:=r;rUTR‘

8»8 y‡5

8

o5 7

8 r 8 V2y(7

8

rAo6TR5Oi

8

ržoQ#:

9 r 98

rHV

8f 5;Q#V

8

rn

)( *

+, -+./012 34,56

F?TRVri

8

<TRr

98 r‚<²TR5‰y

8

r‚T

f

ySQMPKQR5S‘2TRV:=rUTyU5S:m<

8

r~†

8 y 9 tf V 8

€TRV:qŽ

8 5 8

rS:=~:=i=TR:=5

8

oQ

f 5

i8 rž~Q

9 Ž 8 i8 r

98

ixTdyU|z7

8

Q#5;:

8?98 ixT5 7

8

rSQRV6TRV<

8 T 9

TRoyUTMyU:

g#8»9887 5;Q#rSr;{

8

5S‘`ˆkpixTimQ#:

98

hQ#V<)yU:mQ#VV

8  8 V2yOrtN7

8

<5;:my

¿

Ô ÃÕ

%

ÅkÖ0׉ØKÙÓÚÓÚÓÚÙÛ.Ü

†Ô Å

Ð

ÖÅ

ˆ †\2ˆ

> f yU5

8  8 V2y

9

:myp2i

8 V 8)f

5SQRV

8HÃ

<²TMi=<

f i 8Yf

V

8ž9 :=r‰y}TRV<

8ž8 V2yU5

8

rSQ#V

g#8

<)y

8)f 5Šo QR:

9 r

8

yzit

8

V2yU5 7

8)8 Ô Å s f :i

f : 8 r;yerSQ

f

":mr

8

n'@

8žgR8

<)y

8f 5zo QR:

9

rH†

8

y?ŽT»yS5UT

g#8 5Srei

f

:i

8 V 8f

5SQ#V

8

»Ã

ˆEo

8)f

y‚TR:=VrS:ž‹

8

yS5

8g f

<)Q#"

8f

V

8~8 V2yS5 7

88/g :=5‰y

f8 i=i

8

pÀQ

f8 V<)Q#5

8~f

Vo5SQRySQRyK• o

8

Q

f—f V5

8

o5 7

8 r 8 V`yUTRV2y

9 tf V 8 y 8 i=i

8?8 V2yU5 7

88

n

@t¾TMoo5

8

V2yU:=r;rUTR‘

8

VQ#V»r

f o 8 5 g :mr 7

8

<)Q#VrS:mr;y

8

po Q

f 5 f V 88

V2yS5 7

88Š9 QRVVz7

88 pƎTžr 7

8 i 8

<)yS:=Q#V(P

V 8 5Oi

8

†Q

f i8 r}ˆYV

8)f 5SQ#V

8 i8 oi

f

rOo5;Q(<}|

8‚98

< 8 ySy

8‚8 V`yS5 7

8)8‚8 y/ŽT/~Q

9

:…„

8

5žr

8

rHo QR:

9 r

98

"TRV:qŽ

8 5 8

ŽTi

8 5 8 V 9 5 88

V<Q#5

8

oi

f

r?o5SQ <}|

898

< 8 ySy

8~8 V2yU5 7

8)8 nF

8šg TRV2y

f V 89

:mr‰P

yS5S:={

f

yU:mQ#V

98

o QR:=V2yUr)po5 7

8 r 8 V2y(7

8 r 8 V 8

V2yU5 7

88

p f V 8

Vr

8

&{i

8€98

V

8f 5;Q#V

8 r g T 9 Q#V<

r 8 5 7

8

o6TR5‰yU:=5

98

"TRV:qŽ

8 5 8 ŽT5

8

o5 7

8 r 8 V2y

8

5T

f

~:

8)f(j

< 8 ySy

8€9 :mr;yS5S:={

f

yU:mQ#V

98

oQ#:=V2ySrp

8 V r 8 oixT

<²TRV2y"T

f < 8 V2yU5

8”98 r€‘#5;Q

f o 8 r 98

o Q#:mV2yUr~i

8

r/oi

f

r~rS:=‘RV:m„6<TMyU:h rn’>A:=VrS:

< 8 rV

8f 5;Q#V

8 r 98šg

:8 VV

8

V2y

98 rd5

8

o5 7

8 r 8

V2y}TRV2yUrdQ

fƒ98

rdo5SQRySQRyK• o

8 r 98

< 8 rd<)ixTRr;r

8 r

98

oQ#:=V2yUr)n

8

i=Q#V

f

V“T

f

yU5

8

oQ#:=V2y

98/g(f8 p':mi=r

8)¼ 8

<šy

f8 V2y

f V 8 Q#oz7

8

5STMyU:mQ#V

98

„i…P

yS5UTR‘

8H8

V 9 7

8

„V:=r;rUTRV2y²po6TR5ei

8f 5Sreo Q#:

9

rp

98 rz„6i…yU5

8

rvo5SQRySQRyK• o

8 r 98

rv<QRV„6‘

f

5STMyU:mQ#Vr

9 t8 V2yS5 7

88 r‡i

8

rOoi

f

rž5

8

o5 7

8 r 8 V2yUTMyU:

g#8 r)n

! 1

F?TRVrzi

8

re5 7

8 r 8 T f j

5 7

8 < f 5S5

8

V2yUrp<Q#~

8 i8

~Q

9 Ž 8 i

8O98 Q#o(„

8 i9 p(i

8

re<Q#VV

8šj :=QRVrvV

8

r;Q#V2yEo6TRr

98 r‰yU:mVv7

88 r"ŽT"5

8 <

f8 :=imi=:m5ži

8 r 8 V2yS5 7

88 rps

f

:%rSQRV`y hQ f

5;V:

8 r f V 8 o6TR5

f V 8 T f(j

V

8)f 5SQRV

8

r)p€TM:=r?ŽTd:=V2y

8

5S<)Q#VV

8

<)y

8

5YyUQRyUTRi

8  8 V2yvi

8

rvV

8f 5;Q#V

8 r 8 V2yU5

8A8f(j

ne@Tdi=Q#:

98

hQ#V<)yU:mQ#VV

8  8

V2y²pÆrS:m":mixTR:m5

8

ŽT~<

8

i=i

8»98 rA5 7

8 r 8 T f(j”9

:=5

8

<šyUrp

g

T"TMi=Q#5;r‡TMoo5

8 V 9 5 8&98

r

<)Q#V„6‘

f

5UTMyS:=Q#Vr

9f 5 7

8 r 8 T f † 8

y?VQ#V-o6TRr

98 r 8

V2yS5 7

88

r}ˆkp%<)Q#~

8‚98 r”7

8

y}TMySrEr;yUTR{i

8

rn

BVr

f

:my

8 p 98šg

TMV`y

f

V›7

8

y}TMy':=V:…yU:xTMi s

f8 i=<)Q#Vs

f8 p`i

8

5 7

8 r 8 T f rST

f

5STEQ#rS<):=i=i

8 5 98

€TMV:qŽ

8 5 8

ŽT®<Q#V

gR8 5S‘

8 5 g#8

5;r€itN7

8

y}TMy/r‰y}TR{i

8

TRoo5;:=r/i

8

oi

f

r/o5SQ <}|

8

n[˜

8

rŒ7

8

yUTMyUr/r;yUTR{i

8

r~TRo(P

o5;:=ržr;Q#V2yAT

f

rSr;:TMoo

8

iš7

8

rHo5SQRySQRyK• o

8 r 8 yHo

8)fg#8 V`y&‹

8

yS5

8?g f

rO<Q#~

8?98 rH:=V

g

TR5S:=TRV2yUr

98

<Q#V(„6‘

f

5STMyU:mQ#V

9f 5 7

8 r 8 T f p f yU:mi=:=r 7

8

<)Q#~

8

½7

8

"QR:=5

8

TRr;rSQ <:=TMyU:

g#8 pQ

f

½7

8

~Q#:=5

8

T 9 5 8 r;rUTR{i

8

o6TR5žr;Q#V<)Q#V2y

8 V f n

6 ! 3 ,6 1

DHQ

f

rOT

g

Q#VrH~Q#V2yU5 7

8

<QR"

8

V2y

98

rOG‡DH> rS:=~oi

8

rp

98 r‰yU:mVv7

8

r&ŽT

98 rHQRov7

8

5STMyU:mQ#Vr

98

yS5UTR:…y

8  8

V2yŠr‰y}TMyS:=r;yS:=s

f8ž98H9 Q#VVv7

88 rp o Q

f(g TM:

8

V2y

8 V 8šj

yS5UTR:m5

8

o6TR5eTRoo5

8

V2yS:=rSrSTR‘

8O8

y

5 8 o5 7

8 r 8 V2y

8 5 8 V-i

8)f 5‡r

8

:mVpÑi

8

rA:mV

g

TM5S:xTMV`ySr‡o

8

5;

8

ySyUTRV2y

98 5 7

8

TRim:=r

8

5H<

8

rAQ#oz7

8

5STMyU:mQ#Vr

98

„6i…yU5STR‘

8 p 98

<i=TRrSr;:m„6<TMyU:mQ#Vp

98

~:=r

8-8 V <Q#5;5

8

r;o QRV

9

TRV<

8 Q f 9

tuTRr;rSQ <:xTyU:=QRVn