Un réseau de neurones pour des associations multimodales

HAL Id: inria-00107755

https://hal.inria.fr/inria-00107755

Submitted on 19 Oct 2006

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Un réseau de neurones pour des associations multimodales

Abdelmalek Reghis, Frédéric Alexandre, Yann Boniface

To cite this version:

Abdelmalek Reghis, Frédéric Alexandre, Yann Boniface. Un réseau de neurones pour des associa-

tions multimodales. 14ème Congrès Francophone AFRIF-AFIA de Reconnaissance des Formes et

Intelligence Artificielle - RFIA’2004, 2004, Toulouse, France, 10 p. �inria-00107755�

!"#$ " $ $

! "

#$%

^&

'() * +',) "

#$%

"

#$%

- #$%

!

^"

#$%&

' ! ! ( ( )

!

!"#

"

# $

" #

%#& # %#&

& "

# ' # ()# '*&

++# ! #,

!" #

$ # %

"

! " # $%

"

# %

# # " & '%

()* + , - . ' (/*(0*

.12 ' (0*

3 - &

# 4 .12

"5-%

6#

7

)

7

5- .12 '

- & ()* ! .12 - # - 4- # 8 (7)* - .12 , ! .12 4 # - + # # - - 3 - (9*(:*(7;*(79*

4 - 4- (<*(77*(7;*(7)*(7:* + - # +=1. "+ = - 1- .12% > ' (<*

+=1. > ' - - 3

! "#$%&'!

' $ (&)*

$+),-+

,

!" #$%& '"

( # $) *& + '

" # " # , -$. /&

^{0"( %}

'1

' '2

₁

2

. /+ (!)* 3 + , ++

4 # " # 0 3

! 44 - + - # ' " #!

"( #5 6 7

. 8+,19 3

#

(!#

" 4 ' #, + , " 44$. 8&:

+ " ) 2;<

!" 44"*22;

+ 3 " % !1;9

! " #

#

$ % &# & ' &

( ' %& )*+, - % .

%/ ' # # &

0 ! $ ( - 1 &

) -,

! ""

2 & &# &

& ( ' &

+ "

+ "

&

&

% &

& &

# 3 )4&1,

! "#$$$% "$

#$$% &

& & ' () * + &) )

' ,-

& ) ) * . ) ! , )) )

" !

"!

# $ $ "%

% &

"'()*

+"',-!.!,/*

,"'*

"01 ! " "

!

" # $%

&

&'

&

(

&

)

*+

^+,

&'&

^+,

,- . /

^+,

..-0&

1 +

^+,

&'&

^+,

&

^+,

,.

23

**32 . 44

+,

)+,

5 -(

. 44

^+,

)+,

5 -(

!

^{+, +,}

^+,

! " #$

%& ! '% ^& ( ' ^& ( )( '* ^&

+ , " - $ ^&- , "

'% ^&- ()( '* ^&-

. '% ^& / '% ^&- ()(

'* ^& / '* ^&- $ ^& / $ ^&- 0 " '% ^&- ()('* ^&- #$

& -+ - "

- 1 -++

( + #$

" 2 34 ( 5 3 " - 6 %37 8- + 9(

1 -++( + - + +

7 3

%7

%3 7 3 :7

7 3 %7 %3 7 3 :7

6 6

6 1 ++

;9 ! < + 2 " 6

&

( 37 !% =%

," 37 ( #$

" 2 5 37 -

" - 6 37 &

- #$ (

+ %7 37 ( -

* ( ( 1 -++ " -

7 7(3

%

%(3 (3 : :(3

%7 7 :7 7 37

;> ! &

+ " ( ++ ?

@ %77 ( + > "

" - + #$

- + 73A

' ""

* - "

++ " 2 0 %77 + B

7 3

%7

%3 7

7 3 %7 %3 7 3 :7

2 2 5

;B ! &

+ 2

0 + B + 0 - + %7 A :7A 2

& + - ( + ( - - ( - @

!

" # "

$ % &'( ) * # +

, - # -

" "

- "

"

-

&'(

) "!

# --$

) &'(

# ) ! . %/,'& # -- ! # " 0

1

% " "#

# "

-

# 2 3 ! 4 -- # 4 5 4 # ) %/,'& -- % %/,'&

# % - ! 6 &'(

! # "#

""

%/,'& ,

"" - ! 7

"

'!

8 ! # ,

" !

# - ' "# +

^'

9

^'

&'( 5 : 7 -- ! - 5 "

" ; &'( 5 ' - # - <

"

' = # # ,"

&'( "

# 4" 4 %/,'&

&'( 6

'* '" 4 &'(

$ > ?

@ - &'(

$ % +

^'

9

^'

$ ; &'( 5 ' A

$ ;

BC = +

^%

9

^%

D

^%

%E F 8 &'( E D B G 7 H D

^'

+

^'

9

^'

CB

$ % -

H D

⁼

"

D

% - " <

+

⁼

9

⁼

/ - " D

⁼

; " D

^{= E}

D

⁼

' +

⁼

9

⁼

D

⁼

; 7

^!

" !#

$% & '

^!

# (

^!

!#

) * & +

$% '

^!

# (

^!

#

^!

!

'

^,!

# (

^,!

#

^,!

! , -#

. /

0 '

^0!

# (

^0!

#

^0!

!

$% '

^!

# (

^!

#

^!

!

& 1

$2 $ 1*3& !

. .

0 3 # / % 45 ) 2 '# ( 45 2 / & , /%

6 $

!" #$ % &

!" ' %

#

! "

#$ % & "

# ! ' ( $ " ) * +( ,- - .$

" / $ .

$ 0 #"

" ) . ( $ 1 "

. $ .$

'$

. 2 ++ (

$ . $ # ( ' 1+

+ 2 # 1.' ++

"

.$#

.$ $

$ 3' . "4

1 .5 " "

16+ 7 1 $+ $ $

$ + 8 $ 0 $ $ 9 / $ #$

11

$ " $ $ : 1 1 $ $ ) "

+ "1 1 3 $

$

: 5 $ . $ $ ;

" <. $ ) 1 $ $ 3 .

:!5 $ . $ $ <.

" $ ) 1 $

$ 3 .

1 ++

"

! " # $ #

%&&

' ! ( )

* # + ! ! + , !

- ( + .

! %&&

! ! / 0 ! 1 2 3

¹

! "

# ! # $ %&

!

'( ) * * " # " # + ' * ,

* (

)

" ! # !

$ !

% &

&

&'( '(

(') )! * $ ) +

)

!"

# $ % # $ % %&"$ &" "&

! '

! "

^#

^#

$

%&&

' (!) * ( %&&

+

(, (!) * ( %&&

' -

^"

!" ^{"# "#} #!!$

%&' ^"# (

)* +,+,- . ! " ^{"# "#} #$

!! $ ! /

0 $ ! /

12! 3! 4 "! #

5* +,-+, 6 ! " ^{"# "#} #$

!! $

!

/

0 $ ! /

72! 3! 4 "! #

89 +,-+,-

*/

*'1%*'2!!:;;

! ^"# (

+,+,-+ ,-(

<=! > $

0 / ^"# =<

)+ 0 ^"# !

!!' ^"#

.$ %+ !!/ ^"0#

%+ 0 ^"0#

? 4 / ^"# , ^{"0# "#} , ^"0#

<=! > $

! / ^"# =<

1+ , +,-+,(

5+ !!/ ^"# !

!!' ^"#

6$ %+ 0 / ^"0#

%+ !!/ ^"0#

? 4 ^"# , ^{"0# "#} , ^"0#

7@ !! " ^{"# "#} # !! :;;

!"

"

# $ ! % ! #

& ' ' # $ ( $ )*+ !"

! )*+ *!

!, ' ! ( $

!")*+

! )*+ *!

!, ' ! -. '/ ! # + !! "

"

" # " $

% & # #

#' ' ( % # %# ''

@

@

@

@

8 8 8 ! !

" ! !#! #

$

!

"

"

"

##"

$$"

" " " #

% !

%

# "

&'$ (' ) ! *

&'" ( +, $-

.!) /

% .01 2" /!

%*3 /

2 /!

%*3 /

4 * 4 ) )

% 5 6 .

! )%. 7"/

849%.

)5

* # / ) . % % 5 . ! (:. +&'"-4:

"

"

"

" " " #

%

%

1! :41! :)

&'7 6 5 !

:*4 ! ).) :

6 ' 7 !+:

.-4) : +) - , 5

% 5.

; . + -

!! 6 ) ) 2) < %.

) . * .' 6. .

. ,5

5 . . +)5 - ('.' .'$ 5 7 "#

6 )5 .

5

.'

)

4 8< =3> 5

45 % ) 5

!

"

# "

$ % "

& ' ( ) "

# "

" " $ & "

"

"% ) % % "

# " *

" + , "

- * - *

"

% ' . * "

" * *

* / 0 1

* # * * 2( "

+ , &

* 3 ( % $ +% $ , # % " "

"

- - 4

5 & " ) 6.7487 9

!"#!$ %! &"'(

) (*!"!+ # ! ,-... /' 0&11 22..

"34 5*"6 7 &

8"!"(0&

499(!)(&,..

: 1"

!!"! "! &! &!"'

!$!5& 91;&(*( <&

1 (- ( &,..

- 5 ! !"

#$%&

= !( "!(! &"'(<& -! - 11 >1";..

2: 5(' 411&9%1"(<& 2! 11 .

: 5(' .2.

= !( "!(!>,("( ! !9#,;!"(<&

! 11 .2.

%* !9> # 5"* ' = !( "!(! &"'(<&

-! 11 -- &,..

. 6,! 9( ') *+ =*((!("""

"! &&,"*!?9!;&

# # ) ! !9 > +!

' = !( "!(

! &"'(<& 2! 11 ..2..-

@ ) ! = !( "!(!#1"(<& -! 11 ...2

/ A ) ! : #3 !9 && !!

= !( &!(! &"'(<& ! 11 ...

) (( ! + % /' .

@ : B/ 8! !9B ) := !( "!(

!>,("( ! !9#,;!"(<& ! 11 ---2..

-B @* !/ ! !9> > #*!

&

"'(<& 2! 11 2..