• Aucun résultat trouvé

Multimodal face-to-face interaction with a talking face: mutual attention and deixis

N/A
N/A
Protected

Academic year: 2021

Partager "Multimodal face-to-face interaction with a talking face: mutual attention and deixis"

Copied!
11
0
0

Texte intégral

(1)

HAL Id: hal-00516324

https://hal.archives-ouvertes.fr/hal-00516324

Submitted on 9 Sep 2010

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Multimodal face-to-face interaction with a talking face:

mutual attention and deixis

Gérard Bailly, Frédéric Elisei, Stephan Raidt

To cite this version:

Gérard Bailly, Frédéric Elisei, Stephan Raidt. Multimodal face-to-face interaction with a talking face:

mutual attention and deixis. Human-Computer Interaction, Jul 2005, France. 10 p. �hal-00516324�

(2)

!

"# $ %& '( ') * % $ +* , -. / /0 1

!

2 03 0 * * 0 * 1 3 31

4 ! ! 5! 0 * *, 6 0!

7 ! ! 1 / 0 ! ! 0 ! / !

4 ! / %/ 0 1 4 4 ! 4 1

4! ! 6 / 8 !,* / 1 4 !! 4 14 ! *

/ 8 // ! 6 0 0 4 4 !

0 / 0 5! 1 ! 0 4 0 4 / 11 1

0 94 ! 4 ! 4 ! 4 ! 0 , 4

/ ,: 7 / ! / , 1 / 1 11 10

/ / 1* ! 10 1! /1 ! * 0

"

54 / ,/ / % / , ! / 1; * 80 9; 8:

5! 0 / / 9 < :1 ! , 1 4 !

0 0 / * 4 ! 14 0 1 ,

5! / / ! ! 0 1 1 4 ! ; 8 * 0 !

1 5! * / / 9= 6 = > ) ?= > < <:/ 1 4 !

* ! / / , / ! 1 /,0

4 ! 0 %/ ! 4 0 1 @ 1 ,3

0 21 A / * 1 / * 4! 0

4 !; 8 / % ! 6 * ! * 1

8// / / ! * / 5! ,! , ! > 431 B , 0 / 3 !

B , / ! , ! 1 0 4 ! 3 1 ! 1 14 3 4 !

!0!31 B , / 3 ! B / / ! , ! ,

% 0 = ! 1 3 0 3 ! * ! / 0

11 , * * , 1 31 1 ! 1

5! 4 6 * ! ! , 0 1 1 3 31

* 4 * 0 7 / , ,! ! / 1

1 / 6

"# " $$ $

= 0 ; 8 ! , 0 0 1 3 31 4 ! ! / B

! 0 0 , ! ; 8 ! ! A ! 0!

* 0 0 ! ,6 4 * ! 6 0/

* > ,/ ! 9: ! !1 3 31

9 $ 0 ): B * * 4 ! , ! / 1 1 ! 6 *

/ 1 0 // / 1 ! ; 8 , / 1 *,! * 0 6 4

* / * 0 C * 9) #D:1 % / *E 4 11

B * ! / / F/ G8 %/ & H 0 , 0 > / ! 4

(3)

! , * *, ! / 1 ! ! ! 1 1 ! / / 1 ?

1 @ / 0! I 3 0 ! ! , , /

1 1 ! 0 1 ! ,& 6 3= 9) (: ! 4 ! , 0 > / 1

/ 0 / !/ / 1 * !*, 9 0 3 3

: *, ! 0 69 1 1/! 0 ! A ,:

&

0

1 ,

!, / 0

!, / 0

84 ; *

" ; * 0 *

5! 1 0 ! * 4 1 ! ! 1 !

! / 1 ! 1 , / ! 4 ! * 1

5! 0 / 0* 4 , , !

5! / % , 0 > / 1 ! 1! , ! * ! * 0

, * * 1 0 / / ! / / 5! 1 * ! 4 1

! ! * * * ! J! , 1 H9 6

7 11) D(: 52 ! * / / 9= 3 ! K ) ( ?K ) ": = 3 !

/ / 1 % / ;, L L 9;LL: ,L 9L: * / 1

! 8 ! 9 8 : ! ! 52 A * / 8 / 1 !

B ! 1 0 * 1/ / 0 /

9< ): / 6!0!3 0 6 ! 43

/ / * 1 ! * 5! 43 * / , !

1 / 0 5! 43 / / * / , 1 %

1 0/ 0

7 ! ! ! B 1 , 0 > 1 3 31 , / % B !

/ 1 / / * 0 / , ! , 1 !

4! ! / , 4 ! / 0 !

1 ! ! ! 1 , , / 9 $0 ):

"# %

4 6 00 ! ,* B ,/ , / 1 8

1 * / *, ! 4 6 1 ! * 9) :M4 ! 4 1

0 ! 0 *E 9F! 0 * F : , / *E &

! 4 * / , 4 1 ! 1 0 ! 0

/ 0 9) ?) ( : * A/ 1 0 0 ,/ ,* 4! ! ! 0

/ ! *, 1 ! 4! ! ! 0 // !

K 0 9) ?< :! ! 4 ! * B 6,4! ! 1

! 4 L 9) :! ! 4 ! , 0 > / !

! ! / 1 ! * 1 B 9< : / ! 9 ' :

! * / 4 ! 1 0! ! 0/ 0 !

/ ! 4 / , ! ,9 :4 ! % 11 4! ! / /

' * 1 ! 0

5! 4 6/ * 4 % ! 4 / 1 , !

1

(4)

"# & '

2 / / / * 52 6 !0!3 0 6 ! 43

/ / * 1 0 ! ! 52 4 / !

1 , 4 ! ! 1 11 * 5! *

/ / , % 4 / ! / 0 / ! , / 0 9 0

1 ,: / 6 9 *, 0 / * ! / : 9 0

: 1 ! 1 6 0! 1 ! * /!, % !

1 ! 4 M! 4 ! ! *E 9 0 : 0

! 6 0! 9 ! 1 3 31 , * * 4:

% ( ) $ $ ) $

5! 1 1 3 6 01 / 4! 'L 6 0! 1 ! ! ! 4

$0 < N 4 14 / 1 4 ! 4 ! ! , 0 , 0 >

/ ! 5! 'L 6 ! 6 ! 4! ! 6 5! 1 !

* 1 0 1 3 31

% $ 3 31 9/ ! 0 > :4 ! 'L

%# "

5! 1 , * 1 0! 5! 5 * )D , 3 6

)

4 ,

/ # N> ! , 0 > 1 ! 4! ! 1 , 1 , 'L

9B * 1" 4 ,1 ! : ;11 , * ! 0! 0

! * / ! ! 1 4 0 /! ! 4 4 !'L 4 3

0 1 ! 6 0! !

8 /! /! ! 4 * 4 ! 4 / / 9! ! 0 :

4 ! 1

%# % )

8 3* 0 0 ! * / 4 ! / 0 OO 0 5! 0 0 4 !

, / 1 1 8 1 3 9$ 8: * !

1 4 !/ 3 / 3

8 ! / 0 ! ! $ 8 / 1 4! ! 4 01 3

E 1 %/ ; ! 9 0 0 > 6 ,4 6

/ , 0 > *E : 3 /

3 3 / * 4 M ! 4 1 % / / !

94 ! 1 ! * / 1 ! 0 1 ! 0 1 : *

4 ! 1 1

)

! /M444 * 1 !

P ! !QB ;

(5)

3 ,/ , ! 0 1 5 3 / 1 ! *

, ! ! 1 3 0 /! 9

/ ! 1 : ! 4 * / 00 1/ 3 1 ! 1 ! $ 8

! "

* %

#

* ) + )

;, 5 6 /!

I

$ ! %

/ ! 5 6 0!

1

! 4 /

5 3 /

;

& 8 1 ! 0 !

; ! / 9 / ! 0 > , 6 I : 0 A

1 ! / 1 ! 1 ! , 9 $0 ': 5 00 * !

9 * / 1 ! 6 0 ! 1 % / : 1 6 ; ! ! 0 > /

! ! , / 4 9 J> 0H / *,1 4 0 JB 0 / > H :

/ , ! J> 1 % H 5! $ 8 !

0 /

$ 0 1 ! 0 ! / / * 0

OO 4! ! / * , % * 5! * 1 1 0 OO9 * / / %

0 ! : * ! 0! , /

%# &

7 ! ! 'L // 0 1 ! 9= , = < '?

= , < : 5! , 0 > 1 ! * / , 6 ! 6 4!

! 6 0 ! 90 0 0 1 : ! F <L *E

! 9 0 1 ! , ! / 1 1 0 / 0 : 5!

6 / , ! , 30 >

5! 0 * ! *, ! 0 ! / 6 , ! > 1 % /

/ ! , ! 0 ! 0 113 0! ,

& $ $ )

&# " , $

7 ! 3/ , 0 4! ! F 6 1 / 1 * 0 ! * $ !

, ! 4 6 0 6 9! 0 4 : 81 !

6 ! 1 0! ! , 5! 0 1 ! 0 6 ! 0!

! 0 1 / * 9 $0 ":

$ %/ M ! 1 / , 9 $0 ": !

! 'L ! * 0 , 3 94 ! / ! : 1 ! 3

! 0 E 1 ! 0! * 9 1 / 1 $0 : ! ! !

1 ! 'L ! ! * ! 9 / 1 $0 : ! 1 ! !

0 9! * B 6 / , ! 4 ! 0! / 1 $0 :

4! ! ! M ! ! , * ! ! !

0 % , ! 9 ! 0! ! 6 0 ! * ! 1 :M 1 !

(6)

! 0 0 4! 1 ! ! 0! ! 11

* 1 ! ! , 1 1 ! ! 0 6

- ;%/ ) 4! *

& ' 5! 0 / , ! 1 ! 0! ! 1 ! !

' 7 ! ! 6 ! 4! 9! ! D: ! 0! 4 *

" ' 5! 4 0 4 ! ! ! 6 ! ! 0 9* 1 :

. / 4 1 %/ < ' " / , 4! ! *

5! 0! * ( ) ! / ( ) *, , 3

1 ! 'L ! " ( ) 4

&# %

5 9 % 1 1 : 6 / ! %/ *, / , 0 ! 30 * *

/ 0 0 1 <' '' , 4 8 0 , /

/ / * 5! , 4 * ! 0! , 1 * *E

; ! ! / , ! 0 4 ! ! 1 %/ * *

; ! %/ 4 *, / 1 0 0 4 1 4 *,

/ 0 0 4 ! ! / ! 5! 0! ! 4 ! 4 4

4! ! 4 9 / , 4 , : 6 ! ! ! 4

! 0,4 00 * ! 4 1 ! ! 0 / 1 / * N

! / * 4 4 / ! <" / ! ; ! 1 <" 6 * ! 0! / *

1 / 4 % , !

L 0 ! 1 / , 0 ! ! ! 0! / 4 9 1 ! 6

! J H 1 ! 6 !: 7 4! ! ! 6 4! !

! ! 6 ! 94! * : 1 1 ! 4 0 5! , 30 > ,9 E /

4 ! ! *E :4 6 1 1 , 8 , 0 1 ! /

0 4

81 ! %/ 94! ! ! < : / / 1 1 * *E

/ 1 ! %/ B 1, 0 ! 1 4 0 / M

• B , 6 1 3/ M ! 6 , 6 R7 !

, 0 > 0! 1 ! ! "R

(7)

• 6M ! , ! 6 ! ,4 1 R7 ! , 1 *, ! 0 ,

0 > 9 <:RL ! , ! 4! 0 ! 9 ' ":R

• ;%/ M7 ! ! ! ,/ 1 9 6 0 ! 4 0 /

6 0 ! 0! / ! :R7 ! ! 4 ! , ! / 1 ! 6 !

! 1 / * R

&# & $ )

**+ , - % .

5! 0 6 4 ! / 4 0 / ! 6 * 1 1 !

0 1 ;% 0 0 ! ) < ,

' 9 6 0 ! : '" " 9 0 ! : $ !

! B ! 0! ) S 9'" <" : 8 * 4 6 9

1 * 3/ $0 #:

/ 6 0 M ! % / 1 ! 4 6 0 ! / 0! *

! 6 ! * 4 ! 4 ! 6 0 0!* 0 4! , 0 > ! ,

* , 1 B 9 , " 4! * 4 1 ! :

5! 6* 0 1 ,/ 1 ! 1 ! %/ 4 4 , ! / 1

0 4! ! ! / 1 0 , 0 > ! !

/ / 11 ,

**/ 0 ! .

5! / ! 10 $0 D ! * 1 ! *, !

/ 1 ! 6 7 ! / $0 ( ! / 6 0 0 1

/ M ! 0 / ! ! , 4 1 1

4! 4 * 7 ! ! * %/ ! 4 10 4 * ! / 1 !

! 1 ! 4! ! ! * * ! !

9 / *, : $0 4 ! ! 0 ! * 1 ! 4 6 *, !

0 ! * 1 6 0 ! 0! 5! 10 / ! *

! ) < ' 5! / 6 0 4 ! / 1 ! / 6 0

!

8 %/ 4 ! 3 1 % / % 6 *,1 9 0 ) : 4 9 0 ):

! ! E , / 1 4 * / 1

K 4 / 6 0 ! 4! ! 4 * M 0 > 4 0 !

/ ,4! 00 0 ! 0 ! 0 , < ' 9*

:! / 6 0 !

$ ) < ! * 1 6 ! ! 0! 5! * 1 ! 1 ! 6 0

! ,4 , 1 ! ! $ ! ! ! ! * 4 ! 4 11

,1 ! 9' ) #:

(8)

0 5 *, ! 1 ! ) < '

9* %/ 4 ! 4 B :

1 5 / 6 0 ! 0 4! 6 0 !

94! ! ! / ! 0 :

2 N 0 1 ! * 1 6 *, ! 9 : ! ! 9 4 :

(9)

K 6 0 ! ! 10 ! * 1 1 ! ! ! 4

// , ! ! 11 * ! M ! ,* 1 */ *

1 ! */ $ % / M

• " / ! 9 )D 1 ! : / 1 ! 6 1 !

! ! 0 1 , 11 ! !

1 % / # 9 / ,< ) ) ( ) " 1 ! :

• D , 6 ! < 4! < 6 0!

0 * B

• '9 0 > ! : ) " 6 *, !

94 ! ! 1 ! 0 > 0 ! :4! ) , 6

• ' * ) ' # 6 , * 1 1 0 ! 7 ! !

! / 1 ! ) 1 ! 1 6 0 4

5 ! / 1 0 * ! 0 / 0 4 , / ! 1 ! / 1 ! 6

4 ! ! ! 1 ! ! 4 5! ! / * * 4! !

0! * ! M! ! 0 4 * ! / $0 ) /

* , ! 1 * ! 1

"3 ;11 ,9 : 1 ! , 0 0 0 11

$ ! 1 */ 1 ! / / 0 1 ! < ' 4

! / 1 4 ' ! < ;% / 1 " ' ) # ! 6

! ' ' < ! 6 ! < 4 ! ! !

1 ! *, ! * , %/ 1 ! 0 ! 1 ! 6

9! */ : ' 4! 4 6 0 ! * ! 1 ! 4 4 !

) 7 1 ! , ! 6 ! 96 4 0 ! ! 4 * / : 1 ! ,

! / 6 0

8 ! * </ 1 1 9 4 ! ! ,: ! ' ! )9

*/ : 2 , ' ) # 0! ! / 1 1 ! 1 ! 0 *, ! , 0 > 1 ! M ! ,

! , 4! 0 1 6 0 ! 2 ! / 0 , 1 % / *

*,! *

*** 0 ! ! ! .

$ ' ) # 4 1 ! ! , ! 1 ! 1 ! 'M ! * 1

! , 6 0 1 , 4 M! , 1 / ,<' <) < / 91 ! <":4! 6 0

, 4 5! / ! ! 'L * 1 1 / 0 ! 0!

1 , // ! ! 64 ! * / 1 1 4 ! ! ! / 1 ! *,* 1

6 0 , ,9 ) ": 0 , 4 ! ! 9! , 3 6

/ /! : 5! , %/ 4!, ! / 3 %/ B / 4

0 1 , 11 1 ! E 0 ! / 9 1 0 /! 1$0 )): 8 ! 0 0 !

1 1! ! / , 0 > 0! 3 %/

3 / ! 1 ! 9 0! 0 /! 1$0 )): 4 1

! 1 1 1 ! * ! 9 : ! 0 9 ' # ):

(10)

"" / 1 ! * ! / ! 1 1 ! , 0 > !

9 ) ' / , < ':

**1 0 ! %

7 * ! 1 11 0 0 , * 01 3 31 * 4 'L 6 0!

/ * 1 ! ,

21 'L 0 6 ! / ! 1 1 !1 , ! !

'L 4 6 ! 1 ! , 0,9 " ! * 3/ $0 #:

* 4! ! ! 6 , 0 > * / 0 * 9 ! 0!

! 6 ! 1 , 4 ! 1 T A 6 1 T0 A 6 : $ ! *E

4 0! , , 0 > 1 ! ! , 9! ,4 / ,

! 1 ! 4 !,0 :

L / ! 1 / ,4 ! ! 6 1 / , / 0 ! ,

0 > 'L * % ,4 ! 0 0 ! 6 0 6

2 1 %/ 11 ! 4! / 11 0 7

// ! * , 1 / 1 1

0 ! 0! 1 M4 ! ! 0 ! 4 / !

1 / / 4 ! ! / & 0 ! 1 / 1 ! /

4 1 ! 0 4 / 1 ! 6 0! * 0 %/

4! ! ! 0 ! 0! 2 4 , ! ! 4 * ! / * / * 4 4

! ! , 1 / * 4 ! / 0 5! * 1

* * ,4! 6 5 ! 61 ! * 1 0 %

0! * ! 0! * / 1 ! / /

- +

7 ! / ! 1 %* !,* / 1 9! 4 14 , : ! 4 /

3 1 3 31 / 4 ! 6 0 0 ! ,1 ,

8 1 %/ 4 4 ! / , 0 0 J ! 1 ! H

4! 0 4 / / ! / ! 1 7 %/ ! 0 , 0 > 1

! 'L % , 0! 1 / 1 4 ! 0 ,

, ! 4 ! 4 0 ! 10 / 1 ! 61 ,M ! ,

! 14 ! 4 ! ! ! 0 0 ! !

4! ! ! , / ! 6 1 ! !

/ 0

7 ! 1 ,* 1 ! / 1 1 7 * !

! , 0 1! / 1! 1 3 31 1 *

* 7 , 0 0 3 , 30 > / 1!

/ 6 1 3 31 4 ! / 1 ! / 6 0 0 7 !

%/ / ! 0 > % 1 ! %/ ,

* 0 > / 4! / 6 09& 0 0 & E ! < ):

(11)

7 0 1 , 6 4 0 ! / 1N Q KU * 6 ! ! 1 7 ! 68

8 ! /! % 1 ! ! 4 ! ! / / 1 4

! 2 7 *, ! 4 1 ! ! /1 7 0 1

%/ / / 5! 4 6 4 ! * / * 4 ! ! 1 / / E

0

' $

= , = $ ; 2 9< ': J8 / ! , ! H V 1

/ ! 5 ! 0,/M'')3'"#

= 3 ! 8 K $ ! 9) ( : JL ! ! ! J! , 1 HRH 0 %"M

'D3"#

= > 9< <: L 0 0 * * 5! 5

= 6 8 = > E = 7 9) : 5! 0 E M= 0

N * G / 1 /! 8 0, 80 K 8 1

0 ! 4 C 6 / 0 <@(D

V V ; ! ! 9< : ; * 80 * 0 5

L V L W ; %4 = 3 ! 9) : J ! !

* M0 > / / 00 / 0 H & 0 /9:M

3 "

K 0 & = 9) : J 1 % 0 / ! 1 ! H&

0 /9:M ")3 #D

K 0 V 7 & = 9< : JL ! , ! R ! 1 H5

0 -9<:M 3

K 8 9) ": 5 5 =C 80 ,M ! / 1 , // 0 ! M

L / 1 , 0 K 8 N !1 8 * 0 * 0

, )) @)"(

9) : J5! , 1 ! ! * H8 4 1 "& M

< 3"<

9) ( : J2 0 1 HX ,V 1;%/ , ! 0,&% M'3<

6 L 7 119) D(: JL ! ! / > ! ! , 1 RH= ! *

"M ) 3 <#

K = , = 9< : 25N; M 4 0 1 6 0 ! / 0 1 %*

, 1 3 / ! 1 / ! K 0 0

0 = E 03 ! MD 3D (

= 9< ): $ 1 ! , 1 1 ! * L / 1 /

; ; 0 0 = 3 8 5/

L V $ ! * 9) : J M * 1 ,

H / %1M) 3) D"

& 6 3= ; 3 ; 0 C W ! 9) (: J;, 1/ 0

/ ! / / H / Y , ! /!, /3 M <#3 "

& 0 0 & 8 E ! 9< ): ;, > M5!

80 5! ! ;, 1 N $ / 0

, 7 ! 0 8 4 C 6 C 8

C * 8 K 9) #D: ;, 0/ / 1 / % *E ;, & F K 8

00 4 C 6 4 )D)3) #

Références

Documents relatifs

This paper presented an automatic prediction of Extraversion personality trait during thin slices of interaction with social robots, using non-verbal movement features.. A

Condition 4 of experiment I is replaced by a condition with correct hints, where an additional delay of 200 ms is introduced between the gestural and the following acoustic

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des

The eye gaze of the clone can be controlled independently to look at the user, at the spot same on the screen as does the user (giving signs of mutual attention) or to

Condition 4 of experiment I (numbers on cards not shown) is replaced by a condition with correct hints, where an additional delay of 200 ms was introduced between the facial and

Figure 3: Fixation profiles of all interactions of our target speaker over role, ROI (face, right eye, left eye, mouth, else) and cognitive state CS (speaking, listening,

Ce modèle distingue essentiellement trois boucles dont les temps de réaction sont de plus en plus lents car travaillant sur des unités de discours de plus en plus larges : (a)

Right: Results in Gibson &amp; Pick (1963), measured as frequency of positive answers to the question whether the gaze of a looker was directed towards the subject or not, when