Proceedings Chapter
Reference
A model for context-based evaluation of language processing systems and its application to machine translation evaluation
POPESCU-BELIS, Andréi, et al.
POPESCU-BELIS, Andréi, et al . A model for context-based evaluation of language processing systems and its application to machine translation evaluation. In: Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC) . p. 691-696
Available at:
http://archive-ouverte.unige.ch/unige:3444
Disclaimer: layout of this document may differ from the published version.
! " # $
!
"#"" $ % &
' ( ( ) & ( & && * + , + ) $ -. ) + )/
%
/ ( ( $ ( ( * & * $ , / , )) / & ) / ) 0 12 *
/ ( ) / * ) & / * 3 ) ( ) & / ) 0 ( 4 & * &
0(& / $ ) ( + ) 0 ( ) ) && $ ) ( ) ( ) 0
4 & * & $/)/ ) ) 5 )/ * 0(
& & 6 & ), $& + ( & + / * )/ * ( (
/ / * ( ) / $ , / 5 * $ , / & * )/ & $/)/ *(&*
( & / ( * & $/)/ ) & & +$ / +/ * / *
&' (
/ $ &
+ / $ / / ! 2 + & / * & + +
)/ &+ 782 9 & ( ( * &
* $ , / % & ( ) (
) ( / * $ , ) ) / &
( ) / ( & & ( 4 & )/ ) )
( ) )4 & & * ) *
)/ ( ) & * !&/ +/ /
*( ) & / + / &
4 * / 4 & * & / & +
) + % + ) )) / & )
& & / ( ( $ ( ( * $ , /
&&$ / ! 2 + & 82
& * & / & /
) 0 82 * / 4 4 &
)/ ) ) / / $ && &
/ +/ ( ) )* )
/ ( ( + % &&$ ) # $
/ ( * & $
4 & / ) : ) / + )
) 0 &4 & * &7 6 9 / & / )
( ) ( / ) 0 / /
4 & * & ) / $ / $ / * &) &
) * ( & & 0(
& / +/ / ( ) ) )
$ ,&$ / 5 * $ , / &
* )/ & $/)/ / * (
) / ( ( ( & * ( ) ) &
) & ) ; & + $ / /
*(&* ) & & 5 && / ((&)
/ ( ( * & / * )
) <
)' * + ( ,-(
$ / ="#< " ;=>
/ & $ & ( + &
4 & / ( ) &
$ / / $ & ) )& 7 "=== ?
# "9 / & 0 &4 & $
* ) ) *( 0 )&
4 & )/ ) ) & ) & & &
& ) ) * & ( & ?
/ * / )/
)/ ) ) ( + )/( ) & * )/
&& & + / )/ * + * &
/ ( 4 & * & * )
) &&
!)) + " ;=>" 7 # @ ( "#
+ 9 / $ & ) )& $ / / & /
4 * / $ && $
/ $ $/)/ * $
( ) ) 0 &4 & 4 * A +
& &(* $ 4 & &
& / *(&* )/ ) ) /
$ A + / + ( &(/
) * ( & / / &4 &
/ 0 &4 & / 0 $/)/ / $
/ ( ) 4 * 5 && + ),
/ & 4 & / 0
$/)/ / $ && / &( & &&/ ,
/ ) 0 / (( /
) & & ) / 4 & * &/ ((&
& $ / & ) $ ), $& +
/ ) 82 / ! 2 & $ , +
+ ( 7"==<9 ( ) ) * / &
!! ( B) 7 !! "==<@ )/ ( 9 8 $
* ( ( ( & $ ( $
% * & ( / & )
( / &&$ + *( * 0 *(&
/ 0 $ " ;=>
/ 0 *(& ) ) / & , $ /
+ / & $ /
) & ( ) & /
)/ ) 4 & * &7 "=== @ ! 0 C
( #" ##9 5 ) / , * $
* & ) *( 7/+/ + 9 /
* & ) 4 / *( )
/ 0 (( * 4 & )/ ) ) * B
$ &&@ &$ + ) & / *
*( + &)/ ) ) * & /
& ?$/ /+/ + & & ) * /
* *( ( & / & 0 *(&
0 &* ) 7 )/ 4 & )/ ) )9
)) ( ) ) ( $ &&
/ ) 0 *(& ) /
& & & * * & ) ) & ) ) +
)& / @ * ( (&
/ ) * ) 7 "==>@
! 0 C ( ## #;9 !+ * * + &
)/ 4 / & * ) ) & &
& & 4
/ ="#< " ;=>
) & + ) / 6 D * &E
7!% *
# "9 / ) / & ) / 4 &
4 * $ && / B) / #; : /
F6 & D 4 * A G $/)/ &&
$ &* ) / $ / ( ( &
) *( & $ / / ) )
4 & 4 * 7 ! H !( &# :9
.' # /
/ &&$ + * $ , * & (
4 & * & / ) 0 / &
$ / * $/)/ ((& $ &
* $/ * $/ & + + 4 & * )
& & / ) & )/ /
* *( * ) + / /
$ E ) $ & *( & ) &&/
( & $ / ) $ &
/ $ +/ )) + * )& )
/ *( ) / * ) / ( * $ ,
+ &% ( ( ( & / &
* )/ & & 7 ) ;9 ((&) &
& / ) *(&0 * 82 $/ *
* ) ) 0 7 ) <9
.'&' 0 *
/
( $ ,78 I +H ( ) C & # #@
( ;; ;<9 $ + / 4 & * & ) &
( )& & + + )
((& / ) ( 4 & * ) )/
* * ( ) )/ )/ 1 &&) ) /
) * ) / ( /
4 & * & & / /+/ / ) ) /
+ / *( ) / * ) / 4 & * &
& ) + * / & &
/ / /+/ / ) ) / /+/ / $ +/ /
( ) ) / + ) 4 & * &
+ * & / )/
)/ ) ) )/ ) )
( ) (
& / & / 0 *
* & & / ) 0
4 * ) & ) &
$/)/ )/ ) % / ( ) ) , / &
* / ( / ( ( /
* / ) ( +) 0 ) / (
) ( + / / ((& / ( ) &
) 0 J" J / / J J &
C & ( + * )
( $ & &&$ / ) + / *( )
)/) 0 $ / ( ) / /
/ 4 & ) ) C & *(& )
& & 4 & * ) / &
$ +/ / & ) / $ +/ /
/ & * + + ) / +
/ & ) / ) / ) /
) / * )/ * 4 &
/ && ) / * )/
4 ) && / B)
+ $/ / + / & &
( + (/ ( ) ) & / ,
$ +/ + ) & $/ / &
) + + / ) / & *
& ) * (&
$/ &&$ )& $ $ && &
) C & ) ) 0 4 & /
/ ) 0 *(& )
J((&) & J ((&) & + ) 0 4 & *(& J & J &
$ / + 4 & * & ! * ) *(&0 (
/ C & ) 0 )
* ) 4 & ) / $ / $ +/ 4 &
* )
.')' 1 / 21 / 3
3 ( ( & / ) ( ) (
/ ) 0 )/ ) ) / / 4 & * &
/ +/ / ( ) )* 0 / + & 0(
+/ $ * / $ / 4 & * &/
* & ( + / ) 0
/ & $ / $ / + &
+ ( ) / ) ) 0 )
/ * (( ( 4 & ) / (
0( ) & 0( / & ) +
/ 4 & / & + ) 0
3 ( ( ) *( / & ) / ) 0
7 ) 9 / 4 & * &7 ) 9 + * 0
$/)/ $ ( % F+ )) 0 &4 & * &G
6 " 3 ) && / * 0 ( ( / /
4 & ) 6 ) ( + / ) 0 )
*(& /
)& (( / * & )
7 / / )/ ( & ) 0 )/ ) ) /
& & 9 / / 4 & ) 6
* & ) 7 / 4 & 9 /
* 0 ) &* $ $/)/ )
C & * ) / ) / * 0
C & / / * 0( ) * & ) *(
C & $ 7* &(&) * +J *
* J 9 / * 0 C & / / ( )
) ) *( * ) && / & + 4 &
) ) & * )
! *(& ( / 6 * 0 / /
& $ ) $/)/ 4 &
& / ) 0 )/ ) ) 1 * &
) ) ! / $ % / 4 &
! & / ) 0 )/ ) ) /
6 4 & * & + )
) ( ) $ && ) 0 && 4 &
)/ ) )
"
1 / / ( 6 / ) &
$ / / 0 + 6 * &7 &E 6 E )9 $/)/
* / 4 & * * &
$ ( B) ( ) ( ) 7* *
/ (@ &+ ) + $ 0( ) +4* /*9 / *
& / $ ) * &&
.'.' 1 /
/ ) ) / + ) ) ( )
$ ) 0 4 & )
) *(&0 , ( ) & + * / 6
/ & * / , $& + & 0( $/
& / 4 & )/ ) )
/ & ( ) ) ( ) / ) 0
3 ( ( / )/ 0( / ( &
+ 6 * 0 7 + (( (
) ) #9 / + / * )
( & 0( ++ + 6 C &
6 ) / ) ++ + /
+ &+) & 7 & 4 & &) && 0(
, ( 9 + 7 && &) 4 & , ( 9
/ 6 / / * ) /
* / , $& + / & $ ) 0
4 & / ( ( & &
( &+ /* 78 I +H ( ) C & # #9
$/)/ * & * &+
*(&* / 8 $ / $ /
( ) & / 0 * ) 0
4 & )/ ) ) && B) &
!)) + / ) ( & / & /
0 * ) & (( / ) 0 4 & )
$/& / $ & ) &
F ( G / & &$ / * /
) * ) &) $ / / ( & / *
4 & ) ( ) & * ) $/)/
(( / & E / * &
4' ( 5 6 $
/ / ( ( ) 0 (
& + & & ((
/ * )/ * &
+ / * & 0( / & /
* ) ) ) @ / / & &
& 4 & & ) 0 /
$ ( ( / &&$ + $ ,&$ )
) 3 ( ( $ ,&$
& 7) && F G9 0( / &
+( ( ) / $ ) +
4'&' # 7 0 $
/ & )/ 4 & * &
( ( & / ) 0 / * /
$ && & / ++ 4 &
* & ( + / ) 0 /
/ ( / & $ / &
)/ ) ) / ) 0 * + $/)/ / /
&) / / ) / ) 0
) / ) 0 )&), + F * G
/ ) (& / & 4 &
7 / &) *( 6 K 0 /
&9 $/)/ ) & ) /+/&+/ * + &&
/ ( & 4 & ! / ( / / )/
/ * )7 9 / / $ ((& )/
&* ) ( ( / + &4 & * &
E + / * ) & * 8 $ /
&) ) ) ( ) **
)/ / * ) ( & / )
& & / & ) * ) &) /
& ) / & (& $/)/ )
& / / $
* ( ) &
4')' 7 0 $
0( 4 & , $ ) 0
4 & & 4 & )/)/ ) )
/ ) 0 $/)/ * 6
)& & / 0( , + / $ / * 0
/ && E ) * ( (
/ 0( $ ,&$ 4 / 0( $ ,
)/) 0 )/ ) ) ( & / + /
)/ ) ) 0 )/ ) ) $/)/ +
) * & / + / + &
0) ( / & ) 0 )/ ) ) / * )
&) / / $/ & & 4 & )/ ) ) (& &&$ + / 0( &)
/ & 4 & / ) 0 / $
&) / 0( ) / / & , ( )
/ ) 0 )/ ) ) ** & &
# ) & 0( / 6
/ ) + ) 6 $/)/)
+ & 7 & 9 F G
/ $ / &&$ + )
4'.' # 0 $
(( * / $ ( ) / /
+ & 7 & 9 / 0( / ( /
$ ,&$ ) $ / / * ) /
0( , 4 & * &7$ , +
) 0 )/ ) ) 9 $/&
( &$ / ( ( 4 & * &
3 & / / ( & *
B 4 & * & / & & ,
)) / * )/ ) * )
)& + / ( )& ) 4 &
/ * , / ) $
0( & 3 ( ( / &&$ /
0( B 4 & * & &&$ +
) ** $ ,&$ ) 5+ " &$
) + & B 4 & * &
) & * / / &$ && &
0( / + & @ )/ ) &
* / 6 ) &
/ +& & ( +& & + +
/ ) ** $ ,&$ $ / / &) /
6 @ 0( &) / )
7 / + / & 6
0( 9 $/& 0( ) $ / & , 6
) $ , + ( &
0( / ( *( &) ) 0 &
@ * )/ ) % / ) &
) / ( )(& & /
* / 0( 3 / ( ) + / 4 & * &
& + * / * 0( ) ( $ /
/ 4 & * &) ( + / ) 0 $/&
0( / $ & , 4 & * & $/)/ / 4 &
8 $ / & ) &
* 4 & * / * &/ ) /
) ( ( ( $ $ $ &&( *( / * ( ) /
) 0 )/ ) ) $/)/ / 4 &
& / 4 & * & / *
# / / 0( ( / ( & 6
& / && / & , ( & 3 / +
$ / 0( & & / 6 &
/ )
0( ) / F G 6
/ +& & ( & &&$ ) &
( / &@ ) 0 4 & * & * )
5+ "@ + $ ,&$ ) 0
& @ 0(
/ $ & / ( 0( *
( & )/ & *
&% * ) 0 )/ ) ) 4 &
/ / ) 0 )/ ) ) )
& 4 & * &7 + / ) 6 9 )
) *( C / ) *( $ / /
4 & * ) / ( & / 4 &
* &) & / & )
$ 6 $/)/ ) / +& & 6
( &
8' 9 (: (
5 / 5 * $ , / & )/
& 2 78 I +H ( ) C & # #9
* + & ) 82
& ( $ / ! 2 ( B) 7I + H
+ "==>9 &
$ & / * )/ & 7 9
* && / ) ( / + &
$ & & / / 5
+ & ( ) & % / *
* $ / )/ + 4 &
)/ ) ) * ) / &* 4 & * &
$ ) & (& / & + &
( ) && / +/ $ 4 & + && ) &&
& ) 7 / ) ( ) ( ) &0) &&
) ) && $ && * ) 9 & 7 /
) ( ) ( / * + / ) 09
* &( &$ & /
4 & & ( ) * 0 &
) + 5 0 *(& / L ( 7 H
D )/ "==;9 )& & ) * % &
((&) & ( ) & + +
) + * &+ & + ) *
) ) / )/ 8 7"==:9 *
&$ & ((&) ) & &
* , ), / ) !* +
/ ) 5 / $ , / M(
&) ) A &(* ! ) 7M A!9
+ / & + /
4 & & * 71 * H
/ "==# ?"==# 9
8'&' 9 (
5 *(/ % / ) & & ) / ) 0
* / 4 & / / &
* & / * 5
/ &( & ) ) 4 & * &
/ 0( ) ) 0 ( ) &
$ / # : 5 & & &
$ ) 7/ (@ $$$ ) + )/( B)
& * 9 $/)/$ *(&* / +/ & + ) &
) ( & + + ) ( /
& ) ** / $ ) / 2
& 3 , ( ), $& + && /
) 5 7 / F! 5 G ) 9
+ + 8 7"===9 / )/) & (
/) 0 4 & )/ ) ) *
5 * $ & )& )
0 * * && ) && ( (
/ 0 * & & /
) 0 / *7 9 / *
& / $ 4 *
/ * ( ) ) / / (
/ * / ( , /
/ ( / * && / ( ( &
* & , ))
( 0( ) N7 6 9
• & @ + ( &7 &9
• 0( @ & , +$ ,
• 0( @ 6 + $ ,
7 + $ )/ ) )9
A ) / ) 0 / $
• & @ &) && ((&) & )/ ) )
• 0( @ &) / )/ ) ) $ ,
&), / J *
/ & 4 & 7 9 $ /+/&+/
/ (& )& ) ! B / 4 &
* & / N7 9
0 ) / &
! & 4 &
* / * &
B 6
&) * )( 4 &
( ) 0 4 & * )
5+ #@ 5 + ) $ / *(& ) 0
)/ ) ))/ ), $ 4 & $ /* )
/ ) 0 * & / $ 4 &
)/ ) ) / )/ )/ ) ) $ /
& 0 &4 & / *
& & / (( & & * )/ / ="#<
)/ ) ) $/& / &$ & & *
( ) ) 5 )/
) / * ) / ) ** &
(
/ * + & ( ) 5 && *(&*
& * ) 7 5+ # / 0
) 9 * (( + * / ( / )
( $/)/ / 4 & )/ ) )
)/ ) ) * ) / & )/
/ ) 0 5 ) / $ 5+ #
J * &+ ( ) 7 ) &
( 9 *( 4 & * *
J ) * + + 7 ) 0 * ( 9
3 / / & , &&/ ) 0 )/ ) ) * ( / ((& + ) 0 &&$ / &
4 & * ( $/)/ )
4 & * & !&/ +/ * / ) &(
$ + 6 0(& / & ,
* ( ( && $ ,
8')' 9 (: * ( #
! *( + & / &(* 5
& / 0( / / *
) ( $ ) & *
) ) & / $ 5+ #
! ) 0( & &(*
!&/ +/ * 5 $ *(&*
) & &(* &
& / $ D2@/ (@ $$$ ) + )/ *
/ * )/ + ) / # :
/ * ) ) *
)/ ) * ) : $/)/ + $ ( +
/ & * / O 2 & / ) / *
& ) 0 4 & )/ ) ) /
) * O 0 & ( + O 2
& / M ) ( &&$ / +
0( & / )/ / / / )
( ) + / * )& + / ) &
( ) 0 4 & * &
/ * 0( ) & + / 6
& ) * / ) 0
/ +/ / ) ( + / )/ & / &
/ * / ) 5+ # / / 4 &
& / ( ) )) 0 (( /+/&+/ (
7 +/ / * / ) 5+ #9 !
&) +4 & * ) / * &)
8 2 A5 D 5 * / , ) O 2
O 2 5 ( )
/ & , + * )/ * *(&* + /
* ) ) $ ( &
( &@ 0(& / * )/ * ) *( /
& 4 & * ( / & , ( /
+ / * / 0 +5 ) / &
)/ / $ / 0( , $& +
! 0( ) $ && ( ( & ,
& 6 $/)/ $ && / ) *
) 6 & / * + *
0( +/ & 6
) ) & /
+ + 6 4 5 * 0
:! ( ) * & & / (@ ) ) ( )/ +
;'
/ ) (( )/ ) 0 &
( / / ( + )) / &
E ( & / & & & + + )/ &+ $ /
$ &/ 0( ) ( & $
* )& / / * )(& /
& & + + )/ &+ ) & & * )/
& * $ , * &
) 0 ( & / ( &
((&) * $ & / $ / & + +
4 & * ) / *( ) $/)/ (
/ ) 0 !((&) * /
)& & * & * $/)/
( ( & , & $ * ( ),
M 7# "9 &+ * 5 &+ *
$/& / !D!A * / &+ 73 &, "==P9
* )& / / ( ) 4 &
/ * )
D ) ** >;" 7 Q&& # 9 ), $& + / ) 0 &4 & * & $ / &
0 &4 & ( + ( , &+ *
/ + &( ( * $ ,$ / (
& (( & )/ + (( (
* ) + 4 & * & ( ) ) &
& &&$ 0( ) && / /
, $& + ) $ && (
$ * & + / / * ( &&
) & @ / ) 0 $/)/ / *
4 & )/ ) ) / $ 7 /
) * )9 / * (( + $ / $
3 & / $ && & ((& / *
* & + )/ 4 / * ) *(&0 * )/
+ & 0 * + $/)/ && * + + )/ &+ $ /& & ( 0( ) )
& E I + $ 7# <9
) / & *
* $ , $/)/ $ && &&$ && , / & /
& 0 * + / / , $& +
0( )
6 $
/ )/ (( / $ 1 &
) ) 5 $ / / + # #" " ::">
*
!% * 7# "9 6 D @ / 1 0 /
="#< " ;=> &
$ ) 6 & "
#$$% %#&
2 I (( ::P: <
/ )/I 3 8 8 7"==:9 !((&)
** & ' &> (( #:=
#;>
! 2 & 3 , + ( 7"==<9 ( )
* 2 + + "
( + , &+ ! 3 D #
8 8 7"===9 $ 5 & A
& ) )/ &
" & ( ) + ,&
&
8 8 I + ( ) C & ! 7# #9
)(& 0 C )/ &
& & ' &"P7"9 (( " ::
7"==>9 -./- %0123415%223 44 44 " 44 " 15"
& + %
%
7"=== 9 -./- %01234%5%222 44
- ' & 44 "
44 " %5 . &
+ % %
7"=== 9 -./- %0123405%222 44 44 " 44 " 05"
& + %
%
7# "9 -./- 2%#64%5#$$% 44
44 " 44 " %5
& + %
%
I + + C 7"==>9 1 &
2 + + * & " )
%223 ( &" # (( ##; #:
I + $ 1 7# <9 & + * )
* @ / / && + " ) #$$6
& (
M D )/ ! 7"==;9 ' ' &
" D ( L 2
Q&& 7# 9 ! 1 $ D ) ** /
& &(/ C ( , A &+
* " ) #$$02 + &
&L (( "< P"<"
1 * 8 / 8 7"==# 9 / M A! D (
)/ & " ( '( + ,&
' 57 8 9
A + ! !
1 * 8 / 8 7"==# 9 M A!R
)/ & & -" : - *
* ) , M( *
) + ) M( (( " P""
( ), M I 7# "9 ! * ) & + +
* ( ) +@ / , + & *
) &P7"9 (( #= <
3 ! ! !( & ! 7# :9
6 D @ / ) +
$ ( ) 4 & " -( ' 9 #$$;
&D ! !
!! 7"==<9 ' (( 8
( + , &+ ( / + A * , 2D <# P 3 &, ! 2 * A M I ** ! ! && !
7"==P9 !D!A @ ! 5 * $ , & +
( , A &+ !+ " ( )/
( )<2= ( (( #P" #>
