مناهج تقويم جودة الترجمة الآلية، مقياس تير نموذجا

(1)

دلجملا 23 / ددـــعلا : 1 ( 2020 ) ، ص 55 - 72

55

Cahiers de Traduction

ريت سايقم :ةيللآا ةمجرتلا ةدوج ميوقت جهانم اجذومنTER

Methods for assessing machine translation quality : TER scale as a model

ةخيرف حتاف

رئازلجا ةعماج 2

ةجمترلا دهعم ، ،

fatah.frikha.univ@gmail.com

:ملاتسلاا خيرات 15

/ 05 / 2018

ا خيرات لوبقل : 15 / 06 / 2018

صّخلم ،يرت سايقم في لثمتلماو ،ةيللآا ةجمترلا يموقتل ةيللآا سيياقلما دحأ ةيحلاص ىدم ةسارد لىإ ثحبلا اذه في فدنه دهلجاو لالماو تقولل هكلاهتسا هيلع باعي يذلا ناسنلإا يموقت نع ءانغتسلااب حمسي يعوضوم يموقت جاتنلإ ،هيلع موقي يذلا جهنلما لىإ ّثم ،سايقلما اذبه فيرعتلا لىإ لاوأ انقرطتف ،نايحلأا بلغأ في ةيتاذلا همكتح يذلاو ضالخا ةجمترلا يموقت ةملاعل هباسح ةقيرط انحرش كلذ دعب سايقملل رابتخاب انتسارد متنخ نأ لبق ،يموقتلل ةع

.

حاتفملا تاملكلا ةيعجرلما ةجمترلا ،يموقتلل ةعضالخا ةجمترلا ،ةيللآا ةجمترلا يموقت ،يرت سايقم :

.

Abstract

This study aims at finding out to what extent one of the metrics for MT evaluation, namely TER score, is reliable for the production of an objective evaluation of MT, for a possible substitution for costly, exhausting, and subjective human evaluation for MT. Therefore, an introduction to the metric is to start with, followed by a discussion of the method TER. Then, TER method for generating MT evaluation scores is explained. Lastly, an experiment of TER is to end up with.

Keywords: TER score, MT evaluation, hypothesis translation, reference translation.

:لسرملا فلؤملا حتاف ةيخرف

(2)

حتاف ةخيرف

ةمدقم لىإ ةجالحا تعفد دقل

،ةيللآا ةجمترلا اميسلاو ،ةجمترلل فلكم يرغو لهسو عيرسو يعوضوم يموقت جاتنإ

ميمصت لىإ ةدع

مظن ريوطت ربامخ في اهمادختسا اههمأ ةفلتمخو ةديدع برآمو تاياغل كلذو ،يموقتلل ةيلآ سيياقم

يدحتلا نأ لاإ ،ةرم لك في مظنلا هتاه ىلع أرطت تيلا تاثيدحتلاو تايريغتلا يرثأت ىدم يموقت فدبه ةيللآا ةجمترلا حيحصلا ةجمترلا نأ ةقيقح في نمكي ايلآ ةيللآا ةجمترلا يموقت في نايحلأا نم يرثك في ةفلتمخ تلاامتحا ةدع لبقت ة

.ةدقعمو ةيرسع ةمهم ايلآ ةجمترلا يموقت قيقتح نم لعج يذلا رملأا ،ادحاو لاامتحا سيلو امم اههمأ لعلو ،ةيللآا ةجمترلا يموقتل ةيلآ سيياقم ةدع لعفلاب تممص دق هنأ لاإ كلذ نم مغرلا ىلعو

سيياقم نلآا ةحاسلا هيلع رفوتت اممو صاصتخلاا لهأ ينب عاش ولب

(^BLEU) ةنس ممصلما

2002

(Papineni, Roukos, Ward, & Zhu, 2002; Papineni, Roukos, Ward, Henderson, &

Reeder, 2002)

تسينو (^NIST) ةنس ممصلما

2002 (Doddington, 2002)

رويتيمو

(METEOR)

ةنس ممصلما

2004 (Lavie, Sagae, & Jayaraman, 2004)

نم يرثك ابهوشي سيياقلما هتاه نأ يرغ ،

يموقتلل ةعضالخا ةجمترلا ةقباطم ىلع موقت انهأ ذإ ةيعوضولما نع دعبلاو ةيتاذلا

(Translation Hypothesis)

ةيعجرلما تاجمترلا نم ةعوممج عم

(Reference Translation)

يموقت نإف لياتلابو ،يرشب مجترم اهجمرت تيلا

اراركتو ارارم نوثحابلا لواح دقف كلذل ،يعوضولما يرغو تياذلا ناسنلإا يموقت مكح نع جريخ لا سيياقلما هتاه نم تيلاو ةحترقلما لوللحا مهأ ينب نم لعلو ،ريدقت لقأ ىلع اهصاقنإ وأ ةيتاذلا هذه ىلع ءاضقلا في يركفتلا تلا انهأش ثلاثلا سيياقلما جهنم نع فلتمخ جهنم يذ ديدج سايقم ميمصت وه ةجمترلا يموقت في ةيتاذلا نم صيلق

ةجمترلا ةعجارم ةبسن سايقم في لثمتي افلس ةروكذلما

(Translation Edit Rate score) ةنس ممصلما

2005 .

لل قوثومو يعوضوم يموقتب مايقلا في يرت سايقم ىلع اقح دامتعلاا نكيم لهف لياتلابو ةيللآا ةجمتر

؟لالماو تقولاو دهجلل كلهتسلماو تياذلا ناسنلاا يموقت نع هب ةضاعتسلاا تايجولونكتلا فلتخبم برعلا ينجمترلما فيرعت ةلوامح في سايقلما اذله انتسارد ءارو نم فدلها نمكي

قلما ىلع ةولاع ةيللآا ةجمترلا مظن في ةلثمتلماو ،ةجمترلا ناديم في ةمدختسلما اذهو ،ةيللآا ةجمترلا يموقتل ةيللآا سييا

ءلاؤه تلاهؤمو تاردقو تامولعم ينيتح كلذكو ةيبرعلا دلابلا ةفاكو رئازلجا في ةجمترلا لامج ةنرصعل ىعسم في .ينجمترلما

(3)

1 - ريت سايقمب فيرعتلا يرت سايقم ميمصتب ماق دقل

(TER Score)

ةنس 2005 فيلوأ فيزوج ثحابلا

(Joseph

Olive) (Olive, 2005)

لياغ جمانرب ليوتمو ةياعرب (GALE Program) 1

ثوحبلا عيراشم ةلاكول عباتلا

ةيعافدلا ةروطتلما )

Defense Advanced Research Projects Agency

( ابراد ةلاكوب اراصتخا ةفورعلما

2

(DARPA agency) .

ءارو نم فدلها ناك دقلو سيياقلما نع نيغي طيسب سايقم جاتنإ لىإ لصوتلا وه يرت سايقم ميمصت

يموقتب مايقلا هنكيم ثيبحو ،تقولل ةكلهتسلماو ةينضلما ناسنلإا موقلما تادوهمج نعو فراعلما ىلع ةزكترلما ةدقعلما .مظنلا هتاه ةيلاعف ةنراقم ةياغل كلذو ةيللآا ةجمترلا مظن تاجمرت

ينب نم هنإف كلذ ىلعو مظن عم جمدي نأ يه سايقلما اذه ممصم اهفدهتسي تيلا تامادختسلاا مهأ

ناسنلإل ةدعاسلما ةجمترلا

(Computer-aided Translation Tools (CAT Tools))

يموقتب موقي نيأ ،

هلدبي نأ ناسنلإا مجترلما ىلع بجوتي يذلا دوهلمجا مك ديدتح لجلأ مجترلما صنلا ةلجاعم قيرط نع ةجمترلا ةدوج ةيدعَبلا ةعجارلما في

(Post-editing)

ةجمترلا حبصت تىح )ةجمترلا نم ءاهتنلاا دعب ةعجارلما ؛يأ( ةيللآا ةجمترلل

ابه انهراقي تيلا ةيعجرلما ةجمترلل ةقباطم يموقتلل ةعضالخا (Zaret, 2016, p.14)

.

جمانرب1

لياغ )لياغ( تاغللا للاغتسلا لقتسلما يلماعلا جمانبرلا وه

(Global Autonomous Language

Exploitation (GALE) program)

ةنس ئشنأ اهنم ليومتلا ىلع لصاحو ابراد ةلاكول عبات وهو 2005

،

لتمخو ةيرابخلإا تارشنلا لثم تاغللا ةددعتمو ةعونتم رداصم نم ايلآ تامولعلما جارختسا ةياغل دقو ،قئاثولا ف

ملاكلا زييتم وه لياغ جمانبرل ىسملأا فدلها ناك

(Speech Recognition) ةينيصلاو ةيبرعلا ينتغللا في

.ةيزيلنجلإا ةغللا لىإ هتجمرتو اديدتح ريوطتب نىعت تيلا ةيكيرملأا عافدلا ةرازو تلااكو ىدحإ يه )ابراد( ةيعافدلا ةروطتلما ثوحبلا عيراشم ةلاكو 2

ةئشانلا تايجولونكتلا

(Emerging Technologies)

نم يرفيف رهش في تئشنأ ،يكيرملأا شيلجا ةدئافل

ةنس 1958 وطلما برتعت ذإ ،اينيجيرف ةيلاو في اهـل سيئرلا رقلما عقيو رثلأا تاذ تايجولونكتلا نم ديدعلل سيئرلا ر

.هلمكأب لماعلا ىلع يربكلا

(4)

ةجمترلا ةعجارم ةبسن سايقم( يرت سايقم مسا نإف هيلع ءانبو

Translation Edit Rate score )

.تاجمترلا ىلع اهئارجإب موقي تيلا يموقتلا ةيلمع ةعيبط ىلع لدي يموقت ةدوج ىوتسم نم ايرثك هتدوج بترقت ،ةجمترلا ةدولج ايموقت ققيح هنأب يرت سايقم ممصم يعدي

نم لاإ هبسح ولب سايقم هغلبي لا يذلا ىوتسلما وهو ،ةدحاو ةيعجرم ةجمرت ىلع ادامتعا ةجمترلا ةدولج ناسنلإا ةيعجرم تاجمرت عبرأ للاخ (Zaret, 2016, p.14)

لا ىلع ادامتعا اذهو ، سايقلما ىلع اهارجأ تيلا براجت

.هديكأت دح ىلع دبلا ناك ناسنلإا يموقت ةدوج نم ادج ةبيرقلا ةدولجا يذ يموقتلا نم ىوتسلما اذه غولب لجلأو

فيلوأ فيزوج ثحابلل

(Snover, Dorr, Schwartz, Micciulla, & Makhoul, 2006, p. 223)

سيياقلما جهانم نع فلتمخو ديدج جهنم دامتعا اههمأ ،تاثيدتح ىرحلأاب وأ تايريغت ةدع لىإ ءوجللا نم .اهبلغأ يرت سايقلم افلس ةممصلما 2 - سايقملا جهنم ثحابلا يرت سايقم ممصم ودتح ةبغرلا تناك فيلوأ فيزوج

ةضفخنم ةفلكت يذ سايقم ميمصتل

جهانلما نع داعتبلاا لىإ هب عفد يذلا رملأا ،ةيقوثولماو ةيعوضولما نم نكمم ردق رثكأ ىلعو دقعم يرغو طيسبو نىعلما ىلع ةمئاقلا (Meaning-based Approaches)

ةفرعلما ىلع ةمئاقلا جهانلما كلذكو

(Knowledge-based Approaches)

جللا ىلع هّثحو ، ةغللا نع لقتسم جهنم ىلع دامتعلاا لىإ ءو

ىرخلأا سيياقلما جهانم نع اماتم فلتمخو

(Snover, Dorr, Schwartz, Micciulla, & Makhoul,

2006, p. 223)

.هل ةقباسلا كلذو هلدب ناسنإ مّوقم ىلع بجوتي يذلا دوهلمجا سايق ىلع موقي يرت سايقم جهنم نإف كلذ ىلعو

ماظنلا ةجمرت لعج لجلأ اهحيحصت بجاولا ءاطخلأا ددع باسح للاخ نم (System Output)

وأ

ايللاد ةقباطم يموقتلل ةعضالخا ةجمترلا

(Snover, Dorr, Schwartz, Micciulla, & Makhoul, 2006,

p. 223)

ةيعجرم ةجمترل تاجمترلا نم ةعوممج وأ ةدحاو

موقت ىرخلأا ليلآا يموقتلا سيياقم بلغأ نأ ينح في ،

ةيعجرم ةجمرت يرباعتو تادرفم عم يموقتلل ةعضالخا ةجمترلا يرباعتو تادرفم ةقباطم ىدم باسح قيرط نع يموقتلاب

(5)

وأ لثم هل ةقباسلا ىرخلأا سيياقلما لك نع فلتيخ يرت سايقم جهنم نإف كلذل ،ةيعجرلما تاجمترلا نم ةعوممج

ولب سيياقم تسينو3

رويتيمو4

.5

3 - ميوقتلا ةملاع باسح ةجمترلا حبصت تىح ابه مايقلا ناسنلإا عجارلما نم عقوتي تيلا تاحيحصتلا ددع باسبح يرت سايقم موقي

ةسلس

(Fluent) قدو

نىعلما ةقي (^Accurate)

ثيبح ،ةرفوتم ةيعجرم ةجمرت لك عم اهتقباطم للاخ نم كلذو ،

ةدحاو ةطقن هحيحصت عقوتي أطخ لكل صصيخ 1

كلذ لمشي ذإ ، ةسخم

فذلحا يه ءاطخلأا نم عاونأ

(Deletion) ةفاضلإاو

(Insertion) لادبتسلااو

(Substitution) تاملكلا عضاوم يريغتو

(Shift)

ميقترلا تاملاع عضاوم يريغت تىحو (Punctuation)

تاملك ةباثبم برتعت ذإ اهفذح وأ (Snover,

Dorr, Schwartz, Micciulla, & Makhoul, 2006, p. 225) .

ثحابلا ولب سايقم ممص 3

نيينيباب روشيك (Kishore Papineni)

مه ينثحابلا نم ةثلاث ةقفر سوكور ميلس

(Salim

Roukos) دراو دوتو

(Todd Ward) وشت غنيج ياوو

(Wei-Jing Zhu) ةنس

2002 (Papineni, Roukos,

Ward, & Zhu, 2002; Papineni, Roukos, Ward, Henderson, & Reeder, 2002) ،

اذه برتعي ذإ

لاوامح لىوأ ينب نم دعي ثيبح كلذ في دئار هنأ ىلع ةولاع ةيللآا ةجمترلا يموقتب مايقلل ةممصلما ةيللآا سيياقلما مهأ ينب نم سايقلما ت

للاخ نم ةجمترلا يموقتب موقي وهو ،ايلآ ةجمترلا يموقت جمرت ةدع وأ ةدحاو ةيعجرم ةجمرت عم يموقتلل ةعضالخا ةجمترلا ةقباطم

،ةيعجرم تا

هيلع ءانبو ،ةملاع لكش ىلع ةبسنلا هتاه مدقيو ةيعجرلما ةجمترلا عم يموقتلل ةعضالخا ةجمترلا لثاتم ةبسن باسبح موقي هنإف ةّثّ نمو لضفأ كلذ ناك املكو بركأ لثامتلا ةبسن تناك املك ةيعجرلما ةجمترلل ةقباطم يموقتلل ةعضالخا ةجمترلا تناك املك هنإف .

تباش دقل4

فعضلا طاقنو صئاقنلا نم ديدعلا ولب سايقم (Doddington, 2002)

كلذل نوتغنيدود جروج ثحابلا ماق

(George Doddington) ةنس تسين سايقم مسا هيلع قلطأ سايقم ميمصتب

2002 ،ولب سايقم بويع كرادتل ةلوامح في

سايقم نم ةروطم ةخسن درمج برتعي يرخلأا اذه نأ ةجرد لىإ تسين سايقم ميمصت في اماتم ولب سايقم ىلع نوتغنيدود زكترا دقلو ةيلمع زانجإ في هسفن ولب سايقم جهنم كلذك عبتي وهف كلذبو ،ولب .يموقتلا

فيلا نولأ ثحابلا رويتيم سايقم ممص5

Alon Lavie ةنس

2004 يجنيك ينثحابلا نم ةدعاسبم هيلع تارابتخا ءارجإب ماقو

ياجاس Kenji Sagae نامارايج ردنوسمايشو

Shyamsundar Jayaraman اهسفن ةنسلا في

(Lavie, Sagae, &

Jayaraman, 2004) يجيرناب فينجاس ثحابلا ةدعاسبمو ،

Sanjeev Banerjee ةنس

2005 (Banerjee &

Lavie, 2005) ةنئاشلا ءاطخلأاو صئاقنلا كرادت وه هميمصت ءارو نم فدلهاو ولب سايقم ىلع نيبم كلذك سايقلما اذهو ،

وهف لياتلابو ،اعم تسينو ولب يسايقلم .ينسايقلما نيذه هيلع موقي يذلا هتاذ جهنلما دمتعي

(6)

لصح تيلا َةجمترلا ةيعجرلما تاجمترلا ةعوممج ينب نم ُسايقلما راتيخ ةثّ نمو يموقتلل ةعضالخا ةجمترلا ت

يذلا تاعجارلما ددع ةمسق للاخ نم يموقتلا ةملاع باسح فدبه كلذو ،اله ةبسنلاب ءاطخأ ددع لقأ ىلع ةيعجرلما ةجمترلا تاملك ددع ىلع اهحيحصت عقوتلما ءاطخلأا ددع لثيم :ةيلاتلا ةغيصلا اهحضوت تيلا ةقيرطلاب6

= يموقتلا ةملاع

تاعجارلماددع ةيعجرلماةجمترلاتاملكددع

يموقتلل ةعضالخا ةجمترلا ينب ةدوجولما تافلاتخلاا ظحلا ةغيصلا هتاله لضفأ باعيتساو مهف لجلأو

لاثلما في ةيعجرلما ةجمترلاو 1

:لياولما

لاثملا 1 ميوقتلل ةعضاخلا ةمجرتلا

دنف نويسورلا مهيلإ هجولما مهتلا

صوصبخ قباس سوساج ميمست

جودزم

في ايناطيرب ةيواميك ةدابم .

ةيعجرملا ةمجرتلا ةدابم قباس سوساج ميمستب ةقلعتلماو اهيلإ ةهجولما مهتلا ايسور تدنف

ةيواميك ةلتاق .ةدحتلما ةكلملما في

لاثلما في يموقتلل ةعضالخا ةجمترلا نأ نم مغرلا ىلع 1

يرت سايقم نأ لاإ ةءارقلا ةسلسو ايللاد ةحيحص

سملخا يرياعملل اقفوو ةتس ّدعيس اهيلع موقي تيلا

6 يموقتلل ةعضالخا ةجمترلا قباطتت تىح اهحيحصت عقوتي ءاطخأ

ةثلاث ىلع ةمسقنم يهو ،اهتتح موسرلما رطسلا للاخ نم ءاطخلأا هتاه رهظت ذإ ،ةيعجرلما ةجمترلا عم 3

دحاو فذحو تلاادبتسا 1

ةدحاو ةفاضإو 1

دحاو يريغتو 1

سلاا امأف ،تاملكلا عضاوم في يهف تلاادبت

عجرم اهتفصب ةيللآا ةجمترلل ليلآا يموقتلا ناديم في مدختست ،فترمح ناسنإ مجترم اهزنجأ افلس ةزهاج ةجمرت ةيعجرلما ةجمترلاب دصقي 6

ةجمترلا نوكت ،اهحيحصت ثم نمو ابه يموقتلل ةعضاخ ةجمرت ةنراقم لجلأ ةيجذونم ةجمرت وأ ةلجم نع ةرابع نايحلأا بلغأ في ةيعجرلما

لاثلما في رهظي امك ايللاد ةمات ةدرفنم 1

)يموقت ةنودم( ةنودم اهنم ديدعلا عجم ينح لثتم (Papineni, Roukos, Ward,

& Zhu, 2002; Papineni, Roukos, Ward, Henderson, & Reeder, 2002) .

(7)

فذلحا امأو ،)ةدحتلما ةكلملما( ناكم )ايناطيرب(و )ـب ةقلعتلماو( نم لادب )صوصبخ(و )نويسورلا( ـب )ايسور(

في ةفاضلإا رهظت ينح في ،يموقتلل ةعضالخا ةجمترلا نع ةبّيغتلماو ةيعجرلما ةجمترلا في ةرضالحا )ةلتاق( ةملك في لثمتيف جمترلا نع ةبئاغلا )جودزم( ةملك عضوم يريغت لثمتي امنيب ،يموقتلل ةعضالخا ةجمترلا في ةدوجولماو ةيعجرلما ة

لبقو ةرشابم )قباس سوساج( ةرابع دعب ةيعجرلما ةجمترلا في تءاج تيلا )ةيواميك ةدابم( ةرابعلا في تاملكلا ابه تمتخ ذإ يموقتلل ةعضالخا ةجمترلا في ترّخُأ انهأ يرغ ،)ةدحتلما ةكلملما في( يربعتلا في( ةرابع دعب ةلملجا

.)ةدحتلما ةكلملما في( يربعتلل ةليدبلا )ايناطيرب

ريياعملا تاعجارملا ددع

لادبتسلاا 3

فذلحا 1

ةفاضلإا 1

تاملكلا عضاوم يرغت 1

عومجملا 6

لودجلا I ةمجرتلا يف ريت سايقم اهددع يتلا تاعجارملا ددع :

لاثملا يف يتلا ميوقتلل ةعضاخلا 1

اقفو وه ةيعجرلما ةجمترلا تاملك ددع نأب املعو تايطعلما هتاله 15

يرت سايقم يموقت ةملاع نإف

لاثلما في تيلا يموقتلل ةعضالخا ةجمترلل 1

:تيلآاك بستح = يرت يموقت ةملاع

6

=15

=0.4

% 40

(8)

غلبت ةعجارلما ةبسن نإف لياتلابو 40

عقوتلما دوهلمجا نأ لىإ يرشي ادج لاع لدعم وهو % في لدبي نأ

ناك يذلا ابيرقت دوهلمجا فصن لىإ لصي ايللاد ةقيقدو ةسلس حبصت نأ لجلأ يموقتلل ةعضالخا ةجمترلا ةعجارم نم ردق ىلع ودبت تيلا يموقتلل ةعضالخا ةجمترلا عم ايعقاو قفاوتي لا ام وهو ،اهتجمرت في ناسنإ مجترم هلدبيس لا يذلا رملأا وهو ،ةيللادلا ةقدلاو ةسلاسلا يك يقيقلحا لماعلاب ناسنلإا فراعم بلطتي ذإ هزييتم سايقملل نكيم

يجولونكت روطت غولب نم دعب نكمتي لم ناسنلإا نلأ اذهو ،ليلآا سايقلما اهكليم لا تيلا فراعلما يهو هكردي .يعقاولا لماعلا فراعم كاردإ نم اهنّكتم جماربو ةمظنأب ةيللآا سيياقلما هتاه ةمجرب نم هنكيم فاك

يح تاعجارلما ددع يرت سايقم بس

(Edits) يموقتلل ةعضاخ ةجمرت في ةمزلالا تاحيحصتلا ىرحلأاب وأ

ةيمانيدلا ةمجبرلا للاخ نم تلادبتسلماو تافوذلمحاو تافاضلإا ددع باسح في اهملاوأ لثمتت ،ينتلحرم ىلع

7

(Dynamic Programming) في امهيناث نمكت امنيب ،ةدح ىلع اهنم ةدحاو لك يأ ،

نع قيقد ثبح ءارجإ

يهو ،تاملكلا نم ددع لقأ ىلع يوتيح يذلا يريغتلا رايتخا ةرورض ىلع ديدشتلا عم تاملكلا عضاوم تايريغت لاثلما في رهظت تيلا ةدعاقلا 1

تريخ لمو تاملكلا عضاوم في يريغت هتفصب )ةيواميك ةدابم( يربعتلا سايقلما راتخا نيأ

ا )ةدحتلما ةكلملما في( يربعتلا يربعتلا دعب ةيعجرلما ةجمترلا في درو هنلأ اضيأ تاملكلا عضاوم في ايرغت برتعي يذل

امنيب ينتملك ىلع يوتيح لولأا يربعتلا نلأ كلذو ،هلبق يموقتلل ةعضالخا ةجمترلا في ءاج ينح في )ةيواميك ةدابم(

.تاملك ثلاث ىلع يرخلأا يربعتلا لمتشي يرت سايقم دعاوق نم ةمهم ىرخأ ةدعاق

ةجمترلل ةلباقلما ةيعجرلما تاجمترلا نم ديدعلا ديج امدنع هنأ يه

كرديو ،يموقتلل ةعضالخا ةجمترلا لىإ ايللاد برقلأا هتاه ةيعجرلما تاجمترلا ةعوممج نم راتيخ هنإف ،يموقتلل ةعضالخا لا يوتتح تيلا ةيعجرلما ةجمترلا لثتم ذإ تاعجارلما ددع باسح للاخ نم برقأ اهيأ سايقلما يموقتلل ةعضالخا ةجمتر

.يموقتلل ةعضالخا ةجمترلا هتاه لىإ ايللاد برقلأا ةيعجرلما ةجمترلا اله ةبسنلاب تاحيحصتلا نم ددع لقأ ىلع 4 - سايقملا رابتخا

ةيعرف لئاسم لىإ ةلأسم لك ميسقت للاخ نم ةدقعلما لئاسلما للح ةمجبرلا مولع في مدختست ةيضاير ةقيرط يه ةيمانيدلا ةمجبرلا 7

ةلأسملل لاح لّثيم يذلا ةيعرفلا لئاسلما لك لح ةياغ لىإ كلذب مايقلا ثم نمو ،ةدح ىلع ةيعرف ةلأسم لكل لح دايجإ فدبه .ساسلأا

(9)

ينسايقم يموقت جئاتن عم سايقلما يموقت ةيلمع جئاتن ةنراقم للاخ نم يرت سايقم ىلع رابتخا يرجأ

ايقمو ولب سايقم اهم نيرخآ كلذو ،ناسنلإا يموقت جئاتن عم سيياقلما هتاه لثاتم ةبسن باسح ّثم نمو ،رويتيم س

لثامتلا ةقلاع باسح قيرط نع

(Pearson Correlation Coefficient) 8

امك سيياقلما هتاه جئاتن ينب

لوادلجا في رهظي II

و III و IV عبرأ مادختساب ترج رويتيمو ولبو يرت سيياقم تايموقت نأب املع ، 4

تاجمرت

ةعبرأ مقرلا نإف كلذل ،ةيعجرم 4

لودلجا في رهظي يذلا ينسوق ينب II

( يرت ىلع 4

( ولبو ) 4 ( رويتيمو ) 4

انمإ )

عبرأ ىلع لدي 4

.ةيعجرم تاجمرت

سيياقملا ماظن

ماظن 1

لدعملا 2

( يرت 4 ) 53.2

% 46.0

% 49.6

%

( ولب 4 ) 73.5

% 62.1

% 67.8

%

( رويتيم 4 ) 46.0

% 39.2

% 42.6

%

فرعت 8

لثامتلا ةقلاع (Pearson Correlation Coefficient)

ينحلطصلماب كلذك (Pearson R Correlation)

(Pearson Correlation)و يه اله ةلماكلا ةيمستلا امنيب

(Pearson Product-moment Correlation

Coefficient (PPMCC)) يطلخا لثامتلا سايق ىلع لثامتلا ةقلاع ةفيظو موقتو ،

(Linear Correlation) ينب مئاقلا

نييرغتم x و y +( ينب حواترت ميق لثامتلا ذه سايق نع جتني ذإ ،ةيضاير ةغيص للاخ نم 1

( و ) - 1 نع ةبجولما ميقلا برعت نيأ ،)

+( ةميقلا نإف كلذ ىلع ءانبو ،بيلس يطخ لثاتم نع ةيبلسلا ميقلا يربعت امنيب بجوم يطخ لثاتم 1

وم ايطخ لاثاتم لثتم ) اماتم ابج

( ةميقلا لثتم ينح في -

1 ( ةميقلا برعت امنيب ،اماتم ايبلس ايطخ لاثاتم ) 0

ينب قلاطلإا ىلع يطخ لثاتم يأ دجوي لا هنأ ىلع )

نوسيرب لراك ثحابلا اهريوطتب ماق امدعب ةينقتلا مولعلا في ةقلاعلا هذه لامعتسا عيشيو ،ينينعلما نييرغتلما (Karl Pearson)

ءانب

ةركف ىلع نوتلاغ سيسنارف ثحابلا لىإ اهراكتبا في لضفلا دوعي (Francis Galton)

.رشع عساتلا نرقلا تانيناثّ في

(10)

لودجلا II يماظنل رويتيمو ولبو ريت سيياقم تاميوقت تاملاع :

ةمجرتلا 1 و 2

(Snover, Dorr, Schwartz, Micciulla, &

Makhoul, 2006, p. 229)

ىلع يموقتلا يرجأ ةئام نم فلأتت ةينوتركلإ ةنودم

100 ينتجمرت عم ةيبرعلا ةغللاب ةررمح ةلجم 2

امهيلإ يرشأ انمإ ،امهيسما ركذي لم ةجمرت يماظن مادختساب ةيزيلنجلإا ةغللا في لملجا هتاه نم ةلجم لكل ينتلباقم ماظن نيزمرلاب طقف ماظنو1

ماظن نأب ركذ عم 2

ةجمترلا مظن لقأ ينب نم ادحاو دعي 1

ماظن برتعي ينح في ًءادأ نم 2

عبرأ ىلع كلذك ةنودلما يوتتح امك ،اهنسحأ 4

في ةجمرت ةلجم لك لباقم ةيزيلنجلإا ةغللاب ةررمح ةيعجرم تاجمرت

ةيزيلنجلإا ةغللا

(Snover, Dorr, Schwartz, Micciulla, & Makhoul, 2006, p. 227) .

تج ةعضالخا ةجمترلا ةقباطم للاخ نم ةجمترلا يموقتب ناموقي رويتيمو ولب يسايقم نأ لىإ ةراشلإا رد

ةيعجرلما ةجمترلا عم يموقتلل ةعضالخا ةجمترلا لثاتم ةبسن باسبح ناموقي امنهإف ّثم نمو ،ةيعجرلما ةجمترلا عم يموقتلل هنإف كلذ ىلع ءانبو ،ةملاع لكش ىلع ةبسنلا هتاه نامدقيو ةجمترلل ةقباطم يموقتلل ةعضالخا ةجمترلا تناك املك

.لضفأ كلذ ناك املكو بركأ لثامتلا ةبسن تناك املك ةيعجرلما ينقباسلا نيرصنعلا في انيأر امك ةجمترلا ةعجارم ةبسن باسبح موقي يذلا يرت سايقم سكع ىلع اذهو

( 2 و 3 لودلجا في جئاتنلا اهلثتم تيلا ةبسنلا يهو ،) II

كلذل ، كلذ ناك املك بركأ بسنلا تناك املك هنإف

.نسحأ كلذ ناك املك لقأ تناك املكو ءوسأ لودلجا في تيلا رويتيمو ولب يسايقم يموقت جئاتن نإف لياتلابو

II ةعضالخا ةجمترلا لثاتم بسن لثتم

غلبتل ةيقبتلما بسنلا امأ ،ةيعجرلما ةجمترلا عم يموقتلل 100

ةجمترلا نم ءزلجا لثتم يهف % لا يذلا يموقتلل ةعضالخا

هتاه نإف كلذبو ،هليدعت وأ هحيحصت وأ هتعجارم بتجو ائطاخ كلذب برتعي يذلاو ةيعجرلما ةجمترلا عم لثامتي في تيلا رويتيمو ولب يسايقم جئاتن حرط للاخ نم اهيلع لصنح تيلاو ةجمترلا ةعجارم ةبسن لثتم تيلا ةيقبتلما ةبسنلا لودلجا II نم 100 تيلا يه تيلا سايقلما اذه جئاتن عم اهتنراقم نكيم تيلا يهو يرت سايقم تاملاع عم قفاوتت

لودلجا في ةلثملما جئاتنلا ىلع لصنح كلذ لعف دعبو ،ةجمترلا ةعجارم بسن لثتم III

.

سيياقملا ماظن

ماظن 1

لدعملا 2

(11)

( يرت 4 ) 53.2

% 46.0

% 49.6

%

( ولب 4 ) 26.5

% 37.9

% 32.2

%

( رويتيم 4 ) 54.0

% 60.8

% 57.4

%

لودجلا ريت سيياقم نم ةلّصحملا تامجرتلا ةعجارم بسن :III

رويتيمو ولبو

لودلجا للاخ نم ظحلان اهلّصح تيلا كلت نم بركأ ةعجارم ةبسن جتنأ رويتيم سايقم نأب III

ينح في يرتو ولب يسايقم مّدق

لودلجا نم رهظي امك ،رويتيم سايقم ةبسن نم ىلعأ ةبسن يرت سايقم نأب كلذك

ققح يذلا ولب سايقم لبق نم ةمّدقلما بسنلا نم اهضعب لىإ برقأ رويتيمو يرت يسايقم لبق نم ةلّصلمحا بسنلا برقأ سيياقلما هتاه بسن نم ٌّيأ ملعن لا اننأ يرغ ،اضيأ امهنع يربك قراف عم نيرخلآا ينسايقلما نم لقأ ابسن لإا يموقت ةملاع عم اهانراق اذإ لاإ باوصلا لىإ باسح للاخ نم كلذو ،اهسفن يموقتلل ةعضالخا ةجمترلل ناسن

ناسنلإا يموقت ةملاعو ةثلاثلا سيياقلما هذه تاملاع ينب لثامتلا تاقلاع لودلجا هحضوي يذلا رملأا وهو ،

،IV ةحاصفلا يرايعم ىلع يننثا ينعجارم لبق نم ىرج ناسنلإا يموقت نأب ملعلا عم (^Fluency)

ةمءلالماو

9

(^Adequacy) عجم ثم نمو ،نيرايعلما نم دحاو لك ىلع ةملاع ينَعجارلما نم دحاو لك عضو للاخ نم كلذو ،

يموقتلا ةملاع ىلع لصحنل يننثا ىلع عوملمجا ةمسقو عجارم لكب ةصالخا ةمءلالماو ةحاصفلا يرايعم تيملاع ينتيئاهنلا يموقتلا تيملاع عجم كلذ دعبو ،عجارم لكب ةصالخا ةيئاهنلا يننثا ىلع عوملمجا ةمسقو ينعجارملل

.يموقتلل ةعضالخا ةجمترلل ناسنلإا يموقت ةملاع ىلع لصحنل

سيياقملا ناسنلإا ميوقت

ةمءلالما حلطصم نأ لىإ ةراشلإا ردتج9

(Adequacy) ةقدلا موهفم هب دصقيو ةيللآا ةجمترلا لامج في مدختسي

(Accuracy)

.هتاذ موهفلما امبه دصقيو ينفداترم ينحلطصلما نيذهف كلذبو ،اصوصخ ناسنلإا ةجمرت لامج في مدختسي يذلا

(12)

يرت 0.539

ولب 0.391

رويتيم 0.550

لودجلا IV عم رويتيمو ولبو ريت سيياقم تاميوقت لثامت تاقلاع :

ناسنلإا ميوقت

(Snover, Dorr, Schwartz, Micciulla, &

Makhoul, 2006, p. 229)

لودلجا نم حضتي IV

ذإ ناسنلإا يموقت عم لثاتم ةبسن ىلعأ ىلع لصح يذلا وه رويتيم سايقم نأب

( لىإ تلصو 0.550

سايقم ةبسن نم ادج ةبيرقو ةبسن ىلعأ نياث ىلع لصح يذلا يرت سايقم هدعب تيأي ثم ،)

( تغلب ذإ رويتيم 0.539

ناسنلإا يموقت عم لثاتم ةبسن لقأ ىلع لصح ذإ ايرخأ ولب سايقم لح امنيب ،) تردق

( ـب 0.391 .يرتو رويتيم يسايقم هققح امع ادج ةديعب يهو ) نع دعبلا لك ديعب ةيللآا ةجمترلل ةثلاثلا سيياقلما هتاه لك يموقت ةدوج نأب جئاتنلا هتاه نم جتنتسن

زنب لاإ فصنلا ناسنلإا يموقت عم يرتو رويتيم يسايقم يموقت لثاتم بسن زواجتت لا ذإ ،اله ناسنلإا يموقت ةدوج ر

ليلق 55 و % 53.9 تىح فصنلا ولب سايقم ةبسن غلبت لم ينح في ،بيتترلا ىلع % ّلد نإ اذهو ،%39.1

نع ايرثك ةديعبو ادج ةطسوتم ىقبت ثلاثلا سيياقلما هتاه هزجنت يذلا يموقتلا ةدوج نأ ىلع لدي انمإف ءيش ىلع لأا ،صوصلخا ىلع ةيللآا ةجمترلاو امومع ةجمترلل ناسنلإا يموقت ةدوج كشلا عضوم سيياقلما هتاه عضي يذلا رم

عجارلما فلاختسا ىلع اتهردق كلذكو ،هفادهأو ةجمترلا يموقت ماهم فلتخبم مايقلا ىلع اتهردق ةقيقح نم ةبيرلاو .ام دح لىإ ةلوبقم ةدوج يذ يموقت زانجإ في لقلأا ىلع ناسنلإا وتلما يرت سايقم جئاتن في تهماس تيلا بابسلأا مهأ ينب نم لعل

يموقت ةدوج ىوتسم نع ةديعبلاو ةطس

ىلع أرطي يريغت لك تاعجارلما دادع في جردي يذلا تاملكلا عضاوم يريغت رايعم وه ،ةيللآا ةجمترلل ناسنلإا نياعم ىلع اتاتب رثؤت لا دق تايريغتلا هتاه نأ نم مغرلا ىلع ،ةجمترلا لجم في يرباعتلا وأ تاملكلا بيترت غ في ةجمترلا لجم تلالادو ىلع يموقتلل ةعضالخا ةجمترلا ةعجارم ةبسن نم عفري نأ هنأش نم ام وهو ،نايحلأا بلا

تاملكلا عضاوم يريغت برتعي لا ناسنلإا مّوقلما نأ ينح في ،تارلما نم يرثك في كلذ مزلتسي لا رملأا نأ نم مغرلا

(13)

الخا ةجمترلا نم طاقن يأ مصيخ لاو أطخ يربعتلا حص نإ اهبيترت وأ يرباعتلاو ،تايريغتلا كلت ىلع يموقتلل ةعض

صقنت لاو يلصلأا صنلا اهيدؤي تيلا اهسفن ةللادلا يدؤت يموقتلل ةعضالخا ةجمترلا تناك اذإ ام ةلاح في اميسلاو .ائيش اهنم

أطخلا عون ريت سايقم ةملاع

ةفاضلإا 4.6

%

فذلحا 12.0

%

لادبتسلاا 25.8

%

تاملكلا عضاوم يريغت 7.2

%

عومجملا 49.6

%

لودجلا V ميوقتلل ةعضاخلا ةمجرتلل ريت سايقم ميوقت جئاتن :

(Snover, Dorr, Schwartz, Micciulla, & Makhoul, 2006, p. 228)

نمكي يرت سايقم لبق نم نسحأ ةدوج يذ يموقت ىلع لوصلحا ةياغل لاكشلإا اذه لح نإف كلذل

ةبرتعم ةبسن نأو ةصاخ ،سايقلما اذه اهيلع موقي تيلا يرياعلما ةمئاق نم تاملكلا عضاوم يريغت رايعم فذح في

%( يرت سايقم اهيصيح تيلا ءاطخلأا نم 7.2

عضاوم يريغت رايعم فنص في عقت انمإ ) نم رهظي امك تاملكلا

لودلجا V .

ةمتاخ

(14)

جاتنإو ميمصت ربامخ في ةيريوطت فادهلأ همادختسا نكيم هنأب يرت سايقم ةسارد للاخ نم رهظي

قسانتمو فلكم يرغو يعوضومو عيرسو نييتور يموقت وه نوروطلما هجاتيح ام لك ذإ ،ةيللآا ةجمترلا مظن ريوطتو لع ،يرت سايقم هنمضي نأ نكيم ام وهو ول ذإ ،رفانتلاو ةيتاذلاو ءطبلاب مستي يذلا ناسنلإا يموقت سكع ى

ددع يموقتب ماق دق نوكي ثيبح ،ينتدعابتم ينتترف في ينترم ىلع هيموقتب موقيل هسفن صنلا اناسنإ اعجارم تيطعأ لأا ةرلما في صنلا اذه مّوق فيك يسن دق ةيناثلا ةرلما في نوكي ةجرد لىإ امهنيب صوصن نم ادج يربك يه امو لىو

ةرلما في هل اهحنم تيلا اهسفن ةملاعلا ةيناثلا ةرلما في صنلا اذه يطعي نل فوس هنإف ،هايإ اهحنم تيلا ةملاعلا اذه ىلع يرتج لم ام اهسفن ةملاعلا حنميسو اماتم كلذ نم سكعلا لعفيس يموقتلا سايقم امنيب ،ةلامح لا لىولأا يموقتلا تييلمع ينب تاثيدتح ةيأ سايقلما .ةيناثلاو لىولأا

فادهلأ ةيللآا ةجمترلا يموقتب مايقلا في هيلع دامتعلاا نكيم لا يرت سايقم نأ لاإ كلذ نم مغرلا ىلعو

ينعم ماظن ةجمرت ةدوج ىدم ةنراقم لجلأ صوصنلا طانمأ فلتخلم ينعم ةجمرت ماظن تاجمرت يموقت لثم ىرخأ ةفلتمخ مظن تاجمرت يموقت وأ ،صوصنلا نم طنم لكل .اضيأ ةنراقلما ةياغل ةفلتمخ عاونأ وأ هسفن صوصنلا عونل

وأ يرت سايقم ناكأ ءاوس ةجمترلا يموقت سيياقم نم يأب ةضاعتسلاا رضالحا تقولا في نكيم لا هنأ امك

ةيتاذلا نم ولتخ لا سيياقلما هتاه نأو ةصاخ ،امومع ةجمترلل لاو ةيللآا ةجمترلل ناسنلإا يموقت نع سيياقلما نم هيرغ ةزجنم ةيعجرم تاجمرت ىلع ةيلك دمتعت سيياقلما هتاه نأو اميسلاو ،هتجمرت تىحو ناسنلإا يموقت ىلع باعت تيلا نإف لياتلابو ،مولعم وه امك نايحلأا بلاغ في ةيجولويديلإا ةعزنلاو ةيتاذلا نم ايرثك هتجمرت عبطي ناسنإ لبق نم تاذلا ربح في ةقراغلا ناسنلإا ةجمرت ىلع دامتعلاا لب ةياغلل اضقانتم ودبي ةجمترلل يعوضوم يموقت جاتنلإ ةي

.ةقرافلماب تىح هسمو ناكملإاب نم دبلا لبقتسلما في ةيللآا ةجمترلا ةدوج يموقتل ةيعوضولماب مستت سيياقم ميمصت ةلوامح لجلأو كلذل

ءاوس ناسنلإا تاجمرت ىلع دامتعلاا نع دعبلا لك دعتبي ثيبح كلذ لعفل جهنم وأ ةقيرط دايجإ في يركفتلا أ ابه يموقتلل ةعضالخا تاجمترلا ةنراقم فدبه ةيعجرم تاجمترك اهذاتخلا لاكشلأا نم لكش يأب اهمادختسا و

ول اذبحو ،هتيتاذو ناسنلإا نع امات لالاقتسا ةلقتسم لابقتسم سيياقلما هتاه نوكت نأ دبلاف كلذبو ،ىرخلأا مظن كلذ لعفت تيلا ةقيرطلاب ءاصحلإا جهنم وأ ةقيرط ىلع لاثم دمتعت نأك اضيأ ةغللا نع ةلقتسم كلذك نوكت ةيئاصحلإا ةجمترلا (Statistical Systems)

ءاصحلإا ىلع ةمئاقلا ةجمترلا مظن وأ (Statistics-based

(15)

Systems) ىلع ةمئاقلا ةجمترلا مظن يروطم ثابحأ اهيلإ تلصوت تيلا جئاتنلا نم ةدافتسلاا ناكملإاب ذإ ،

.لالمجا اذه في ءاصحلإا عجارملاو رداصملا

Banerjee, S., & Lavie, A. (2005). METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for MT and/or Summarization (pp. 65-72). Ann Arbor, Michigan: Assossiation for Computational Linguistics.

Doddington, G. (2002). Automatic evaluation of machine translation quality using n-gram co-occurrence statistics. Proceedings of the second international conference on Human Language Technology Research (pp. 138-145). Morgan Kaufmann Publishers Inc.

Lavie, A., Sagae, K., & Jayaraman, S. (2004). The Significance of Recall in Automatic Metrics for MT Evaluation. In R. E. Frederking, & K.

B. Taylor (Ed.), In Proceedings of the 6th Conference of the Association for Machine Translation in the Americas, AMTA 2004 (pp. 134-143). Washington DC: Springer-Verlag.

Olive, J. (2005). Global autonomous language exploitation (GALE).

DARPA/IPTO Proposer Information Pamphlet.

Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: A Method for Automatic Evaluation of Machine Translation. Proceedings of the 40th Annual Meeting of the Assossiation for Computational Linguistics (pp. 311-318). Philadelphia, Pennsylvania: Assossiation for Computational Linguistics.

(16)

Papineni, K., Roukos, S., Ward, T., Henderson, J., & Reeder, F. (2002). Corpus- based Comprehensive and Diagnostic MT Evaluation: Initial Arabic, Chinese, French, and Spanish Results. Proceedings of Human Language Technology, (pp. 132-137). San Diego.

Snover, M., Dorr, B., Schwartz, R., Micciulla, L., & Makhoul, J. (2006). A Study of Translation Edit Rate with Targeted Human Annotation. In Proceedings of the 7th Conference of the Association for Machine Translation in the Americas. 200, pp. 223-231. Cambridge, MA.

Zaret, A. (2016). A Quality Evaluation Template for Machine Translation.

Translation Journal, 19(1). Retrieved January 3, 2016, from http://www.translationjournal.net/January-2016/a-quality-

evaluation-template-for-machine-translation.html