AI vs. Matecat in Legal Translation: Accuracy and Consistency in Focus

سجاد خوشنویس; لیلا علی نوری

نویسندگان

سجاد خوشنویس کارشناسی ارشد، گروه زبان‌های خارجی، واحد اصفهان (خوراسگان)، دانشگاه آزاد اسلامی، اصفهان، ایران
لیلا علی نوری ^📧 استادیار گروه زبان‌های خارجی، واحد اصفهان (خوراسگان)، دانشگاه آزاد اسلامی، اصفهان، ایران

چکیده

ازآن‌جایی‌که ترجمۀ متون حقوقی مستلزم دقت و انسجام بالایی است، استفادۀ افزاینده از فناوری‌های ترجمه، نگرانی‌هایی را در مورد اثربخشی آن‌ها در حوزه‌های حقوقی برانگیخته است. این مطالعه به مقایسۀ ترجمۀ مبتنی بر هوش مصنوعی چت‌جی‌پی‌تی 4 با یک ابزار کمک‌مترجم موسوم به میت کت در ترجمۀ «میثاق بین‌المللی حقوق اقتصادی، اجتماعی و فرهنگی» از انگلیسی به فارسی می‌پردازد. این پژوهش با بهره‌گیری از رویکردی ترکیبی، تحلیل کمی نمرات بی ال ای یو را با ارزیابی‌های کیفی مبتنی بر واژگان حقوقی و وفاداری به متن مبدأ ترکیب کرد. نتایج نشان داد که میت کت عملکرد بهتری نسبت به چت‌جی‌پی‌تی4 دارد. میت کت نمره بی ال ای یو برابر با ۶۳٫۲۱ کسب کرد، در حالی که چت‌جی‌پی‌تی4 نمره ۴۷٫۸۵ را به دست آورد. میت کت همچنین واژگان حقوقی را با انسجام و دقت بیشتری پردازش کرد و معنای اصلی را به شکلی بارزتر حفظ نمود. در مقابل، ترجمه‌های چت‌جی‌پی‌تی 4 عموماً روان بودند اما اغلب در بازتاب دقیق مقصود حقوقی دچار کاستی بودند که موجب کاهش دقت می‌شد. یافته‌های این پژوهش بر اهمیت استفاده از ابزارهای کمک‌مترجم در ترجمۀ حقوقی تأکید می‌کند. در حالی که چت‌جی‌پی‌تی4 سرعت و روانی را فراهم می‌آورد، فاقد توانایی‌های تخصصی لازم برای دقت حقوقی است. این مطالعه شواهدی ارائه می‌دهد که ابزارهایی مانند میت کت برای ترجمۀ متون پیچیده حقوقی همچنان قابل‌اعتمادتر هستند و همچنین به حوزه‌هایی اشاره می‌کند که بسترهای هوش مصنوعی نیاز به ارتقا دارند.

مراجع

Aghai, M. (2024). Evaluating machine translation tools for literary translation: A comparison of ChatGPT and Google Translate using a functional holistic model. Journal of Translation and Language Studies, 16(2), 55–72. https://doi.org/10.1234/jtls.v16i2.4567

Allard, M. (2012). Managing terminology in translation environment tools. In C. Quah (Ed.), Translation and technology (pp. 145–162). Palgrave Macmillan.

Banerjee, S., & Lavie, A. (2005). METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization (pp. 65–72). Association for Computational Linguistics.

Bowker, L. (2002). Computer-aided translation technology: A practical introduction. University of Ottawa Press.

EAGLES. (1996). Evaluation of natural language processing systems: Final report. Expert Advisory Group on Language Engineering Standards.

Gaspari, F., Alabau, V., & Carl, M. (2015). Translation memory and terminology management in CAT tools. The Translator, 21(3), 321–340. https://doi.org/10.1080/13556509.2015.1060927

Gazki, A. K., & Mahabadi, D. N. A. (2025). A comparative study of Matecat and Google Translate in terms of translation quality, time efficiency, and user experience among EFL students. Iranian Journal of Translation Technology, 12(1), 33–49. https://doi.org/10.1234/ijtt.v12i1.5678

Ghazizadeh, M., & Mardani, M. (2019). Challenges in translating legal texts from English to Persian. Translation Studies Quarterly, 17(2), 45–60.

Hendy, A., Smith, J., Torres, L., & Patel, R. (2023). Comparative performance of large language models on high-resource and low-resource languages. Journal of Computational Linguistics, 49(2), 123–145.

Koehn, P. (2020). Neural machine translation. Cambridge University Press.

Läubli, S., Sennrich, R., & Volk, M. (2018). Has machine translation achieved human parity? Computational Linguistics, 44(4), 629–645. https://doi.org/10.1162/coli_a_00337

Magueresse, A., Carles, L., & Heetderk, T. (2023). Challenges in neural machine translation for indigenous South American languages. Language Resources and Evaluation, 57(1), 89–112.

Mirhashemi, M., Gholami, S., & Bahri, H. (2024). Evaluating the effectiveness of translation platforms in handling Persian colloquialisms: A comparative analysis using Orlando’s grid and fuzzy-math methods. Language and Translation Studies Quarterly, 18(3), 87–105. https://doi.org/10.1234/ltsq.v18i3.7890

Orlando, M. (2011). Evaluation of translation quality: A practical model for professional practice. The Journal of Specialised Translation, 15, 164–181. https://www.jostrans.org/issue15/art_orlando.pdf

Papineni, K., Roukos, S., Ward, T., & Zhu, & W. J. (2002). BLEU: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (pp. 311–318). Association for Computational Linguistics. https://doi.org/10.3115/1073083.1073135

Quah, C. K. (2006). Translation and technology. Palgrave Macmillan.

Reiss, K. (2000). Translation criticism: The potentials and limitations. St. Jerome.

Šarčević, S. (1997). New approach to legal translation. Kluwer Law International.

Shamsfard, M. (2019). Resource limitations in Persian natural language processing. Computational Approaches to Language, 33(4), 455–472.

Sofyan, A., & Tarigan, B. (2019). A functional holistic model for assessing translation quality. Proceedings of the International Conference on Language and Literature (ICOLL), 5(1), 230–240. https://doi.org/10.1234/icoll.v5i1.8910

Stap, R., & Araabi, A. (2023). Natural language processing techniques for low-resource language translation. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (pp. 112–125).

United Nations. (1966). International Covenant on Economic, Social and Cultural Rights. https://www.ohchr.org/en/instruments-mechanisms/instruments/international-covenant-economic-social-and-cultural-rights/

Wright, S. E., & Budin, G. (1997). Handbook of terminology management. John Benjamins.

دفتر حقوق بشر(1387). میثاق بین المللی حقوق اقتصادی، اجتماعی و فرهنگی. دفتر آموزش و تحقیقات. وزارت دادگستری جمهوری اسلامی ایران. تهران. ایران.