Luận án TS: Xây dựng mô hình tích hợp tri thức ngôn ngữ Dịch máy NMT Anh-Việt

DẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN NGUYÊN HỒNG BỬU LONG XÂY DỰNG MÔ HÌNH TÍCH HỢP TRI THỨC NGÔN NGU TRONG DỊCH MAY MANG NEURAL ANH-VIỆT TP. Hồ Chí Minh — Năm 2023 VIET NAM NATIONAL UNIVERSITY - HO CHI MINH UNIVERSITY OF SCIENCE NGUYEN HONG BUU LONG CONSTRUCTING MODELS FOR INTEGRATING LINGUISTIC KNOWLEDGE INTO THE ENGLISH-VIETNAMESE NEURAL MACHINE TRANSLATION Doctoral Thesis ĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN NGUYEN HONG BUU LONG Nganh: KHOA HOC MAY TINH Ma so Nganh: 9480101 Phan biện 1: PGS.

Lê Anh Cường Phản biện 2: GS. Đỗ Phúc Phản biện 3: PGS. Nguyễn Tuấn Đăng Phản biện độc lập 1: miễn Phan biện độc lập 2: miễn NGƯỜI HƯỚNG DAN KHOA HỌC: PGS. ĐINH DIEN TP.

H6 Chi Minh — Nam 2023 LỜI CAM ĐOAN Tôi cam đoan luận án tiến sĩ ngành Khoa học Máy tính, với đề tài “Xây dựng mô hình tích hợp tri thức ngôn ngữ trong dịch mấy mạng neural Anh-Việt” là công trình nghiên cứu của bản thân tôi thực hiện dưới sự hướng dẫn của PGS. Những kết quả nghiên cứu của luận án hoàn toàn trung thực, chính xác và không trùng lắp với các công trình đã công bố trong và ngoài nước. Việc tham khảo các nguồn tài liệu (nếu có) đã được thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng quy định. Tác giả luận án Nguyễn Hồng Bửu Long LỜI CẢM ƠN Luận án này đã được hoàn thành với sự hướng dẫn tận tình, giúp đỡ và động viên quý báu rất nhiều từ PGS.

Dinh Điền, cán bộ hướng dẫn mà tôi tôn trọng và bày tỏ lòng biết ơn sâu sắc nhất. Đồng thời, Thầy cũng là người luôn cho tôi những lời khuyên vô cùng quý giá về cả kiến thức chuyên môn cũng như định hướng phát triển sự nghiệp. Trong quá trình hoàn thành luận án, tôi đã được các Thầy Cô nơi cơ sở đào tạo giúp đỡ tận tình, cơ quan nơi công tác tạo mọi điều kiện thuận lợi và hỗ trợ. Qua đây, tôi xin chân thành cảm ơn sự giúp đỡ và góp ý rất nhiệt tình của tập thể giảng viên, cán bộ Khoa Công nghệ thông tin va Trung tâm Ngôn ngữ hoc Tinh toán, Trường Dai học Khoa học Tu nhiên — Đại học Quốc gia Tp.

Hồ Chí Minh. Tôi xin chân thành cảm ơn quý Thầy/Cô thành viên hội đồng đánh giá luận án đã giành thời gian quý báu để nhận xét, đóng góp ý kiến giúp cho luận án được hoàn thiện hơn và qua đó cũng giúp tôi củng cố lại kiến thức chuyên sâu về hướng nghiên cứu. Cuối cùng tôi cảm ơn tất cả bạn bè, người thân và đặc biệt gia đình đã đóng góp nhiều ý kiến cũng như những lời động viên khích lệ quí báu giúp tôi vượt qua khó khăn để hoàn thành tốt luận án. 1 TRANG THONG TIN LUẬN AN TIENG VIET Dịch máy mang neural (NMT) đã chứng minh được sự hiệu quả và do đó thu hút được sự chú ý của các nhà nghiên cứu trong những năm gần đây.

Trong các ứng dụng thực tế, đầu vào của các hệ thống NMT là các câu trong đó các từ được biểu diễn dưới dạng các vector riêng lẻ trong một không gian vector từ. Tuy nhiên, không gian vector từ này không biểu diễn kết nối giữa các từ trong một câu, chăng hạn như các mối quan hệ ngữ pháp hay ngữ nghĩa. Các nghiên cứu gần đây cho thấy tri thức ngôn ngữ bổ sung là điều cần thiết để tạo ra các bản dịch chính xác và phù hợp trong dịch máy. Mặc dù đạt được bước đột phá đáng kể, thiết kế và chức năng của những mô hình này chỉ phù hợp với dịch máy thống kê.

Do đó, nhiệm vụ khảo sát, phân tích và áp dụng thông tin tri thức bo sung cho các mô hình NMT cần được quan tâm một cách toàn diện. Luận án nghiên cứu tính hữu ích của việc sử dụng tri thức ngôn ngữ bổ sung để cải thiện các mô hình NMT hiện nay. Luận án đề xuất sử dụng nhiều loại tri thức ngôn ngữ ở các cấp độ từ vựng, ngữ pháp và ngữ nghĩa nhằm đưa ra các phương pháp tiếp cận phù hợp để tích hợp tri thức ngôn ngữ vào cả giai đoạn huấn luyện và suy luận của các mô hình NMT phổ biến hiện nay gồm Seq2Seq, ConvSeq2Seq va Transformer. ill Cụ thể, luận án nghiên cứu hai phương pháp tích hợp: 1) mô hình tích hợp tri thức ngôn ngữ ở các cấp độ từ vựng, ngữ pháp và ngữ nghĩa cả trong giai đoạn huấn luyện và suy luận, và 2) mô hình tích hợp tri thức ngôn ngữ ở mức tổng quát vào chỉ giai đoạn huấn luyện.

Tích hợp tri thức ngôn ngữ vào các mô hình NMT mang lại rất nhiều lợi ích. Đầu tiên, tích hợp tri thức ngôn ngữ cho phép giải quyết các vấn đề về ngữ liệu thưa và nhập nhằng ngữ nghĩa. Thứ hai, thông tin ngữ pháp và ngữ nghĩa có cấu trúc được xây dựng từ tri thức ngôn ngữ có thể cung cấp thông tin trừu tượng cao hơn cho văn bản, qua đó cải thiện chất lượng các mối quan hệ từ trong không gian vector. Cuối cùng, cơ chế chú ý cũng có thể tận dụng tri thức ngôn ngữ để cải thiện thông tin phụ thuộc giữa các từ trong câu.

Luận án đã đánh giá các mô hình đề xuất trên bốn cặp ngôn ngữ, bao gồm Anh - Việt (cặp ngôn ngữ chính), Anh - Đức, Anh - Pháp và Anh - Sóc. Kết quả thực nghiệm trên các cặp ngôn ngữ khác nhau chứng minh rằng các mô hình NMT có tích hợp tri thức ngôn ngữ cho chất lượng dịch tự động tốt hơn nhờ khả năng mô hình hóa một cách tường minh các khía cạnh ngữ pháp và ngữ nghĩa của ngôn ngữ. Ngoài ra, các mô hình đề xuất phù hợp với cả cặp ngôn ngữ ít tài nguyên và cặp ngôn ngữ giàu tài nguyên. Các hướng phát triển trong tương lai của luận án bao gồm: nghiên cứu các tri thức sâu hơn của ngôn ngữ, mở rộng dịch ở cấp độ câu sang cấp độ văn bản (dịch máy cấp độ văn bản), mở rộng số lượng ngôn ngữ trong mô hình dịch (dịch máy đa ngữ).

iv TRANG THONG TIN LUẬN AN TIENG ANH Neural machine translation (NMT) has proven its effectiveness and thus has gained researchers’ attention in recent years. In practical applica- tions, the typical inputs to NMT systems are sentences in which words are represented as individual vectors in a word embedding space. This word embedding space does not show any connection among words within a sentence such as syntactic or semantic role relationships. Recent stud- ies found that additional linguistic knowledge is essential to generate concise and appropriate translations in machine translation.

Although these models have made a significant progress, their design and functions are limited to statistical machine translation systems only. Consequently, the tasks of surveying, analyzing, and applying additional knowledge in- formation to NMT systems have not received comprehensive attention. The thesis investigates the usefulness of utilising prior and external lin- guistic knowledge for improving NMT models, which are also neural sequence models. The thesis proposes the use of various types of lan- guage knowledge at the lexical, grammatical, and semantic levels to pro- vide suitable approaches for integrating linguistic knowledge into both the training and inference stages of popular NMT models, including Seq2Seq, ConvSeq2Seq, and Transformer.

Specifically, the thesis ex- V plores two types of integration: 1) to adapt linguistic knowledge at the lexical, grammatical, and semantic levels in both training and inference phases and 2) to adapt general linguistic knowledge to the training phase only (i. without changing the inference phase). Integrating linguistic knowledge into NMT models yields several ben- efits. First, this addresses the problems of data sparsity and semantic ambiguity.

Second, structured syntactic and semantic information con- structed from linguistic knowledge could help complement the text by providing high-level abstract information, thereby improving the encod- ing of the word embedding. Last, multi-head attention can also take advantage of linguistic information to improve the dependency among words within a sentence. The thesis evaluated our proposed models on four language pairs, includ- ing English - Vietnamese (i. the main pair), English - German, English - French, and English — Czech.

Our experimental results on different language pairs prove that the NMT models with integrated linguistic knowledge yield better performance thanks to ability to model deeper syntactic and semantic aspects of languages. Additionally, these mod- els are suitable for both low-resource language pairs and rich—resource languages pairs. The future directions for the thesis include: exploring deeper language understanding in NMT models, expanding translation from the sentence level to the document level (document-level NMT), and increasing the number of languages in the translation model (mul- tilingual NMT). vi MỤC LỤC Lời cam đoan i Lời cảm on ii Trang thông tin luận án tiếng Việt Hi Trang thông tin luận án tiếng Anh Vv Danh mục các hình, biểu đồ xi Danh mục các bảng so liệu xiii Danh mục các ký hiệu, các chữ viết tắt xvi Bảng chú thích thuật ngữ xvi a4 đá 13 CHƯƠNG 2.

1 21 Tong quan dịhmáy|.1 Khao sát các phương pháp dich may| .2 Đánh giá chất lượng dich may}.2 Các mô hình dịch mấy mang neural].1 Mô hình Seq2Sedl.2 Mô hình Seq2Seq với cơ chế chú ý|. Mô hình ConvSeq2Seqd.4 Mô hình Transformeril. Các tri thức ngôn ngữ ảnh hưởng đến dịch máy|.1 Trithtic ti vung) .2 Tri thứcngữ pháp .4 Kết chương.1 Phân đoạn cụm từ|. Mang Capsule cụm từ chính (PPC)}.

Cơ chế chú ý vị trí động (DSA)).4 Kết nối đến các lớp tự chú ý 65 tp %ẮẶ.2 Các thiết lap mo hinh| .3 Kết quả trên tap song ngữ Anh-Việt| .5 Phân tích ảnh hưởng của chiều dài câu 71 3.6 Phân tích ảnh hưởng của trọng số chú ý|.1 Tích hợp tri thức từloại|.2 Mô hình đề xuất .2 Mô hình đề xuất. TQ Q2 92 ix CHƯƠNG 5. |MÔ HÌNH TÍCH HỢP TRI THỨC NGỮ NGHĨA 93 5.1 Tích hợp tri thức ngữ nghĩa trừu tượng|. 11 Mo hình đề xuất .1 Công trình liên quan|.2 Mô hình đề xuất .3 Kết chương.

TQ Q2 CHƯƠNG 6. |MÔ HÌNH TÍCH HỢP TRI THỨC TONG QUAT 136 6.1 Cơ chế so khớp mô men .2 Cong trình liên quan|. 62 Dac trưng dé xuatl .1 Đặc trưng so sánh văn bản|.2 Đặc trưng khoảng cách vector.2 Thiết lap thực nghiệm.1 Phân tích lỗi dịch|.2 Phân tích thời gian dịch .5 Kết chương. TQ v2 158 CHƯƠNG 7.1 Kết quả đạt dude).2 Hướng phát triển.

163 Danh mục công trình của tác giả 164 Tai liệu tham khảo 167 DANH MỤC CÁC HÌNH, BIEU ĐÔ 1.1 Các cấp độ tri thức ngôn ngữ|.1 Quá trình phát triển của các hệ dịch máy.2_ Quá trình phát triển của các hệ dịch máy mang neural|. Mô hình Seq2Seq với vector ngữ cảnh cố định 31 2.4 Một lớp tính toán cơ chế chú ý của Bahdanau trong Seq2Seq.5 Cơ chế chú ý toàn cục|.6 Cơ chế chú ý cụcbộ|.7 Mô hình ConvSeq2Seq|. j8 28 Mô hình Transformer .9 Minh họa các loại cây cú pháp|.10 Minh họa về các quan hệ ngữ nghĩa trong WordNet.