Cải tiến chất lượng dịch máy dựa vào mạng nơron cho các ngôn ngữ tài nguyên hạn

ĐẠI HỌC HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ − − − − − − −⋆ − − − − − −− CẢI TIẾN CHẤT LƯỢNG DỊCH MÁY DỰA VÀO MẠNG NƠRON CHO CÁC NGÔN NGỮ TÀI NGUYÊN HẠN CHẾ LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Hà Nội - 2024 ĐẠI HỌC HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ − − − − − − −⋆ − − − − − −− CẢI TIẾN CHẤT LƯỢNG DỊCH MÁY DỰA VÀO MẠNG NƠRON CHO CÁC NGÔN NGỮ TÀI NGUYÊN HẠN CHẾ LUẬN ÁN TIẾN SĨ Chuyên ngành: Khoa học máy tính Mã số: 9480101.01 CÁN BỘ HƯỚNG DẪN KHOA HỌC: 1.TS Nguyễn Phương Thái 2.TS Nguyễn Lê Minh Hà Nội - 2024 LỜI CAM ĐOAN Tôi xin cam đoan các nội dung trong luận án là kết quả nghiên cứu của tôi, được thực hiện dưới sự hướng dẫn của các thầy. Các kết quả và số liệu trình bày trong luận án là hoàn toàn trung thực và chưa từng được công bố trong bất kỳ công trình của ai khác. Các nội dung trích dẫn từ các nghiên cứu của các tác giả khác mà tôi trình bày trong luận án đã được ghi rõ nguồn trong phần tài liệu tham khảo. Tác giả: Hà Nội: i LỜI CẢM ƠN Trước hết, tôi muốn bày tỏ sự biết ơn sâu sắc đến PGS.

TS Nguyễn Phương Thái, Trường Đại học Công nghệ, Đại học Quốc Gia Hà Nội và GS. TS Nguyễn Lê Minh, Viện công nghệ tiên tiến Nhật Bản, các thầy đã trực tiếp hướng dẫn, định hướng, hỗ trợ và động viên tôi trong suốt thời gian thực hiện luận án. Tôi cũng xin bày tỏ lời cảm ơn sâu sắc đến TS Hà Thành Lê, Viện công nghệ Karlsruhe, hiện công tác tại Công ty Zoom, chi nhánh CHLB Đức và TS Nguyễn Văn Vinh, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, các thầy đã dành nhiều thời chia sẻ kinh nghiệm, tạo động lực và giúp đỡ tôi trong suốt quá trình học tập và nghiên cứu. Tôi cũng xin trân trọng biết ơn chủ nhiệm các đề tài TC.12/19-25 và các thành viên đã chia sẻ kinh nghiệm và hỗ trợ kinh phí trong quá trình tôi thực hiện luận án.

Tôi xin trân trọng cảm ơn GS.TS Nguyễn Thanh Thuỷ, PGS.TS Lê Sỹ Vinh, TS Trần Quốc Long, TS Lê Đức Trọng, TS Hoàng Thị Điệp, TS Triệu Hải Long, TS Trần Hồng Việt, PGS.TS Nguyễn Việt Anh, PGS.TS Nguyễn Thị Nhật Thanh - Trường Đại học Công nghệ, Đại học Quốc Gia Hà Nội, PGS.TS Lê Thanh Hương - Đại học Bách khoa Hà Nội, PGS.TS Lê Hồng Phương, TS. Nguyễn Thị Minh Huyền - Trường Đại học Khoa học tự nhiên, Đại học Quốc Gia Hà Nội, PGS.TS Nguyễn Đức Dũng - Viện Công nghệ thông tin, Viện Hàn lân Khoa học và Công nghệ Việt Nam, PGS.TS Bùi Thu Lâm - Học viện Kỹ thuật mật mã, PGS. TS Phạm Văn Cường - Học viện Công nghệ Bưu chính - Viễn thông, TS Nguyễn Chí Thành - Viện Khoa học và Công nghệ Quân sự, TS Trần Hữu Anh - Trường Đại học Thái Bình, TS Nguyễn Tiến Hà - Đại học Hùng Vương đã dành nhiều thời gian đọc và góp ý cho luận án. Đồng thời, tôi cũng xin gửi lời cảm ơn đến các thầy, cô trong Bộ môn Khoa học máy tính, Khoa Công nghệ thông tin, Trường Đại học Công nghệ, Đại học Quốc Gia Hà Nội đã tận tình chỉ bảo, cung cấp cho tôi những kiến thức nền tảng quý giá, tạo điều kiện tốt nhất cho tôi về môi trường làm việc trong suốt quá trình học tập, nghiên cứu tại Trường.

Tôi xin trân trọng cảm ơn các thầy, cô, các nhà khoa học đã dành thời gian quý báu của mình để đọc luận án và đưa ra các góp ý xác đáng để luận án ngày càng được hoàn thiện. Tôi xin chân thành cảm ơn Lãnh đạo Trường, Khoa, Bộ môn và đồng nghiệp tại Trường Đại học Công nghệ thông tin và Truyền thông Thái Nguyên, nơi tôi ii công tác đã giúp đỡ, tạo mọi điều kiện, sắp xếp, bố trí thời gian cho tôi trong suốt quá trình làm nghiên cứu sinh. Cuối cùng, tôi vô cùng biết ơn cha, mẹ, chồng, con, cùng toàn thể anh, chị, em trong gia đình và bạn bè đã luôn ủng hộ, chia sẻ, giúp đỡ và động viên tôi vượt qua những khó khăn trong suốt quá trình học tập và nghiên cứu. NCS Ngô Thị Vinh iii Mục lục Lời cam đoan i Lời cảm ơn ii Mục lục iv Danh mục các từ viết tắt vii Danh mục các bảng x Danh mục các hình vẽ xiv Danh mục các thuật toán xv MỞ ĐẦU 1 Chương 1.

TỔNG QUAN VỀ DỊCH MÁY CHO CẶP NGÔN NGỮ TÀI NGUYÊN HẠN CHẾ 9 1.1 Giới thiệu về bài toán dịch máy .1 Dịch máy và các bước ngoặt chính trong quá trình phát triển 9 1.2 Một số khái niệm được sử dụng trong luận án .3 Phạm vi của luận án .4 Những thách thức trong mô hình dịch máy hiện nay .2 Các hướng nghiên cứu chính về bài toán dịch máy tài nguyên hạn chế .1 Các phương pháp thu thập dữ liệu .2 Các phương pháp dựa vào dữ liệu đơn ngữ .3 Các phương pháp dựa vào dịch máy đa ngữ .4 Các phương pháp dịch máy dựa vào các tài nguyên khác .5 Các phương pháp thay đổi mô hình .3 Một số công cụ và phương pháp sử dụng trong luận án .1 Kiến trúc hệ thống dịch máy dựa trên mạng nơron .2 Đánh giá chất lượng dịch máy .3 Hệ thống máy tính toán .4 Phương pháp lựa chọn dữ liệu dựa vào độ đo TF-IDF .5 Phương pháp tách từ không giám sát .4 Tóm tắt chương. ẢNH HƯỞNG CỦA PHÂN ĐOẠN TỪ LÊN CHẤT LƯỢNG CỦA HỆ THỐNG DỊCH MÁY 37 2.2 Phân đoạn từ cho văn bản tiếng Việt sử dụng học không giám sát 39 2.2 Thực nghiệm và kết quả .3 Hệ thống dịch máy dựa trên các mức phân đoạn từ khác nhau .2 Sự khác biệt giữa kiến trúc Transformer và kiến trúc RNN khi dịch dựa trên các ký tự .3 Thực nghiệm và kết quả .4 Tóm tắt chương. TĂNG CƯỜNG DỮ LIỆU 51 3.2 Phương pháp đề xuất .3 Thực nghiệm và kết quả .1 Tập dữ liệu và tiền xử lý .2 Thiết lập hệ thống và huấn luyện .3 Kết quả và phân tích .4 Thảo luận thêm .4 Tóm tắt chương. XỬ LÝ TỪ HIẾM 72 4.2 Cải tiến quá trình giải mã .2 Thực nghiệm và kết quả .3 Kết hợp vectơ nhúng từ, tách hình thái từ có giám sát và sử dụng cơ sở dữ liệu WordNet khi dịch từ hiếm .1 Kết hợp vectơ nhúng từ (word embedding) trong câu nguồn 85 4.2 Tách hình thái theo cách tiếp cận học có giám sát cho văn bản tiếng Anh .3 Sử dụng quan hệ đồng nghĩa trong cơ sở dữ liệu WordNet .4 Thực nghiệm và kết quả .4 Tóm tắt chương .2 Hệ thống dịch máy từ tiếng Trung, Nhật sang tiếng Việt .1 Sử dụng các phương pháp phân đoạn từ khác nhau .2 Cải tiến hệ dịch đa ngữ sử dụng nhãn nhân tạo .3 Hệ thống dịch máy từ tiếng Anh, Pháp sang tiếng Việt .1 Phương pháp đề xuất .2 Thử nghiệm và kết quả .4 Tóm tắt chương.

119 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 120 DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC 126 TÀI LIỆU THAM KHẢO 127 vi DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt Dạng đầy đủ Diễn giải Adam SGD Adam Stochastic Gradient Bộ tối ưu Adam sử dụng Descent phương pháp cắt giảm gra- dient ngẫu nhiên ALPAC Automatic Language Proces- Ủy ban cố vấn về xử lý ngôn sing Advisory Committee ngữ tự động của chính phủ Mỹ ALT Asian Language Treebank Tập dữ liệu đa ngữ giữa một số ngôn ngữ Châu Á BLEU Bilingual Evaluation Un- Độ đo tự động giữa các văn derstudy bản song ngữ BPE Byte Pair Encoding Kỹ thuật tách từ thành các đơn vị dịch nhỏ hơn IWSLT 16th International Workshop Hội nghị quốc tế về dịch máy on Spoken Language Trans- cho ngôn ngữ dạng văn nói lation KSE The International Confe- Hội thảo khoa học quốc tế rence on Knowledge And về Kỹ nghệ Tri thức và Hệ System Engineering thống LoResMT The Workshop on Technolo- Hội nghị các kỹ thuật dịch gies for MT of Low Resource máy cho ngôn ngữ hạn chế Languages tài nguyên vii LSTM Long Short-Term Memory Một dạng đơn vị nhớ trong mạng nơron với các cổng khác nhau cho phép bắt ngữ cảnh dài của các chuỗi đầu vào GRU Gated Recurrent Unit Một dạng đơn vị nhớ trong mạng nơron có chức năng tương tự như LSTM nhưng các tính toán có sự thay đổi NMT Neural Machine Translation Dịch máy dựa trên mạng nơ- ron RNN Recurrent Neural Network Mạng nơron hồi quy VLSP The seventh international Hội nghị xử lý ngôn ngữ và workshop on Vietnamese tiếng nói tiếng Việt Language and Speech Processing VNICT The Vietnam Conference of Hội thảo quốc gia về "Một số Selected ICT Problems vấn đề chọn lọc về công nghệ thông tin và Truyền thông SMT Statistical Machine Transla- Dịch máy thống kê tion SWR The Student Research Work- Hội nghị xử lý ngôn ngữ AACL- shop: The Conference of the tự nhiên khu vực Châu Á: IJCNLP Asia-Pacific Chapter of the Phiên dành cho sinh viên Association for Computatio- nal Linguistics and Interna- tional Joint Conference on Natural Language Proces- sing viii TF-IDF Term Frequency - Inverse Một phương pháp lựa chọn Document Frequency dữ liệu dựa vào tần số xuất hiện của các từ trong tập dữ liệu TER Translation Error Rate Tỷ lệ lỗi dịch WAT The Workshop on Asian Hội nghị dịch máy cho các Translation ngôn ngữ châu Á WER Word Error Rate Tỷ lệ lỗi từ độc lập với vị trí WMT Workshop on Statistical Ma- Hội nghị chuyên về dịch máy chine Translation của thế giới ix DANH MỤC CÁC BẢNG 1.1 Ảnh hưởng của miền dữ liệu trong dịch máy trong nghiên cứu [61] dựa trên điểm BLEU.2 Các tham số cơ bản của các hệ thống dịch dựa trên mạng hồi quy RNN.3 Các tham số cơ bản của các hệ thống dịch dựa trên mạng Transformer.1 Ví dụ về cách phân đoạn câu tiếng Nhật khi sử dụng ba phương pháp phân đoạn từ Kytea, mecab, spacy .2 Kết quả thực nghiệm trên hệ thống dịch NMT giữa tiếng Việt và tiếng Nhật trong phương pháp phân đoạn từ không giám sát cho văn bản tiếng Việt.3 Một số ví dụ về sự ánh xạ giữa các ký tự kanji trong tiếng Nhật với các từ trong tiếng Việt.4 So sánh kết quả thực nghiệm trên các hệ thống dịch giữa tiếng Nhật và tiếng Việt.1 Minh hoạ phương pháp sinh ra dữ liệu tổng hợp trong cách tiếp cận của [40, 115] cho hệ thống dịch từ tiếng Anh sang tiếng Việt.2 Minh hoạ phương pháp sinh ra dữ liệu như trong cách tiếp cận của [40, 115] trong hệ thống dịch từ tiếng Nhật sang tiếng Việt.3 Ví dụ về các kỹ thuật sinh dữ liệu tổng hợp trong nghiên cứu của [115], các từ bị thay đổi được in đậm .