Nghiên cứu kỹ thuật thích ứng miền trong dịch máy Anh-Việt - Phạm Nghĩa Luân

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ PHAM NGHĨA LUAN NGHIEN CUU MOT SO KY THUAT THÍCH UNG MIEN TRONG DICH MAY THONG KE ANH - VIET LUAN AN TIEN SI CONG NGHE THONG TIN Hà Nội - 2023 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ PHAM NGHĨA LUAN NGHIEN CUU MOT SO KY THUAT THÍCH UNG MIEN TRONG DICH MAY THONG KE ANH - VIET Chuyên ngành: Hệ thống thông tin Mã số: 9480104.01 LUẬN ÁN TIEN SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. Phạm Việt Thắng Hà Nội - 2023 LỜI CAM ĐOAN Tôi xin cam đoan luận án ”Nghiên cứu một số kỹ thuật thích ứng miền trong dịch máy thống kê Anh-Viét” là công trình nghiên cứu của riêng tôi dưới sự hướng dẫn của thầy TS. Nguyễn Văn Vinh và thầy TS. Phạm Việt Thắng.

Các số liệu, kết quả được trình bày trong luận án là hoàn toàn trung thực và chưa từng được công bố trong bất kỳ một công trình nào khác. » Tôi đã trích dẫn day đủ các tài liệu tham khảo, công trình nghiên cứu liên quan ở trong nước và quốc tế. Ngoại trừ các tài liệu tham khảo này, luận án hoàn toàn là công việc của riêng tôi. » Trong các công trình khoa học được công bố trong luận án, tôi đã thể hiện rõ ràng và chính xác đóng góp của các đồng tác giả và những gì do tôi đã đóng góp.

« Luận án được hoàn thành trong thời gian tôi làm Nghiên cứu sinh tại Bộ môn Các Hệ thống thông tin, Khoa Công nghệ Thông tin, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội. Phạm Nghĩa Luân LỜI CẢM ƠN Trước tiên, tôi xin gửi lời cảm ơn chân thành và sâu sắc đến thầy TS. Nguyễn Văn Vinh và thầy TS. Phạm Việt Thắng - những người đã hướng dẫn, khuyến khích, truyền cảm hứng, chỉ bảo và tạo cho tôi những điều kiện tốt nhất từ khi bắt đầu làm nghiên cứu sinh đến khi hoàn thành luận án này.

Tôi xin chân thành cẩm ơn các thầy cô Khoa Công nghệ thông tin, Trường Đại học Công nghệ, Dại học Quốc Gia Hà Nội, đặc biệt là các thầy cô trong bộ môn đã tận tình chỉ bảo, cung cấp cho tôi những kiến thức vô cùng quý giá, điều kiện tốt nhất cho tôi về môi trường làm việc trong suốt quá trình học tập, nghiên cứu tại Trường. Đồng thời, tôi xin chân thành cảm ơn các đồng nghiệp tại Trường Đại học Hai Phòng đã tạo mọi điều kiện, bố trí thời gian tốt nhất dành cho tôi trong suốt quá trình làm nghiên cứu sinh. Cuối cùng, tôi xin chân thành cảm ơn những người thân trong gia đình cùng toàn thể bạn bè, đồng nghiệp nơi tôi công tác đã luôn ủng hộ, chia sẻ, động viên và khích lệ tôi trong suốt quá trình học tập và nghiên cứu. il 11 TÓM TẮT Cho đến nay, dịch máy thống kê (SMT-Statistical Machine Trans- lation) là phương pháp dịch máy được nghiên cứu nhiều và phổ biến nhất trước khi phát triển dịch máy mạng nơ-ron (NMT-Neutral Ma- chine Translation).

Hiện nay, dịch máy NMT là cách tiếp cận hiện đại, tiên tiến nhất (State-Of-The-Art). Cả dịch máy SMT và NMT đều là các phương pháp dịch máy dựa trên dữ liệu (DDMT-Data Driven Machine Translation), cách tiếp cận này sử dụng kho ngữ liệu song song lớn (Parallel corpus) chủ yếu do con người dịch làm cơ sở để tạo ra các bản dịch. Về bản chất, phương pháp dịch máy DDMT là cách tiếp cận theo phương pháp thống kê. Vì vậy, để tạo ra một mô hình dịch máy chất lượng tốt phụ thuộc rất lớn vào số lượng và chất lượng của ngữ liệu huấn luyện.

Đối với các miền có sin kho ngữ liệu song song lớn, chang hạn như miền tin tức thì chất lượng dịch thuật đạt mức cao. Tuy nhiên, trong vô số miền đặc thù khác không có kho ngữ liệu song song lớn, chang hạn như miền y tế hoặc miền pháp luật, chất lượng bản dịch kém đến mức có thể không chấp nhận được. Việc dịch các văn bản thuộc chuyên ngành hẹp, miền đặc thù có tập từ vựng không cùng phân bố với tập từ vựng của ngữ liệu dùng để huấn luyện mô hình đang phải đối mặt với nhiều thách thức, thích ứng miền trong dịch máy là một miền nghiên cứu nhằm giải quyết các van đề này để tối ưu hóa bản dịch trong một ngữ cảnh « DN 2 hoặc miên cụ thé. Hiện nay, các phương pháp thích ứng miền trong dịch máy theo hai hướng tiếp cận phổ biến là (1) Hướng mô hình (cải tiến mô hình trong miền đích) và (2) Hướng dữ liệu (cải tiến chất lượng hoặc tăng cường, bổ sung thêm dữ liệu miền để huấn luyện mô hình).

1V Luận án này tập trung giải quyết các thách thức đã nêu về thích ứng miền trong dịch máy thống kê cho cặp ngôn ngữ Anh-Việt, đã đề xuất ba kỹ thuật thích ứng miền theo cả hai hướng tiếp cận trên, luận án có ba đóng góp chính, cụ thể như sau: (i) Thứ nhất, đề xuất phương pháp tinh chỉnh bang cum từ (phrase- table) cho SMT, đây là cách tiếp cận theo hướng mô hình. Trong SMT, mô hình dịch (translation model - còn gọi là bảng dịch cụm từ) chứa danh sách các xác suất dịch của các cụm từ từ ngôn ngữ nguồn sang ngôn ngữ đích theo cả hai chiều dịch, các xác suất này được học tự động từ tập dữ liệu song ngữ. Đề xuất này thực hiện phân loại miền cho các cụm từ trong bảng cụm từ, từ đó điều chỉnh, cập nhật lại xác suất dịch của các cụm từ này theo hướng ưu tiên hơn trong miền đích. (ii) Thứ hai, đề xuất phương pháp sinh tự động dit liệu song ngữ cho dịch máy, đây là cách tiếp cận theo hướng dữ liệu, cụ thể là tăng cường, bổ sung thêm dữ liệu cho huấn luyện.

Hiện nay, dịch máy NMT luôn trong tình trạng thiếu dữ liệu song ngữ để huấn luyện mô hình, việc xây dựng dữ liệu song ngữ đủ lớn luôn là một thách thức, đặc biệt dữ liệu song ngữ miền. Do đó, luận án đã đề xuất sử dụng ứng dụng Google Translate như một mô hình thành phần trong các bước của kĩ thuật dịch ngược để sinh tự động dit liệu giả song ngữ. Đề xuất đặc biệt hiệu quả đối với các cặp ngôn ngữ hoặc miền ít tài nguyên, giảm chi phí thời gian và có được dt liệu giả song ngữ tốt hơn so với kĩ thuật dịch ngược thông thường. (iii) Thứ ba, đề xuất phương pháp cải tiến chất lượng của dữ liệu giả song ngữ được sinh tự động ở đề xuất thứ hai, đây cũng là cách tiếp cận theo hướng dt liệu nhưng mục đích là cải tiến chất lượng của dữ liệu cho huấn luyện.

Do đầu vào của phương pháp dịch ngược là một văn bản nhưng văn bản này thường có nhiễu vì có thể chứa các lỗi về chính tả, ngữ pháp nên ảnh hưởng tới chất lượng của đầu ra. Để giảm nhiễu, luận án đề xuất sửa lỗi chính tả, ngữ pháp tự động cho văn bản đầu vào trước khi đưa vào dịch ngược. Đề xuất này góp phần cải thiện chất lượng của dữ liệu giả song ngữ được sinh tự động. Từ khóa: dịch máy, dịch máy thống kê, dịch máy mạng nơ-ron, thích ứng miền.

Mục lục Lời cam đoan i Lời cam ơn ii Tom tat iii Muc luc vi Danh mục các từ viết tat ix Danh muc cac bang x Danh muc cac hinh vé xi MỞ DAU 1 Tính cấp thiết của luậnán. 1 Mục tiêu của luậnấn. 4 Đóng góp của luậnấn. 5 Cấu trúc của luậnán.

TONG QUAN VE VAN DE NGHIEN CUU 9 1.1 Tổng quan về dich mấy.1 Khái niệm dich máấáy.2 Lịch sử dich máy.2 Dịch máy thống kê .2 Dich máy thống kê dựa vào từ .3 Dịch máy thống kê dựa vào cum từ. 16 vi Nội dung vii 1.3 Dịch máy mang nơron.1 Kiến trúc Encoder-Decoder .2 Kiến trúc Transformer.4 Những thách thức trong dich máấáy.5 Đánh giá chất lượng mô hình dich máy .1 Phương pháp đánh giá chủ quan .2 Phương pháp đánh giá khách quan .6 Thích ứng miền trong dịch máy .1 Thich tng miền .2 Thích ứng miền trong dịch máy.7 Ứng dụng dịch tự động Google Translate .8 Các nghiên cứu liên quan.9 Các tập dữ liệu thử nghiệm .10 Kết luận Chương l_. PHƯƠNG PHÁP TINH CHỈNH BANG CUM TỪ 42 2.2 Phương pháp tinh chỉnh bang dịch cum từ .1 Bảng dịch cụntừ .3 Phân loại văn ban.1 Phương pháp tỉnh chỉnh bảng dịch cụm từ.1 Tap dữ liệu và cài đặt thực nghiệm .2 Tiền xử lý dữ liệu .4 Kết quả thực nghiệm .5 Kết luận Chuong2. PHƯƠNG PHÁP SINH TU DONG DU LIEU SONG NGU 63 3.2 Phương phap sinh tự động dữ liệu song ngữ.

66 Nội dung viii 3.1 Ky thuật dịch ngược trong dich méy .2 Phương phap sinh tự động dữ liệu song ngữ.1 Tập dữ liệu và cài đặt thực nghiệm .2 Tiền xửlý dữliệu .4 Kết quả thực nghiệm .5 Phân tích và thảo luận .4 Kết luận Chương 3_. CẢI TIEN CHAT LƯỢNG CUA PHƯƠNG PHAP SINH TU DONG DU LIEU SONG NGU 79 41 Gidithiéu.2 Cai tiến chất lượng của phương pháp sinh tự động dit liệu song ngữ. ee 81 43 Thực nghiệm .1 Tập dữ liệu và cài đặt thực nghiệm .2 Cài đặt thực nghiệm.3 Kết quả thực nghiệm .4 Kết luận Chuong4. 102 KET LUAN 104 Tóm lược các kết quả va đóng góp của luậnán.

104 Hạn chế và hướng phát triển của luậnán. 105 DANH MỤC CÔNG TRÌNH KHOA HOC CUA TAC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN 108 TÀI LIỆU THAM KHẢO 109 DANH MỤC CÁC TỪ VIET TAT Từ viết tắt Dang day đủ BLEU BiLingual Evaluation Understudy (Chi số đánh giá chất lượng dich song ngữ) CNN Convolutional Neural Network (Mạng nơ-ron tích chập) DDMT Data-Driven Machine Translation (Dich máy hướng dit liệu) GRU Gated Recurrent Unit (Don vị hồi quy cổng) LSTM Long Short Term Memory (Bộ nhớ dài ngắn hạn) NLP Natural Language Processing (Xử lý ngôn ngữ tự nhiên) NMT Neural Machine Translation (Dịch máy mạng nơ-ron) PBSMT Phrase-Based Statistical Machine Translation (Dịch máy dựa trên cụm từ) PER Position-independent word Error Rate (Tỷ lệ lỗi từ độc lập vị trí) RNN Recurrent Neural Network (Mạng nơ-ron hồi quy) SMT Statistical Machine Translation (Dịch máy thống kê) TER Translation Error Rate (Tỷ lệ lỗi dịch) WER Word Error Rate (Tỷ lệ lỗi từ) 1X DANH MỤC CÁC BANG 1.1 Thống kê ngữ liệu song ngữ Anh-Viét .1 Ví dụ về cấu trúc của bảng cụm từ .2 Các tập dữ liệu cho thực nghiệm.3 Đánh giá chất lượng mô hình phân loại cụm tt.4 Kết quả thực nghiệm phương pháp tinh chỉnh bảng cum 1 .5 Một số ví du kết qua dich của các mô hình .1 Kết quả thực nghiệm với phương pháp sinh tự động dit liệu song ngữ .1 Dữ liệu huấn luyện mô hình vnCheck.