Luận án tiến sĩ: Kỹ thuật thích ứng miền dịch máy Anh-Việt

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ———————— PHẠM NGHĨA LUÂN NGHIÊN CỨU MỘT SỐ KỸ THUẬT THÍCH ỨNG MIỀN TRONG DỊCH MÁY THỐNG KÊ ANH - VIỆT LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN Hà Nội - 2023 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ———————— PHẠM NGHĨA LUÂN NGHIÊN CỨU MỘT SỐ KỸ THUẬT THÍCH ỨNG MIỀN TRONG DỊCH MÁY THỐNG KÊ ANH - VIỆT Chuyên ngành: Hệ thống thông tin Mã số: 9480104.01 LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. Phạm Việt Thắng Hà Nội - 2023 LỜI CAM ĐOAN Tôi xin cam đoan luận án ”Nghiên cứu một số kỹ thuật thích ứng miền trong dịch máy thống kê Anh-Việt” là công trình nghiên cứu của riêng tôi dưới sự hướng dẫn của thầy TS. Nguyễn Văn Vinh và thầy TS. Phạm Việt Thắng.

Các số liệu, kết quả được trình bày trong luận án là hoàn toàn trung thực và chưa từng được công bố trong bất kỳ một công trình nào khác. ■ Tôi đã trích dẫn đầy đủ các tài liệu tham khảo, công trình nghiên cứu liên quan ở trong nước và quốc tế. Ngoại trừ các tài liệu tham khảo này, luận án hoàn toàn là công việc của riêng tôi. ■ Trong các công trình khoa học được công bố trong luận án, tôi đã thể hiện rõ ràng và chính xác đóng góp của các đồng tác giả và những gì do tôi đã đóng góp.

■ Luận án được hoàn thành trong thời gian tôi làm Nghiên cứu sinh tại Bộ môn Các Hệ thống thông tin, Khoa Công nghệ Thông tin, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội. Phạm Nghĩa Luân i LỜI CẢM ƠN Trước tiên, tôi xin gửi lời cảm ơn chân thành và sâu sắc đến thầy TS. Nguyễn Văn Vinh và thầy TS. Phạm Việt Thắng – những người đã hướng dẫn, khuyến khích, truyền cảm hứng, chỉ bảo và tạo cho tôi những điều kiện tốt nhất từ khi bắt đầu làm nghiên cứu sinh đến khi hoàn thành luận án này.

Tôi xin chân thành cảm ơn các thầy cô Khoa Công nghệ thông tin, Trường Đại học Công nghệ, Đại học Quốc Gia Hà Nội, đặc biệt là các thầy cô trong bộ môn đã tận tình chỉ bảo, cung cấp cho tôi những kiến thức vô cùng quý giá, điều kiện tốt nhất cho tôi về môi trường làm việc trong suốt quá trình học tập, nghiên cứu tại Trường. Đồng thời, tôi xin chân thành cảm ơn các đồng nghiệp tại Trường Đại học Hải Phòng đã tạo mọi điều kiện, bố trí thời gian tốt nhất dành cho tôi trong suốt quá trình làm nghiên cứu sinh. Cuối cùng, tôi xin chân thành cảm ơn những người thân trong gia đình cùng toàn thể bạn bè, đồng nghiệp nơi tôi công tác đã luôn ủng hộ, chia sẻ, động viên và khích lệ tôi trong suốt quá trình học tập và nghiên cứu. ii iii TÓM TẮT Cho đến nay, dịch máy thống kê (SMT-Statistical Machine Trans- lation) là phương pháp dịch máy được nghiên cứu nhiều và phổ biến nhất trước khi phát triển dịch máy mạng nơ-ron (NMT-Neutral Ma- chine Translation).

Hiện nay, dịch máy NMT là cách tiếp cận hiện đại, tiên tiến nhất (State-Of-The-Art). Cả dịch máy SMT và NMT đều là các phương pháp dịch máy dựa trên dữ liệu (DDMT-Data Driven Machine Translation), cách tiếp cận này sử dụng kho ngữ liệu song song lớn (Parallel corpus) chủ yếu do con người dịch làm cơ sở để tạo ra các bản dịch. Về bản chất, phương pháp dịch máy DDMT là cách tiếp cận theo phương pháp thống kê. Vì vậy, để tạo ra một mô hình dịch máy chất lượng tốt phụ thuộc rất lớn vào số lượng và chất lượng của ngữ liệu huấn luyện.

Đối với các miền có sẵn kho ngữ liệu song song lớn, chẳng hạn như miền tin tức thì chất lượng dịch thuật đạt mức cao. Tuy nhiên, trong vô số miền đặc thù khác không có kho ngữ liệu song song lớn, chẳng hạn như miền y tế hoặc miền pháp luật, chất lượng bản dịch kém đến mức có thể không chấp nhận được. Việc dịch các văn bản thuộc chuyên ngành hẹp, miền đặc thù có tập từ vựng không cùng phân bố với tập từ vựng của ngữ liệu dùng để huấn luyện mô hình đang phải đối mặt với nhiều thách thức, thích ứng miền trong dịch máy là một miền nghiên cứu nhằm giải quyết các vấn đề này để tối ưu hóa bản dịch trong một ngữ cảnh hoặc miền cụ thể. Hiện nay, các phương pháp thích ứng miền trong dịch máy theo hai hướng tiếp cận phổ biến là (1) Hướng mô hình (cải tiến mô hình trong miền đích) và (2) Hướng dữ liệu (cải tiến chất lượng hoặc tăng cường, bổ sung thêm dữ liệu miền để huấn luyện mô hình).

iv Luận án này tập trung giải quyết các thách thức đã nêu về thích ứng miền trong dịch máy thống kê cho cặp ngôn ngữ Anh-Việt, đã đề xuất ba kỹ thuật thích ứng miền theo cả hai hướng tiếp cận trên, luận án có ba đóng góp chính, cụ thể như sau: (i) Thứ nhất, đề xuất phương pháp tinh chỉnh bảng cụm từ (phrase- table) cho SMT, đây là cách tiếp cận theo hướng mô hình. Trong SMT, mô hình dịch (translation model - còn gọi là bảng dịch cụm từ) chứa danh sách các xác suất dịch của các cụm từ từ ngôn ngữ nguồn sang ngôn ngữ đích theo cả hai chiều dịch, các xác suất này được học tự động từ tập dữ liệu song ngữ. Đề xuất này thực hiện phân loại miền cho các cụm từ trong bảng cụm từ, từ đó điều chỉnh, cập nhật lại xác suất dịch của các cụm từ này theo hướng ưu tiên hơn trong miền đích. (ii) Thứ hai, đề xuất phương pháp sinh tự động dữ liệu song ngữ cho dịch máy, đây là cách tiếp cận theo hướng dữ liệu, cụ thể là tăng cường, bổ sung thêm dữ liệu cho huấn luyện.

Hiện nay, dịch máy NMT luôn trong tình trạng thiếu dữ liệu song ngữ để huấn luyện mô hình, việc xây dựng dữ liệu song ngữ đủ lớn luôn là một thách thức, đặc biệt dữ liệu song ngữ miền. Do đó, luận án đã đề xuất sử dụng ứng dụng Google Translate như một mô hình thành phần trong các bước của kĩ thuật dịch ngược để sinh tự động dữ liệu giả song ngữ. Đề xuất đặc biệt hiệu quả đối với các cặp ngôn ngữ hoặc miền ít tài nguyên, giảm chi phí thời gian và có được dữ liệu giả song ngữ tốt hơn so với kĩ thuật dịch ngược thông thường. (iii) Thứ ba, đề xuất phương pháp cải tiến chất lượng của dữ liệu giả song ngữ được sinh tự động ở đề xuất thứ hai, đây cũng là cách tiếp cận theo hướng dữ liệu nhưng mục đích là cải tiến chất lượng của dữ liệu cho huấn luyện.

Do đầu vào của phương pháp dịch v ngược là một văn bản nhưng văn bản này thường có nhiễu vì có thể chứa các lỗi về chính tả, ngữ pháp nên ảnh hưởng tới chất lượng của đầu ra. Để giảm nhiễu, luận án đề xuất sửa lỗi chính tả, ngữ pháp tự động cho văn bản đầu vào trước khi đưa vào dịch ngược. Đề xuất này góp phần cải thiện chất lượng của dữ liệu giả song ngữ được sinh tự động. Từ khóa: dịch máy, dịch máy thống kê, dịch máy mạng nơ-ron, thích ứng miền.

Mục lục Lời cam đoan i Lời cảm ơn ii Tóm tắt iii Mục lục vi Danh mục các từ viết tắt ix Danh mục các bảng x Danh mục các hình vẽ xi MỞ ĐẦU 1 Tính cấp thiết của luận án. 1 Mục tiêu của luận án. 4 Đóng góp của luận án. 5 Cấu trúc của luận án.

TỔNG QUAN VỀ VẤN ĐỀ NGHIÊN CỨU 9 1.1 Tổng quan về dịch máy .1 Khái niệm dịch máy .2 Lịch sử dịch máy .2 Dịch máy thống kê .1 Cơ sở toán học .2 Dịch máy thống kê dựa vào từ .3 Dịch máy thống kê dựa vào cụm từ. 16 vi Nội dung vii 1.3 Dịch máy mạng nơ-ron .1 Kiến trúc Encoder-Decoder .2 Kiến trúc Transformer .4 Những thách thức trong dịch máy .5 Đánh giá chất lượng mô hình dịch máy .1 Phương pháp đánh giá chủ quan .2 Phương pháp đánh giá khách quan .6 Thích ứng miền trong dịch máy .1 Thích ứng miền .2 Thích ứng miền trong dịch máy .7 Ứng dụng dịch tự động Google Translate .8 Các nghiên cứu liên quan .9 Các tập dữ liệu thử nghiệm .10 Kết luận Chương 1. PHƯƠNG PHÁP TINH CHỈNH BẢNG CỤM TỪ 42 2.2 Phương pháp tinh chỉnh bảng dịch cụm từ .1 Bảng dịch cụm từ .3 Phân loại văn bản .1 Phương pháp tinh chỉnh bảng dịch cụm từ .1 Tập dữ liệu và cài đặt thực nghiệm .2 Tiền xử lý dữ liệu .4 Kết quả thực nghiệm .5 Kết luận Chương 2. PHƯƠNG PHÁP SINH TỰ ĐỘNG DỮ LIỆU SONG NGỮ 63 3.2 Phương pháp sinh tự động dữ liệu song ngữ.

66 Nội dung viii 3.1 Kỹ thuật dịch ngược trong dịch máy .2 Phương pháp sinh tự động dữ liệu song ngữ .1 Tập dữ liệu và cài đặt thực nghiệm .2 Tiền xử lý dữ liệu .4 Kết quả thực nghiệm .5 Phân tích và thảo luận .4 Kết luận Chương 3. CẢI TIẾN CHẤT LƯỢNG CỦA PHƯƠNG PHÁP SINH TỰ ĐỘNG DỮ LIỆU SONG NGỮ 79 4.2 Cải tiến chất lượng của phương pháp sinh tự động dữ liệu song ngữ .1 Tập dữ liệu và cài đặt thực nghiệm .2 Cài đặt thực nghiệm .3 Kết quả thực nghiệm .4 Kết luận Chương 4. 102 KẾT LUẬN 104 Tóm lược các kết quả và đóng góp của luận án. 104 Hạn chế và hướng phát triển của luận án.

105 DANH MỤC CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN 108 TÀI LIỆU THAM KHẢO 109 DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt Dạng đầy đủ BLEU BiLingual Evaluation Understudy (Chỉ số đánh giá chất lượng dịch song ngữ) CNN Convolutional Neural Network (Mạng nơ-ron tích chập) DDMT Data-Driven Machine Translation (Dịch máy hướng dữ liệu) GRU Gated Recurrent Unit (Đơn vị hồi quy cổng) LSTM Long Short Term Memory (Bộ nhớ dài ngắn hạn) NLP Natural Language Processing (Xử lý ngôn ngữ tự nhiên) NMT Neural Machine Translation (Dịch máy mạng nơ-ron) PBSMT Phrase-Based Statistical Machine Translation (Dịch máy dựa trên cụm từ) PER Position-independent word Error Rate (Tỷ lệ lỗi từ độc lập vị trí) RNN Recurrent Neural Network (Mạng nơ-ron hồi quy) SMT Statistical Machine Translation (Dịch máy thống kê) TER Translation Error Rate (Tỷ lệ lỗi dịch) WER Word Error Rate (Tỷ lệ lỗi từ) ix DANH MỤC CÁC BẢNG 1.1 Thống kê ngữ liệu song ngữ Anh-Việt .1 Ví dụ về cấu trúc của bảng cụm từ .2 Các tập dữ liệu cho thực nghiệm .3 Đánh giá chất lượng mô hình phân loại cụm từ .4 Kết quả thực nghiệm phương pháp tinh chỉnh bảng cụm từ .5 Một số ví dụ kết quả dịch của các mô hình .