Luận án tiến sĩ cải tiến chất lượng dịch tự động tiếng Việt - Nguyễn Văn Bình, ĐH Bách Khoa Đà Nẵng

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA  NGUYỄN VĂN BÌNH NGHIÊN CỨU GIẢI PHÁP CẢI TIẾN CHẤT LƯỢNG DỊCH TỰ ĐỘNG TIẾNG VIỆT LUẬN ÁN TIẾN SĨ KỸ THUẬT Đà Nẵng, 12/2021 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA  NGUYỄN VĂN BÌNH NGHIÊN CỨU GIẢI PHÁP CẢI TIẾN CHẤT LƯỢNG DỊCH TỰ ĐỘNG TIẾNG VIỆT Chuyên ngành: Khoa học máy tính Mã số: 9480101 LUẬN ÁN TIẾN SĨ KỸ THUẬT Người hướng dẫn khoa học: 1. Huỳnh Công Pháp 2. Vincent Berment Đà Nẵng, 12/2021 3 LỜI CAM ĐOAN Tôi tên là Nguyễn Văn Bình. Tôi xin cam đoan đây là công trình nghiên cứu do tôi thực hiện.

Các nội dung và kết quả nghiên cứu được trình bày trong Luận án là trung thực và mọi tham khảo đều được trích dẫn, chỉ rõ nguồn tham khảo theo đúng quy định. Tác giả Nguyễn Văn Bình 4 MỤC LỤC LỜI CAM ĐOAN.4 DANH MỤC CÁC TỪ VIẾT TẮT.7 DANH MỤC BẢNG BIỂU. 8 DANH MỤC HÌNH VẼ. Mục tiêu nghiên cứu.

Đối tượng và phạm vi nghiên cứu. Phương pháp nghiên cứu. Bố cục của luận án. Đóng góp chính của luận án.16 TỔNG QUAN VỀ DỊCH TỰ ĐỘNG VÀ CHẤT LƯỢNG DỊCH TỰ ĐỘNG TIẾNG VIỆT HIỆN NAY.

Nghiên cứu tổng quan về dịch tự động, kho ngữ liệu, các phương pháp cải tiến và đánh giá chất lượng dịch tự động.21 Các phương pháp dịch tự động.21 Kho ngữ liệu trong dịch tự động.28 Đánh giá chất lượng hệ thống dịch tự động. Các nghiên cứu liên quan đến xây dựng và cải tiến chất lượng dịch tự động tiếng Việt.43 Nghiên cứu xây dựng hệ thống dịch và đánh giá chất lượng dịch. 43 Nghiên cứu xây dựng và cải tiến kho ngữ liệu tiếng Việt. Thực trạng chất lượng dịch tự động tiếng Việt.

Kết luận Chương 1. 52 GIẢI PHÁP CẢI TIẾN CHẤT LƯỢNG DỊCH TỰ ĐỘNG TIẾNG VIỆT. Đánh giá chất lượng các hệ thống dịch tự động tiếng Việt.54 Tổ chức đánh giá.55 Nhận xét, đánh giá. 60 Đề xuất giải pháp đánh giá chất lượng dựa trên quá trình hiệu đính bản dịch.

Giải pháp cải tiến chất lượng dịch tiếng Việt dựa vào kho ngữ liệu lớn. 69 Các nghiên cứu liên quan đến cải tiến chất lượng kho ngữ liệu.70 Giải pháp nâng cao chất lượng kho ngữ liệu.71 Đánh giá vai trò của kho ngữ liệu đối với kết quả hệ thống dịch. Giải pháp cải tiến chất lượng dịch tiếng Việt dựa vào mô hình máy học mạng nơ ron. 91 Giải pháp cải tiến chất lượng dịch tiếng Việt bằng mô hình học máy mạng nơ ron.91 Kết quả xây dựng hệ thống dịch.102 Giải pháp xây dựng hệ thống dịch ngữ nghĩa.

Kết luận Chương 2. 109 HỆ THỐNG DỊCH TỰ ĐỘNG ANH-VIỆT VIKI TRANSLATOR. Xây dựng kho ngữ liệu.112 Quy trình các bước triển khai.112 Xây dựng kho ngữ liệu song ngữ số lượng lớn.113 6 Xây dựng công cụ hỗ trợ mở rộng ngôn ngữ và ngữ nghĩa.117 Xây dựng kho ngữ liệu ontology. Kết quả thực nghiệm xây dựng ứng dụng dịch Anh – Việt lĩnh vực văn bản pháp luật (VIKI Translator).122 Quy trình các bước triển khai.122 Tổ chức huấn luyện mô hình và điều chỉnh tham số mô hình.122 Xây dựng các mô đun của hệ thống dịch.

Đánh giá kết quả. 125 Kết quả thực nghiệm.125 Đánh giá của người dùng. Kết luận Chương 3. 130 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN.

Hướng phát triển.132 DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ.133 TÀI LIỆU THAM KHẢO.135 7 DANH MỤC CÁC TỪ VIẾT TẮT Thuật ngữ Tiếng Anh Tiếng Việt Automatic Language Processing Ủy ban cố vấn xử lý ngôn ngữ ALPAC Advisory Committee tự động Chỉ số đánh giá chất lượng bản BLEU BiLingual Evaluation Understudy dịch BLEU CBOW Continuous Bag of Words Mô hình túi từ liên tục Example Based Machine Dịch máy dựa trên ví dụ EBMT Translation Google Neural Machine Hệ thống dịch tự động sử dụng GNMT Translation mạng nơ ron của Google Chỉ số lỗi khi dịch bởi con HTER Human Translation Error Rate người National Institute of Standards Chỉ số đánh giá chất lượng bản NIST and Technology dịch NIST NMT Neural Network Translation Dịch máy sử dụng mạng nơ ron POS Part of Speech Phân loại từ vựng RNN Recurrent Neural Networks Mạng nơ ron tái phát SMT Statistical Machine Translation Dịch máy thống kê TBL Transformation-Based Learning Dịch máy chuyển đổi TER Translation Edit Rate Chỉ số đo lỗi bản dịch WER Word Error Rate Chỉ số tỉ lệ lỗi theo từ Workshop on Statistical Machine Hội thảo về dịch máy thống kê WMT Translation 8 DANH MỤC BẢNG BIỂU Bảng 1. Chi tiết kho ngữ liệu EuroMatrix. Tổng hợp một số kho ngữ liệu. Bảng các thang đo tương ứng với mức độ đầy đủ và trôi chảy.

Mô phỏng kết quả đánh giá bằng hình thức xếp hạng. Đánh giá chất lượng dịch Anh – Việt từ hệ thống dịch dựa trên MOSES. So sánh kết quả dịch sử dụng MOSES và hệ thống Google, Microsoft. Kết quả đánh giá trên tập dữ liệu TED tst2015 của IWSLT 2015.

Đánh giá chất lượng hệ thống dịch sử dụng ngôn ngữ trung gian. Ví dụ về một số câu hệ thống dịch sai nghĩa. Thông tin về dữ liệu phục vụ đánh giá. Đánh giá kết quả dịch từ tiếng Anh sang tiếng Việt.

Đánh giá kết quả dịch từ tiếng Việt sang tiếng Anh. Kết quả đánh giá bằng phương pháp chủ quan. Trung bình các chỉ số trên 5 bộ dữ liệu. Kết quả sau khi hiệu chỉnh bản dịch.

Bảng tóm tắt đặc trưng các kho ngữ liệu phổ biến. Số liệu kho ngữ liệu sử dụng để đánh giá sự ảnh hưởng đến chất lượng. Chất lượng các mô hình dịch nhận được. Mô tả dữ liệu phục vụ xây dựng hệ thống dịch.

So sánh chất lượng hệ thống dịch theo các phương pháp khác nhau. Thống kê số lượng câu trong kho ngữ liệu đã được xây dựng. Tổng hợp quy mô kho ngữ liệu của một số công bố. Kết quả đánh giá và so sánh chất lượng hệ thống dịch Anh-Việt.

So sánh điểm BLEU đạt được ở một số nghiên cứu xây dựng hệ thống dịch tiếng Việt. So sánh số lượng câu dịch đúng. Ví dụ về các câu, thuật ngữ mà hệ thống VIKI Translator đã dịch đúng. 127 10 DANH MỤC HÌNH VẼ Hình 1.

Tổng quan bài toán dịch tự động. Mô hình tổng quát của phương pháp dịch dựa trên ví dụ. Mô hình hóa phương pháp dịch thống kê. Một ánh xạ giữa các factor trong ngôn ngữ nguồn và ngôn ngữ đích.

Tích hợp thêm các lớp thông tin về lemma, POS vào dữ liệu huấn luyện27 Hình 1. Giao diện của phần mềm dịch EV-Shuttle và Cồ Việt. Hai yếu tố then chốt của hệ thống dịch tự động: Dữ liệu và Phương pháp dịch. Quy trình tổ chức đánh giá chất lượng dịch tiếng Việt.

Chương trình hỗ trợ trích xuất kết quả dịch từ các hệ thống. Biểu đồ so sánh kết quả đánh giá bằng phương pháp chủ quan. Chương trình tính chỉ số Tpe và Ope thông qua quá trình hiệu đính. Sơ đồ quy trình kết hợp hậu xử lý với đánh giá chất lượng hệ thống dịch.

Sự tương đồng giữa Tpe, Ope và ED, WER. Chỉ số BLEU, NIST trước và sau khi hiệu chỉnh. Quan hệ giữa các dạng dữ liệu của các kho ngữ liệu. Định dạng chuẩn biểu diễn kho ngữ liệu.

Giải pháp chuyển đổi các kho ngữ liệu. Giải pháp mở rộng ngôn ngữ cho kho ngữ liệu. Giải pháp thêm dữ liệu vào kho ngữ liệu. Hệ thống nhận dạng và phân loại thực thể danh từ riêng từ kho ngữ liệu.

Trích nội dung tập tin từ điển khi sử dụng mô hình dịch thống kê và dịch sử dụng mạng nơ ron. Kết quả xác định ranh giới từ tiếng Việt. Quy trình đánh giá sự ảnh hưởng của số lượng kho ngữ liệu đến chất lượng bản dịch. So sánh tương quan giữa số lượng kho ngữ liệu và chất lượng hệ thống dịch.

Mô hình dịch tự động sử dụng mạng nơ ron. Nguyên tắc hoạt động của mạng RNN. Minh họa bộ mã hóa – giải mã. Minh họa mô hình seq2seq dùng attention trong bài toán dịch máy [57].

Mô hình CBOW và Skip-gram trình bày tại [63]. Kiến trúc Bộ Mã hóa và Bộ Giải mã. Quá trình mã hóa câu nguồn để tạo véc tơ ngữ nghĩa. Minh họa Bộ Giảm mã thực hiện các bước dịch một câu.

Quá trình giải mã tái tạo câu được dịch. Tích hợp cơ chế attention trong Bộ Giải mã. Mô hình hệ thống dịch ngữ nghĩa. Giao diện hệ thống dịch ngữ nghĩa.

Quy trình triển khai thực nghiệm hệ thống dịch Anh - Việt. Sơ đồ trình tự các bước xây dựng kho ngữ liệu. Môi trường cho phép mở rộng kho ngữ liệu. Phân cấp các lớp và thuộc tính các lớp.

Minh họa phân lớp dữ liệu. Mô tả ngữ nghĩa của kho ngữ liệu. Sơ đồ trình tự các bước xây dựng hệ thống dịch. Mô hình tổ chức của hệ thống website dịch tự động.

Giao diện hệ thống dịch tự động VIKI Translator. Biểu đồ số lượng người sử dụng hàng tháng (Nguồn: Google Analytics). Thống kê tổng số người dùng (Nguồn: Google Analytics). Thống kê số lượng liên kết (Nguồn: ahrefs.

Đặt vấn đề Nhu cầu trao đổi thông tin giữa các quốc gia, các nền văn hóa, giữa mỗi người trong xã hội hiện đại ngày càng tăng làm cho việc dịch thuật trở nên quan trọng và cần thiết. Dịch thuật sử dụng con người là công việc thủ công, tuy chất lượng cao nhưng tốc độ chậm, năng suất thấp và giá thành cao mà không thể tái sử dụng. Trong khi đó, một phiên dịch viên dù giỏi đến đâu cũng không thể cập nhật hết được một lượng thông tin khổng lồ trong nền kinh tế toàn cầu đang phát triển như vũ bão. Vì vậy, sử dụng hệ thống dịch tự động bằng máy tính để trợ giúp cho quá trình dịch thuật là cần thiết.

Dịch tự động bằng máy tính nếu cho kết quả dịch tốt sẽ mang lại hiệu quả với chi phí bỏ ra ít, có thể dịch nhanh với khối lượng tài liệu lớn thuộc các lĩnh vực chuyên môn khác nhau. Khi đó các hệ dịch máy sẽ trở thành công cụ giúp con người tiếp cận kho tri thức khổng lồ viết bằng các ngôn ngữ khác nhau. Những chương trình máy tính đầu tiên thực hiện công việc dịch tự động đã được các nhà khoa học trên thế giới nghiên cứu và phát triển từ giữa thế kỷ 20 [1]. Đối với dịch tự động từ tiếng Việt sang các ngôn ngữ khác, đã có nhiều nghiên cứu và các sản phẩm ứng dụng được nhiều người dùng quan tâm và sử dụng, điển hình là hệ thống dịch của Google, Microsoft, EVTran [2]… Các hệ thống này cho phép dịch tự động văn bản với một cặp ngôn ngữ đã chọn trước, ví dụ dịch từ tiếng Anh sang tiếng Việt hoặc ngược lại.

Khi sử dụng một hệ thống dịch tự động, người dùng quan tâm đến chất lượng của bản dịch.