Luận văn thạc sĩ vnu uet khai phá tri thức song ngữ và ứng dụng trong dịch máy a

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ LÊ QUANG HÙNG KHAI PHÁ TRI THỨC SONG NGỮ VÀ ỨNG DỤNG TRONG DỊCH MÁY ANH – VIỆT LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Hà Nội – 2016 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ LÊ QUANG HÙNG KHAI PHÁ TRI THỨC SONG NGỮ VÀ ỨNG DỤNG TRONG DỊCH MÁY ANH – VIỆT Chuyên ngành: Khoa học máy tính Mã số: 62 48 01 01 LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. Lê Anh Cường 2. Huỳnh Văn Nam Hà Nội – 2016 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Lời cam đoan Tôi xin cam đoan luận án này là kết quả nghiên cứu của tôi, được thực hiện dưới sự hướng dẫn của PGS. Lê Anh Cường và PGS.

Các nội dung trích dẫn từ các nghiên cứu của các tác giả khác mà tôi trình bày trong luận án này đã được ghi rõ nguồn trong phần tài liệu tham khảo. Lê Quang Hùng i LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Tóm tắt Nhiệm vụ của một hệ thống dịch máy là tự động dịch một văn bản từ ngôn ngữ này (ví dụ, tiếng Anh) sang một văn bản tương đương ở ngôn ngữ khác (ví dụ, tiếng Việt). Tính hữu ích của công nghệ dịch máy tăng lên cùng với chất lượng của nó. Dịch máy có nhiều ứng dụng như: (i) dịch tài liệu tiếng nước ngoài cho mục đích hiểu nội dung, (ii) dịch văn bản để xuất bản ở các ngôn ngữ khác và (iii) thông tin liên lạc, chẳng hạn như dịch email, chat, vv.

Có một số cách tiếp cận cho bài toán dịch máy như dịch trực tiếp (direct translation), dịch dựa trên chuyển đổi (transfer - based translation), dịch liên ngữ (interlingua translation), dịch dựa trên ví dụ (example - based translation) và dịch thống kê (statistical translation). Hiện tại, dịch máy dựa trên cách tiếp cận thống kê đang là một hướng phát triển đầy tiềm năng bởi những ưu điểm vượt trội so với các cách tiếp cận khác. Thay vì xây dựng các từ điển, các quy luật chuyển đổi bằng tay, dịch máy thống kê tự động xây dựng các từ điển, các quy luật dựa trên kết quả thống kê có được từ ngữ liệu. Đối với một hệ thống dịch máy thống kê, hiệu quả (chất lượng dịch) của nó tỷ lệ thuận với số lượng (kích thước) và chất lượng của ngữ liệu song ngữ được sử dụng để xây dựng hệ thống dịch.

Tuy nhiên, ngữ liệu song ngữ sẵn có hiện vẫn còn hạn chế cả về kích thước lẫn chất lượng, ngay cả đối với các cặp ngôn ngữ chính. Ngoài ra, đối với các cặp ngôn ngữ có nhiều khác biệt về cấu trúc ngữ pháp (ví dụ, Anh - Việt), vấn đề về chất lượng dịch đang là thách thức đối với các nhà nghiên cứu về dịch máy trong nhiều năm qua. Vì vậy, việc bổ sung thêm ngữ liệu song ngữ và phát triển các phương pháp hiệu quả hơn dựa trên ngữ liệu hiện có là những giải pháp quan trọng để tăng chất lượng dịch cho dịch máy thống kê. Luận án của chúng tôi tập trung giải quyết các tồn tại đã nêu thông qua ba bài toán: phát triển phương pháp xây dựng ngữ liệu song ngữ, cải tiến các phương pháp gióng hàng từ và xác định cụm từ song ngữ cho dịch máy thống kê, cụ thể như sau: Thứ nhất, đối với bài toán xây dựng ngữ liệu song ngữ, chúng tôi khai thác từ hai nguồn: Web và sách điện tử song ngữ.

Đối với nguồn từ Web, chúng tôi tập trung vào rút trích các văn bản song ngữ từ các web-site song ngữ. Chúng tôi đề xuất hai phương pháp thiết kế các đặc trưng dựa trên nội dung: sử dụng các từ bất biến giữa hai ngôn ngữ (cognate) và sử dụng các phân đoạn dịch. Ngoài ra, LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com chúng tôi kết hợp các đặc trưng dựa trên nội dung với các đặc trưng dựa trên cấu trúc của trang web để rút trích các văn bản song ngữ, bằng cách sử dụng phương pháp học máy. Đối với nguồn từ sách điện tử, chúng tôi đề xuất phương pháp dựa trên nội dung, sử dụng một số mẫu liên kết giữa các khối văn bản trong hai ngôn ngữ để rút trích các câu song ngữ.

Thứ hai, với bài toán gióng hàng từ, chúng tôi đề xuất một số cải tiến đối với mô hình IBM 1 theo cách tiếp cận dựa trên ràng buộc, bao gồm: ràng buộc neo, ràng buộc về vị trí của từ, ràng buộc về từ loại và ràng buộc về cụm từ. Với mỗi ràng buộc, chúng tôi đưa ra phương pháp tổng quát để tích hợp nó vào thuật toán cực đại kỳ vọng trong quá trình ước lượng tham số của mô hình. Ngoài ra, chúng tôi đưa ra một phương pháp để kết hợp các ràng buộc. Những cải tiến này đã giúp nâng cao chất lượng dịch cho hệ thống dịch máy thống kê Anh - Việt.

Thứ ba, đối với bài toán xác định cụm từ song ngữ cho dịch máy thống kê, chúng tôi đề xuất phương pháp rút trích cụm từ song ngữ từ ngữ liệu song ngữ, sử dụng các mẫu cú pháp kết hợp với gióng hàng cụm từ. Các cụm từ song ngữ này đã được ứng dụng vào việc nâng cao chất lượng dịch cho hệ thống dịch máy thống kê Anh - Việt. Từ khóa: dịch máy, dịch máy thống kê, tri thức song ngữ, ngữ liệu song ngữ, văn bản song ngữ, gióng hàng từ. iii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Lời cảm ơn Trước hết, tôi xin gửi lời cảm ơn sâu sắc đến PGS.

Lê Anh Cường và PGS. Huỳnh Văn Nam, hai Thầy đã trực tiếp hướng dẫn, chỉ bảo tận tình, luôn hỗ trợ và tạo những điều kiện tốt nhất cho tôi học tập và nghiên cứu. Tôi xin gửi lời cảm ơn đến các Thầy/Cô giáo ở Khoa Công nghệ thông tin, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, đặc biệt là PGS. Phạm Bảo Sơn và các Thầy/Cô giáo ở Bộ môn Khoa học máy tính, những người đã trực tiếp giảng dạy và giúp đỡ tôi trong quá trình học tập và nghiên cứu ở trường.

Tôi xin gửi lời cảm ơn đến các đồng nghiệp ở Khoa Công nghệ thông tin, Trường Đại học Quy Nhơn, đặc biệt là TS. Trần Thiên Thành và TS. Lê Xuân Việt đã quan tâm, giúp đỡ và tạo điều kiện cho tôi trong thời gian làm nghiên cứu sinh. Tôi xin gửi cảm ơn đến PGS.

Nguyễn Phương Thái, TS. Nguyễn Văn Vinh, TS. Phan Xuân Hiếu (Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội), PGS. Lê Thanh Hương (Trường Đại học Bách khoa Hà Nội), TS.

Nguyễn Thị Minh Huyền, TS. Lê Hồng Phương (Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội), TS. Nguyễn Đức Dũng (Viện Công nghệ thông tin, Viện Hàn lâm Khoa học và Công nghệ Việt Nam), các Thầy/Cô đã có những góp ý chỉnh sửa để tôi hoàn thiện luận án. Tôi xin gửi lời cảm ơn đến tất cả anh, chị, em và bạn đồng học ở Bộ môn Khoa học máy tính (Khoa Công nghệ thông tin, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội), đặc biệt là chị Nguyễn Thị Xuân Hương (Khoa Công nghệ thông tin, Trường Đại học Dân lập Hải Phòng), nghiên cứu sinh Hoàng Thị Điệp (Khoa Công nghệ thông tin, Trường Đại học Công nghệ) đã giúp đỡ tôi trong thời gian làm nghiên cứu sinh.

Cuối cùng, tôi xin gửi lời cảm ơn đến tất cả các thành viên trong gia đình tôi, đặc biệt là vợ tôi - người đã luôn ủng hộ, chia sẽ, động viên và gánh vác công việc gia đình để tôi yên tâm học tập, nghiên cứu. iv LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mục lục Lời cam đoan i Tóm tắt ii Lời cảm ơn iv Danh mục các chữ viết tắt viii Danh mục các hình vẽ ix Danh mục các bảng xi Mở đầu 1 1 Tổng quan 5 1.1 Khai phá tri thức song ngữ .1 Xây dựng ngữ liệu song ngữ .2 Gióng hàng văn bản .1 Gióng hàng đoạn/câu .2 Gióng hàng từ .3 Xác định cụm từ song ngữ .2 Sơ lược về dịch máy .3 Dịch máy thống kê .1 Mô hình hóa bài toán .2 Mô hình ngôn ngữ .3 Mô hình dịch .1 Mô hình dịch dựa trên từ .2 Mô hình dịch dựa trên cụm từ .3 Mô hình dịch dựa trên cú pháp .5 Đánh giá chất lượng dịch. 27 v LUAN VAN CHAT LUONG download : add luanvanchat@agmail. 29 2 Xây dựng ngữ liệu song ngữ cho dịch máy thống kê 32 2.1 Rút trích văn bản song ngữ từ Web .1 Thu thập dữ liệu .2 Thiết kế các đặc trưng dựa vào nội dung .1 Sử dụng cognate .2 Sử dụng các phân đoạn dịch .3 Thiết kế các đặc trưng dựa vào cấu trúc .4 Mô hình hóa bài toán phân loại .2 Rút trích câu song ngữ từ sách điện tử .3 Gióng hàng đoạn .4 Gióng hàng câu .1 Thực nghiệm về rút trích văn bản song ngữ từ Web .1 Cài đặt thực nghiệm .2 Kết quả thực nghiệm .2 Thực nghiệm về rút trích câu song ngữ từ sách điện tử .1 Cài đặt thực nghiệm .2 Kết quả thực nghiệm .3 Thực nghiệm về bổ sung ngữ liệu song ngữ cho dịch máy .4 Kết luận chương.

57 3 Gióng hàng từ cho dịch máy thống kê 59 3.1 Định nghĩa từ .2 Định nghĩa bài toán gióng hàng từ .3 Các mô hình IBM .4 Thuật toán cực đại kỳ vọng cho mô hình IBM 1 .2 Một số cải tiến mô hình IBM 1 theo cách tiếp cận dựa trên ràng buộc 65 3.1 Cải tiến mô hình IBM 1 sử dụng ràng buộc neo .2 Cải tiến mô hình IBM 1 sử dụng ràng buộc về vị trí của từ .3 Cải tiến mô hình IBM 1 sử dụng ràng buộc về từ loại .1 Quan hệ về từ loại .2 Ràng buộc về từ loại .4 Cải tiến mô hình IBM 1 sử dụng ràng buộc về cụm từ .1 Mẫu cú pháp song ngữ .2 Ràng buộc về cụm từ .5 Kết hợp các ràng buộc .1 Cài đặt thực nghiệm. 78 vi LUAN VAN CHAT LUONG download : add luanvanchat@agmail.2 Kết quả thực nghiệm với ràng buộc neo và ràng buộc về vị trí của từ .3 Kết quả thực nghiệm với ràng buộc từ loại .4 Kết quả thực nghiệm với ràng buộc cụm từ .5 Kết quả thực nghiệm về kết hợp ràng buộc .4 Kết luận chương. 85 4 Xác định cụm từ song ngữ cho dịch máy thống kê 87 4.1 Bài toán rút trích cụm từ song ngữ .2 Phương pháp rút trích cụm từ song ngữ .2 Tìm cụm từ đích .3 Rút trích cụm từ .3 Tích hợp cụm từ song ngữ vào dịch máy .1 Thực nghiệm về rút trích cụm từ song ngữ .1 Cài đặt thực nghiệm .