Luận án Tiến sĩ Kỹ thuật: Sử dụng ngôn ngữ trục trong dịch đa ngữ - Phan Thị Lệ Thuyền

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG PHAN THỊ LỆ THUYỀN SỬ DỤNG NGÔN NGỮ TRỤC TRONG DỊCH ĐA NGỮ LUẬN ÁN TIẾN SĨ KỸ THUẬT Đà Nẵng 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG PHAN THỊ LỆ THUYỀN SỬ DỤNG NGÔN NGỮ TRỤC TRONG DỊCH ĐA NGỮ Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số : 62 48 01 01 LUẬN ÁN TIẾN SĨ KỸ THUẬT Người hướng dẫn khoa học: PGS. Võ Trung Hùng Đà Nẵng 2018 LỜI CAM ĐOAN Tôi cam đoan đây là kết quả nghiên cứu của riêng tôi. Các nội dung và kết quả nghiên cứu được trình bày trong Luận án là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Phan Thị Lệ Thuyền LỜI CẢM ƠN - Trước tiên, tác giả xin gửi lời cảm ơn đến Ban Đào tạo - Đại học Đà Nẵng, Khoa Công nghệ Thông tin, Phòng Đào tạo Trường Đại học Bách khoa - Đại học Đà Nẵng đã tạo điều kiện thuật lợi trong thời gian học tập và nghiên cứu.

Tác giả muốn tri ân đến các Thầy Cô giáo Khoa Công nghệ Thông tin Trường Đại học Bách khoa - Đại học Đà Nẵng, đặc biệt là thầy Võ Trung Hùng đã tận tình giúp đỡ tác giả từ những bước đi đầu tiên hình thành ý tưởng, cũng như trong suốt quá trình nghiên cứu. Thầy luôn ủng hộ, động viên và tạo điều kiện tốt nhất để tác giả hoàn thành luận án. Tác giả nhận thấy sự trưởng thành sau những năm được học tập và nghiên cứu dưới sự hướng dẫn của Thầy. Tác giả chân thành cảm ơn các chuyên gia, các nhà ngôn ngữ học (PGS.TS Nguyễn Ngọc Chinh, TS.

Nguyễn Quý Thành) đã dành thời gian để hỗ trợ tác giả nghiên cứu về mặt ngôn ngữ học, kiểm tra, đánh giá các kết quả dịch tự động và so sánh chất lượng dịch các hệ thống. Sự giúp đỡ của các nhà ngôn ngữ học đã giúp ích rất nhiều trong suốt quá trình nghiên cứu và hoàn thành báo cáo luận án này. Tác giả xin gửi lời cảm ơn chân thành tới các anh chị NCS của Khoa Công nghệ Thông tin Trường Đại học Bách khoa - Đại học Đà Nẵng, những người thân và bạn bè luôn bên cạnh động viên, hỗ trợ về mặt tinh thần để tác giả vượt qua khó khăn và hoàn thành tốt luận án. MỤC LỤC DANH MỤC HÌNH VẼ.

iv DANH MỤC BẢNG. vii MỞ ĐẦU. TỔNG QUAN VỀ DỊCH MÁY VÀ NGÔN NGỮ UNL. Một số khái niệm sử dụng trong luận án.

Một số hướng tiếp cận trong dịch tự động. Dịch máy dựa trên luật. Dịch máy dựa trên ngữ liệu. Phương pháp dịch kết hợp.

Vấn đề dịch tự động cho tiếng Việt. Tổng quan về UNL. Ngôn ngữ UNL. Hệ thống UNL.

Một số kết quả nghiên cứu liên quan. Ứng dụng UNL làm ngôn ngữ trục trong hệ thống dịch đa ngữ. Tiểu kết chương. ĐỀ XUẤT MÔ HÌNH DỊCH TIẾNG VIỆT - UNL.

Ngữ pháp tiếng Việt. Đề xuất mô hình dịch. Công cụ EnCoVie. Công cụ DeCoVie.

Từ điển trong UNL. Luật ngữ pháp trong UNL. Một số vấn đề cần xử lý cho tiếng Việt. Tiểu kết chương.

GIẢI PHÁP XÂY DỰNG TỪ ĐIỂN VÀ LUẬT. Giải pháp xây dựng từ điển tiếng Việt - UNL. Giải pháp xây dựng luật ngữ pháp. Xây dựng luật mã hóa.

Xây dựng luật giải mã. Tiểu kết chương. THỬ NGHIỆM VÀ ĐÁNH GIÁ. Xây dựng công cụ EnCoVie và DeCoVie.

Xây dựng công cụ EnCoVie. Xây dựng công cụ DeCoVie. Thử nghiệm và đánh giá. Từ điển tiếng Việt – UNL.

Dịch đa ngữ qua ngôn ngữ trục UNL. Tiểu kết chương. 123 TÀI LIỆ THAM KHẢO. 137 -ii- ANH MỤC CÁC TỪ VIẾT T T LGW Left Generation Window Cửa sổ tạo ra bên trái LW Left Window Cửa sổ trái RGW Right Generation Window Cửa sổ tạo ra bên phải RW Right Window Cửa sổ phải UNL Universal Networking Language Ngôn ngữ mạng dùng chung UNLKB Universal Networking Language Cơ sở tri thức của ngôn ngữ Knowledge Base mạng dùng chung UW Universal Word Từ vựng chung -iii- ANH MỤC HÌNH VẼ Hình.

Sơ đồ hệ thống dịch trực tiếp [13]. Sơ đồ hệ thống dịch chuyển đổi [13]. Sơ đồ hệ thống dịch qua ngôn ngữ trung gian [13]. Sơ đồ hệ thống dịch dựa trên ví dụ [13].

Sơ đồ hệ thống dịch dựa trên thống kê [13]. Kết hợp phương pháp dịch dựa trên luật và thống kê [13]. Mô hình dịch máy dựa trên luật. Dịch trực tiếp giữa các cặp ngôn ngữ trong dịch đa ngữ.

ịch qua ngôn ngữ trục trong dịch đa ngữ. Mô hình đánh giá dịch trực tiếp và dịch qua ngôn ngữ trung gian. Biểu diễn câu tiếng Anh sang UNL. Biểu diễn biểu thức UNL dưới dạng đồ thị.

Cơ chế chuyển đổi của hệ thống UNL. Hệ thống UNL14. Quá trình chuyển đổi dữ liệu trong dự án UNL – EOLSS [15]. Hệ thống UNL cho các ngôn ngữ.

Dịch qua ngôn ngữ trục UNL. Mô hình dịch tiếng Việt – UNL. Sơ đồ chuyển đổi của công cụ EnCoVie. Danh sách các nút trong Node-list.

Sơ đồ liên kết các Headword. Sơ đồ mã hóa câu tiếng Việt sang UNL. Sơ đồ chuyển đổi của công cụ DeCoVie. Mối quan hệ nhị phân giữa hai từ vựng.

Sơ đồ mã hóa biểu thức UNL sang câu tiếng Việt. Trạng thái cuối cùng của Node-list. Sử dụng UW để tìm HeadWord trong quá trình giải mã. Thay đổi Node-list và cửa sổ phân tích bởi luật “+”.

Thay đổi Node-list và cửa sổ phân tích bởi luật “-”. Thay đổi Node-list và cửa sổ phân tích bởi luật “<”. Thay đổi Node-list và cửa sổ phân tích bởi luật “>”. Thay đổi Node-list và cửa sổ phân tích bởi luật “:”.

Luật chèn phải một nút từ Node vào Node-list. Luật chèn trái một nút từ Node vào Node-list. Luật xóa nút phải một nút từ Node-list. Luật xóa nút trái một nút từ Node-list.

Mô-đun xử lý câu tiếng Việt đầu vào [9]. Luật ngữ pháp chuyển đổi tiếng Việt sang biểu thức UNL. Đồ thị biểu diễn biểu thức UNL. Mối tương quan giữa hai ngôn ngữ tiếng Việt và UNL.

Sắp xếp trật tự các từ câu đầu ra tiếng Việt. Sắp xếp trật tự các từ câu đầu ra tiếng Việt. Đồ thị UNL biểu diễn cho biểu thức có một nút con. Đồ thị UNL biểu diễn cho biểu thức có nhiều nút con.

Đồ thị UNL biểu diễn biểu thức chứa nút kết hợp trường hợp 1. Đồ thị UNL biểu diễn biểu thức chứa nút kết hợp trường hợp 2. Đồ thị UNL biểu diễn biểu thức chứa nút kết hợp trường hợp 3. Đồ thị biểu diễn biểu thức UNL.

Đồ thị biểu diễn biểu thức UNL chứa một hay nhiều nút con. Đồ thị biểu diễn biểu thức UNL chứa nút kết hợp. Hệ thống dịch đa ngữ dựa vào UNL. Biểu đồ chất lượng dịch qua UNL và dịch trực tiếp .120 -vi- ANH MỤC BẢNG Bảng.

Kết quả đánh giá qua tiếng Pháp. Kết quả đánh giá qua tiếng Đức. Tỷ lệ giống/khác giữa 2 bản dịch máy. Các quan hệ được định nghĩa trong UNL [66].

Các thuộc tính được định nghĩa trong UNL [66]. Mô tả hình thức bảng trong biểu thức UNL [66]. Tỷ lệ giống/khác giữa dịch qua UNL và tiếng Anh. Các mô hình câu đơn [ ].

Tập nhãn từ loại trong từ điển cho tiếng Việt [9]. Tập nhãn từ loại con trong từ điển cho tiếng Việt [9]. Số mục từ tiếng Việt – UNL thu được với giải pháp thứ nhất. Một số ví dụ câu không khớp ở máy chủ tiếng Anh.

Tỷ lệ thay đổi giữa dịch qua UNL và trực tiếp. L chọn ề ài Cùng với sự phát triển của công nghệ, con người đã tạo ra một lượng thông tin khổng lồ trên mạng Internet được cung cấp từ hàng triệu Website trên khắp thế giới. Nhưng chúng ta không thể khai thác hết thông tin bởi nhiều lý do và một trong những lý do quan trọng nhất là rào cản về ngôn ngữ. Vấn đề đặt ra là làm thế nào để mọi người trên thế giới có thể khai thác hết nguồn thông tin trên Internet mà không bị hạn chế bởi ngôn ngữ? Hiện có hai giải pháp chính để giải quyết vấn đề này: thứ nhất là phát triển các hệ thống, các ứng dụng, các nguồn dữ liệu đa ngữ để người sử dụng có thể lựa chọn ngôn ngữ mà họ muốn khi sử dụng; thứ hai là ứng dụng các phần mềm dịch tự động để dịch các giao diện, nội dung từ ngôn ngữ hiện có sang ngôn ngữ mà người sử dụng chọn lựa.

Hiện có nhiều hệ thống dịch đa ngữ được xây dựng với nhiều hướng tiếp cận khác nhau và chất lượng bản dịch ngày càng được cải thiện. Tuy nhiên, đầu ra bản dịch của các hệ thống này hầu hết chỉ mang tính tham khảo vì chưa thể hiện hết ý nghĩa, văn phong của câu nguồn. Hơn nữa trên thế giới hiện đang sử dụng hơn 5. ngôn ngữ có chữ viết, việc phát triển một hệ thống dịch đa ngữ cho từng cặp ngôn ngữ là vô cùng khó khăn và nhất là những ngôn ngữ có số lượng người dùng ít1.

Một trong những hướng tiếp cận mới trong dịch đa ngữ đang được quan tâm là sử dụng ngôn ngữ trục để dịch, hướng tiếp cận này giảm chi phí xây dựng phần mềm từ (n*(n-1)) xuống còn (2*n) và giải quyết các cặp ngôn ngữ thiếu tài nguyên hoặc không tương đồng cấu trúc ngữ pháp [13]. Văn phạm câu nguồn trong phương pháp dịch qua ngôn ngữ trục được phân tích và biểu diễn qua một ngôn ngữ khác gọi là ngôn ngữ trung gian và sau đó sử 1 https://en.org/ (2015) 1 dụng văn phạm của ngôn ngữ đích để dịch từ ngôn ngữ trung gian này. Ưu điểm của phương pháp này là chỉ cần phân tích ngôn ngữ nguồn để chuyển sang ngôn ngữ trung gian và ngược lại. Ngoài ra, trong hệ thống dịch đa ngữ, chúng ta dễ dàng bổ sung ngôn ngữ mới này vào hệ thống nhưng nhược điểm là làm thế nào tìm ra một ngôn ngữ mà có thể biểu diễn tất cả thông tin mọi ngôn ngữ tự nhiên và không nhập nhằng về ngữ nghĩa.

Trong những năm gần đây, nhiều ngôn ngữ tự nhiên có kho ngữ liệu song ngữ lớn (như tiếng Anh, tiếng Tây Ban Nha, tiếng Pháp,…) được lựa chọn làm ngôn ngữ trung gian trong dịch tự động hoặc xây dựng kho ngữ liệu song ngữ [6][55].