Nghiên cứu các phương pháp biểu diễn và phát triển ngữ liệu, công cụ cho phân tích cú pháp và ngữ nghĩa tiếng Việt - Luận án tiến sĩ

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN HÀ MỸ LINH NGHIÊN CỨU CÁC PHƯƠNG PHÁP BIỂU DIỄN VÀ PHÁT TRIỂN NGỮ LIỆU, CÔNG CỤ CHO PHÂN TÍCH CÚ PHÁP VÀ NGỮ NGHĨA TIẾNG VIỆT LUẬN ÁN TIẾN SĨ TOÁN TIN HÀ NỘI − 2025 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN HÀ MỸ LINH NGHIÊN CỨU CÁC PHƯƠNG PHÁP BIỂU DIỄN VÀ PHÁT TRIỂN NGỮ LIỆU, CÔNG CỤ CHO PHÂN TÍCH CÚ PHÁP VÀ NGỮ NGHĨA TIẾNG VIỆT Chuyên ngành: Cơ sở toán học cho tin học Mã số: 9460117.02 LUẬN ÁN TIẾN SĨ TOÁN TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. NGUYỄN LÊ MINH 2. NGUYỄN THỊ MINH HUYỀN HÀ NỘI − 2025 LỜI CAM ĐOAN Tôi xin cam đoan các kết quả trình bày trong luận án là công trình nghiên cứu của bản thân nghiên cứu sinh trong thời gian học tập và nghiên cứu tại Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội, dưới sự hướng dẫn của tập thể hướng dẫn khoa học. Các số liệu, kết quả trình bày trong luận án là hoàn toàn trung thực.

Các kết quả sử dụng tham khảo đều đã được trích dẫn đầy đủ và theo đúng quy định. Hà Nội, ngày tháng năm 2025 Nghiên cứu sinh Hà Mỹ Linh i LỜI CẢM ƠN Trong quá trình thực hiện luận án, tôi xin gửi lời cảm ơn sâu sắc nhất tới thầy cô hướng dẫn của mình là GS.TS Nguyễn Lê Minh và TS Nguyễn Thị Minh Huyền. Thầy cô luôn nhiệt tình chỉ dạy, định hướng, chia sẻ và động viên tôi rất nhiều. Tôi luôn cảm thấy trân trọng, biết ơn và ghi nhớ thời gian làm việc dưới sự hướng dẫn của thầy cô.

Tôi xin cảm ơn tới các thầy cô trong Khoa Toán - Cơ - Tin học, Phòng Đào tạo, đặc biệt là Bộ môn Tin học và Phòng Thí nghiệm Khoa học Dữ liệu - nơi tôi làm việc. Các thầy cô đã dạy dỗ cho tôi những kiến thức nền tảng trong nghiên cứu, các đồng nghiệp đã luôn động viên, chia sẻ và cùng nhau làm việc, góp ý để đạt được những mục tiêu nghiên cứu. Tôi xin trân trọng cảm ơn Quỹ học bổng đổi mới sáng tạo VinIF. Nhờ có học bổng của quỹ, tôi đã yên tâm làm việc và nghiên cứu.

Quỹ không chỉ hỗ trợ tôi về điều kiện vật chất mà còn là nguồn động lực to lớn để tôi thực hiện nhiệm vụ nghiên cứu của mình. Cuối cùng, tôi xin bày tỏ lòng cảm ơn chân thành tới gia đình tôi đã luôn bên cạnh ủng hộ, yêu thương và động viên tôi trong suốt quá trình nghiên cứu. Gia đình là nơi đã giúp tôi vượt qua những giai đoạn khó khăn nhất để hoàn thành chặng đường nghiên cứu này. Hà Nội, ngày tháng năm 2025 Nghiên cứu sinh Hà Mỹ Linh ii MỤC LỤC LỜI CAM ĐOAN.

ii MỤC LỤC. iii DANH MỤC CÁC TỪ VIẾT TẮT VÀ THUẬT NGỮ. vi DANH MỤC HÌNH VẼ. vii DANH MỤC BẢNG BIỂU.

viii MỞ ĐẦU. KIẾN THỨC CƠ SỞ. Một số vấn đề cơ bản về cú pháp và ngữ nghĩa. Các phương pháp phân tích cú pháp và ngữ nghĩa.

Phát biểu bài toán. Các phương pháp phân tích cú pháp - ngữ nghĩa. Mô hình ngôn ngữ và biểu diễn văn bản. Một số vấn đề cơ bản về xây dựng ngữ liệu.

Phương pháp luận. Chuẩn hoá biểu diễn tài nguyên ngôn ngữ. Các tài nguyên ngôn ngữ. Tài nguyên từ vựng.

Các kho văn bản có chú giải ngữ pháp, ngữ nghĩa. Kết luận chương 1. XÂY DỰNG TÀI NGUYÊN VÀ CÔNG CỤ CHÚ GIẢI NGỮ PHÁP TIẾNG VIỆT. Kho ngữ liệu phân tích cú pháp phụ thuộc cho tiếng Việt.

Xây dựng tập nhãn cú pháp phụ thuộc tiếng Việt. Kho ngữ liệu cú pháp phụ thuộc tiếng Việt. Thử nghiệm một số thuật toán phân tích cú pháp phụ thuộc. Kho ngữ liệu cú pháp thành phần cho tiếng Việt.

Xây dựng tập nhãn cú pháp thành phần tiếng Việt. Kho ngữ liệu cú pháp thành phần tiếng Việt. Khảo sát các công cụ phân tích cú pháp thành phần cho tiếng Việt. Thuật toán chuyển từ phân tích cú pháp thành phần sang cú pháp phụ thuộc và ngược lại.

Từ cú pháp thành phần sang cú pháp phụ thuộc. Từ cú pháp phụ thuộc sang cú pháp thành phần. Kết luận chương 2. XÂY DỰNG TÀI NGUYÊN VÀ CÔNG CỤ CHÚ GIẢI NGỮ NGHĨA TIẾNG VIỆT.

Kho ngữ liệu có gán nhãn vai nghĩa cho tiếng Việt theo cách tiếp cận liên ngữ. Mô hình biểu diễn ngữ nghĩa cho tiếng Việt. Các mô hình vai nghĩa và mô hình biểu diễn ngữ nghĩa. Xây dựng tập nhãn ngữ nghĩa tiếng Việt.

Xây dựng công cụ gán nhãn ngữ nghĩa cho tiếng Việt. Kho ngữ liệu gán nhãn ngữ nghĩa cho tiếng Việt. Xây dựng mô hình phân tích ngữ nghĩa cho tiếng Việt. Kết luận chương 3.

XÂY DỰNG MẠNG ĐỘNG TỪ TIẾNG VIỆT 120 4. Từ điển tiếng Việt cho máy tính VCL. Phương pháp xây dựng viVerbNet. Biểu diễn véc-tơ từ.

Phân cụm động từ tiếng Việt. Xây dựng các thành phần của viVerbNet. Công cụ gán nhãn mạng động từ tiếng Việt. Ví dụ một cụm động từ trong viVerbNet.

Ràng buộc lựa chọn. Khung cú pháp và ràng buộc cú pháp. Vị từ ngữ nghĩa. Kết luận chương 4.

149 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ. 153 TÀI LIỆU THAM KHẢO. 174 v DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT Từ viết tắt Tiếng Anh Ý nghĩa AMR Abstract Meaning Representation Mô hình biểu diễn ngữ nghĩa trừu tượng biLM Bidirectional Language Model Mô hình ngôn ngữ hai chiều BERT Bidirectional Encoder Representa- Mô hình biểu diễn mã hoá hai chiều từ tions from Transformers Transformers CBOW Continuous Bag of Words Mô hình túi từ liên tục DCS Dependency based Compositional Mô hình ngữ nghĩa thành phần dựa vào Semantics phụ thuộc DRT Discourse Representation Theory Lý thuyết biểu diễn diễn ngôn ELMo Embedding from Language Model Mô hình nhúng của ngôn ngữ GMB Groningen Meaning Bank Kho ngữ liệu ngữ nghĩa Groningen GloVe Global Vectors for Word Represen- Mô hình biểu diễn véc tơ từ toàn cục tation GPT Generative Pretrained Transformer Mô hình chuyển đổi được huấn luyện trước tạo sinh LAS Labeled Attachment Score Độ đo đính kèm nhãn phụ thuộc LIRICS Linguistic InfRastructure for Inter- Cơ sở ngôn ngữ cho các hệ thống và tài operable ResourCes and Systems nguyên có thể tương tác LTAG Lexicalized Tree Adjoining Gram- Văn phạm kết nối cây từ vựng hóa. mars LLMs Large Language Models Mô hình ngôn ngữ lớn LMF Lexical Markup Framework Khung đánh dấu từ vựng NLP Natural Language Processing Xử lí ngôn ngữ tự nhiên NLU Natural Language Understanding Hiểu ngôn ngữ tự nhiên NSP Next Sentence Prediction Mô hình dự đoán câu tiếp theo MLM Masked Language Model Mô hình ngôn ngữ có mặt nạ POS Part-of-Speech Nhãn từ loại SRL Semantic Role Labeling Gán nhãn vai nghĩa.

UCCA Universal Conceptual Cognitive An- Mô hình chú thích nhận thức khái niệm notation phổ quát UAS Unlabeled Attachment Score Độ đo không đính kèm nhãn phụ thuộc UD Universal Dependency Phụ thuộc phổ quát U-POS Universal Part-of-Speech Nhãn từ loại phổ quát VCL Vietnamese Computational Lexicon Từ điển tiếng Việt dùng cho máy tính vi DANH MỤC HÌNH VẼ 1 Mục tiêu của luận án.1 Cây cú pháp thành phần của câu: Nam đang làm bài_tập .2 Cách 1: cây cú pháp thành phần của câu: “Anh ấy nói_chuyện với cô_giáo ở trường.3 Cách 2: cây cú pháp thành phần của câu: “Anh ấy nói_chuyện với cô_giáo ở trường.4 Cây cú pháp phụ thuộc của câu: Nam đang làm bài_tập.5 Kiến trúc của mô hình CBOW và Skip-gram.6 Tiến trình huấn luyện trước và tinh chỉnh của mô hình BERT [35].7 Quy trình gán nhãn dữ liệu chuẩn.8 Ví dụ về lớp động từ Hit-18.9 Cấu trúc tổng quát của một mục từ trong VCL.10 Đồ thị phụ thuộc của câu: I like apples and bananas.11 Ví dụ về một câu được phân tích AMR .12 Ví dụ về một câu được phân tích UCCA .13 Biểu diễn ngữ nghĩa dạng đồ thị DCS .1 Ví dụ về nhãn “acl:tonp”.2 Ví dụ về nhãn “csubj:vsubj”.3 Ví dụ về nhãn “csubj:asubj”.4 Ví dụ về nhãn “det:clf”.5 Thống kê độ chính xác dựa vào độ dài câu.6 Thống kê các độ đo dựa vào độ dài của phụ thuộc.7 Thống kê các độ đo dựa vào khoảng cách tới root.8 Hai cách phân tích cú pháp thành phần cho một câu tiếng Việt.1 Mô hình ngôn ngữ lớn sinh biểu diễn ngữ nghĩa cho tiếng Việt.1 Mô hình xây dựng viVerbNet. 125 vii DANH MỤC BẢNG 1.1 Một vài kho ngữ liệu cú pháp phụ thuộc trong dự án UD.1 Độ đồng thuận của ba chuyên gia gán nhãn cú pháp phụ thuộc.2 Một số thống kê trên bộ dữ liệu cú pháp phụ thuộc tiếng Việt.3 Các mô hình phân tích cú pháp phụ thuộc.4 Huấn luyện với Dataset1, đầu vào: CoNLL-U.5 Huấn luyện với Dataset2, đầu vào: CoNLL-U.6 Huấn luyện với Dataset1, đầu vào: văn bản thô.7 Huấn luyện với Dataset2, đầu vào: văn bản thô.8 Huấn luyện với các nhãn chính của Dataset1.9 Huấn luyện với các nhãn chính của Dataset2.10 Kết quả của hai mô hình tốt nhất đối với tập dữ liệu tiếng Anh.11 Thống kê theo nhãn cú pháp phụ thuộc.12 Thống kê theo nhãn con của compound.13 Bảng ánh xạ nhãn từ loại tiếng Việt và UD.14 Các nhãn chức năng cú pháp.16 Độ đồng thuận của ba chuyên gia gán nhãn cú pháp thành phần.17 Thống kê dữ liệu VCP 2023.18 Thống kê trên tập nhãn từ loại.19 Kết quả của các mô hình phân tích cú pháp thành phần.20 Kết quả thống kê trên các miền dữ liệu.21 Thống kê lỗi trên các nhãn từ loại.22 Thống kê lỗi trên các nhãn thành phần.23 Luật xác định từ trung tâm của các cụm từ.24 Luật sinh nhãn phụ thuộc.25 Kết quả chuyển cú pháp thành phần sang cú pháp phụ thuộc.26 Bảng một số luật chuyển đổi từ cú pháp phụ thuộc sang cú pháp thành phần.27 Kết quả chuyển cú pháp phụ thuộc sang cú pháp thành phần.28 Thống kê một số lỗi chuyển đổi từ cú pháp phụ thuộc sang cú pháp thành phần.1 Tập nhãn vai nghĩa tiếng Việt.2 Độ đồng thuận của các cặp chuyên gia gán nhãn.3 Thống kê trên từng tập dữ liệu trong viPropBank.4 Thống kê số lượng nhãn trong kho ngữ liệu PropBank tiếng Việt.5 Ánh xạ giữa các nhãn LIRICS, nhãn vai nghĩa chính trong viAMR và các nhãn AMR.5 Ánh xạ giữa các nhãn LIRICS, nhãn vai nghĩa chính trong viAMR và các nhãn AMR.6 Danh sách các nhãn thời gian, địa điểm và nhãn câu cho AMR tiếng Việt.7 Danh sách các nhãn phụ trong mô hình biểu diễn ngữ nghĩa tiếng Việt.8 Thống kê 20 nhãn xuất hiện nhiều nhất trong kho dữ liệu ngữ nghĩa tiếng Việt.9 Bảng đồng thuận giữa các cặp chuyên gia.10 Thống kê các trường hợp không đồng thuận trong kết quả gán nhãn.11 Bảng mô tả các trường trong tập dữ liệu ngữ nghĩa.