Luận án: Mô hình và phương pháp lập luận trả lời câu hỏi 'Tại sao' tiếng Việt

TRUONG ĐẠI HỌC CÔNG NGHE THONG TIN Nguyen Trong Chinh MO HINH VA PHUONG PHAP LAP LUAN DE TRA LOI CAC CÂU HOI "TAI SAO" DỰA TREN CÁCH TIẾP CAN PHAN TICH DIEN NGON TIENG VIET LUẬN AN TIEN SĨ KHOA HOC MAY TINH TP HO CHÍ MINH — NAM 2023 ĐẠI HỌC QUỐC GIA TPHCM Nguyễn Trọng Chỉnh MÔ HÌNH VÀ PHƯƠNG PHÁP LẬP LUẬN DE TRA LOI CÁC CÂU HOI "TẠI SAO" DỰA TREN CÁCH TIẾP CAN PHAN TÍCH DIEN NGÔN TIENG VIET Chuyén nganh: KHOA HOC MAY TINH Mã số: 62.01 LUẬN ÁN TIEN SĨ KHOA HỌC MAY TÍNH NGƯỜI HƯỚNG DAN KHOA HỌC: 1. Nguyên Tuân Đăng 2. Phạm Hữu Đức TP HO CHÍ MINH — NĂM 2023 LOI CAM DOAN Tôi cam đoan răng nội dung luận án này do chính tôi trực tiếp thực hiện và chưa được công bé trong bat kỳ khóa luận tốt nghiệp, luận văn thạc sĩ hay luận án tiến sĩ nào ngoài những báo cáo hội nghị, bài báo tạp chí hay đề tài nghiên cứu khoa học phục vụ cho chính luận án này. Tác giả luận án Nguyễn Trọng Chỉnh MỤC LỤC DANH MỤC BANG DANH MỤC HÌNH ANH DANH MỤC TỪ VIET TAT DANH MỤC CÁC THUẬT NGỮ Cè¬\=+mìaðIï32"S:H' MỞ ĐẦU Lý do lựa chọn đề tài Mục đích của luận án Nội dung nghiên cứu Đôi tượng nghiên cứu Phạm vi nghiên cứu Y nghĩa khoa học và thực tiễn của đề tài CHƯƠNG 1.

TONG QUAN Tom tat chuong 1.1 HOI-DAP TU DONG 1.1 Nguồn gốc bài toán 1.2 Bài toán trả lời câu hỏi "TAI SAO" 1.3 Đánh giá phương pháp tra lời câu hỏi eFNtÓ€2©3SPY)OHKACDWLI 1.2 TONG QUAN TINH HÌNH NGHIÊN CỨU 1.1 Hướng tiếp cận chú giải tri thức 1.2 Hướng tiếp cận khai phá tri thức 1.3 Các phương pháp trả lời câu hỏi “TAI SAO” 1.4 Nhận xét các phương pháp trả lời câu hỏi “TẠI SAO” 1.5 Các nghiên cứu hỏi-đáp cho tiếng Việt 1.3 CÁC VAN DE LIEN QUAN 1.4 HƯỚNG TIẾP CẬN CỦA LUẬN ÁN 1.1 Tính toán mức độ thỏa lược đồ lập luận loại suy 1.2 Nhận dạng quan hệ diễn ngôn 1.5 CÁU TRÚC CỦA LUẬN ÁN 38 CHƯƠNG2. CƠ SỞ LÝ THUYET 41 Tóm tắt chương 4I 2.1 LÝ THUYET CÁU TRÚC TU TỪ (RHETORICAL STRUCTURE THEORY) 4 2.1 Don vị diễn ngôn cơ bản 42 2.2 Quan hệ diễn ngôn 42 2.3 Nguyên tắc phân tích diễn ngôn theo RST 44 2.4 Phương pháp phân đoạn EDU 44 2.5 Phương pháp xác định quan hệ diễn ngôn 46 2.2 LẬP LUẬN LOẠI SUY 46 2.2 Các dạng lập luận loại suy 50 2.3 NGỮ NGHĨA HOC PHAN BO (DISTRIBUTIONAL SEMANTICS) 53 2.1 Nghia của từ 54 2.3 Tính toán ngữ nghĩa với kiến trúc mạng BERT 55 2.4 DE XUẤT CÁC KHÁI NIỆM 61 2.1 Khái niệm chuỗi 61 2.2 Các khái niệm liên quan đến lập luận 61 2.3 Các khái niệm cơ bản của bài toán trả lời câu hỏi “TẠI SAO” 63 2.5 KET CHƯƠNG 66 CHUONG 3. PHAN TÍCH DIEN NGÔN TIENG VIET O CAP ĐỘ CÂU VÀ LIÊN CÂU THEO QUAN HỆ LÝ DO 68 Tóm tắt chương 68 3.1 GIOI THIEU BAI TOAN 69 3.2 BAI TOAN PHAN DOAN EDU 71 3.1 Xac dinh EDU 71 3.2 Chú giải EDU 71 3.3 XÁC ĐỊNH QUAN HỆ DIỄN NGÔN THUỘC NHÓM QUAN HỆ LÝ DO Ở CÁP ĐỘ CÂU 73 3.1 Xây dựng văn phạm phi ngữ cảnh 73 3.2 Phân tích quan hệ lý do ở cấp độ câu 77 3.4 XÁC ĐỊNH QUAN HỆ LÝ DO Ở MỨC LIÊN CÂU 79 3.5 THU NGHIỆM VÀ ĐÁNH GIÁ 79 3.1 Đánh giá kết quả phân đoạn EDU 79 3.2 Đánh giá kết quả xác định quan hệ lý do cấp độ câu 80 3.6 KET CHUONG 81 CHUONG 4. PHƯƠNG PHÁP LẬP LUẬN TREN BIEU DIEN DANG VAN BAN TIENG VIET 83 Tom tat chuong 83 4.

PHƯƠNG PHAP LẬP LUẬN TREN BIEU DIEN DANG VAN BAN THEO CO CHE LOAI SUY 85 4.1 Tinh toán độ thuyết phục của lập luận g7 4.2 Xác nhận sự thỏa lược đồ loại suy 88 4.2 ỨNG DỤNG CUA LẬP LUẬN TREN BIEU DIỄN DẠNG VĂN BẢN 88 4.1 So khớp ngữ nghĩa của hai câu 88 4.2 Tính toán độ tương đồng ngữ nghĩa giữa hai câu 89 4. HUAN LUYỆN MÔ HINH NHẬN DẠNG LẬP LUẬN TREN BIEU DIEN DẠNG VĂN BẢN VỚI KIÊN TRÚC BERT 90 4.1 Xây dựng bộ ngữ liệu huấn luyện 90 4.2 Huấn luyện mô hình nhận dạng lập luận loại suy cho tiếng Việt 92 4. ĐÁNH GIÁ MÔ HÌNH NHẬN DẠNG LẬP LUẬN LOẠI SUY TREN BIEU DIEN DANG VAN BẢN 93 4.5 KET CHUONG 94 CHUONG 5. MO HÌNH LẬP LUẬN DE TRA LOI CÂU HOITAISAO 95 Tom tat chuong 95 5.1 PHƯƠNG PHAP LẬP LUẬN DE TRA LOI CÂU HOI “TẠI SAO” ~—97 5.2 MÔ HÌNH LẬP LUẬN DE TRA LOI CÂU HOI “TAI SAO” 98 5.1 Thanh phan phân tích diễn ngôn 101 5.2 Thanh phan lập luận loại suy 104 5.3 Thanh phan chon quan hé ly do 107 5.4 Thanh phan hau xt ly 111 5.

NGỮ LIEU THU NGHIEM 112 5.1 Ngữ liệu thử nghiệm dé đánh giá mô hình 112 5.2 Ngữ liệu huấn luyện mô hình rút trích câu trả lời 113 5.3 Độ đo đánh giá kết quả thử nghiệm 114 5.4 CÁC CHUONG TRÌNH ĐƯỢC THU NGHIỆM 114 5.1 Chương trình IRYQA 115 5.2 Chương trình QU-PhoBERT 116 5.3 Chương trình UIT-PhoBERT 116 5.4 Chương trình UIT-DistiIBERT 117 5.5 Chương trình UIT-XLMR 117 5.6 Chương trình BERTYQA 117 5.7 Chuong trinh OH-YQA 117 5.8 Chuong trinh MHOPQA 118 5.5 THU NGHIỆM VA DANH GIÁ 119 5.1 Thử nghiệm với câu trả lời có một ý 119 5.2 Thử nghiệm với câu trả lời có nhiều hơn một ý 125 5.3 Thử nghiệm vai trò của các thành phan trong mô hình 128 5.6 _ ƯU ĐIÊM VÀ NHƯỢC DIEM CUA MÔ HÌNH 134 57 BANLUAN 135 5.1 Van đề giải thích kết qua của mô hình 135 5.2 Vấn đề trả lời câu hỏi có nhiều ý 138 5.3 Van đề ứng dụng kết quả nghiên cứu của luận án 139 5.8 _ KÉTCHƯƠNG 140 KET LUẬN VA HƯỚNG PHÁT TRIEN 142 KET LUẬN 142 Các đóng góp của luận án 143 HƯỚNG PHÁT TRIEN 144 Danh mục công trình nghiên cứu 146 Tài liệu tham khảo 147 DANH MUC BANG Bang 1.1 Cac phương pháp trả lời câu hỏi “TAI SAO” theo cách tiếp cận kết hợp IR và IE.---- 2-2 2 s2+x+zx+zx+zszse2 19 Bang 1.2 Kết quả trả lời các dạng câu hỏi và dạng câu hỏi tại sao trên tập development của ngữ liệu SQUAD vĨ.1 Các thành phần của một lược đồ của một quan hệ diễn ngôn.2 Các yếu tô đối ứng của âm thanh và ánh sáng.3 Các yếu tổ loại suy cho lập luận về phán đoán thực tế về đạo đức .4 Các yếu tô loại suy cho lập luận về mèo là loài bò sát.5 Các trường hợp xuất hiện câu trả lời của câu hỏi “TẠI SAO”.1 Bảng xác định thành phần kết luận trong cấu trúc lý do dựa trên quan hệ diễn ngôn thuộc nhóm quan hệ lý đo.2 Thông kê về bộ ngữ liệu gán nhãn EDU.3 Một số luật sản sinh quan trọng và ý nghĩa của nó trong văn phạm pp,.- - - - - + + +3 919391 vn ng Hy 75 Bang 3.4 Các trường hop cần đưa vào nhóm quan hệ lý do ở cấp độ câu.5 Các trường hợp cần đưa vào nhóm quan hệ lý do ở mức liên câu.6 Hiệu quả của việc chú giải tự động ngữ liệu phân đoạn EDU từ treebank cấu trúc ngữ đoạn tiếng Việt NIIVTB.7 Thống kê dữ liệu thử nghiệm cho bài toán phân tích quan hệ lý do.1 Các dạng lập luận trong ngữ liệu VnNewsNLI.2 Thống kê các tập ngữ liệu NLI tiếng Việt được sử dụng.3 Kết qua thử nghiệm các mô hình NLI tiếng Việt.1 Thống kê các ngữ liệu thử nghiệm.2 Ty lệ các nhóm trong tap VnYQA và VIYQuAD.3 Thống kê ngữ liệu VSQUAD và ViQuAD.4 Kết qua của các chương trình trên ngữ liệu VnYQA 8/49/1001.5 Kết quả thử nghiệm của các chương trình theo nhóm câu hỏi trên ngữ liệu VnYQA và VIYQuAD.6 Kết quả thử nghiệm của các chương trình với câu trả lời có nhiều ý trên ngữ liệu VnYNews.7 Kết quả thử nghiệm khi không sử dụng một trong các thành phần trong mô hình của luận án trên tập thử nghiệm VnYQA và VIYQuAlD. n9 nh ng ràt 128 Bảng 5.8 Kết qua thử nghiệm khi không sử dung một trong các thành phan trong mô hình của luận án theo nhóm câu hỏi trên ngữ liệu VnYQA và VIYQuADD. sec eeeeeeke Bảng 5.9 Kết quả thử nghiệm khi không sử dụng một trong các thành phần trong mô hình của luận án với câu trả lời có nhiêu ý trên ngữ liệu VnYNews.10 Thống kê số lượng trường hợp có câu trả lời sai của mô hình lập luận dé trả lời câu hỏi “TAI SAO” dựa trên cách tiếp cận phân tích diễn ngôn tiếng Việt theo lập luận và quan hệ diễn ngôn.11 Thống kê số lượng trường hợp có câu trả lời đúng của mô hình lập luận dé trả lời câu hỏi “TAI SAO” dựa trên cách tiếp cận phân tích diễn ngôn tiếng Việt theo lập luận và quan hệ diễn ngôn.---- ¿+ +s+++zx+z++z+zx+zxzxezed ¬" 133 DANH MỤC HÌNH ANH Hình 1.1 Sơ đồ các bước xử lý trong phương pháp hỏi-đáp tự động .2 Các hướng tiếp cận giải quyết bài toán hỏi-đáp.3 Các tiêu chí phân loại hệ thống hỏi-đáp .4 Minh họa a) một lược đô lập luận và b) một lập luận tương ung .5 Minh họa biểu diễn dạng cây của lập TUẬH.7 Minh họa cầu trúc tu từ theo RST v.1 Minh họa quan hệ diễn ngôn một hạt nhân .2 Minh họa quan hệ diễn ngôn nhiêu hạt nhân .---:-c+cccs+s+se¿ 44 Hình 2.3 Lược đồ cơ bản của lập luận loại suy theo Juthe.4 Minh họa kiến trúc BERT.5 Kiến trúc mang dùng đề huấn luyện mô hình NLI.6 Minh họa kiến trúc mạng cho bài toán gán nhãn dữ liệu chuỗi.1 Vi dụ về định dang chú giải EDU.--2- 2 2 2+s2+x£E+zxzzs+ce2 72 Hình 4.1 Minh họa việc áp dụng lược đồ lập luận loại suy của Juthe.1 Mô hình hệ thống lập luận dé trả lời câu hỏi "Tại sao" dựa trên cách tiếp cận phân tích diễn ngôn tiếng Việt.2 Quy trình xử lý câu hỏi của hệ thống lập luận dé trả lời câu hỏi "Tại sao" dựa trên cách tiếp cận phân tích diễn ngôn tiếng Việt.3 So đồ thiết kế thành phan phân tích diễn ngôn theo quan hệ lý do .4 Quy trình xử lý văn bản của thành phần phân tích diễn ngôn theo quan hệ lý đỊO.- - -- 5 + 13119 11191111911 191 191 ng ng nếp 102 Hình 5.5 Kết quả phân tích quan hệ lý do của thành phần Phân tích diễn ngôn.6 Sơ đồ thiết kế thành phan lập luận loại suy .7 Quy trình xử lý của thành phan lập luận loại suy .8 Kết quả tạo lập luận theo cơ chế loại suy của thành phần Lap 1uan load SUY 1 .9 Thành phan chọn quan hệ lý dO .10 Quy trình xử lý của thành phan chọn quan hệ lý do.11 Đồ thị lý do được tạo trong thành phần Chọn quan hệ lý do.