Mô hình tìm kiếm văn bản tiếng việt dựa trên ngữ nghĩa luận án tiến sĩ khoa học

ĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN Đỗ Thị Thanh Tuyền MÔ HÌNH TÌM KIẾM VĂN BẢN TIẾNG VIỆT DỰA TRÊN NGỮ NGHĨA LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH TP. HỒ CHÍ MINH – NĂM 2020 ĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN Đỗ Thị Thanh Tuyền MÔ HÌNH TÌM KIẾM VĂN BẢN TIẾNG VIỆT DỰA TRÊN NGỮ NGHĨA Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 62.

Quản Thành Thơ 3. Đỗ Thanh Nghị PHẢN BIỆN ĐỘC LẬP: 1. Ngô Quốc Việt NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. Nguyễn Tuấn Đăng 2.

Vũ Đức Lung TP. HỒ CHÍ MINH – NĂM 2020 LỜI CAM ĐOAN Tôi cam đoan rằng nội dung luận án này do chính tôi trực tiếp thực hiện và chưa được công bố trong bất kỳ khóa luận tốt nghiệp, luận văn thạc sĩ hay luận án tiến sĩ nào ngoài những báo cáo hội nghị, bài báo tạp chí hay đề tài nghiên cứu khoa học phục vụ cho chính luận án này. Tác giả luận án Đỗ Thị Thanh Tuyền MỤC LỤC DANH MỤC BẢNG 1 DANH MỤC HÌNH ẢNH 1 DANH MỤC TỪ VIẾT TẮT 1 MỞ ĐẦU 1 1. Lý do lựa chọn đề tài 1 2.

Mục đích của luận án 3 3. Nội dung nghiên cứu 4 4. Đối tượng nghiên cứu 4 5. Phạm vi nghiên cứu 4 6.

Ý nghĩa khoa học và thực tiễn của đề tài 5 7. Cấu trúc của luận án 6 CHƯƠNG 1.1 TRUY XUẤT THÔNG TIN 8 1.1 Lịch sử nghiên cứu 8 1.2 Một số mô hình truy xuất thông tin căn bản 10 1.2 TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU 13 1.1 Chú giải ngữ nghĩa 14 1.2 Mở rộng câu truy vấn tự động 17 1.3 CÁC CƠ SỞ CHO TRUY XUẤT VĂN BẢN TIẾNG VIỆT 19 1.1 Phân tích hình thái 19 1.2 Phân tích cú pháp phụ thuộc 20 1.3 Phân tích ngữ nghĩa của câu 23 1.4 VẤN ĐỀ NGỮ NGHĨA TRONG TRUY XUẤT VĂN BẢN TIẾNG VIỆT 24 1.1 Ngữ nghĩa của từ 25 1.2 Ngữ nghĩa của ngữ đoạn 26 1.3 Ngữ nghĩa của văn bản 27 1.4 Truy xuất văn bản bản theo ngữ nghĩa 28 1.5 CÁC VẤN ĐỀ CẦN NGHIÊN CỨU 29 CHƯƠNG 2. MÔ HÌNH TRUY XUẤT VĂN BẢN DỰA TRÊN NGỮ NGHĨA 33 2.1 BIỂU DIỄN NGỮ NGHĨA 33 1 2.1 Ngôn ngữ biểu diễn ngữ nghĩa 33 2.2 Cấu trúc biểu diễn ngữ nghĩa của cụm từ 44 2.3 Cấu trúc biểu diễn ngữ nghĩa của văn bản 45 2.2 ĐỀ XUẤT MÔ HÌNH CHUNG 46 2.1 Các yếu tố ảnh hưởng đến độ chính xác và độ phủ 47 2.2 Biểu diễn văn bản và câu truy vấn 50 2.3 Tính toán độ liên quan giữa văn bản và câu truy vấn 52 2.3 ĐỘ ĐO KHOẢNG CÁCH NGỮ NGHĨA 52 2.1 Khoảng cách Jaccard-Tanimoto 52 2.2 Độ đo khoảng cách ngữ nghĩa 53 2.4 CHỈ MỤC NGỮ NGHĨA 69 2.1 Chỉ mục lớp nghĩa 70 2.2 Chỉ mục quan hệ nghĩa 72 2.5 TRUY XUẤT CHỈ MỤC NGỮ NGHĨA 74 2.1 Truy xuất chỉ mục lớp nghĩa 74 2.2 Truy xuất chỉ mục quan hệ nghĩa 75 2.3 Tính toán khoảng cách ngữ nghĩa 75 2.4 Tính độ liên quan để xếp hạng 75 2.6 MÔ HÌNH HỆ THỐNG 76 2.1 Thành phần Phân tích tài liệu 76 2.2 Thành phần Lập chỉ mục 78 2.3 Thành phần Phân tích câu truy vấn 80 2.4 Thành phần Truy xuất chỉ mục 81 2.5 Thành phần Xếp hạng 82 2.7 CÁC THAM SỐ CỦA MÔ HÌNH 82 2.2 Mô hình phân tích cú pháp phụ thuộc 82 2.3 Mô hình gán nhãn nghĩa 83 2.4 Hệ số kết hợp kết quả so khớp 83 2.5 Hệ số điều chỉnh trọng số vị trí 83 CHƯƠNG 3. CƠ SỞ TRI THỨC NGỮ NGHĨA TỪ VỰNG TIẾNG VIỆT 84 3.2 NÉT NGHĨA LÀ GÌ? 87 3.3 CƠ SỞ TRI THỨC NGỮ NGHĨA TỪ VỰNG TIẾNG VIỆT LÀ GÌ? 87 3.4 LÝ DO XÂY DỰNG VLO 90 3.1 Thể hiện chi tiết nghĩa của từ vựng 97 3.2 Thể hiện chi tiết các ràng buộc giữa các nghĩa từ vựng 101 3.3 Có khả năng suy diễn các quan hệ phụ thuộc 102 3.5 CẤU TRÚC CỦA CƠ SỞ TRI THỨC NGỮ NGHĨA TỪ VỰNG TIẾNG VIỆT 103 3.1 Các thành phần trong VLO 103 3.2 Các đặc điểm của VLO 114 3.3 Xây dựng VLO 115 3.6 MỘT SỐ VẤN ĐỀ KHI XÂY DỰNG VLO 115 3.1 Tính khách quan 116 3.2 Chi phí xây dựng 119 3.3 Đánh giá VLO 120 3.7 KẾT CHƯƠNG 121 CHƯƠNG 4.

PHƯƠNG PHÁP PHÂN TÍCH NGỮ NGHĨA CỤM TỪ TIẾNG VIỆT 123 4.1 PHÂN TÍCH NGỮ NGHĨA CỦA CÂU 123 4.2 Hướng giải quyết vấn đề 124 4.2 GÁN NHÃN NGHĨA CHO TỪ VỰNG 128 4.3 PHÂN TÍCH QUAN HỆ PHỤ THUỘC THEO NGỮ NGHĨA CÂU 129 4.1 Rút gọn quan hệ phụ thuộc 129 4.2 Áp dụng các ràng buộc nghĩa và mở rộng quan hệ nghĩa 131 4.3 Biểu diễn theo cấu trúc ngữ nghĩa 138 4.4 ĐÁNH GIÁ KẾT QUẢ PHÂN TÍCH NGỮ NGHĨA 138 4.1 Đánh giá kết quả gán nhãn nghĩa 139 4.2 Đánh giá kết quả phân tích ngữ nghĩa 140 4.3 Đánh giá tác dụng của việc phân tích ngữ nghĩa 143 4.5 KẾT CHƯƠNG 144 CHƯƠNG 5. THỬ NGHIỆM VÀ ĐÁNH GIÁ 145 5.1 CÁC CHỈ SỐ ĐÁNH GIÁ 145 5.1 Độ chính xác, độ phủ và độ F 145 3 5.2 Độ chính xác bộ phận 146 5.3 Độ chính xác trung bình 147 5.2 BỘ DỮ LIỆU THỬ NGHIỆM 147 5.3 CÀI ĐẶT THỬ NGHIỆM 150 5.1 Chương trình TF.2 Chương trình BM25 151 5.3 Chương trình SEMDORE 152 5.4 Chương trình QRYEXP 152 5.5 Chương trình WE 153 5.6 Chương trình LDA 153 5.1 Thử nghiệm về ảnh hưởng của mô hình 154 5.2 Thử nghiệm về ảnh hưởng của term 156 5.3 So sánh với một phương pháp Automatic Query Expansion 160 5.4 So sánh với một phương pháp sử dụng vector ngữ nghĩa 161 5.5 So sánh với một phương pháp sử dụng LDA 162 5.6 So sánh hiệu quả của mô hình đề xuất và các mô hình liên quan 164 5.5 KẾT CHƯƠNG 165 KẾT LUẬN VÀ KIẾN NGHỊ 166 Kết luận 166 Kiến nghị 168 DANH MỤC CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ CÓ LIÊN QUAN ĐẾN LUẬN ÁN 170 Danh mục Bài báo hội nghị 170 Danh mục Bài báo tạp chí 170 Danh mục Đề tài nghiên cứu khoa học 171 TÀI LIỆU THAM KHẢO Tiếng Việt Tiếng Anh PHỤ LỤC A A. Xác định hệ số điều khiển trọng số vị trí 1 A. Truy hồi chỉ mục lớp nghĩa 1 A.

Truy hồi chỉ mục quan hệ nghĩa 3 4 A. Tính toán độ liên quan xếp hạng 4 A. Tạo từ điển và danh sách posting cho chỉ mục lớp nghĩa 5 A. Tính trọng số trong chỉ mục lớp nghĩa 5 A.

Tạo từ điển và danh sách postings cho chỉ mục quan hệ nghĩa 6 A. Tính trọng số cho chỉ mục quan hệ nghĩa 7 A. Tính trọng số truy vấn 7 5 DANH MỤC BẢNG Bảng 1.1 Minh họa định dạng CoNLL của câu "các phương trình dựa trên lý thuyết va chạm " .1 Bảng từ vựng, giải nghĩa và các nét nghĩa tương ứng của các từ "máy bay", "máy ảnh", "máy bay phản lực", "máy bay trực thăng" và "máy bay lên thẳng" .2 Danh sách các lớp nghĩa cấp 1 trong VLO tương ứng với các từ loại tiếng Việt theo dự án VLSP .3 Danh sách các quan hệ phụ thuộc trong Định nghĩa 2.1 và các quan hệ phụ thuộc tương ứng được triển khai thực tế trong VLO .4 Danh sách các quan hệ phụ thuộc theo Định nghĩa 2.1 và các quan hệ phụ thuộc tương ứng của Stanford do De Marneffe và các đồng tác giả công bố .5 Các trường hợp có thể xác lập quan hệ phụ thuộc liên từ .6 Danh sách các quan hệ phụ thuộc được triển khai trong VLO được dùng trong các dạng từ ghép.1 Các trường hợp rút gọn quan hệ phụ thuộc .2 Bảng các trường hợp xử lý điều chỉnh từ ghép .3 Bảng chuyển đổi các quan hệ phụ thuộc cú pháp về quan hệ nghĩa .4 Mô tả bộ dữ liệu thử nghiệm xác định nghĩa của từ vựng .5 Kết quả huấn luyện và dự đoán nhãn nghĩa của mô hình đề xuất và mô hình ME .6 Mô tả tập câu S dùng để đánh giá kết quả phân tích ngữ nghĩa .7 Mô tả tập câu G đã được phân tích ngữ nghĩa thủ công .8 Kết quả phân tích ngữ nghĩa theo từng loại quan hệ .9 Kết quả phân tích ngữ nghĩa trong trường hợp không phân biệt loại quan hệ bổ nghĩa .10 Kết quả phân tích ngữ nghĩa chỉ sử dụng phương pháp phân tích cú pháp phụ thuộc trong trường hợp có phân biệt các loại quan hệ bổ nghĩa.11 Kết quả phân tích ngữ nghĩa chỉ sử dụng phương pháp phân tích cú pháp phụ thuộc trong trường hợp không phân biệt các loại quan hệ bổ nghĩa .12 So sánh kết quả phân tích ngữ nghĩa của phương pháp đề xuất và phương pháp phân tích cú pháp phụ thuộc .13 So sánh kết quả truy xuất câu theo các phương pháp .1 Bộ dữ liệu thử nghiệm truy xuất văn bản tiếng Việt VN-CRANFIELD-1 .2 S o sánh kết quả truy xuất văn bản trên dữ liệu gốc và dữ liệu VN-CRANFIELD-1 .3 Thử nghiệm kết quả truy xuất theo từng mô hình với bộ dữ liệu Cranfield .4 So sánh kết quả thử nghiệm của mô hình truy xuất của luận án với baseline là hai mô hình TF.IDF và BM25 .5 So sánh kết quả thử nghiệm truy xuất văn bản tiếng Việt trong trường hợp chỉ sử dụng từng đặc trưng từ ghép, lớp nghĩa, quan hệ cú pháp và quan hệ ngữ nghĩa .6 Các nghĩa từ vựng được bổ sung vào VLO .7 So sánh kết quả thử nghiệm mô hình truy xuất của luận án trong trường hợp bổ sung dữ liệu cho VLO với baseline là mô hình TF.IDF và BM25.8 Kết quả truy xuất văn bản của mô hình đề xuất và mô hình mở rộng câu truy vấn dùng từ đồng nghĩa và từ có một phần nghĩa chung .9 So sánh kết quả truy xuất của mô hình truy xuất sử dụng vector ngữ nghĩa với mô hình truy xuất của luận án .10 So sánh kết quả truy xuất của mô hình truy xuất sử dụng LDA với mô hình truy xuất của luận án .11 Kết quả thử nghiệm truy xuất văn bản sử dụng mô hình LDA với các tham số k,  và .12 Kết quả truy xuất văn bản tiếng Việt của mô hình đề xuất và các mô hình liên quan.164 2 DANH MỤC HÌNH ẢNH Hình 1.1 Mô hình truy xuất văn bản bản căn bản.2 Mô hình truy xuất văn bản bản theo hướng tự động mở rộng câu truy vấn.3 Minh họa a) cấu trúc ngữ đoạn và b) cấu trúc phụ thuộc .1 Mô hình chung cho truy xuất văn bản được đề xuất .