Luận án Tiến sĩ Kỹ thuật: Đánh giá mức độ giống nhau của văn bản tiếng Việt - Hồ Phan Hiếu

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG ------ HỒ PHAN HIẾU ĐÁNH GIÁ MỨC ĐỘ GIỐNG NHAU CỦA VĂN BẢN TIẾNG VIỆT LUẬN ÁN TIẾN SĨ KỸ THUẬT Đà Nẵng, 10/2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG ------ HỒ PHAN HIẾU ĐÁNH GIÁ MỨC ĐỘ GIỐNG NHAU CỦA VĂN BẢN TIẾNG VIỆT Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số 62 48 01 01 LUẬN ÁN TIẾN SĨ KỸ THUẬT Người hướng dẫn khoa học: 1. Nguyễn Thị Ngọc Anh Đà Nẵng, 10/2019 LỜI CAM ĐOAN Tôi tên là Hồ Phan Hiếu. Tôi xin cam đoan đây là công trình nghiên cứu do tôi thực hiện. Các nội dung và kết quả nghiên cứu được trình bày trong Luận án là trung thực và mọi tham khảo đều được trích dẫn, chỉ rõ nguồn tham khảo theo đúng quy định.

Hồ Phan Hiếu -i- MỤC LỤC  LỜI CAM ĐOAN MỤC LỤC.i DANH MỤC CÁC TỪ VIẾT TẮT.iv DANH MỤC BẢNG BIỂU.v DANH MỤC HÌNH VẼ.vi DANH MỤC THUẬT TOÁN.viii LỜI MỞ ĐẦU. Mục tiêu nghiên cứu. Đối tượng và phạm vi nghiên cứu. Phương pháp nghiên cứu.

Nhiệm vụ nghiên cứu và kết quả đạt được. Bố cục của luận án. Đóng góp chính của luận án.6 TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU.8 Một số khái niệm sử dụng trong luận án.8 Một số đặc điểm của ngôn ngữ tiếng Việt. 12 Một số khó khăn và nhập nhằng trong xử lý văn bản tiếng Việt.13 Mô hình biểu diễn văn bản.15 Mô hình biểu diễn văn bản.16 Nhận xét và đánh giá.25 Các phương pháp tính độ tương tự văn bản.27 Hướng tiếp cận.27 Bài toán so khớp chuỗi.28 So sánh văn bản và ứng dụng trong phát hiện sao chép.33 Các vấn đề liên quan về sao chép.34 Phát hiện sao chép tại PAN.38 Kết luận Chương 1.

41 SO SÁNH VĂN BẢN DỰA TRÊN MÔ HÌNH VECTOR.42 - ii Tính độ tương tự văn bản trong mô hình vector.43 Biểu diễn văn bản theo mô hình vector.43 Phương pháp tính trọng số từ chỉ mục.45 Phương pháp tính độ tương tự.51 Một số phương pháp so sánh văn bản dựa trên mô hình vector.52 Mô hình vector hóa văn bản.52 Phương pháp cải tiến sử dụng độ đo Cosine.57 Đánh giá các phương pháp dựa trên mô hình vector.64 Tạo bộ dữ liệu để đánh giá các thuật toán.64 Đánh giá các thuật toán dựa trên mô hình vector.68 Kết luận Chương 2. 68 PHÁT HIỆN SAO CHÉP VĂN BẢN DỰA TRÊN BIẾN ĐỔI WAVELET RỜI RẠC.70 Phát biểu bài toán.72 Cơ sở lý thuyết về DWT và bộ lọc Haar.72 Cơ sở lý thuyết về DWT.72 Bộ lọc Haar.77 Đề xuất mô hình hệ thống phát hiện sao chép.77 Đề xuất mô hình hệ thống áp dụng cho phương pháp dựa trên DWT.78 Đề xuất quy trình chuyển đổi dữ liệu.81 Đề xuất phương pháp và giải thuật xử lý.81 Tiền xử lý dữ liệu.82 Quy trình số hóa. 82 Giải thuật cho bộ lọc Haar.85 Tổ chức dữ liệu cho bộ DNA nguồn.88 Đề xuất thuật toán phát hiện sự giống nhau.90 Mã hóa dữ liệu và tính DNA của văn bản đánh giá.90 So sánh và đưa ra quyết định.90 Độ phức tạp của thuật toán phát hiện sự giống nhau.91 Kết quả thử nghiệm phương pháp dựa trên DWT.92 - ii Dữ liệu thử nghiệm.92 Kết quả thử nghiệm.100 Kết luận Chương 3.103 PHÁT TRIỂN HỆ THỐNG PHÁT HIỆN SAO CHÉP VĂN BẢN TIẾNG VIỆT. 106 Mô tả hệ thống.106 Các đối tượng sử dụng.106 Mô hình tổng quát.107 Xây dựng kho dữ liệu văn bản tiếng Việt.108 Kiến trúc hệ thống kho dữ liệu.109 Giải pháp xây dựng kho dữ liệu.111 Đánh giá về kho dữ liệu.115 Triển khai hệ thống phát hiện sao chép văn bản.116 Đề xuất hướng phát triển để xử lý dữ liệu lớn.121 Đề xuất giải pháp xử lý.

121 Đề xuất phương pháp biểu diễn DNA bằng Tensor.123 Kết luận Chương 4.124 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN. Hướng phát triển.127 DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ.128 TÀI LIỆU THAM KHẢO.129 - iv DANH MỤC CÁC TỪ VIẾT TẮT CGs Conceptual Graphs (Đồ thị khái niệm) DM Data Mart (Kho dữ liệu cục bộ) DNA DeoxyriboNucleic Acid (Chuỗi DNA) DW Data Warehouse (Kho dữ liệu) DWT Discrete Wavelet Transform (Phép biến đổi Wavelet rời rạc) GA Genetic Algorithms (Giải thuật di truyền) IDF Inverse Document Frequency (Nghịch đảo tần số văn bản) LSI Latent Semantic Indexing (Chỉ mục ngữ nghĩa tiềm ẩn) NDD Near Dupplicate Detection (Phát hiện gần trùng lặp) NLP Natural Language Processing (Xử lý ngôn ngữ tự nhiên) PAN Plagiarism Analysis, Authorship Identification, and Near-Duplicate detection (Hội nghị quốc tế thường niên về đạo văn) SVD Singular Value Decomposition (Phân tích giá trị đơn) TF Term Frequency (Tần số từ khóa) CSDL Cơ sở dữ liệu ĐHĐN Đại học Đà Nẵng -v DANH MỤC BẢNG BIỂU Bảng 1. Phương pháp và thuật toán đánh giá sự giống nhau của văn bản. So sánh và đánh giá một số thuật toán so khớp chuỗi.

Một số phương pháp phát hiện sao chép văn bản. Kết quả các nhóm xếp thứ nhất trong nhiệm vụ EPD. Các tài liệu mẫu để so với giá trị ước lượng. Tổng hợp kết quả của các phương pháp.

Tổng hợp so sánh các kho dữ liệu tại các cuộc thi PAN. Các giá trị thiết lập cho quá trình thử nghiệm. Kết quả thực nghiệm. Số tài liệu thử nghiệm được cập nhật vào kho dữ liệu.115 - vi DANH MỤC HÌNH VẼ Hình 1.

Mối quan hệ giữa và. Quá trình mô hình hóa văn bản. Mô hình xử lý tổng quát để phát hiện sao chép [124]. Mô hình vector tạo thành ma trận trọng số Từ/Tài liệu.

Ví dụ về góc tạo bởi hai vector d1 và d2. Quá trình vector hóa theo đơn vị từ. Quá trình vector hóa theo đơn vị câu. Biểu đồ so sánh kết quả thuật toán với tập tài liệu.

Biểu đồ so sánh văn bản theo đơn vị từ và câu. Mô tả cách xử lý để phát hiện sao chép văn bản. Phân tích đa phân giải sử dụng DWT. Đường tín hiệu qua DWT [50].

Đường sóng Haar Wavelet. Đề xuất mô hình hệ thống phát hiện sự giống nhau của văn bản. Quá trình xử lý để đánh giá văn bản cần kiểm tra. Mô hình tạo bộ dữ liệu thử nghiệm tiếng Việt.

Giá trị prec và rec đạt được qua các mức ngưỡng khác nhau. Kết quả thực nghiệm với ngưỡng ε = 10-11. Giao diện kết quả một lần thực nghiệm. Quy trình phát hiện sao chép.

Kiến trúc hệ thống kho dữ liệu chi tiết. Quy trình xây dựng kho dữ liệu. Quy trình xử lý, cập nhật tài liệu vào kho dữ liệu. Giao diện hệ thống thử nghiệm.

Mô hình phát hiện đánh dấu nội dung giống nhau. Đánh dấu nội dung giống nhau trên tài liệu cần kiểm tra. Mô hình hệ thống tách và lưu trữ tài liệu theo MapReduce. Biểu diễn tài liệu theo mô hình Tensor [71].124 - viii DANH MỤC THUẬT TOÁN Thuật toán 2.

Tính độ tương tự có yếu tố trật tự các từ trong văn bản. Tính độ tương tự dựa trên mô hình vector đơn vị câu. Quy trình mã hóa văn bản thành chuỗi tín hiệu số DNA. Xác định giá trị cho các chuỗi DNA.

Lưu trữ bộ DNA nguồn. Phát hiện sự giống nhau. Đánh dấu và tô màu văn bản.119 LỜI MỞ ĐẦU 1. Đặt vấn đề Ngày nay, cùng với sự phát triển của Internet, hoạt động trao đổi, chia sẻ tài liệu diễn ra rất phổ biến, các tài liệu như bài báo, sách, luận văn tốt nghiệp, báo cáo, đồ án,… được số hóa và phổ biến trên mạng Internet ngày càng nhiều.

Người sử dụng có thể tìm thấy những thông tin cần thiết một cách nhanh chóng và dễ dàng. Tuy nhiên, bên cạnh ưu điểm là cung cấp một nguồn tài liệu tham khảo phong phú thì tình trạng “sao chép” cũng đang trở thành một vấn nạn. Để góp phần giải quyết bài toán này, vấn đề đặt ra là làm thế nào để đánh giá được mức độ giống nhau của văn bản và chỉ ra được những nội dung sao chép trên văn bản. Trên thế giới, các nghiên cứu và ứng dụng về xử lý ngôn ngữ tự nhiên (NLP) đã có một lịch sử phát triển lâu dài và đạt được những thành tựu nhất định.

Trong những năm gần đây, NLP đã trở thành một lĩnh vực khoa học công nghệ mũi nhọn, ngày càng phát triển với nhiều ứng dụng phổ biến đã đem lại hiệu quả lớn cho xã hội như: tìm kiếm, dịch tự động, trích chọn thông tin, tóm tắt văn bản, khai phá văn bản, web ngữ nghĩa, trí tuệ nhân tạo,… và trong đó có bài toán so sánh, đánh giá độ tương tự của văn bản. Hiện có nhiều kết quả nghiên cứu về đánh giá độ tương tự trong văn bản tiếng Anh, trong đó có nhiều công trình nghiên cứu và ứng dụng hữu ích, đặc biệt là trong việc phát hiện “sao chép” hay phát hiện “đạo văn” [15, 39, 80, 90, 109]. Trong bối cảnh NLP hiện đang là một lĩnh vực ngày càng có nhiều nhà khoa học trên thế giới quan tâm thì ở Việt Nam, việc nghiên cứu xử lý ngôn ngữ tiếng Việt vẫn chưa đạt được kết quả khả quan, các công trình nghiên cứu còn hạn chế,… nên rất cần có sự đóng góp của các nhà khoa học, các nhóm nghiên cứu để góp phần đem lại hiệu quả trong lĩnh vực xử lý tiếng Việt. Vì vậy, vấn đề đánh giá sự tương tự của các đơn vị văn bản và trên cơ sở đó phát hiện ra nội dung sao chép vẫn còn nhiều thách thức cần được nghiên cứu.

Đặc biệt, đối với việc xử lý tiếng Việt, do mang nhiều đặc trưng ngôn ngữ riêng nên xử lý tiếng Việt đòi hỏi các phương pháp, kỹ thuật khác so với các ngôn ngữ khác. Hiện nay, đã có nhiều hệ thống phát hiện sao chép khá hiệu quả như: Turnitin, Copyscape, iThenticate, EVE Plagiarism Detection System, Writecheck, Grammarly, -2- Plagium, Dupli Checker, Plagiarism Checker, Plagiarismdetect,… Tuy nhiên, những hệ thống này chỉ cho phép phát hiện sự trùng lặp trong nguồn cơ sở dữ liệu gốc và chủ yếu dành cho các tài liệu tiếng Anh. Bên cạnh đó, việc mở rộng cơ sở dữ liệu mẫu theo yêu cầu người sử dụng trở nên khó khăn và tốn chi phí rất cao. Mặc dù đã có nhiều nghiên cứu về hệ thống phát hiện sao chép văn bản, nhưng đến nay vẫn chưa có cơ sở chung nào để đánh giá tính hiệu quả của chúng.

Trong khi đó, ở Việt Nam cũng mới bắt đầu có các nhóm nghiên cứu về lĩnh vực này [30, 85, 130] và có rất ít nhóm xây dựng hệ thống và ứng dụng vào thực tiễn hoặc thương mại hóa, nhất là các hệ thống ứng dụng cho văn bản tiếng Việt. Qua thực tế, để góp phần ngăn chặn “đạo văn”, một số trường đại học đang sử dụng công cụ phát hiện sao chép “Turnitin” như: Trường Đại học FPT, Đại học RMIT, Đại học Kinh tế Quốc dân, Đại học Hoa Sen, Đại học Hàng hải Việt Nam,.