Nghiên cứu phát triển kỹ thuật phát hiện đạo văn và ứng dụng cho văn bản tiếng Việt - Luận án tiến sĩ toán học của Nguyễn Văn Sơn

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ NGUYỄN VĂN SƠN NGHIÊN CỨU PHÁT TRIỂN MỘT SỐ KỸ THUẬT HỖ TRỢ PHÁT HIỆN ĐẠO VĂN VÀ ỨNG DỤNG CHO VĂN BẢN TIẾNG VIỆT LUẬN ÁN TIẾN SĨ TOÁN HỌC Hà Nội - 2022 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ NGUYỄN VĂN SƠN NGHIÊN CỨU PHÁT TRIỂN MỘT SỐ KỸ THUẬT HỖ TRỢ PHÁT HIỆN ĐẠO VĂN VÀ ỨNG DỤNG CHO VĂN BẢN TIẾNG VIỆT Chuyên ngành: Cơ sở toán học cho tin học Mã số: 9 46 01 10 LUẬN ÁN TIẾN SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: 1.TS Lê Thanh Hương 2. Nguyễn Chí Thành Hà Nội - 2022 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com i LỜI CAM ĐOAN Tôi xin cam đoan, đây là công trình nghiên cứu của riêng tôi. Những nội dung, số liệu và kết quả trình bày trong luận án là hoàn toàn trung thực và chưa có tác giả nào công bố trong bất cứ một công trình nào khác. Các tài liệu tham khảo được trích dẫn đầy đủ.

Hà Nội, ngày 12 tháng 01 năm 2022 Tác giả Nguyễn Văn Sơn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ii LỜI CẢM ƠN Luận án này được thực hiện tại Viện Công nghệ thông tin, Viện Khoa học và Công nghệ quân sự-Bộ Quốc phòng. Lời đầu tiên, NCS xin bày tỏ lòng biết ơn sâu sắc tới PGS.TS Lê Thanh Hương, TS. Nguyễn Chí Thành đã tận tình giúp đỡ, trang bị cho NCS phương pháp nghiên cứu, kinh nghiệm, kiến thức khoa học để hoàn thành các nội dung luận án. NCS xin chân thành cảm ơn Thủ trưởng Viện KH-CN quân sự, Phòng Đào tạo, Viện Công nghệ thông tin là cơ sở đào tạo và đơn vị quản lý đã tạo mọi điều kiện, hỗ trợ, giúp đỡ NCS trong quá trình học tập, nghiên cứu.

NCS xin bày tỏ lòng biết ơn chân thành tới các thầy cô của Viện KH-CN quân sự, các nhà khoa học trong và ngoài quân đội đã giảng dạy, truyền đạt kiến thức và giúp đỡ về chuyên môn trong quá trình học tập, nghiên cứu của NCS. NCS luôn ghi nhớ công ơn của bố mẹ, gia đình và xin dành lời cảm ơn đặc biệt tới vợ con, những người đã luôn ở bên cạnh, động viên và là chỗ dựa về mọi mặt giúp NCS vượt qua khó khăn để hoàn thành công việc. NCS xin chân thành cảm ơn bạn bè, đồng nghiệp và rất nhiều người đã luôn động viên, chia sẻ, giúp đỡ NCS trong suốt thời gian qua. Tác giả Nguyễn Văn Sơn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com iii MỤC LỤC Trang DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT.

v DANH MỤC CÁC BẢNG. vi DANH MỤC CÁC HÌNH VẼ. vii MỞ ĐẦU. 1 CHƯƠNG 1 TỔNG QUAN VỀ BÀI TOÁN PHÁT HIỆN SAO CHÉP .2 Các hình thức sao chép.

Các kiến thức nền tảng .1 Một số kiến thức nền tảng về ngôn ngữ tiếng Việt .2 Cơ sở lý thuyết về thuật toán LDA .3 Giới thiệu luật kết hợp và thuật toán Apriori .4 Giới thiệu mạng nơ ron hồi quy RNN .5 Giới thiệu mạng LSTM xếp chồng .3 Các nghiên cứu về phát hiện sao chép trên thế giới.1 Trích rút từ khóa .2 Phát hiện đoạn sao chép .4 Các hướng tiếp cận phát hiện sao chép trong nước .5 Kho ngữ liệu và phương pháp đánh giá .1 Kho ngữ liệu thử nghiệm .2 Phương pháp đánh giá .6 Những vấn đề luận án cần tập trung nghiên cứu giải quyết .7 Kết luận Chương 1. 42 CHƯƠNG 2 TRÍCH RÚT TỪ KHÓA DỰA TRÊN MÔ HÌNH HỌC SÂU .2 Phát biểu bài toán tìm tập tài liệu ứng cử và bài toán trích rút từ khóa .4 Trích rút từ khóa dựa trên kỹ thuật trích rút đặc trưng và mô hình mạng FFNN .1 Nội dung đề xuất .2 Đánh giá thử nghiệm .5 Kết luận Chương 2. 61 CHƯƠNG 3 PHÁT HIỆN ĐOẠN SAO CHÉP GIỮA HAI TÀI LIỆU DỰA TRÊN CÁC MÔ HÌNH HỌC MÁY .2 Phát biểu bài toán phát hiện đoạn sao chép .4 Mô hình chủ đề cho bài toán phát hiện đoạn sao chép .1 Đề xuất giải pháp. 65 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.2 Đánh giá thử nghiệm trên kho ngữ liệu PAN .5 Kỹ thuật trích rút đặc trưng và mô hình LSTM xếp chồng cho bài toán phát hiện đoạn sao chép .1 Mô hình đề xuất pha đoạn và pha từ .2 Đánh giá thử nghiệm trên kho ngữ liệu PAN.

Kết luận Chương 3. 95 CHƯƠNG 4 ỨNG DỤNG CÁC KỸ THUẬT PHÁT HIỆN SAO CHÉP CHO VĂN BẢN TIẾNG VIỆT .2 Xây dựng kho ngữ liệu phát hiện đoạn sao chép tiếng Việt .2 Đề xuất giải pháp xây dựng kho ngữ liệu phát hiện đoạn sao chép văn bản tiếng Việt .3 Kết quả, đánh giá kho ngữ liệu .3 Trích rút từ khóa cho văn bản tiếng Việt .1 Trích rút từ khóa dựa trên độ đo TF-IDF cho văn bản dài tiếng Việt .2 Cải tiến kỹ thuật trích rút từ khóa dựa trên mô hình học sâu cho văn bản tiếng Việt .4 Ứng dụng kỹ thuật phát hiện đoạn sao chép cho văn bản tiếng Việt .1 Cải tiến mô hình chủ đề cho bài toán phát hiện đoạn sao chép văn bản tiếng Việt .2 Cải tiến kỹ thuật trích rút đặc trưng và mô hình LSTM xếp chồng cho bài toán phát hiện đoạn sao chép văn bản tiếng Việt .5 Kết luận Chương 4. 123 DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ. 125 TÀI LIỆU THAM KHẢO.

137 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com v DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT ADAM Thuật toán tối ưu mạng nơ ron (Adaptive Moment Estimation) ANN Mạng nơ ron nhân tạo (Artificial Neural Network) BPTT Thuật toán lan truyền ngược liên hồi (Backpropagation Through Time) CNG Chuỗi liên tiếp gồm N ký tự (Character-based N-Gram) CNN Mạng nơ ron tích chập (Convolutional Neural Network) CSDL Cơ sở dữ liệu ĐATN Đồ án tốt nghiệp IDF Nghịch đảo tần suất của một từ trong một tập văn bản (Inverse Document Frequency) FFNN Mạng nơ ron truyền thẳng (Feed-forward Neural Network) FSE Thư viện trên ngôn ngữ Python để tính véc tơ câu (Fast Sentence Embeddings) GCNN Mô hình mạng nơ ron đồ thị (Graph Convolutional Neural Network) LDA Mô hình phân phối Dirichlet ẩn (Latent Dirichlet Allocation) LSA Phân tích ngữ nghĩa tiềm ẩn (Latent Semantic Analysis) LSTM Mạng bộ nhớ dài – ngắn (Long Short Term Memory Network) NCS Nghiên cứu sinh PAN Chuỗi sự kiện thường niên về đạo văn (Plagiarism Analysis, Authorship Identification, and Near Duplicate Detection) PHSC Phát hiện sao chép POS Gán nhãn từ loại (Part of Speech Tagging) RNN Mạng nơ ron hồi quy (Recurrent Neural Network) SVM Máy vector hỗ trợ (Support Vector Machine) TF Tần suất xuất hiện của một từ trong một văn bản (Term Frequency) XML Ngôn ngữ đánh dấu mở rộng (eXtensible Markup Language) XLNNTN Xử lý ngôn ngữ tự nhiên WNG Chuỗi liên tiếp gồm N từ (Word-based N-Gram) LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com vi DANH MỤC CÁC BẢNG Trang Bảng 1. Kết quả kiểm tra trùng lặp từ hệ thống Coopy. Ví dụ 10 kết quả đầu ra của mô hình đề xuất. Giá trị F-score trích rút 10 từ khóa.

So sánh với các kết quả nghiên cứu gần đây. Kết quả thử nghiệm. Kết quả đã công bố của Sanchez-Perez. Kết quả mã hóa đoạn.

Sự phụ thuộc giá trị k vào độ dài đoạn sao chép. Kết quả thử nghiệm. So sánh kết quả với các nghiên cứu gần đây. Bảng thông tin dữ liệu thu thập.

Bảng phân bố độ dài đoạn sao chép. Mô tả dữ liệu từ đồng nghĩa. Thống kê kho ngữ liệu phát hiện đoạn sao chép tiếng Việt. Tóm tắt thông tin kho ngữ liệu ĐATN.

Kết quả thử nghiệm kho ngữ liệu ĐATN. Tóm tắt thông tin kho ngữ liệu trích rút từ khóa tiếng Việt. Kết quả thử nghiệm với kho ngữ liệu bài báo tiếng Việt. Kết quả thử nghiệm với thuật toán YAKE!.

Kết quả thử nghiệm với kho ngữ liệu tiếng Việt. Kết quả thử nghiệm của tác giả Sanchez-Perez. Kết quả thử nghiệm với kho ngữ liệu tiếng Việt. 121 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com vii DANH MỤC CÁC HÌNH VẼ Trang Hình 1.

Các hình thức sao chép. Mô hình thuật toán LDA. Mô hình mạng RNN. Sơ đồ biểu diễn kiến trúc bên trong của một tế bào LSTM.

Kiến trúc mô hình LSTM xếp chồng. Phân loại các tiếp cận phát hiện sao chép. Mô hình phát hiện sao chép toàn cục. Mối quan hệ giữa S và D.

Mô hình hệ thống phát hiện sao chép. Mô hình tổng quát của bài toán tìm tập tài liệu ứng cử. Quy trình tổng quan hệ thống trích rút từ khóa. Mô hình trích rút từ khóa dựa trên mô hình FFNN.

Mô hình trích rút từ khóa dựa trên mô hình LSTM. Lược đồ quan hệ giữa độ chính xác và số lần lặp. Lược đồ quan hệ giữa độ mất mát và số lần lặp. Quy trình phát hiện đoạn sao chép dựa trên mô hình chủ đề.

Quy trình phát hiện đoạn sao chép. Mô hình phát hiện sao chép mức đoạn. Mô hình phát hiện sao chép mức từ .5 Đoạn kết quả nằm ngoài đoạn văn bản sao chép .6 Đoạn kết quả nằm trong đoạn văn bản sao chép .7 Đoạn kết quả nằm trong một phần đoạn văn bản sao chép. Sự ảnh hưởng của các đặc trưng đến kết quả phát hiện sao chép.

Mô hình tạo trường hợp sao chép nguyên văn. 103 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com viii Hình 4. Mô hình tạo trường hợp sao chép thay thế từ đồng nghĩa .3 Mô hình tạo trường hợp sao chép dịch tự động. Mô hình trích rút từ khóa.

108 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 1 MỞ ĐẦU 1. Tính cấp thiết của đề tài luận án Sự phát triển công nghệ thông tin và sự ra đời của Internet đã tạo ra một khối lượng tài liệu số khổng lồ. Để thu thập thông tin về một chủ đề nào đó chúng ta chỉ cần sử dụng một số công cụ tìm kiếm phổ biến như Google hoặc các ứng dụng tra cứu trên Internet là có thể có tìm được rất nhiều tài liệu liên quan. Chính vì thế, chúng ta có thể dễ dàng sử dụng lại thông tin thông qua các hình thức sao chép hoặc mượn ý tưởng từ các tài liệu thu thập.

Việc sử dụng lại thông tin từ các tài liệu khác mà không có trích dẫn đến tài liệu đó được xem là đạo văn. Hiện nay, tình trạng đạo văn trên thế giới và tại Việt Nam diễn ra hết sức phức tạp.