Cải tiến thuật toán phân lớp dữ liệu không cân bằng và ứng dụng dự đoán đồng tác giả

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI VÕ ĐỨC QUANG CẢI TIẾN THUẬT TOÁN PHÂN LỚP CHO DỮ LIỆU KHÔNG CÂN BẰNG VÀ ỨNG DỤNG TRONG DỰ ĐOÁN ĐỒNG TÁC GIẢ LUẬN ÁN TIẾN SĨ HỆ THỐNG THÔNG TIN HÀ NỘI−2024 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI VÕ ĐỨC QUANG CẢI TIẾN THUẬT TOÁN PHÂN LỚP CHO DỮ LIỆU KHÔNG CÂN BẰNG VÀ ỨNG DỤNG TRONG DỰ ĐOÁN ĐỒNG TÁC GIẢ Ngành: Hệ thống thông tin Mã số: 9480104 LUẬN ÁN TIẾN SĨ HỆ THỐNG THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS. TRẦN ĐÌNH KHANG HÀ NỘI−2024 LỜI CAM ĐOAN Tôi xin cam đoan các kết quả trình bày trong luận án là công trình nghiên cứu của bản thân nghiên cứu sinh trong thời gian học tập và nghiên cứu tại Đại học Bách khoa Hà Nội dưới sự hướng dẫn của PGS. Trần Đình Khang. Các số liệu, kết quả trình bày trong luận án là hoàn toàn trung thực.

Các kết quả sử dụng tham khảo đều đã được trích dẫn đầy đủ và theo đúng quy định. Hà Nội, ngày tháng 5 năm 2024 Giáo viên hướng dẫn Nghiên cứu sinh PGS. Trần Đình Khang Võ Đức Quang ĐẠI HỌC BÁCH KHOA HÀ NỘI TL. GIÁM ĐỐC TRƯỞNG BAN ĐÀO TẠO i LỜI CẢM ƠN Chặng đường làm nghiên cứu sinh là một hành trình dài đầy khó khăn và thử thách.

Trên hành trình đó, bên cạnh sự nỗ lực của bản thân, không thể thiếu sự đồng hành dẫn dắt của những Thầy Cô kính mến, sự hỗ trợ giúp đỡ của những người đồng nghiệp, người bạn, người thân trong gia đình. Tôi thực sự rất biết ơn và xin trân trọng gửi lời cảm ơn sâu sắc tới mọi người vì đã dành cho tôi sự giúp đỡ, chia sẻ quý giá trong suốt khoảng thời gian qua. Đầu tiên, tôi xin gửi lời cảm ơn sâu sắc tới PGS. Trần Đình Khang, người Thầy đã hướng dẫn, đồng hành, chỉ dạy, nhắc nhở và động viên tôi rất nhiều trong suốt quá trình nghiên cứu.

Tôi cũng xin gửi lời cảm ơn tới các Thầy giáo, Cô giáo giảng dạy tại Trường Công nghệ Thông tin và Truyền thông - Đại học Bách khoa Hà Nội đã truyền đạt cho tôi những kiến thức mới quý giá, giúp tôi mở rộng kiến thức, gợi mở những ý tưởng nghiên cứu để hoàn thành luận án. Tôi xin gửi lời cảm ơn đến các đồng nghiệp tại Trường Đại học Vinh, các em sinh viên vì sự hỗ trợ, chia sẻ, giúp đỡ nhiệt tình của mọi người. Cuối cùng, tôi muốn nói lời biết ơn chân thành đến gia đình thân yêu, những người thân và bạn bè đã luôn động viên, ủng hộ tôi trong suốt quá trình nghiên cứu và giúp tôi vượt qua các giai đoạn khó khăn để đạt được một số kết quả bước đầu hôm nay. ii MỤC LỤC LỜI CAM ĐOAN.

ii MỤC LỤC. iii DANH MỤC CÁC TỪ VIẾT TẮT VÀ THUẬT NGỮ. v DANH MỤC HÌNH VẼ. vii DANH MỤC BẢNG.

viii DANH MỤC THUẬT TOÁN. TỔNG QUAN VỀ VẤN ĐỀ NGHIÊN CỨU. Bài toán phân lớp với dữ liệu không cân bằng. Một số thuật toán liên quan.

Thuật toán SVM. Thuật toán Weighted-SVM. Fuzzy SVM-CIL. Thuật toán AdaBoost.

Thuật toán CNN. Phương pháp Cây quyết định. K-nearest neighbors và Tomek link. Bài toán dự đoán đồng tác giả.

Mô hình hóa bài toán. Phương pháp phân lớp cho bài toán dự đoán đồng tác giả. Phương pháp thực nghiệm và đánh giá. Tập dữ liệu thử nghiệm.

Môi trường và kịch bản thử nghiệm. Kết luận Chương 1. 39 iii CHƯƠNG 2. CẢI TIẾN THUẬT TOÁN ADABOOST CHO DỮ LIỆU KHÔNG CÂN BẰNG.

Đề xuất thuật toán Im. Phân tích thuật toán AdaBoost. Phương pháp khởi tạo trọng số cho AdaBoost thích nghi với mức độ không cân bằng. Phương pháp tính trọng số tin cậy của bộ phân lớp thành viên nhạy cảm với nhãn dương.

Mô tả thuật toán Im.AdaBoost kết hợp với WSVM. Thử nghiệm trên các bộ dữ liệu UCI. Thử nghiệm cho bài toán dự đoán đồng tác giả. Kết luận Chương 2.

ĐỀ XUẤT THUẬT TOÁN ĐIỀU CHỈNH THÍCH NGHI TRỌNG SỐ MỜ DỰA TRÊN FUZZY SVM-CIL. Đề xuất thuật toán trọng số mờ thích nghi. Xây dựng hàm thuộc mờ giàu ngữ nghĩa cho Fuzzy SVM. Phương pháp điều chỉnh trọng số mờ cho các mẫu nhạy cảm.

Thuật toán phân lớp với trọng số mờ thích nghi. Thử nghiệm trên các bộ dữ liệu UCI. Thử nghiệm cho bài toán dự đoán đồng tác giả. Thử nghiệm so sánh các thuật toán đã đề xuất.

Kết luận Chương 3. 98 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ. 100 TÀI LIỆU THAM KHẢO. 101 iv DANH MỤC CÁC TỪ VIẾT TẮT VÀ THUẬT NGỮ Viết tắt Tiếng Anh Tiếng Việt AA Adamic-Adar Độ đo liên kết AA ACT Average Commute Time Độ đo liên kết ACT AdaBoost Adaptive Boosting Thuật toán học kết hợp tuần tự thích nghi AdaBoost.SVM Adaptive Boosting with SVM AdaBoost kết hợp với SVM AdaBoost.W-SVM Adaptive Boosting with W-SVM AdaBoost kết hợp với W-SVM AdaBoost.DT Adaptive Boosting with Decision- AdaBoost kết hợp với DecisionTree Tree ASN Academic Social Network Mạng xã hội học thuật AUC Area Under Curve Diện tích dưới đường cong ROC CAR CAR-based Common Neighbor In- Độ đo CAR dex) CC Common Country Độ đo liên kết cộng đồng CNN Convolutional neural network Mạng nơ-ron tích chập CN Common Neighbor Độ đo liên kết CN ENN Edited Nearest Neighbor Thuật toán giảm mẫu ENN FSVM Fuzzy Support Vector Machine Máy véc-tơ hỗ trợ mờ FSVM-CIL Fuzzy Support Vector Machines for Máy véc-tơ hỗ trợ mờ cho học trên dữ liệu Class Imbalance Learning không cân bằng G-mean Geometric Mean Độ đo trung bình hình học HSM Hierarchical structure model Mô hình cấu trúc phân cấp JC Jaccard Coefficient Độ đo liên kết JC KNN K -Nearest Neighbors K -láng giềng gần nhất LDP local directed path Độ đo liên kết LDP LP Link Prediction Dự đoán liên kết MAG Microsoft Academic Graph Cơ sở dữ liệu khoa học MAG MF Matrix Forest Index Độ đo liên kết MF NCL Neighborhood Cleaning Rule Thuật toán giảm mẫu NCL OSS One Sided Selection Thuật toán giảm mẫu OSS PA Preferential Attachment Độ đo liên kết PA RA Resource Allocation Độ đo liên kết RA ROC Receiver operating characteristics Đường cong đặc tính RWR Random Walk with Restart Độ đo liên kết RWR SBM Stochastic block model Mô hình khối ngẫu nhiên SPRD Scholarly Paper Recommendation Cơ sở dữ liệu khoa học SPRD Dataset v SVM Support Vector Machine Máy véc-tơ hỗ trợ SMOTE Synthetic Minority Over-sampling Kỹ thuật tạo mẫu tổng hợp cho lớp thiểu Technique số SP Specificity Độ đo đặc hiệu SE Sensitivity Độ đo nhạy cảm SW Similar Work Độ đo liên kết SW TLP Tomek Link Pair Cặp Tomek link W-SVM Weight Support Vector Machine Máy véc-tơ hỗ trợ có trọng số vi DANH MỤC HÌNH VẼ 1.1 Các trường hợp của ξ trong Soft-SVM .2 Minh họa kiến trúc CNN-1D .3 Minh họa các cặp TLPs .4 Tổng quan quy trình giải quyết các bài toán trong mạng ASN .5 Mô hình gợi ý cộng tác đồng tác giả theo phương pháp phân lớp .1 Sơ đồ thuật toán Im.AdaBoost kết hợp với WSVM.2 Các giá trị của Gmean trên θ thu được bởi Im.3 Các giá trị Gmean, SE , và SP được xác định cho dữ liệu Nhóm I .4 Các giá trị Gmean, SE , và SP được xác định cho dữ liệu Nhóm II .5 Các giá trị Gmean, SE , và SP được xác định cho dữ liệu Nhóm III .1 Vị trí tương đối của các mẫu giữa hai lớp .2 Minh họa cho bốn trường hợp "mẫu nhạy cảm" được chỉ ra bởi TLPs 74 vii DANH MỤC BẢNG 1.1 Bảng ứng viên đồng tác giả .2 Thống kê dữ liệu bài báo thu thập từ năm 2000 đến năm 2017 .3 Bảng dữ liệu ứng viên đồng tác giả .4 Mô tả bộ dữ liệu UCI .1 Các giá trị tốt nhất của tham số θ cho thuật toán Im.SVM và Im.2 Kết quả phân lớp các tập dữ liệu UCI .3 Mô tả các bộ dữ liệu đồng tác giả .4 Các giá trị tốt nhất của tham số θ cho thuật toán Im.SVM và Im.5 Kết quả phân lớp các tập dữ liệu trong Nhóm I .6 Kết quả phân lớp các tập dữ liệu trong Nhóm II .7 Kết quả phân lớp các tập dữ liệu trong Nhóm III .1 Cài đặt FSVM-CIL với các hàm tính trọng số mờ .2 So sánh kết quả phân lớp của FSVM-CILcen lin và FSVM-CIL trên các bộ dữ liệu UCI .3 So sánh kết quả phân lớp của phương pháp F-AWA khi áp dụng vào FSVM-CIL trên các bộ dữ liệu UCI .4 So sánh kết quả phân lớp của AFW-CIL và FSVM-CIL cho các bộ dữ liệu chuẩn UCI .5 Mô tả các bộ dữ liệu đồng tác giả .6 Kết quả phân lớp của FSVM-CIL và FSVM-CILcen lin cho các bộ dữ liệu đồng tác giả Nhóm I .7 Kết quả phân lớp của FSVM-CIL và FSVM-CILcen lin cho các bộ dữ liệu đồng tác giả Nhóm II .8 Kết quả phân lớp của FSVM-CIL và điều chỉnh F-AWA cho các bộ dữ liệu đồng tác giả Nhóm I .9 Kết quả phân lớp của FSVM-CIL và điều chỉnh F-AWA cho các bộ dữ liệu đồng tác giả Nhóm II .10 Kết quả phân lớp của AFW-CIL và FSVM-CIL cho các bộ dữ liệu đồng tác giả Nhóm I .11 Kết quả phân lớp của AFW-CIL và FSVM-CIL cho các bộ dữ liệu đồng tác giả Nhóm II .12 Kết quả so sánh trên các tập dữ liệu UCI .13 Kết quả so sánh trên các tập dữ liệu Nhóm I.

95 ix DANH MỤC THUẬT TOÁN 1.1 Thuật toán SVM .2 Thuật toán AdaBoost .3 Thuật toán huấn luyện Cây quyết định .4 Thuật toán KNN .1 Thuật toán Im.1 CalFW: Tính toán trọng số mờ cho tập dữ liệu .2 AdjFW: Điều chỉnh trọng số mờ dựa trên TLPs .3 Thuật toán F-AWA .4 Thuật toán AFW-CIL. Lý do chọn đề tài Trong lĩnh vực nghiên cứu khoa học, mạng xã hội học thuật (ASN-Academic Social Networks) là khái niệm đề cập đến mối quan hệ tương tác về thông tin trong cộng đồng các nhà nghiên cứu khoa học [1][2]. Trong đó, khái niệm mạng đồng tác giả (co-authorship network) dùng để miêu tả mối quan hệ hợp tác cùng nghiên cứu giữa các nhà khoa học. Mối quan hệ này được thể hiện trong việc các nhà nghiên cứu là đồng tác giả trong một hoặc nhiều bài báo khoa học.

Các bài báo khoa học là sự trình bày nội dung các kết quả nghiên cứu và được công bố trên các tạp chí khoa học. Có nhiều tạp chí khoa học thuộc các chủ đề lĩnh vực nghiên cứu khác nhau. Một bài báo khoa học có thể là kết quả hợp tác của nhiều tác giả đến từ nhiều đơn vị/trường học/viện nghiên cứu.