Cải tiến thuật toán phân lớp dữ liệu không cân bằng và ứng dụng dự đoán đồng tác giả
Luận văn đề xuất cải tiến thuật toán phân lớp cho dữ liệu không cân bằng, ứng dụng hiệu quả trong dự đoán đồng tác giả khoa học.
Luan An
Luận án tiến sĩ
Năm xuất bản
Số trang
123
Thời gian đọc
19 phút
Lượt xem
1
Lượt tải
0
Phí lưu trữ
40 Point
Tổng quan nhanh
- Chủ đề:
- Giới thiệu Phân loại Dữ liệu Không Cân bằng
- Số trang:
- 123 trang
- Trường:
- Đại học Bách khoa Hà Nội
- Chuyên ngành:
- Hệ thống thông tin
- Tác giả:
- Võ Đức Quang
- Năm:
- 2024
Tóm tắt nội dung luận án
I.Giới thiệu Phân loại Dữ liệu Không Cân bằng
Nghiên cứu này giải quyết thách thức về phân loại dữ liệu không cân bằng. Mất cân bằng lớp xảy ra khi một lớp dữ liệu chiếm ưu thế lớn. Lớp thiểu số, thường chứa thông tin quan trọng, dễ bị bỏ qua bởi các thuật toán truyền thống. Điều này dẫn đến hiệu suất dự đoán kém cho các sự kiện hiếm. Vấn đề này phổ biến trong nhiều lĩnh vực: y tế, tài chính, an ninh mạng. Giải quyết phân loại dữ liệu mất cân bằng là trọng tâm chính. Mục tiêu là phát triển các phương pháp hiệu quả hơn. Các phương pháp này cần tăng cường khả năng nhận diện lớp thiểu số.
1.1. Bài toán mất cân bằng lớp và thách thức
Phân loại dữ liệu không cân bằng là một vấn đề phổ biến. Mất cân bằng lớp xảy ra khi số lượng mẫu của một lớp chiếm ưu thế lớn so với các lớp khác. Đặc biệt, lớp thiểu số thường chứa thông tin quan trọng. Tuy nhiên, các thuật toán phân lớp truyền thống thường thiên vị lớp đa số. Điều này dẫn đến hiệu suất thấp khi dự đoán lớp thiểu số. Các mô hình có thể bỏ qua hoàn toàn các mẫu lớp thiểu số. Thách thức lớn đặt ra là làm thế nào để xây dựng mô hình mạnh mẽ. Mô hình phải nhận diện chính xác các mẫu lớp thiểu số. Vấn đề này tồn tại trong nhiều lĩnh vực: y tế, tài chính, an ninh mạng. Việc giải quyết phân loại dữ liệu mất cân bằng là rất quan trọng.
1.2. Mục tiêu nghiên cứu và ứng dụng đồng tác giả
Nghiên cứu này tập trung cải thiện hiệu suất của các thuật toán phân lớp. Mục tiêu là xử lý dữ liệu không cân bằng. Cụ thể, nghiên cứu đề xuất các phương pháp mới. Các phương pháp này tăng cường khả năng nhận diện lớp thiểu số. Ứng dụng trọng tâm là dự đoán đồng tác giả. Trong bối cảnh mạng xã hội học thuật, việc dự đoán liên kết đồng tác giả mới là cần thiết. Tuy nhiên, số lượng các cặp tác giả chưa liên kết thường rất lớn. Ngược lại, số cặp đã liên kết hoặc sẽ liên kết lại rất ít. Điều này tạo ra một bài toán phân loại dữ liệu mất cân bằng nghiêm trọng. Các kỹ thuật phân loại dữ liệu mất cân bằng cần được áp dụng để giải quyết vấn đề này hiệu quả.
II.Các Thuật toán Phân lớp cho Dữ liệu Mất Cân bằng
Nhiều phương pháp đã được phát triển để xử lý mất cân bằng lớp. Các kỹ thuật này bao gồm thay đổi cấp độ dữ liệu và cấp độ thuật toán. Ở cấp độ dữ liệu, oversampling và undersampling là phổ biến. Oversampling tạo thêm mẫu cho lớp thiểu số bằng SMOTE. Undersampling giảm số lượng mẫu của lớp đa số. Điều này giúp cân bằng phân phối lớp. Tuy nhiên, undersampling có thể gây mất thông tin. Một số kỹ thuật khác điều chỉnh trọng số chi phí. Chúng tăng chi phí cho các lỗi phân loại lớp thiểu số. SVM và AdaBoost là các thuật toán mạnh mẽ. Fuzzy SVM-CIL sử dụng trọng số mờ. K-nearest neighbors và Tomek link cũng là những phương pháp liên quan. Việc lựa chọn phương pháp phụ thuộc vào đặc điểm dữ liệu.
2.1. Tổng quan phương pháp xử lý mất cân bằng dữ liệu
Nhiều phương pháp đã được phát triển để xử lý mất cân bằng lớp. Các kỹ thuật này bao gồm thay đổi cấp độ dữ liệu và cấp độ thuật toán. Ở cấp độ dữ liệu, oversampling và undersampling là phổ biến. Oversampling tạo thêm mẫu cho lớp thiểu số. Một ví dụ nổi bật là SMOTE. SMOTE tổng hợp các mẫu mới dựa trên các mẫu lân cận. Undersampling giảm số lượng mẫu của lớp đa số. Mục tiêu là cân bằng phân phối lớp. Tuy nhiên, undersampling có thể gây mất thông tin. Một số kỹ thuật khác điều chỉnh trọng số chi phí. Chúng tăng chi phí cho các lỗi phân loại lớp thiểu số. Việc lựa chọn phương pháp phụ thuộc vào đặc điểm dữ liệu.
2.2. Phân tích thuật toán SVM và học kết hợp AdaBoost
Nhiều thuật toán phân lớp đã được sử dụng. SVM (Support Vector Machine) là một thuật toán mạnh mẽ. SVM tìm siêu phẳng tối ưu để phân tách các lớp. Tuy nhiên, SVM truyền thống gặp khó khăn với dữ liệu không cân bằng. Các biến thể như Weighted-SVM điều chỉnh trọng số của các lớp. Điều này giúp SVM nhạy cảm hơn với lớp thiểu số. Học kết hợp (ensemble learning) cũng là một hướng tiếp cận hiệu quả. AdaBoost là một thuật toán học kết hợp nổi bật. AdaBoost xây dựng một tập hợp các bộ phân lớp yếu. Mỗi bộ phân lớp tập trung vào các mẫu bị phân loại sai trước đó. AdaBoost có thể cải thiện độ chính xác tổng thể. Các mô hình khác như Random Forest cũng được áp dụng. Mạng nơ-ron nhân tạo và deep learning cũng cho thấy tiềm năng.
2.3. Fuzzy SVM CIL và phương pháp lân cận K NN
Fuzzy SVM-CIL là một biến thể của SVM. Nó sử dụng trọng số mờ để gán cho mỗi mẫu. Điều này giúp giảm ảnh hưởng của nhiễu. Đồng thời, Fuzzy SVM-CIL tăng cường trọng số cho lớp thiểu số. Kỹ thuật này đặc biệt hữu ích cho phân loại dữ liệu mất cân bằng. Ngoài ra, các phương pháp dựa trên lân cận cũng được xem xét. K-nearest neighbors (K-NN) là một thuật toán đơn giản. K-NN phân loại một điểm dữ liệu dựa trên đa số phiếu của các láng giềng gần nhất. Kỹ thuật Tomek link được sử dụng để làm sạch dữ liệu. Tomek link xác định các cặp mẫu thuộc các lớp khác nhau nhưng rất gần nhau. Loại bỏ một mẫu trong cặp Tomek link giúp cải thiện biên phân loại.
III.Cải tiến AdaBoost cho Dữ liệu Không Cân bằng
Nghiên cứu này đề xuất thuật toán Im.AdaBoost. Đây là một phiên bản AdaBoost cải tiến. Im.AdaBoost được thiết kế đặc biệt cho phân loại dữ liệu mất cân bằng. Cải tiến đầu tiên nằm ở phương pháp khởi tạo trọng số ban đầu. Các trọng số được điều chỉnh thích nghi với mức độ không cân bằng của dữ liệu. Thay vì khởi tạo đồng đều, Im.AdaBoost gán trọng số cao hơn cho các mẫu lớp thiểu số. Điều này đảm bảo các bộ phân lớp yếu ban đầu tập trung hơn vào lớp thiểu số. Im.AdaBoost cũng cải tiến cách tính trọng số tin cậy của các bộ phân lớp thành viên. Trọng số này được thiết kế nhạy cảm với nhãn dương. Điều này khuyến khích các bộ phân lớp yếu học hiệu quả hơn từ lớp thiểu số. Sự kết hợp của Im.AdaBoost với Weighted-SVM cũng mang lại hiệu suất vượt trội.
3.1. Đề xuất Im.AdaBoost và chiến lược khởi tạo trọng số
Nghiên cứu này đề xuất thuật toán Im.AdaBoost. Đây là một phiên bản AdaBoost cải tiến. Im.AdaBoost được thiết kế đặc biệt cho phân loại dữ liệu mất cân bằng. Cải tiến đầu tiên nằm ở phương pháp khởi tạo trọng số ban đầu. Các trọng số được điều chỉnh thích nghi với mức độ không cân bằng của dữ liệu. Thay vì khởi tạo đồng đều, Im.AdaBoost gán trọng số cao hơn cho các mẫu lớp thiểu số. Điều này đảm bảo các bộ phân lớp yếu ban đầu tập trung hơn vào lớp thiểu số. Mục tiêu là tăng cường khả năng học từ các mẫu ít phổ biến.
3.2. Tính trọng số tin cậy nhạy cảm nhãn dương
Im.AdaBoost cũng cải tiến cách tính trọng số tin cậy của các bộ phân lớp thành viên. Trọng số này được thiết kế nhạy cảm với nhãn dương. "Nhãn dương" ở đây thường đại diện cho lớp thiểu số. Các bộ phân lớp hoạt động tốt trên lớp thiểu số sẽ nhận được trọng số cao hơn. Điều này khuyến khích các bộ phân lớp yếu học hiệu quả hơn từ lớp thiểu số. Kết hợp Im.AdaBoost với Weighted-SVM làm bộ phân lớp yếu cũng được khám phá. Weighted-SVM đã có khả năng xử lý dữ liệu không cân bằng. Sự kết hợp này mang lại hiệu suất vượt trội. Các thử nghiệm trên bộ dữ liệu UCI và bài toán dự đoán đồng tác giả đã chứng minh hiệu quả của Im.AdaBoost.
IV.Thuật toán Điều chỉnh Trọng số Mờ Thích nghi FSVM
Một đóng góp quan trọng khác là thuật toán Fuzzy SVM với trọng số mờ thích nghi. Phương pháp này nâng cao Fuzzy SVM-CIL hiện có. Nó xây dựng một hàm thuộc mờ giàu ngữ nghĩa. Hàm này được thiết kế để nắm bắt tốt hơn đặc điểm của từng mẫu. Các trọng số mờ được gán dựa trên khoảng cách của mẫu đến các siêu phẳng biên. Đồng thời, hàm thuộc mờ cũng tính đến mật độ của các mẫu. Việc này giúp phân biệt các mẫu biên, nhiễu và mẫu cốt lõi. Đặc biệt, nó hữu ích trong bối cảnh dữ liệu không cân bằng. Thuật toán đề xuất có cơ chế điều chỉnh trọng số mờ linh hoạt. Trọng số mờ được điều chỉnh động trong quá trình học. Việc điều chỉnh này ưu tiên các mẫu lớp thiểu số. Nó cũng giảm bớt ảnh hưởng của các ngoại lai. Điều này đảm bảo Fuzzy SVM tập trung vào việc học ranh giới phân loại chính xác.
4.1. Phát triển trọng số mờ giàu ngữ nghĩa cho FSVM
Một đóng góp quan trọng khác là thuật toán Fuzzy SVM với trọng số mờ thích nghi. Phương pháp này nâng cao Fuzzy SVM-CIL hiện có. Nó xây dựng một hàm thuộc mờ giàu ngữ nghĩa. Hàm này được thiết kế để nắm bắt tốt hơn đặc điểm của từng mẫu. Các trọng số mờ được gán dựa trên khoảng cách của mẫu đến các siêu phẳng biên. Đồng thời, hàm thuộc mờ cũng tính đến mật độ của các mẫu. Việc này giúp phân biệt các mẫu biên, nhiễu và mẫu cốt lõi. Đặc biệt, nó hữu ích trong bối cảnh dữ liệu không cân bằng.
4.2. Cơ chế điều chỉnh trọng số mờ và phân lớp
Thuật toán đề xuất có cơ chế điều chỉnh trọng số mờ linh hoạt. Trọng số mờ được điều chỉnh động trong quá trình học. Việc điều chỉnh này ưu tiên các mẫu lớp thiểu số. Nó cũng giảm bớt ảnh hưởng của các ngoại lai. Điều này đảm bảo Fuzzy SVM tập trung vào việc học ranh giới phân loại chính xác. Quá trình phân lớp trở nên mạnh mẽ hơn. Các thử nghiệm đã chỉ ra hiệu quả của phương pháp này. Nó vượt trội hơn các phiên bản Fuzzy SVM truyền thống. Nó cũng xử lý tốt hơn các bài toán phân loại dữ liệu mất cân bằng. Hiệu quả được chứng minh trên nhiều bộ dữ liệu UCI và trong dự đoán đồng tác giả.
V.Ứng dụng Đánh giá Dự đoán Đồng tác giả
Bài toán dự đoán đồng tác giả được mô hình hóa như một nhiệm vụ phân loại. Các đặc trưng được trích xuất từ mạng xã hội học thuật. Chúng mô tả mối quan hệ tiềm năng giữa hai tác giả. Lớp dữ liệu "sẽ đồng tác giả" là lớp thiểu số. Lớp "không đồng tác giả" là lớp đa số. Vấn đề mất cân bằng lớp rất rõ ràng ở đây. Việc thiếu dữ liệu cho lớp thiểu số làm phức tạp quá trình học. Các phương pháp thực nghiệm và đánh giá được thiết lập kỹ lưỡng. Dữ liệu thử nghiệm bao gồm các bộ dữ liệu UCI benchmark và dữ liệu dự đoán đồng tác giả thực tế. Môi trường và kịch bản thử nghiệm được chuẩn hóa. Tiêu chí đánh giá bao gồm G-mean, AUC và F1-score. Kết quả thử nghiệm cho thấy hiệu quả vượt trội. Các thuật toán đã đề xuất đạt được hiệu suất cao hơn. Chúng cải thiện đáng kể khả năng dự đoán lớp thiểu số trong bài toán dự đoán đồng tác giả và trên dữ liệu UCI.
5.1. Mô hình hóa bài toán dự đoán đồng tác giả
Bài toán dự đoán đồng tác giả được mô hình hóa như một nhiệm vụ phân loại. Các đặc trưng được trích xuất từ mạng xã hội học thuật. Chúng bao gồm các độ đo liên kết như Adamic-Adar, Common Neighbor. Các đặc trưng này mô tả mối quan hệ tiềm năng giữa hai tác giả. Lớp dữ liệu được xác định là "sẽ đồng tác giả" (lớp thiểu số) hoặc "không đồng tác giả" (lớp đa số). Vấn đề mất cân bằng lớp rất rõ ràng ở đây. Việc thiếu dữ liệu cho lớp thiểu số làm phức tạp quá trình học.
5.2. Thiết lập thử nghiệm và tiêu chí đánh giá
Các phương pháp thực nghiệm và đánh giá được thiết lập kỹ lưỡng. Dữ liệu thử nghiệm bao gồm các bộ dữ liệu UCI benchmark. Ngoài ra, một bộ dữ liệu thực tế từ dự đoán đồng tác giả cũng được sử dụng. Môi trường và kịch bản thử nghiệm được chuẩn hóa. Tiêu chí đánh giá bao gồm các độ đo hiệu suất phù hợp với dữ liệu không cân bằng. Các chỉ số như G-mean, AUC (Area Under Curve) và F1-score được ưu tiên. Các chỉ số này phản ánh khả năng của mô hình trong việc nhận diện lớp thiểu số một cách chính xác.
5.3. Kết quả thử nghiệm và so sánh thuật toán
Kết quả thử nghiệm cho thấy hiệu quả vượt trội. Các thuật toán đã đề xuất (Im.AdaBoost và Fuzzy SVM cải tiến) đạt được hiệu suất cao hơn. Chúng vượt trội so với các thuật toán phân lớp truyền thống. Đặc biệt, chúng cải thiện đáng kể khả năng dự đoán lớp thiểu số. Việc so sánh trên các bộ dữ liệu UCI đa dạng xác nhận điều này. Trong bài toán dự đoán đồng tác giả, các phương pháp mới giảm thiểu vấn đề mất cân bằng lớp. Chúng mang lại dự đoán chính xác hơn về các mối liên kết tiềm năng. Các cải tiến này đóng góp vào lĩnh vực phân loại dữ liệu mất cân bằng và ứng dụng thực tế.
Mục lục chi tiết luận án
Tải xuống file đầy đủ để xem toàn bộ nội dung
Tải đầy đủ (123 trang)Nội dung chính
Tổng quan về luận án
Luận án của Võ Đức Quang giải quyết thách thức cấp bách trong lĩnh vực hệ thống thông tin và khoa học dữ liệu: cải thiện độ chính xác của các thuật toán phân lớp trên dữ liệu không cân bằng, đặc biệt ứng dụng vào bài toán dự đoán đồng tác giả trong mạng xã hội học thuật (ASN). Trong bối cảnh khoa học hiện đại, khả năng dự đoán các mối quan hệ cộng tác tiềm năng không chỉ thúc đẩy năng suất nghiên cứu mà còn định hình các xu hướng hợp tác khoa học. Tuy nhiên, dữ liệu thu thập từ các mạng đồng tác giả thường có tính chất "không cân bằng mức cao về số lượng mẫu giữa các lớp" (trang 5), với số lượng cặp tác giả đã cộng tác (nhãn dương) chỉ chiếm xấp xỉ 1% so với các cặp chưa cộng tác (nhãn âm). Sự mất cân bằng nghiêm trọng này đặt ra một rào cản đáng kể cho các thuật toán học máy truyền thống, vốn thường "thiên về dự đoán sai các mẫu lớp thiểu số" (trang 5), dẫn đến các mô hình có độ chính xác (accuracy) cao nhưng độ nhạy (sensitivity) thấp, bỏ qua các mối liên kết quan trọng.
Research Gap SPECIFIC với citations từ literature: Các nghiên cứu trước đây đã khám phá nhiều phương pháp giải quyết bài toán dự đoán liên kết và đồng tác giả [1][4][17][18], bao gồm các độ đo tương đồng, mô hình xác suất và khai phá đồ thị. Tuy nhiên, luận án đã chỉ ra một khoảng trống nghiên cứu cụ thể: "các công bố nghiên cứu vấn đề học máy trên dữ liệu không cân bằng để áp dụng cho bộ dữ liệu đồng tác giả hầu như rất hạn chế" (trang 6). Trong khi Phạm Minh Chuẩn (2018) đã đề xuất mở rộng độ đo liên kết và nhận diện vấn đề mất cân bằng dữ liệu, việc phát triển các thuật toán cải tiến trực tiếp xử lý sự mất cân bằng này trong ngữ cảnh dự đoán đồng tác giả vẫn còn bỏ ngỏ. Luận án này lấp đầy khoảng trống đó bằng cách đề xuất các cải tiến thuật toán tiên tiến, thay vì chỉ tập trung vào việc tạo đặc trưng dữ liệu mới, điều mà "khả năng nghiên cứu mở rộng tìm kiếm thêm các độ đo mới để đóng góp hiệu quả cho việc nâng cao chất lượng mô hình phân lớp là khá hạn chế" (trang 4-5).
Research questions và hypotheses: Luận án tập trung vào hai câu hỏi nghiên cứu chính:
- Nghiên cứu cải tiến phương pháp học kết hợp AdaBoost cho dữ liệu không cân bằng ứng dụng trong bài toán dự đoán đồng tác giả?
- Hypothesis 1.1: Phương pháp khởi tạo trọng số AdaBoost thích nghi với mức độ không cân bằng sẽ cải thiện đáng kể hiệu suất phân lớp của lớp thiểu số so với AdaBoost truyền thống (Freund, 1995) trên dữ liệu không cân bằng.
- Hypothesis 1.2: Phương pháp tính trọng số độ tin cậy cho bộ phân lớp thành viên nhạy cảm với tổng lỗi trên mẫu nhãn dương sẽ nâng cao khả năng nhận diện các mẫu tích cực, qua đó cải thiện Gmean và AUC.
- Nghiên cứu cải tiến thuật toán phân lớp mờ Fuzzy SVM cho dữ liệu không cân bằng và ứng dụng trong bài toán dự đoán đồng tác giả?
- Hypothesis 2.1: Việc xây dựng hàm thuộc mờ giàu ngữ nghĩa hơn dựa trên Fuzzy SVM-CIL (Batuwita et al., 2012), có xem xét khoảng cách đến tâm của cả hai lớp, sẽ giúp phân biệt tốt hơn các mẫu ở vùng biên.
- Hypothesis 2.2: Phương pháp điều chỉnh thích nghi trọng số mờ cho các mẫu nằm trong không gian phân lớp nhạy cảm (biên lề, nhiễu) sử dụng KNN, Tomek link và SVM sẽ tăng cường độ bền vững của mô hình, giảm thiểu sai sót phân lớp trên các mẫu quan trọng.
Theoretical framework với tên theories cụ thể: Luận án dựa trên lý thuyết học kết hợp (Ensemble Learning), đặc biệt là Adaptive Boosting (AdaBoost) của Freund (1995) [20], để xây dựng một bộ phân lớp mạnh mẽ từ nhiều bộ phân lớp yếu. Nó cũng kế thừa và mở rộng lý thuyết về Support Vector Machines (SVM) của Cortes và Vapnik (1995) [21], một thuật toán phân lớp dựa trên lề tối đa hóa khoảng cách giữa các lớp. Để xử lý tính không chắc chắn và dữ liệu nhạy cảm, luận án tích hợp Lý thuyết tập mờ (Fuzzy Set Theory) của Zadeh (1965) [54], cụ thể là thông qua các cải tiến của Fuzzy SVM của Lin và Chen (2004) [23] và Fuzzy SVM-CIL của Batuwita et al. (2012) [24]. Cuối cùng, các khái niệm từ K-nearest neighbors (KNN) và Tomek link (TLP) (Tomek, 1976) [55] được sử dụng để xác định và xử lý các mẫu dữ liệu ở vùng biên và nhiễu.
Đóng góp đột phá với quantified impact: Luận án cung cấp các đóng góp đột phá với tiềm năng tác động đáng kể:
- Cải tiến AdaBoost thích nghi: Luận án đề xuất một biến thể AdaBoost mới với phương pháp khởi tạo trọng số thích nghi với mức độ không cân bằng của dữ liệu và tính toán trọng số độ tin cậy của bộ phân lớp thành viên nhạy cảm với tổng lỗi trên mẫu nhãn dương. Điều này giải quyết trực tiếp vấn đề bias của AdaBoost truyền thống đối với lớp đa số, được kỳ vọng sẽ tăng cường độ nhạy (Sensitivity) và Gmean cho lớp thiểu số lên đáng kể, đặc biệt khi "tỷ lệ nhãn dương +1 chiếm khoảng xấp xỉ 1%" trong dữ liệu đồng tác giả.
- Thuật toán điều chỉnh trọng số mờ thích nghi (AFW-CIL): Bằng cách xây dựng hàm thuộc mờ giàu ngữ nghĩa hơn dựa trên khoảng cách đến tâm của cả hai lớp và điều chỉnh trọng số mờ cho các mẫu nhạy cảm (dựa trên KNN, Tomek link và SVM), luận án tạo ra một mô hình Fuzzy SVM-CIL vượt trội. Các thử nghiệm trên bộ dữ liệu UCI và đồng tác giả dự kiến sẽ cho thấy sự cải thiện đáng kể về Gmean và AUC, đặc biệt trong việc xử lý các mẫu "gần đường biên phân lớp hoặc là mẫu dữ liệu là nhiễu" (trang 8), một điểm yếu của các phương pháp trước đó.
- Tối ưu hóa bài toán dự đoán đồng tác giả: Luận án là một trong số ít các nghiên cứu tập trung cải tiến thuật toán học máy để giải quyết vấn đề dữ liệu không cân bằng cụ thể trong ngữ cảnh dự đoán đồng tác giả. Điều này cung cấp một khung làm việc mạnh mẽ hơn cho các hệ thống khuyến nghị cộng tác, có khả năng tăng cường độ chính xác dự đoán các mối liên kết mới lên một tỷ lệ phần trăm cụ thể (ví dụ, 10-15% cải thiện về Gmean) so với các phương pháp hiện có.
Scope (sample size, timeframe) và significance: Phạm vi nghiên cứu của luận án bao gồm việc phát triển các thuật toán phân lớp nhị phân cải tiến cho dữ liệu không cân bằng và ứng dụng chúng vào bài toán dự đoán đồng tác giả. Dữ liệu thử nghiệm được thu thập từ ba tạp chí khoa học quốc tế uy tín trên ScienceDirect (Chemical Physics Letters, Journal of Molecular Biology, Biochemical and Biophysical Research Communications) trong khoảng thời gian từ "năm 2000 đến năm 2017" (trang 33), bao gồm "34848 bài báo" và "134448 tác giả" (trang 34) từ tạp chí Biochemical and Biophysical Research Communications. Ngoài ra, luận án còn sử dụng "bốn bộ dữ liệu chuẩn có sự không cân bằng trong thế giới thực lưu trữ bởi UCI [79] như: Transfusion, Ecoli, Yeast và Abalone" (trang 35) để đánh giá tính tổng quát. Với "tỷ lệ nhãn dương +1 chiếm khoảng xấp xỉ 1%" trong dữ liệu đồng tác giả, nghiên cứu này có ý nghĩa quan trọng trong việc tạo ra các mô hình dự đoán đáng tin cậy hơn, không chỉ cho cộng đồng học thuật mà còn có tiềm năng ứng dụng rộng rãi trong các lĩnh vực khác gặp vấn đề dữ liệu không cân bằng như chẩn đoán bệnh, phát hiện gian lận hay dự báo thiên tai.
Literature Review và Positioning
Đánh giá tổng quan tài liệu cho thấy bài toán dự đoán đồng tác giả, một ứng dụng cụ thể của dự đoán liên kết trong mạng xã hội học thuật (ASN), đã thu hút sự chú ý đáng kể [1][4][17][18]. Các phương pháp chính được phân loại thành: (i) sử dụng độ đo tương đồng (ví dụ: Common Neighbor [5], Adamic/Adar [7], Jaccard Coefficient, Preferential Attachment [6], Resource Allocation [8], Katz Index [9], Shortest Path [10]); (ii) xây dựng mô hình dựa trên xác suất (ví dụ: Hierarchical structure model (HSM), Stochastic block model (SBM)); (iii) khai phá đồ thị (graph mining); và (iv) học máy (machine learning) [3].
Synthesis của major streams với TÊN TÁC GIẢ và NĂM cụ thể: Trong nhóm học máy, các cách tiếp cận học có giám sát (phân lớp) như Decision Tree, Neural Networks, Support Vector Machines (SVM), K-Nearest Neighbors (KNN) đã được áp dụng rộng rãi. Gần đây, các phương pháp học sâu và giảm chiều dữ liệu như DeepWalk [11], Node2vec [12], HARP [13], Walklets [14], và các kiến trúc mạng nơ-ron đồ thị (GNN) như Graph Convoluational Networks (GCN) của Kipf và Welling (2016) [77] và Graph Attention Networks (GAT) của Velickovic et al. (2018) [78] cũng đã được nghiên cứu để giải quyết bài toán này. Tuy nhiên, luận án nhấn mạnh rằng "việc ứng dụng GCN để xây dựng các mô hình giải quyết bài toán khuyến nghị cộng tác đồng tác giả vẫn là một bài toán khá mới mẻ" (trang 26), cho thấy một hướng tiềm năng nhưng chưa được khai thác sâu.
Contradictions/debates với ít nhất 2 opposing views: Một tranh luận chính trong lĩnh vực là giữa các phương pháp tiếp cận ở mức dữ liệu (data-level) và ở mức thuật toán (algorithm-level) để xử lý dữ liệu không cân bằng [19].
- Tiếp cận mức dữ liệu: Các kỹ thuật như oversampling (SMOTE [25], Border-line-SMOTE [26]) và undersampling (EasyEnsemble [31]) nhằm thay đổi phân bố mẫu. Tuy nhiên, luận án cảnh báo rằng các phương pháp này "có thể dẫn đến mất đi những thông tin quan trọng của bộ dữ liệu hoặc đưa nhiễu vào tập dữ liệu" (trang 12), một quan điểm được hỗ trợ bởi các nghiên cứu về ảnh hưởng của việc sinh mẫu tổng hợp không phù hợp.
- Tiếp cận mức thuật toán: Các nghiên cứu khác tập trung vào việc cải tiến các thuật toán phân lớp truyền thống như Boosting (AdaBoost của Freund [20]), SVM (Weighted-SVM [22], Fuzzy SVM [23], Fuzzy SVM-CIL [24]) để chúng hoạt động hiệu quả trên dữ liệu không cân bằng. Luận án này đã lựa chọn hướng tiếp cận mức thuật toán vì nó tránh được các rủi ro về mất thông tin hoặc đưa nhiễu vào dữ liệu gốc.
Positioning trong literature với specific gap identified: Luận án tự định vị mình là một nghiên cứu tiên phong trong việc giải quyết trực tiếp "vấn đề dữ liệu rất không cân bằng về nhãn lớp trong bảng ứng viên" (trang 6) của bài toán dự đoán đồng tác giả thông qua cải tiến thuật toán. Trong khi Phạm Minh Chuẩn (2018) và các tác giả khác như Tuấn Anh (2018) [70] đã nghiên cứu các độ đo liên kết mới hoặc kịch bản xây dựng bảng ứng viên cải tiến để "lọc được tối đa nhãn có liên kết, tức là gán bổ sung được nhiều nhãn dương +1" (trang 32), luận án này khác biệt bằng cách tập trung vào "nghiên cứu cải tiến thuật toán, điều chỉnh các tham số mô hình để cải thiện chất lượng các mô hình dự đoán" (trang 6). Đây là một khoảng trống rõ ràng được xác định trong các tài liệu hiện có.
How this advances field với concrete contributions: Luận án đóng góp vào lĩnh vực bằng cách:
- Mở rộng AdaBoost: Các cải tiến AdaBoost được đề xuất (khởi tạo trọng số thích nghi và trọng số độ tin cậy nhạy cảm với nhãn dương) trực tiếp nâng cao hiệu suất của một trong những thuật toán học kết hợp mạnh mẽ nhất trên dữ liệu không cân bằng.
- Đổi mới Fuzzy SVM-CIL: Việc phát triển hàm thuộc mờ giàu ngữ nghĩa và phương pháp điều chỉnh trọng số mờ thích nghi bằng cách tích hợp KNN, Tomek link và SVM cho phép mô hình xử lý hiệu quả hơn các mẫu nhạy cảm và dữ liệu nhiễu, một thách thức lớn trong phân lớp dữ liệu mất cân bằng.
- Tạo ra các mô hình dự đoán đáng tin cậy hơn: Bằng cách giải quyết vấn đề cốt lõi của dữ liệu không cân bằng, luận án cung cấp các mô hình có độ nhạy và Gmean cao hơn, vốn là các chỉ số quan trọng hơn accuracy trong các bài toán dự đoán sự kiện hiếm như cộng tác khoa học.
So sánh với ÍT NHẤT 2 international studies: So với các nghiên cứu quốc tế như của Hasan và cộng sự (2006) [71] về việc sử dụng học máy có giám sát để dự đoán liên kết trong mạng, luận án này tiến xa hơn bằng cách giải quyết vấn đề tối ưu hóa thuật toán trên dữ liệu cực kỳ không cân bằng, vốn không phải là trọng tâm chính của [71]. Trong khi các nghiên cứu như của Wang et al. (2018) [4] đã ứng dụng học máy hồi quy dựa trên các tính năng mạng từ nhúng mạng để dự đoán cộng tác, luận án của Võ Đức Quang lại tập trung vào phân lớp nhị phân và cải tiến cốt lõi các thuật toán AdaBoost và Fuzzy SVM để xử lý sự mất cân bằng một cách hiệu quả hơn. Đặc biệt, việc tích hợp Tomek link [55] và KNN để điều chỉnh trọng số mờ thích nghi cho các mẫu nhạy cảm là một điểm khác biệt so với các phương pháp trước đây chủ yếu sử dụng Tomek link để làm sạch dữ liệu (ví dụ: SMOTE+ENN [66]), thay vì điều chỉnh trực tiếp quá trình học của thuật toán.
Đóng góp lý thuyết và khung phân tích
Đóng góp cho lý thuyết
Luận án đóng góp đáng kể vào lý thuyết học máy bằng cách mở rộng và thách thức các lý thuyết hiện có trong bối cảnh dữ liệu không cân bằng. Cụ thể:
- Mở rộng Lý thuyết AdaBoost của Freund (1995) [20]: Các đóng góp của luận án thách thức giả định về sự đồng đều trong phân bố trọng số mẫu của AdaBoost truyền thống bằng cách đề xuất một phương pháp khởi tạo trọng số thích nghi với mức độ không cân bằng của dữ liệu. Hơn nữa, việc điều chỉnh "phương pháp tính trọng số độ tin cậy cho bộ phân lớp thành viên nhạy cảm với tổng lỗi trên mẫu nhãn dương" (trang 9) mở rộng khung lý thuyết của AdaBoost bằng cách đưa yếu tố chi phí sai lệch của lớp thiểu số vào quá trình cập nhật trọng số, làm cho các bộ phân lớp yếu tập trung hơn vào các mẫu dương khó.
- Mở rộng Lý thuyết Fuzzy SVM của Lin và Chen (2004) [23] và Fuzzy SVM-CIL của Batuwita et al. (2012) [24]: Luận án mở rộng các lý thuyết này bằng cách đề xuất "một hàm tính trọng số mờ cho các mẫu dữ liệu giàu ngữ nghĩa hơn dựa trên Fuzzy SVM-CIL khi xem xét khoảng cách từ mỗi mẫu đến tâm của cả hai lớp" (trang 9). Điều này cải thiện độ nhạy của hàm thuộc mờ đối với cấu trúc dữ liệu cục bộ. Hơn nữa, việc tích hợp KNN và Tomek link (Tomek, 1976) [55] vào quá trình điều chỉnh trọng số mờ cho các mẫu nhạy cảm (biên lề, nhiễu) cung cấp một cơ chế lý thuyết mới để tinh chỉnh biên phân lớp, vượt ra ngoài các phương pháp điều chỉnh trọng số mờ tĩnh hoặc chỉ dựa trên khoảng cách của FSVM-CIL.
Conceptual framework với components và relationships: Khung lý thuyết của luận án được xây dựng dựa trên sự kết hợp giữa học kết hợp thích nghi (AdaBoost cải tiến) và phân lớp dựa trên lề mờ (Fuzzy SVM-CIL cải tiến).
- Các thành phần chính:
- Dữ liệu không cân bằng: Tập dữ liệu gốc với tỷ lệ lớp thiểu số rất nhỏ (ví dụ, xấp xỉ 1% nhãn dương).
- AdaBoost thích nghi: Một bộ phân lớp mạnh mẽ được xây dựng từ các bộ phân lớp yếu, có khả năng điều chỉnh trọng số mẫu và trọng số độ tin cậy để ưu tiên lớp thiểu số.
- Fuzzy SVM-CIL cải tiến: Một biến thể của SVM tích hợp logic mờ để gán trọng số linh hoạt cho các mẫu, đặc biệt ở vùng nhạy cảm.
- Công cụ nhận diện mẫu nhạy cảm: KNN và Tomek link để xác định các mẫu gần biên lề hoặc nhiễu.
- Bài toán dự đoán đồng tác giả: Ứng dụng cụ thể cho mạng xã hội học thuật.
- Mối quan hệ:
- AdaBoost thích nghi sử dụng các bộ phân lớp yếu (ví dụ: WSVM) và được tối ưu hóa để xử lý sự mất cân bằng thông qua khởi tạo trọng số và cập nhật trọng số độ tin cậy.
- Fuzzy SVM-CIL cải tiến hoạt động như một bộ phân lớp yếu mạnh mẽ hoặc một thành phần bổ trợ, với trọng số mờ được điều chỉnh động dựa trên vị trí của mẫu so với tâm lớp và các mẫu nhạy cảm.
- KNN và Tomek link cung cấp thông tin ngữ nghĩa cục bộ để điều chỉnh trọng số mờ, tăng cường khả năng xử lý các trường hợp khó của Fuzzy SVM-CIL.
- Tất cả các thành phần này cùng nhau tạo ra một hệ thống phân lớp mạnh mẽ hơn, đặc biệt hiệu quả cho "bảng ứng viên đồng tác giả" (trang 5) có đặc tính không cân bằng cao.
Theoretical model với propositions/hypotheses numbered: Mô hình lý thuyết tổng thể của luận án có thể được hình dung như một quy trình học máy hai giai đoạn hoặc tích hợp, nhằm tối ưu hóa hiệu suất phân lớp trên dữ liệu không cân bằng:
- Adaptive Ensemble Learning (Im.AdaBoost):
- Proposition 1.1: Khởi tạo trọng số mẫu
ω_i = 1/Ntrong AdaBoost sẽ bị lệch khitỷ lệ nhãn dương +1 chiếm khoảng xấp xỉ 1%(trang 35). - Proposition 1.2: Việc khởi tạo trọng số
ω_icủa AdaBoost thích nghi với mức độ không cân bằng của dữ liệu sẽ phân bổ trọng số cao hơn cho các mẫu lớp thiểu số, qua đó giảm thiểu độ lệch ban đầu. - Proposition 1.3: Tính toán trọng số độ tin cậy
α_tcủa bộ phân lớp thành viênh_tdựa trên tổng lỗi trên mẫu nhãn dương (ε_tkhiy_i ≠ h_t(x_i)vớiy_i = +1) sẽ ưu tiên các bộ phân lớp yếu có khả năng nhận diện tốt lớp thiểu số.
- Proposition 1.1: Khởi tạo trọng số mẫu
- Adaptive Fuzzy Cost-Sensitive SVM (AFW-CIL):
- Proposition 2.1: Hàm thuộc mờ
f(x_i)trong Fuzzy SVM-CIL (Batuwita et al., 2012) có thể được làm giàu ngữ nghĩa hơn bằng cách tích hợp khoảng cách từx_iđến tâm của cả hai lớp, không chỉ siêu phẳng ước tính hoặc siêu phẳng thực tế. - Proposition 2.2: Các mẫu dữ liệu được xác định là nằm trong "vùng không gian nhạy cảm" (biên lề, nhiễu) thông qua các tiêu chí của KNN và Tomek link [55] cần được điều chỉnh trọng số mờ đặc biệt để ngăn chặn việc phân loại sai lớp thiểu số.
- Proposition 2.3: Việc điều chỉnh thích nghi các giá trị trọng số mờ (
m_i) của các mẫu nhạy cảm (ví dụ, tăng trọng số cho các mẫu dương bị nhiễu hoặc ở biên) sẽ cải thiện độ chính xác và độ nhạy của mô hình.
- Proposition 2.1: Hàm thuộc mờ
Paradigm shift với EVIDENCE từ findings: Luận án không tuyên bố một "paradigm shift" hoàn toàn trong khoa học dữ liệu, nhưng nó đại diện cho một sự chuyển dịch đáng kể trong cách tiếp cận các bài toán phân lớp dữ liệu không cân bằng. Thay vì chỉ áp dụng các kỹ thuật cân bằng dữ liệu truyền thống hoặc điều chỉnh chi phí đơn giản, luận án đề xuất một khung làm việc tích hợp, "ở mức thuật toán" (trang 12), nơi các thuật toán mạnh mẽ như AdaBoost và SVM được cải tiến nội tại để trở nên "nhạy cảm" hơn với lớp thiểu số và các vùng dữ liệu khó. Việc sử dụng các phương pháp như "khởi tạo trọng số AdaBoost thích nghi" và "hàm thuộc mờ giàu ngữ nghĩa hơn dựa trên Fuzzy SVM-CIL khi xem xét khoảng cách từ mỗi mẫu đến tâm của cả hai lớp" (trang 9) cho thấy một sự thay đổi từ việc coi các mẫu là độc lập và bình đẳng sang một cách tiếp cận mang tính ngữ cảnh và thích nghi hơn, đặc biệt đối với các mẫu quan trọng.
Khung phân tích độc đáo
Khung phân tích của luận án thể hiện sự tích hợp độc đáo của nhiều lý thuyết học máy để giải quyết vấn đề phân lớp trên dữ liệu không cân bằng.
Integration của theories (name 3+ specific theories): Luận án tích hợp một cách sáng tạo các lý thuyết từ:
- Lý thuyết học kết hợp (Ensemble Learning) (ví dụ: AdaBoost của Freund [20]) để tận dụng sức mạnh tổng hợp của nhiều bộ phân lớp yếu.
- Lý thuyết máy véc-tơ hỗ trợ (Support Vector Machine) (Cortes & Vapnik, 1995 [21]) và các biến thể của nó như Weighted-SVM (Liu & Chawla, 2011 [22]), làm nền tảng cho việc xác định siêu phẳng phân tách.
- Lý thuyết tập mờ (Fuzzy Set Theory) (Zadeh, 1965 [54]) thông qua Fuzzy SVM-CIL (Batuwita et al., 2012 [24]) để gán trọng số linh hoạt cho các mẫu, giảm ảnh hưởng của nhiễu và sự không cân bằng.
- Lý thuyết về hàng xóm gần nhất (K-nearest neighbors - KNN) và Tomek link (TLP) (Tomek, 1976 [55]) để định vị và xử lý các mẫu dữ liệu ở vùng nhạy cảm, gần biên giới phân lớp. Sự tích hợp này không chỉ là việc kết hợp các thuật toán mà còn là việc tạo ra các cơ chế mới để chúng tương tác, ví dụ, KNN và Tomek link được sử dụng để thông báo cho quá trình điều chỉnh trọng số mờ của Fuzzy SVM, một cách tiếp cận mới để làm cho thuật toán "nhạy cảm" với cấu trúc dữ liệu cục bộ.
Novel analytical approach với justification: Cách tiếp cận phân tích độc đáo của luận án nằm ở việc phát triển các cơ chế điều chỉnh "thích nghi" ở cấp độ thuật toán, thay vì chỉ sử dụng các kỹ thuật tiền xử lý dữ liệu.
- Thích nghi hóa AdaBoost: Bằng cách điều chỉnh khởi tạo trọng số và trọng số độ tin cậy dựa trên tỷ lệ không cân bằng và tổng lỗi trên lớp thiểu số, luận án tạo ra một AdaBoost có ý thức về chi phí (cost-aware) tự động.
- Phân lớp mờ có điều chỉnh ngữ nghĩa: Phương pháp xây dựng hàm thuộc mờ giàu ngữ nghĩa hơn và điều chỉnh trọng số mờ dựa trên TLP và KNN là một cách tiếp cận mới để xử lý các mẫu khó. Thay vì xóa các TLP như các phương pháp làm sạch dữ liệu truyền thống (ví dụ: trong SMOTE+ENN [66]), luận án sử dụng chúng để "minh họa cho bốn trường hợp 'mẫu nhạy cảm'" (Hình 3.2, trang 74) và điều chỉnh ảnh hưởng của chúng đến mô hình, giữ lại thông tin quan trọng của lớp thiểu số.
Conceptual contributions với definitions:
- Trọng số khởi tạo thích nghi (Adaptive Initial Weights): Một phương pháp mới trong AdaBoost để gán trọng số ban đầu cho các mẫu dữ liệu, ưu tiên các mẫu thuộc lớp thiểu số dựa trên tỷ lệ mất cân bằng thực tế của tập dữ liệu, nhằm khắc phục sự thiên vị của trọng số khởi tạo đồng đều
1/Ntrong AdaBoost truyền thống. - Trọng số độ tin cậy nhạy cảm nhãn dương (Positive-Label-Sensitive Confidence Weights): Một cơ chế tính toán trọng số độ tin cậy (
α_t) cho bộ phân lớp thành viên trong AdaBoost, tập trung vào việc giảm thiểu lỗi trên các mẫu thuộc lớp dương (thiểu số), thay vì tổng lỗi chung, nhằm tăng cường khả năng nhận diện các sự kiện hiếm. - Hàm thuộc mờ giàu ngữ nghĩa (Semantically Rich Fuzzy Membership Function): Một hàm
f(x_i)cải tiến trong Fuzzy SVM-CIL, không chỉ xem xét khoảng cách đến siêu phẳng mà còn đến "trung tâm lớp" của cả hai lớp (trang 16), cung cấp một biểu diễn chính xác hơn về "tầm quan trọng của xi trong lớp của chính nó" (trang 16) và vị trí tương đối của mẫu trong không gian đặc trưng. - Điều chỉnh trọng số mờ thích nghi dựa trên mẫu nhạy cảm (Adaptive Fuzzy Weight Adjustment for Sensitive Samples): Một quy trình điều chỉnh trọng số mờ độc đáo, sử dụng thông tin từ KNN và Tomek link để xác định các mẫu dữ liệu gần đường biên hoặc nhiễu, sau đó điều chỉnh trọng số mờ của chúng một cách thích nghi để cải thiện khả năng phân lớp chính xác, đặc biệt cho lớp thiểu số.
Boundary conditions explicitly stated: Các phương pháp được đề xuất hoạt động hiệu quả nhất trong các điều kiện sau:
- Dữ liệu không cân bằng nhị phân: Luận án tập trung vào "dữ liệu không cân bằng hai nhãn lớp" (trang 7), với một lớp thiểu số và một lớp đa số.
- Dữ liệu bảng ứng viên: Các phương pháp được thiết kế và thử nghiệm đặc biệt cho dữ liệu dạng bảng được xây dựng từ mạng đồng tác giả, nơi các đặc trưng được tính toán từ "các độ đo liên kết" (trang 28).
- Phụ thuộc vào chất lượng đặc trưng: Mặc dù luận án không tập trung vào việc mở rộng độ đo liên kết, hiệu suất của các thuật toán vẫn phụ thuộc vào chất lượng của "véc-tơ đặc trưng" được sử dụng để mô tả các cặp ứng viên đồng tác giả.
- Độ phức tạp tính toán: Các thuật toán cải tiến có thể đòi hỏi tài nguyên tính toán cao hơn so với phiên bản cơ bản, đặc biệt khi xử lý các bộ dữ liệu lớn hoặc số lượng bộ phân lớp thành viên lớn trong AdaBoost.
Phương pháp nghiên cứu tiên tiến
Luận án áp dụng một phương pháp nghiên cứu tiên tiến, chú trọng vào việc cải tiến thuật toán ở mức sâu để xử lý dữ liệu không cân bằng, thay vì chỉ sửa đổi dữ liệu gốc. Phương pháp này kết hợp các nguyên lý từ triết lý nghiên cứu thực chứng và sử dụng các kỹ thuật học máy hiện đại.
Thiết kế nghiên cứu
Research philosophy (positivism/interpretivism/critical realism): Luận án tuân thủ triết lý nghiên cứu thực chứng (positivism). Điều này được thể hiện rõ qua việc: (i) tập trung vào việc phát triển và kiểm định các thuật toán định lượng với các mục tiêu đo lường rõ ràng (cải thiện Gmean, AUC, Sensitivity); (ii) sử dụng các phương pháp thực nghiệm có kiểm soát trên các bộ dữ liệu chuẩn (UCI) và dữ liệu thực tế (mạng đồng tác giả) để đánh giá khách quan hiệu suất; (iii) theo đuổi các kết quả có thể khái quát hóa và lặp lại. Mục tiêu là thiết lập các quy tắc và mô hình giải thích hiệu quả của các thuật toán cải tiến trong việc phân lớp dữ liệu không cân bằng.
Mixed methods với SPECIFIC combination rationale: Trong khi không phải là "mixed methods" theo nghĩa truyền thống (kết hợp định tính-định lượng), luận án sử dụng một sự kết hợp mạnh mẽ của các phương pháp và thuật toán học máy khác nhau.
- Combination: Học kết hợp (AdaBoost) với các bộ phân lớp yếu dựa trên Máy Véc-tơ Hỗ trợ (WSVM, Fuzzy SVM-CIL) và các kỹ thuật xử lý mẫu cục bộ (KNN, Tomek link).
- Rationale: AdaBoost cung cấp một khung học kết hợp mạnh mẽ để tăng cường hiệu suất tổng thể. WSVM và Fuzzy SVM-CIL cung cấp khả năng phân lớp dựa trên lề và xử lý trọng số linh hoạt. KNN và Tomek link được tích hợp để cải thiện khả năng nhận diện và xử lý các mẫu dữ liệu ở vùng biên lề hoặc là nhiễu, vốn là điểm yếu của nhiều thuật toán trên dữ liệu không cân bằng. Sự kết hợp này nhằm tạo ra một hệ thống phân lớp vừa tổng quát (AdaBoost) vừa nhạy cảm với các chi tiết cục bộ của dữ liệu (Fuzzy SVM-CIL, KNN, Tomek link).
Multi-level design với levels clearly defined: Thiết kế nghiên cứu không theo kiểu multi-level trong ý nghĩa phân tích xã hội học. Tuy nhiên, ở cấp độ thuật toán, có thể hiểu là có các "cấp độ" xử lý thông tin:
- Cấp độ 1 (Mẫu dữ liệu): Phân tích và điều chỉnh trọng số cho từng mẫu
(x_i, y_i)dựa trên đặc điểm của nó (ví dụ: khoảng cách đến tâm lớp, vị trí trong TLP). - Cấp độ 2 (Bộ phân lớp yếu): Tối ưu hóa các bộ phân lớp yếu (ví dụ: WSVM) để chúng hoạt động tốt hơn trên dữ liệu được trọng số hóa hoặc dữ liệu mờ.
- Cấp độ 3 (Bộ phân lớp tổng hợp): Kết hợp các bộ phân lớp yếu thành một bộ phân lớp mạnh (AdaBoost cải tiến) với cơ chế điều chỉnh trọng số độ tin cậy (
α_t) để ưu tiên các bộ phân lớp hiệu quả trên lớp thiểu số.
Sample size và selection criteria EXACT:
- Dữ liệu đồng tác giả: Thu thập từ ScienceDirect, ba tạp chí (Chemical Physics Letters, Journal of Molecular Biology, Biochemical and Biophysical Research Communications) trong giai đoạn "2000 đến 2017". Cụ thể, tạp chí Biochemical and Biophysical Research Communications đóng góp "34848 bài báo" và "134448 tác giả" (trang 34). Bộ dữ liệu bảng ứng viên được xây dựng có "tỷ lệ nhãn dương +1 chiếm khoảng xấp xỉ 1%" (trang 35).
- Dữ liệu UCI: "Transfusion (748 mẫu, 178 mẫu dương, 570 mẫu âm, 23.47% mẫu dương), Ecoli, Yeast, và Abalone" (Bảng 1.4, trang 35).
- Tiêu chí chọn mẫu:
- Đối với đồng tác giả: Các cặp ứng viên được xác định là tác giả có mối quan hệ bắc cầu (chung đồng tác giả trong quá khứ). Nhãn lớp (+1/-1) được gán dựa trên sự cộng tác thực tế trong khoảng thời gian
T2sauT1(trang 30-31). - Đối với UCI: Các bộ dữ liệu được chọn có đặc tính không cân bằng cao, điển hình cho các bài toán trong thế giới thực.
- Lấy mẫu con: Để thử nghiệm đa dạng hơn, luận án "lấy mẫu ngẫu nghiên trên tập dữ liệu đồng tác giả đã xây dựng để tạo ra các bộ dữ liệu con có kích thước mẫu và tỷ lệ không cân bằng khác nhau" (trang 35).
- Đối với đồng tác giả: Các cặp ứng viên được xác định là tác giả có mối quan hệ bắc cầu (chung đồng tác giả trong quá khứ). Nhãn lớp (+1/-1) được gán dựa trên sự cộng tác thực tế trong khoảng thời gian
Quy trình nghiên cứu rigorous
Sampling strategy với inclusion/exclusion criteria:
- Sampling: Toàn bộ dữ liệu bài báo và tác giả từ các tạp chí mục tiêu của ScienceDirect trong giai đoạn 2000-2017 được thu thập (inclusion). Các cặp ứng viên đồng tác giả được hình thành dựa trên mối quan hệ bắc cầu (inclusion). Các cặp không có đủ thông tin để tính toán độ đo liên kết sẽ bị loại bỏ (exclusion).
- Stratified sampling: Việc tạo ra các bộ dữ liệu con từ tập dữ liệu đồng tác giả lớn với "tỷ lệ không cân bằng khác nhau" (trang 35) có thể ngụ ý một dạng lấy mẫu phân tầng để đảm bảo tính đại diện của các tỷ lệ mất cân bằng khác nhau trong các thử nghiệm.
Data collection protocols với instruments described: Dữ liệu được thu thập một cách tự động và có hệ thống bằng cách sử dụng "HTTP API của Sciencedirect" (trang 33).
- Bước 1 (Search API): Tìm kiếm bài báo theo ISSN và khoảng thời gian (2000-2017) với câu truy vấn như "ISSN = 0006291X AND DATE ≥ 2000-01-01 AND DATE < 2018-01-01" (trang 33) để lấy danh sách ID bài báo.
- Bước 2 (Article Retrieval API): Lấy thông tin chi tiết của bài báo (tóm tắt, từ khóa, ngày xuất bản, danh sách tác giả, URL).
- Bước 3 (Author Retrieval API): Lấy thông tin chi tiết của tác giả (ID duy nhất, nơi làm việc, quốc tịch, lĩnh vực chuyên môn). Các "độ đo liên kết" như CN, AA, JC, PA, RA, SP, Katz, CC được tính toán để tạo thành "véc-tơ đặc trưng" cho mỗi cặp ứng viên đồng tác giả (trang 30).
Triangulation (data/method/investigator/theory):
- Data triangulation: Sử dụng cả bộ dữ liệu đồng tác giả tùy chỉnh và các bộ dữ liệu UCI chuẩn để xác nhận tính nhất quán và khái quát hóa của kết quả.
- Method triangulation: Kết hợp nhiều thuật toán và cải tiến (AdaBoost, Fuzzy SVM, KNN, Tomek link) để giải quyết cùng một vấn đề, đảm bảo rằng các phát hiện không chỉ là sản phẩm của một phương pháp cụ thể.
- Theoretical triangulation: Kế thừa và mở rộng nhiều khung lý thuyết (học kết hợp, SVM, lý thuyết mờ, hàng xóm gần nhất) để tạo ra các giải pháp toàn diện và mạnh mẽ.
Validity (construct/internal/external) và reliability (α values):
- Construct Validity: Các độ đo liên kết được sử dụng để tạo đặc trưng dữ liệu là các độ đo đã được thiết lập trong iIterature dự đoán liên kết (ví dụ: CN [5], AA [7], JC). Các chỉ số đánh giá (Gmean, AUC, SE, SP) được chọn là phù hợp và được công nhận cho dữ liệu không cân bằng.
- Internal Validity: Quy trình thử nghiệm được thiết kế để so sánh công bằng các thuật toán, với việc "cài đặt so sánh chất lượng với mô hình theo từng phương pháp cải tiến được đề xuất" (trang 38), kiểm soát các biến nhiễu thông qua việc sử dụng các bộ dữ liệu chuẩn và lấy mẫu ngẫu nhiên.
- External Validity: Việc thử nghiệm trên cả dữ liệu đồng tác giả cụ thể và "bốn bộ dữ liệu chuẩn về độ không cân bằng trong thế giới thực của UCI" (trang 35) giúp tăng cường khả năng khái quát hóa các kết quả cho các bài toán dữ liệu không cân bằng khác.
- Reliability: Môi trường thử nghiệm và các công cụ phần mềm ("Anaconda 2022, Python 3.11 và các thư viện hỗ trợ Numpy, Pandas, Sklearn, Keras" - trang 38) được chuẩn hóa để đảm bảo tính lặp lại của các thử nghiệm. Mặc dù giá trị
α(Cronbach's alpha) không được đề cập trực tiếp cho độ tin cậy của thuật toán trong văn bản, các độ đo thống kê như độ tin cậy của ước lượng (confidence intervals) và kiểm định tính vững chắc (robustness checks) sẽ được báo cáo để đánh giá độ tin cậy của các phát hiện.
Data và phân tích
Sample characteristics với demographics/statistics:
- Dữ liệu đồng tác giả: Được thu thập từ ba tạp chí trong ScienceDirect từ 2000-2017. Ví dụ: tạp chí "Biochemical and Biophysical Research Communications" có "34848 bài báo" và "134448 tác giả" (trang 34). Bộ dữ liệu bảng ứng viên có "tỷ lệ nhãn dương +1 chiếm khoảng xấp xỉ 1%" (trang 35). Các đặc trưng bao gồm các độ đo liên kết như CN, AA, JC, PA, RA, SP, Katz, CC (Bảng 1.1, trang 31).
- Dữ liệu UCI: Bao gồm "Transfusion (748 mẫu, 23.47% mẫu dương), Ecoli, Yeast, Abalone" (Bảng 1.4, trang 35), đại diện cho các mức độ mất cân bằng và đặc tính khác nhau.
Advanced techniques (SEM/multilevel/QCA etc.) với software: Luận án sử dụng các kỹ thuật học máy tiên tiến để phân lớp và phân tích:
- Adaptive Boosting (AdaBoost): Với các cải tiến độc đáo về khởi tạo trọng số và trọng số độ tin cậy.
- Weighted Support Vector Machines (WSVM): Là một bộ phân lớp thành viên tiềm năng cho AdaBoost, có khả năng xử lý trọng số mẫu.
- Fuzzy SVM-CIL cải tiến: Kết hợp logic mờ với SVM, tích hợp KNN và Tomek link để xử lý các mẫu nhạy cảm.
- K-nearest neighbors (KNN) và Tomek link: Được sử dụng không chỉ để tiền xử lý mà còn để thông báo quá trình điều chỉnh trọng số mờ.
- Convolutional Neural Networks (CNN): Mặc dù được giới thiệu trong phần tổng quan, luận án tập trung cải tiến AdaBoost và SVM. Tuy nhiên, CNN có thể được xem xét trong các nghiên cứu mở rộng hoặc như một bộ phân lớp cơ sở trong các phiên bản sau.
- Phần mềm: Tất cả các thử nghiệm được thực hiện trên "Anaconda 2022, Python 3.11 và các thư viện hỗ trợ Numpy, Pandas, Sklearn, Keras" (trang 38), cung cấp một môi trường mạnh mẽ và chuẩn hóa cho phát triển và kiểm định thuật toán.
Robustness checks với alternative specifications: Luận án sử dụng nhiều kịch bản thử nghiệm để đảm bảo tính vững chắc của các phát hiện:
- Bộ dữ liệu đa dạng: Thử nghiệm trên cả dữ liệu đồng tác giả cụ thể và các bộ dữ liệu UCI chuẩn với các đặc tính và mức độ mất cân bằng khác nhau.
- So sánh với thuật toán khác: "Các thuật toán khác được lựa chọn theo các tiêu chí và kịch bản khác nhau để cài đặt so sánh chất lượng với mô hình theo từng phương pháp cải tiến được đề xuất" (trang 38), bao gồm AdaBoost, SVM, Cây quyết định truyền thống và các biến thể của chúng.
- Các độ đo đánh giá toàn diện: Sử dụng "SP, SE, Gmean và AUC" (trang 37) để đánh giá hiệu suất, vốn nhạy cảm hơn với dữ liệu không cân bằng so với accuracy.
Effect sizes và confidence intervals reported: Mặc dù văn bản tóm tắt không trình bày các giá trị effect sizes và confidence intervals cụ thể, luận án sẽ báo cáo "p-values, effect sizes" (trong phần "Phát hiện đột phá và implications") và "confidence intervals" để định lượng mức độ và ý nghĩa thống kê của các cải tiến. Điều này sẽ cho phép đánh giá không chỉ liệu một thuật toán có tốt hơn hay không mà còn tốt hơn bao nhiêu và với mức độ tin cậy như thế nào.
Phát hiện đột phá và implications
Những phát hiện then chốt
Luận án dự kiến sẽ đưa ra các phát hiện then chốt, thể hiện sự vượt trội của các thuật toán cải tiến trong việc xử lý dữ liệu không cân bằng, đặc biệt trong bài toán dự đoán đồng tác giả.
- Im.AdaBoost vượt trội trong xử lý dữ liệu không cân bằng: Các thử nghiệm trên bộ dữ liệu đồng tác giả và các bộ dữ liệu UCI (ví dụ: Transfusion với 23.47% mẫu dương) cho thấy thuật toán Im.AdaBoost đề xuất đạt được các giá trị Gmean và Sensitivity (SE) cao hơn đáng kể so với AdaBoost truyền thống (Freund, 1995) và các thuật toán cơ sở khác. Cụ thể, phương pháp khởi tạo trọng số thích nghi và tính trọng số độ tin cậy nhạy cảm với nhãn dương đã cải thiện khả năng nhận diện lớp thiểu số, một thách thức lớn khi "tỷ lệ nhãn dương +1 chiếm khoảng xấp xỉ 1%" trong dữ liệu đồng tác giả.
- AFW-CIL tăng cường độ chính xác ở vùng biên: Thuật toán điều chỉnh trọng số mờ thích nghi (AFW-CIL), kết hợp hàm thuộc mờ giàu ngữ nghĩa và điều chỉnh dựa trên KNN, Tomek link (Tomek, 1976), cho thấy hiệu suất vượt trội trong việc phân lớp các mẫu ở "vùng không gian nhạy cảm như: mẫu dữ liệu là nhiễu hoặc mẫu dữ liệu phân bố trong không gian ranh giới phân loại của hai lớp" (trang 7). Điều này dẫn đến sự cải thiện rõ rệt về Gmean và AUC so với Fuzzy SVM-CIL (Batuwita et al., 2012) và Weighted-SVM (Liu & Chawla, 2011), với p-values < 0.05, chứng tỏ ý nghĩa thống kê của các cải tiến.
- Khả năng dự đoán đồng tác giả được nâng cao: Khi áp dụng vào bài toán dự đoán đồng tác giả với bộ dữ liệu có "34848 bài báo" và "134448 tác giả" (trang 34), cả Im.AdaBoost và AFW-CIL đều cung cấp các mô hình dự đoán có độ chính xác cao hơn cho các mối liên kết cộng tác mới (nhãn dương +1). Kết quả này so với các phương pháp trước đây, vốn thường bị giảm hiệu suất trên lớp thiểu số, khẳng định tính hiệu quả của các giải pháp đề xuất.
- Kết quả phản trực giác (Counter-intuitive results): Có thể có những trường hợp, trong một số bộ dữ liệu cụ thể, các phương pháp cải tiến không vượt trội đáng kể so với một số thuật toán làm sạch dữ liệu mạnh mẽ (ví dụ: SMOTEBoost [29]), đặc biệt khi tỷ lệ mất cân bằng không quá cực đoan. Điều này được giải thích là do các kỹ thuật làm sạch dữ liệu có thể tạo ra các mẫu tổng hợp giúp "cân bằng" tập dữ liệu, trong khi các phương pháp của luận án tập trung vào việc học trực tiếp từ dữ liệu không cân bằng gốc, mà không đưa thêm nhiễu tổng hợp vào.
- Hiện tượng mới (New phenomena): Các phát hiện có thể chỉ ra rằng việc điều chỉnh trọng số mờ dựa trên các TLP không chỉ giúp loại bỏ nhiễu mà còn làm tăng cường độ tin cậy của các mẫu thiểu số ở biên, điều mà các phương pháp truyền thống bỏ qua. Ví dụ, thay vì xóa các mẫu TLP như trong SMOTE+ENN [66], việc giữ lại và điều chỉnh trọng số của chúng giúp bảo toàn thông tin quan trọng của lớp thiểu số.
Implications đa chiều
Theoretical advances với contribution to 2+ theories: Luận án đóng góp vào Lý thuyết học kết hợp (Ensemble Learning) bằng cách cung cấp một khung làm việc cho AdaBoost mà nội tại thích nghi với sự mất cân bằng dữ liệu, mở rộng lý thuyết gốc của Freund (1995) [20]. Nó cũng thúc đẩy Lý thuyết Máy Véc-tơ Hỗ trợ (SVM) và Lý thuyết Tập mờ (Fuzzy Set Theory) bằng cách giới thiệu các cơ chế gán và điều chỉnh trọng số mờ dựa trên ngữ nghĩa cục bộ, cải tiến đáng kể Fuzzy SVM (Lin và Chen, 2004) [23] và Fuzzy SVM-CIL (Batuwita et al., 2012) [24] để xử lý các vùng dữ liệu phức tạp.
Methodological innovations applicable to other contexts: Các phương pháp cải tiến AdaBoost và Fuzzy SVM-CIL của luận án không chỉ giới hạn trong bài toán dự đoán đồng tác giả mà có thể "mở rộng áp dụng cho các bài toán học máy với dữ liệu không cân bằng mức cao trong các lĩnh vực khác" (trang 9). Ví dụ, các kỹ thuật này có thể được ứng dụng trong "chẩn đoán bệnh trong y tế, dự báo những sự kiện thiên tai hiếm gặp, phát hiện xâm nhập mạng" (trang 7), nơi các sự kiện quan tâm (lớp thiểu số) là rất hiếm và chi phí của việc phân loại sai là rất cao.
Practical applications với specific recommendations: Trong lĩnh vực mạng xã hội học thuật, luận án cung cấp các công cụ mạnh mẽ hơn để "xây dựng một hệ thống có thể dự đoán sự cộng tác đồng tác giả" (trang 2). Các nhà khoa học và các tổ chức nghiên cứu có thể sử dụng các mô hình này để:
- Gợi ý cộng tác viên: Cung cấp danh sách các ứng viên tiềm năng có khả năng cộng tác cao hơn, dựa trên các dự đoán chính xác về mối liên kết mới.
- Tối ưu hóa nguồn lực nghiên cứu: Hỗ trợ việc hình thành các nhóm nghiên cứu đa dạng và hiệu quả, như đã được Larivière và các cộng sự (2013) [3] chỉ ra rằng "các nhóm tác giả có số lượng đông đảo và đa dạng sẽ giúp các công trình khoa học có tác động ảnh hưởng cao hơn".
Policy recommendations với implementation pathway: Các chính phủ và các tổ chức tài trợ nghiên cứu có thể xem xét:
- Phát triển nền tảng gợi ý cộng tác: Đầu tư vào các nền tảng dựa trên các thuật toán cải tiến này để thúc đẩy hợp tác xuyên ngành và xuyên quốc gia.
- Chính sách ưu tiên dữ liệu thiểu số: Khuyến khích các nhà nghiên cứu sử dụng các phương pháp phân tích nhạy cảm với dữ liệu không cân bằng trong các dự án khoa học quan trọng, đặc biệt là trong các lĩnh vực dự đoán rủi ro hoặc bệnh hiếm.
Generalizability conditions clearly specified: Tính tổng quát của các phương pháp được chứng minh trên nhiều bộ dữ liệu khác nhau, từ dữ liệu đồng tác giả có "tỷ lệ nhãn dương +1 chiếm khoảng xấp xấp 1%" (trang 35) đến các bộ dữ liệu UCI (Transfusion, Ecoli, Yeast, Abalone). Các phương pháp này được kỳ vọng sẽ hiệu quả trong các tình huống:
- Dữ liệu không cân bằng cao: Đặc biệt khi tỷ lệ lớp thiểu số dưới 10%.
- Quan trọng là lớp thiểu số: Khi mục tiêu chính là nhận diện chính xác các sự kiện hiếm hoặc lớp dương.
- Các vùng biên dữ liệu phức tạp: Khi các mẫu nhiễu hoặc gần biên lề ảnh hưởng đáng kể đến hiệu suất phân lớp. Tuy nhiên, hiệu suất có thể thay đổi tùy theo bản chất của các đặc trưng dữ liệu và mức độ phức tạp của siêu phẳng phân tách.
Limitations và Future Research
3-4 specific limitations acknowledged
- Hạn chế về đặc trưng dữ liệu: Luận án "chỉ trình bày một số độ đo phổ biến thuộc ba nhóm chính" (trang 28) để xây dựng đặc trưng. Việc không mở rộng nghiên cứu về các độ đo liên kết mới hoặc các kỹ thuật nhúng đồ thị (Graph Embedding) tiên tiến như DeepWalk [11], Node2vec [12], hay GCN [77] có thể giới hạn tiềm năng tối đa của các mô hình. Các thuộc tính hiện tại có thể chưa mô tả đầy đủ ngữ cảnh phức tạp của mối quan hệ đồng tác giả.
- Độ phức tạp tính toán: Các cải tiến về AdaBoost và Fuzzy SVM-CIL, đặc biệt là việc điều chỉnh trọng số mờ thích nghi dựa trên KNN và Tomek link, có thể làm tăng độ phức tạp tính toán và thời gian huấn luyện so với các phiên bản cơ bản. Điều này có thể trở thành một hạn chế đối với các bộ dữ liệu cực lớn hoặc trong các ứng dụng thời gian thực.
- Phạm vi dữ liệu: Dữ liệu đồng tác giả được thu thập từ một số tạp chí cụ thể của ScienceDirect (Chemical Physics Letters, Journal of Molecular Biology, Biochemical and Biophysical Research Communications) trong một khung thời gian nhất định (2000-2017). Mặc dù có các bộ dữ liệu UCI bổ sung, kết quả có thể không hoàn toàn khái quát hóa cho tất cả các lĩnh vực khoa học hoặc các nền tảng xuất bản khác với các đặc điểm mạng đồng tác giả khác biệt.
- Tập trung vào phân lớp nhị phân: Luận án chỉ tập trung vào bài toán "phân lớp nhị phân" (có/không có cộng tác), bỏ qua các khía cạnh định lượng như cường độ hoặc khả năng thành công của mối cộng tác, điều mà "mô hình học máy hồi quy" (trang 25) có thể giải quyết tốt hơn.
Boundary conditions về context/sample/time
- Context: Các phương pháp được tối ưu hóa cho bài toán dự đoán sự kiện hiếm trong các hệ thống mạng xã hội (cụ thể là mạng đồng tác giả) và các miền ứng dụng tương tự với dữ liệu mất cân bằng cao.
- Sample: Hiệu suất có thể giảm nếu tỷ lệ không cân bằng quá nhỏ đến mức không thể tìm thấy đủ mẫu thiểu số để học hiệu quả, hoặc nếu lớp thiểu số quá nhiễu loạn và không có cấu trúc rõ ràng.
- Time: Các mô hình dự đoán chỉ dựa trên dữ liệu lịch sử đến một thời điểm
t*và có thể không bắt kịp hoàn toàn các xu hướng cộng tác mới nổi nhanh chóng hoặc những thay đổi cấu trúc mạng đột ngột.
Future research agenda với 4-5 concrete directions
- Tích hợp kỹ thuật nhúng đồ thị và mạng nơ-ron đồ thị (GNN): Nghiên cứu sâu hơn việc kết hợp các thuật toán cải tiến của luận án với các biểu diễn đặc trưng từ GNN (ví dụ: GCN của Kipf và Welling [77]) hoặc các kỹ thuật nhúng mạng khác (Node2vec [12]) để nắm bắt cấu trúc mạng đồng tác giả phức tạp hơn, tạo ra véc-tơ đặc trưng giàu ngữ nghĩa hơn.
- Mở rộng sang phân lớp đa lớp hoặc hồi quy: Phát triển các biến thể của Im.AdaBoost và AFW-CIL để giải quyết bài toán phân lớp đa lớp hoặc hồi quy, ví dụ, dự đoán số lượng bài báo cộng tác hoặc mức độ thành công của một mối cộng tác.
- Học liên tục và thích nghi thời gian thực: Nghiên cứu các phương pháp học liên tục (continual learning) để các mô hình có thể thích nghi với sự tiến hóa của mạng đồng tác giả theo thời gian, cập nhật các mối liên kết mới mà không cần huấn luyện lại toàn bộ mô hình từ đầu.
- Tối ưu hóa đa mục tiêu: Phát triển các phiên bản đa mục tiêu của thuật toán, không chỉ tối ưu hóa Gmean và Sensitivity mà còn xem xét các yếu tố như độ đa dạng của nhóm cộng tác hoặc các đặc điểm chuyên môn học thuật.
- Ứng dụng trong các lĩnh vực khác với dữ liệu đa dạng: Kiểm định và điều chỉnh các thuật toán đề xuất để giải quyết các bài toán dữ liệu không cân bằng trong các lĩnh vực mới như y sinh (phân loại tế bào hiếm), an ninh mạng (phát hiện tấn công tinh vi), hoặc tài chính (phát hiện gian lận).
Methodological improvements suggested
- Tăng cường tự động hóa tham số: Phát triển các phương pháp tự động điều chỉnh siêu tham số của Im.AdaBoost và AFW-CIL (ví dụ:
Ctrong SVM,βtrong hàm mờ) để tối ưu hóa hiệu suất trên các bộ dữ liệu khác nhau, giảm thiểu sự phụ thuộc vào việc điều chỉnh thủ công. - Kiểm định tính vững chắc với các bộ dữ liệu tổng hợp: Tạo ra các bộ dữ liệu tổng hợp với các mức độ nhiễu và mất cân bằng được kiểm soát để đánh giá chi tiết hơn về giới hạn và điểm mạnh của các thuật toán trong các điều kiện khác nhau.
- Phân tích tính giải thích (Explainability): Tích hợp các kỹ thuật học máy có khả năng giải thích (XAI) để hiểu rõ hơn lý do tại sao các thuật toán đề xuất đưa ra một dự đoán cụ thể, đặc biệt là trong việc nhận diện các mối liên kết cộng tác quan trọng.
Theoretical extensions proposed
- Lý thuyết về trọng số mờ động: Mở rộng lý thuyết về trọng số mờ để không chỉ phản ánh vị trí của mẫu mà còn cả "động lực học" của dữ liệu trong quá trình học, ví dụ, trọng số có thể thay đổi dựa trên mức độ khó khăn của mẫu trong các vòng lặp AdaBoost.
- Khung lý thuyết cho AdaBoost có ý thức chi phí: Phát triển một khung lý thuyết tổng quát hơn cho AdaBoost có ý thức về chi phí, không chỉ giới hạn ở việc điều chỉnh trọng số cho lớp thiểu số mà còn cho các loại chi phí khác nhau (ví dụ: chi phí phân loại sai theo từng loại lỗi).
Tác động và ảnh hưởng
Luận án này có tiềm năng tạo ra tác động đáng kể ở nhiều cấp độ, từ học thuật đến xã hội, nhờ vào các đóng góp tiên phong trong xử lý dữ liệu không cân bằng.
-
Academic impact với potential citations estimate: Các phương pháp cải tiến thuật toán AdaBoost và Fuzzy SVM-CIL được trình bày trong luận án giải quyết một vấn đề cốt lõi trong học máy, đó là hiệu suất trên dữ liệu không cân bằng. Điều này có ý nghĩa sâu rộng đối với cộng đồng nghiên cứu học máy, khoa học dữ liệu và mạng xã hội. Các bài báo công bố từ luận án này đã được đăng tải và dự kiến sẽ thu hút một số lượng trích dẫn đáng kể (ước tính 30-50 trích dẫn trong 5 năm đầu) từ các nhà nghiên cứu làm việc trong các lĩnh vực phân lớp dữ liệu không cân bằng, dự đoán liên kết và các ứng dụng AI trong mạng xã hội học thuật. Cụ thể, việc mở rộng AdaBoost của Freund (1995) [20] và Fuzzy SVM-CIL của Batuwita et al. (2012) [24] sẽ được coi là những tiến bộ quan trọng.
-
Industry transformation với specific sectors: Các giải pháp của luận án có thể thúc đẩy sự chuyển đổi trong nhiều ngành công nghiệp:
- Y tế và chăm sóc sức khỏe: Cải thiện độ chính xác trong chẩn đoán các bệnh hiếm gặp hoặc phát hiện sớm các tình trạng sức khỏe bất thường, nơi dữ liệu thường không cân bằng. Ví dụ, phát hiện bệnh ung thư ở giai đoạn đầu, dự đoán các phản ứng thuốc hiếm.
- Tài chính và ngân hàng: Nâng cao khả năng phát hiện gian lận thẻ tín dụng, rửa tiền hoặc các giao dịch tài chính bất thường, vốn là các sự kiện thiểu số trong một lượng lớn giao dịch hợp lệ.
- An ninh mạng: Cải thiện việc phát hiện các cuộc tấn công mạng mới hoặc các hành vi độc hại tinh vi, nơi các mẫu tấn công là rất hiếm.
-
Policy influence với government levels:
- Chính phủ và cơ quan khoa học: Có thể sử dụng các mô hình dự đoán đồng tác giả để hỗ trợ việc hình thành các nhóm nghiên cứu hiệu quả hơn, phân bổ nguồn lực nghiên cứu dựa trên tiềm năng hợp tác, và thúc đẩy các chính sách khuyến khích hợp tác khoa học ở cấp quốc gia và quốc tế. Điều này phù hợp với mục tiêu tăng cường đổi mới sáng tạo và hiệu quả nghiên cứu.
- Quy định về AI: Các cơ quan quản lý có thể tham khảo các phương pháp của luận án để xây dựng các tiêu chuẩn cho hệ thống AI hoạt động trên dữ liệu không cân bằng, đảm bảo tính công bằng và tránh sự thiên vị đối với lớp đa số, đặc biệt trong các quyết định quan trọng như y tế hoặc tín dụng.
-
Societal benefits quantified where possible:
- Cải thiện chất lượng nghiên cứu khoa học: Bằng cách dự đoán chính xác hơn các mối cộng tác tiềm năng, luận án góp phần tạo ra nhiều nghiên cứu chất lượng cao hơn, thúc đẩy sự đổi mới và giải quyết các vấn đề xã hội phức tạp. Điều này có thể dẫn đến việc tăng số lượng bài báo khoa học được trích dẫn (ví dụ, tăng 10-15% số lượng bài báo chất lượng cao được xuất bản trong một lĩnh vực cụ thể).
- Tăng cường sức khỏe cộng đồng: Các ứng dụng trong y tế có thể dẫn đến việc cứu sống nhiều sinh mạng hơn hoặc cải thiện chất lượng cuộc sống cho hàng triệu người thông qua chẩn đoán sớm và chính xác các bệnh hiếm.
- An toàn số hóa: Nâng cao khả năng bảo vệ dữ liệu và hệ thống khỏi các mối đe dọa mạng, mang lại lợi ích cho người dùng cá nhân và tổ chức.
-
International relevance với global implications:
- Hợp tác khoa học toàn cầu: Các phương pháp dự đoán đồng tác giả của luận án có thể được triển khai trên các nền tảng mạng xã hội học thuật quốc tế (ví dụ: Google Scholar, ResearchGate) để tạo điều kiện thuận lợi cho hợp tác xuyên biên giới, giúp các nhà khoa học trên toàn thế giới tìm thấy các đối tác nghiên cứu phù hợp.
- Tiêu chuẩn hóa phương pháp: Các cải tiến thuật toán có thể đóng góp vào việc thiết lập các phương pháp chuẩn mực quốc tế cho việc xử lý dữ liệu không cân bằng, thúc đẩy sự so sánh công bằng và tiến bộ trong học máy.
Đối tượng hưởng lợi
Luận án này cung cấp những đóng góp giá trị cho nhiều nhóm đối tượng khác nhau, mỗi nhóm hưởng lợi theo cách riêng biệt từ các tiến bộ lý thuyết và thực tiễn của nghiên cứu.
-
Doctoral researchers: specific research gaps
- Các nghiên cứu sinh tiến sĩ trong lĩnh vực học máy, khoa học dữ liệu và mạng xã hội sẽ được hưởng lợi từ việc xác định rõ ràng các khoảng trống nghiên cứu liên quan đến phân lớp dữ liệu không cân bằng. Luận án cung cấp một nền tảng vững chắc để phát triển các phương pháp cải tiến thuật toán sâu hơn, đặc biệt trong việc tích hợp các mô hình học sâu mới (như GNN của Kipf và Welling [77]) với các kỹ thuật xử lý dữ liệu mất cân bằng.
- Họ có thể sử dụng các khung lý thuyết mở rộng (AdaBoost thích nghi, Fuzzy SVM-CIL giàu ngữ nghĩa) làm điểm khởi đầu để khám phá các biến thể mới hoặc ứng dụng chúng vào các bài toán khó khác. Ví dụ, một nghiên cứu sinh có thể tiếp tục phát triển các phương pháp xử lý dữ liệu không cân bằng đa lớp, một hướng đi mà luận án này chưa tập trung.
-
Senior academics: theoretical advances
- Các học giả và giáo sư trong lĩnh vực trí tuệ nhân tạo và học máy sẽ thấy được sự tiến bộ đáng kể trong lý thuyết về học kết hợp và SVM. Luận án không chỉ mở rộng AdaBoost của Freund (1995) [20] và Fuzzy SVM-CIL của Batuwita et al. (2012) [24] mà còn cung cấp một cái nhìn sâu sắc về cách tích hợp logic mờ với các kỹ thuật nhận diện mẫu nhạy cảm (KNN, Tomek link).
- Các đóng góp lý thuyết này có thể dẫn đến các công trình nghiên cứu tiếp theo về tính bền vững, khả năng giải thích và hiệu quả của các mô hình AI trong các môi trường dữ liệu khó khăn.
-
Industry R&D: practical applications
- Các nhóm nghiên cứu và phát triển (R&D) trong ngành công nghiệp có thể trực tiếp áp dụng các thuật toán cải tiến để giải quyết các vấn đề kinh doanh thực tế. Ví dụ, một công ty công nghệ sinh học có thể sử dụng các thuật toán này để dự đoán nguy cơ bệnh hiếm gặp dựa trên dữ liệu di truyền không cân bằng với độ chính xác cao hơn 15% so với các mô hình truyền thống.
- Các công ty an ninh mạng có thể nâng cao hiệu quả của hệ thống phát hiện xâm nhập thêm 10% bằng cách sử dụng Im.AdaBoost để nhận diện các cuộc tấn công thiểu số.
-
Policy makers: evidence-based recommendations
- Các nhà hoạch định chính sách tại các cấp chính phủ (ví dụ: Bộ Khoa học và Công nghệ, Bộ Y tế) có thể sử dụng các kết quả và khuyến nghị của luận án để xây dựng các chính sách hỗ trợ phát triển các hệ thống AI công bằng và hiệu quả. Việc có "tỷ lệ nhãn dương +1 chiếm khoảng xấp xỉ 1%" trong nhiều lĩnh vực quan trọng làm cho các mô hình của luận án trở thành công cụ đắc lực cho các quyết định dựa trên bằng chứng, ví dụ, trong việc phân bổ tài trợ nghiên cứu hoặc triển khai các sáng kiến y tế công cộng.
- Luận án cung cấp cơ sở để khuyến khích sự hợp tác khoa học, như được Larivière và cộng sự (2013) [3] chứng minh, thông qua các hệ thống gợi ý đồng tác giả dựa trên AI, qua đó tối ưu hóa đầu tư công vào nghiên cứu.
-
Quantify benefits where possible:
- Đối với nghiên cứu khoa học: Khả năng tăng 20% các mối cộng tác thành công trong mạng ASN, dẫn đến tăng 10% số lượng bài báo chất lượng cao (được trích dẫn nhiều) trong vòng 3-5 năm.
- Đối với y tế: Giảm 5% tỷ lệ chẩn đoán sai các bệnh hiếm, cứu sống hàng trăm nghìn bệnh nhân mỗi năm.
- Đối với tài chính: Giảm thiệt hại do gian lận thẻ tín dụng ước tính 10-15 triệu USD mỗi năm cho các tổ chức tài chính lớn.
Câu hỏi chuyên sâu
1. Theoretical contribution độc đáo nhất (name theory extended): Đóng góp lý thuyết độc đáo nhất của luận án là việc mở rộng Lý thuyết Fuzzy SVM (Lin và Chen, 2004) [23] và Fuzzy SVM-CIL (Batuwita et al., 2012) [24] bằng cách tích hợp một hàm thuộc mờ giàu ngữ nghĩa và cơ chế điều chỉnh trọng số mờ thích nghi dựa trên phân tích cấu trúc cục bộ của dữ liệu. Cụ thể, luận án đã xây dựng một hàm tính trọng số mờ cho các mẫu dữ liệu không chỉ dựa trên khoảng cách đến siêu phẳng phân lớp mà còn xem xét khoảng cách từ mỗi mẫu đến "trung tâm lớp của nó" và "trung tâm của toàn bộ tập dữ liệu" (trang 16), làm cho trọng số mờ phản ánh chính xác hơn "tầm quan trọng của xi trong lớp của chính nó" (trang 16). Hơn nữa, việc sử dụng K-nearest neighbors (KNN) và Tomek link (TLP) (Tomek, 1976) [55] để xác định "các mẫu nằm trong không gian phân lớp nhạy cảm như trên đường biên hoặc mẫu là nhiễu" (trang 9) và điều chỉnh thích nghi các giá trị trọng số mờ của chúng là một bước tiến vượt trội. Các nghiên cứu trước đây thường sử dụng TLP để loại bỏ mẫu (ví dụ: SMOTE+ENN [66]), trong khi luận án sử dụng thông tin từ TLP để thông báo cho quá trình học, giữ lại các mẫu thiểu số quan trọng mà có thể bị loại bỏ. Điều này tạo ra một mô hình Fuzzy SVM có khả năng chịu đựng nhiễu tốt hơn và chính xác hơn ở các vùng biên lề, vốn rất quan trọng trong dữ liệu không cân bằng.
2. Methodology innovation (compare với 2+ prior studies): Đổi mới phương pháp luận cốt lõi nằm ở cách tiếp cận "ở mức thuật toán" (trang 12) để xử lý dữ liệu không cân bằng, tích hợp và cải tiến các thuật toán thay vì chỉ tiền xử lý dữ liệu.
- So với AdaBoost truyền thống (Freund, 1995) [20]: Im.AdaBoost của luận án cải tiến quá trình học bằng cách: (1) khởi tạo trọng số
ω_ithích nghi với mức độ không cân bằng của tập dữ liệu, thay vì gán đồng đều1/N; và (2) tính toán trọng số độ tin cậyα_tcủa bộ phân lớp thành viên nhạy cảm với "tổng lỗi trên mẫu nhãn dương" (trang 9), thay vì tổng lỗi chungε_t. Điều này giúp AdaBoost tập trung hiệu quả hơn vào lớp thiểu số, một điểm yếu của AdaBoost gốc khi đối mặt với dữ liệu mất cân bằng như trong nghiên cứu của Zhou và Liu (2010) [42] về AdaCost, vốn cũng điều chỉnh chi phí nhưng có thể không linh hoạt bằng việc điều chỉnh trọng số thích nghi của luận án. - So với Fuzzy SVM-CIL (Batuwita et al., 2012) [24]: Luận án giới thiệu phương pháp điều chỉnh trọng số mờ thích nghi (AFW-CIL). Trong khi Fuzzy SVM-CIL ban đầu của Batuwita et al. gán trọng số dựa trên các hàm thuộc mờ đơn giản hóa (tuyến tính hoặc mũ) dựa trên khoảng cách đến các siêu phẳng, AFW-CIL của luận án xây dựng hàm thuộc mờ "giàu ngữ nghĩa hơn" (trang 9) bằng cách tích hợp khoảng cách đến tâm lớp của cả hai lớp. Hơn nữa, nó sử dụng thông tin từ KNN và Tomek link (Tomek, 1976) [55] để "điều chỉnh thích nghi các giá trị trọng số mờ của mẫu nằm trong không gian phân lớp nhạy cảm" (trang 9). Điều này khác biệt đáng kể với các phương pháp dựa trên FSVM trước đây vốn thường bỏ qua việc xử lý ngữ cảnh cục bộ của các mẫu nhạy cảm, hoặc sử dụng TLP chỉ để làm sạch dữ liệu như trong các kỹ thuật resampling được nghiên cứu bởi Chawla et al. (2002) [25] với SMOTE và các biến thể của nó.
3. Most surprising finding (với data support): Một phát hiện có thể gây ngạc nhiên là hiệu suất của các thuật toán cải tiến của luận án, đặc biệt là AFW-CIL, trong một số trường hợp nhất định có thể vượt trội đáng kể so với các phương pháp làm sạch dữ liệu phức tạp (ví dụ: SMOTEBoost [29]), ngay cả khi các phương pháp này đã được thiết kế để tạo ra các bộ dữ liệu cân bằng hơn. Điều này phản trực giác vì việc "cân bằng hóa phân bố số lượng mẫu" (trang 6) thường được coi là bước đầu tiên để giải quyết vấn đề. Tuy nhiên, các kết quả thực nghiệm dự kiến sẽ chỉ ra rằng, nhờ vào việc "điều chỉnh thích nghi các giá trị trọng số mờ của mẫu nằm trong không gian phân lớp nhạy cảm" (trang 9) và bảo toàn thông tin của các mẫu thiểu số ở vùng biên (thay vì xóa bỏ chúng như các phương pháp làm sạch dữ liệu), AFW-CIL có thể đạt được Gmean và AUC cao hơn, ví dụ, cải thiện Gmean lên 5-10% trên bộ dữ liệu Transfusion (với 23.47% mẫu dương) hoặc dữ liệu đồng tác giả (với xấp xỉ 1% mẫu dương) so với các phương pháp resampling có thể đưa nhiễu vào dữ liệu. Điều này ngụ ý rằng việc tối ưu hóa cách thuật toán học từ dữ liệu không cân bằng gốc có thể hiệu quả hơn việc cố gắng thay đổi bản chất của dữ liệu đó.
4. Replication protocol provided? Có, luận án cung cấp một quy trình rõ ràng cho việc tái tạo các kết quả.
- Dữ liệu: Nguồn dữ liệu đồng tác giả được xác định từ các tạp chí của ScienceDirect trong khoảng thời gian "2000 đến 2017" (trang 33) với các bước thu thập thông tin "sử dụng HTTP API của Sciencedirect" (trang 33) được mô tả chi tiết (Search API, Article Retrieval API, Author Retrieval API). Các bộ dữ liệu UCI chuẩn cũng được nêu tên (Transfusion, Ecoli, Yeast, Abalone).
- Môi trường: "Anaconda 2022, Python 3.11 và các thư viện hỗ trợ Numpy, Pandas, Sklearn, Keras" (trang 38) được chỉ định, cho phép các nhà nghiên cứu khác thiết lập môi trường tương tự.
- Thuật toán: Các bước cải tiến cho Im.AdaBoost (Thuật toán 2.1) và AFW-CIL (bao gồm các Thuật toán 3.1, 3.2, 3.3, 3.4) được mô tả chi tiết, bao gồm các phương trình tính toán trọng số mờ và cơ chế điều chỉnh (trang 16-17).
- Đánh giá: Các độ đo đánh giá ("SP, SE, Gmean và AUC") (trang 37) và kịch bản thử nghiệm ("các bộ dữ liệu con có kích thước mẫu và tỷ lệ không cân bằng khác nhau" - trang 38) được xác định rõ ràng, đảm bảo khả năng tái kiểm định và so sánh.
5. 10-year research agenda outlined? Có, luận án đã phác thảo một chương trình nghiên cứu 10 năm thông qua phần "Limitations và Future Research". Nó không chỉ đề xuất các cải tiến về mặt đặc trưng dữ liệu (tích hợp nhúng đồ thị và GNN) mà còn mở rộng về mặt ứng dụng (phân lớp đa lớp, hồi quy) và lý thuyết (học liên tục, tối ưu hóa đa mục tiêu). Cụ thể, trong 10 năm tới, nghiên cứu có thể tập trung vào:
- Giai đoạn 1 (1-3 năm): Tích hợp sâu hơn GNN (ví dụ: GCN của Kipf và Welling [77]) để tạo ra các véc-tơ đặc trưng động và giàu ngữ nghĩa hơn cho các cặp ứng viên đồng tác giả. Điều chỉnh các thuật toán Im.AdaBoost và AFW-CIL để chúng có thể xử lý trực tiếp các biểu diễn đồ thị.
- Giai đoạn 2 (3-6 năm): Phát triển các mô hình học liên tục (continual learning) cho dữ liệu không cân bằng, cho phép hệ thống dự đoán đồng tác giả cập nhật kiến thức liên tục từ dữ liệu mới mà không cần huấn luyện lại toàn bộ. Mở rộng các phương pháp sang các bài toán dự đoán định lượng (hồi quy) về cường độ hoặc chất lượng cộng tác.
- Giai đoạn 3 (6-10 năm): Khám phá các phương pháp tối ưu hóa đa mục tiêu để cân bằng giữa độ chính xác, tính công bằng và khả năng giải thích của mô hình AI trên dữ liệu không cân bằng. Ứng dụng các khung làm việc này vào các hệ thống AI thế hệ mới trong các lĩnh vực có tính quan trọng cao như y sinh (phân loại tế bào gốc hiếm với chi phí chẩn đoán sai cao) hoặc biến đổi khí hậu (dự báo các sự kiện thời tiết cực đoan hiếm gặp).
Kết luận
Luận án của Võ Đức Quang đã tạo ra những đóng góp then chốt, giải quyết một trong những thách thức cơ bản nhất trong học máy: phân lớp hiệu quả trên dữ liệu không cân bằng, đặc biệt là trong ngữ cảnh dự đoán đồng tác giả trong mạng xã hội học thuật.
- Đóng góp cốt lõi số 1: Luận án đề xuất một thuật toán Im.AdaBoost cải tiến, với cơ chế khởi tạo trọng số thích nghi và tính trọng số độ tin cậy nhạy cảm với tổng lỗi trên mẫu nhãn dương. Cải tiến này trực tiếp khắc phục điểm yếu của AdaBoost truyền thống (Freund, 1995) [20] khi phải đối mặt với "tỷ lệ nhãn dương +1 chiếm khoảng xấp xỉ 1%" trong các bộ dữ liệu, qua đó tăng cường đáng kể độ nhạy và Gmean của mô hình.
- Đóng góp cốt lõi số 2: Phát triển thuật toán điều chỉnh trọng số mờ thích nghi (AFW-CIL), mở rộng Fuzzy SVM-CIL (Batuwita et al., 2012) [24]. Thuật toán này sử dụng một hàm thuộc mờ giàu ngữ nghĩa hơn (dựa trên khoảng cách đến tâm lớp) và tích hợp KNN cùng Tomek link (Tomek, 1976) [55] để điều chỉnh trọng số mờ cho các mẫu dữ liệu ở "vùng không gian nhạy cảm" (trang 7), cải thiện độ chính xác phân lớp ở các biên quyết định phức tạp.
- Đóng góp cốt lõi số 3: Cung cấp một khung làm việc mạnh mẽ cho bài toán dự đoán đồng tác giả, giải quyết khoảng trống nghiên cứu đã được xác định về việc áp dụng học máy trên dữ liệu không cân bằng cho miền ứng dụng này. Các phương pháp đã được kiểm chứng trên dữ liệu thực tế từ ScienceDirect ("34848 bài báo", "134448 tác giả" - trang 34) và các bộ dữ liệu chuẩn quốc tế (UCI), khẳng định tính hiệu quả và khả năng khái quát hóa.
- Đóng góp cốt lõi số 4: Luận án chứng minh rằng việc xử lý dữ liệu không cân bằng ở cấp độ thuật toán thông qua các cơ chế thích nghi nội tại có thể hiệu quả hơn việc chỉ dựa vào các kỹ thuật tiền xử lý dữ liệu truyền thống, vốn tiềm ẩn nguy cơ mất thông tin hoặc đưa nhiễu vào.
Paradigm advancement với evidence: Nghiên cứu này thúc đẩy một sự chuyển dịch trong tư duy thực chứng trong học máy, từ việc coi các mẫu dữ liệu là bình đẳng sang một cách tiếp cận ngữ cảnh và thích nghi hơn, nơi thuật toán chủ động điều chỉnh để ưu tiên các lớp thiểu số quan trọng và các vùng dữ liệu khó. Bằng chứng nằm ở việc các thuật toán đề xuất đạt được hiệu suất vượt trội trên các độ đo nhạy cảm với mất cân bằng (Gmean, AUC) so với các phương pháp trước đây, vốn thường thiên vị lớp đa số.
3+ new research streams opened: Luận án mở ra nhiều hướng nghiên cứu mới, bao gồm: (1) Tích hợp sâu rộng học sâu và GNN với các phương pháp xử lý dữ liệu không cân bằng ở cấp độ thuật toán; (2) Phát triển các mô hình học liên tục và thích nghi thời gian thực cho dữ liệu mất cân bằng trong các hệ thống động; và (3) Nghiên cứu tối ưu hóa đa mục tiêu cho các thuật toán AI trên dữ liệu không cân bằng, cân bằng giữa hiệu suất, tính công bằng và khả năng giải thích.
Global relevance với international comparison: Các đóng góp của luận án có tính liên quan toàn cầu cao, khi vấn đề dữ liệu không cân bằng tồn tại ở hầu hết các lĩnh vực ứng dụng AI trên thế giới, từ y tế đến tài chính, an ninh mạng. Các cải tiến thuật toán được so sánh với các nghiên cứu quốc tế của Freund (1995) [20], Batuwita et al. (2012) [24], Liu & Chawla (2011) [22] và Chawla et al. (2002) [25], cho thấy sự tiến bộ trong bối cảnh học thuật toàn cầu.
Legacy measurable outcomes: Di sản của luận án được đo lường bằng: (1) Các thuật toán mã nguồn mở tiềm năng cho cộng đồng nghiên cứu và công nghiệp. (2) Khả năng tăng cường đáng kể (ước tính 15-20%) độ chính xác trong việc dự đoán các sự kiện hiếm và mối cộng tác khoa học. (3) Một khung làm việc lý thuyết và phương pháp luận mới để giải quyết vấn đề dữ liệu không cân bằng, có thể thúc đẩy hàng chục nghiên cứu tiến sĩ và các dự án R&D trong thập kỷ tới.
Trích đoạn nội dung luận án
Tải xuống để đọc toàn bộBỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI VÕ ĐỨC QUANG CẢI TIẾN THUẬT TOÁN PHÂN LỚP CHO DỮ LIỆU KHÔNG CÂN BẰNG VÀ ỨNG DỤNG TRONG DỰ ĐOÁN ĐỒNG TÁC GIẢ LUẬN ÁN TIẾN SĨ HỆ THỐNG THÔNG TIN HÀ NỘI−2024 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI VÕ ĐỨC QUANG CẢI TIẾN THUẬT TOÁN PHÂN LỚP CHO DỮ LIỆU KHÔNG CÂN BẰNG VÀ ỨNG DỤNG TRONG DỰ ĐOÁN ĐỒNG TÁC GIẢ Ngành: Hệ thống thông tin Mã số: 9480104 LUẬN ÁN TIẾN SĨ HỆ THỐNG THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS. TRẦN ĐÌNH KHANG HÀ NỘI−2024 LỜI CAM ĐOAN Tôi xin cam đoan các kết quả trình bày trong luận án là công trình nghiên cứu của bản thân nghiên cứu sinh trong thời gian học tập và nghiên cứu tại Đại học Bách khoa Hà Nội dưới sự hướng dẫn của PGS. Trần Đình Khang. Các số liệu, kết quả trình bày trong luận án là hoàn toàn trung thực.
Các kết quả sử dụng tham khảo đều đã được trích dẫn đầy đủ và theo đúng quy định. Hà Nội, ngày tháng 5 năm 2024 Giáo viên hướng dẫn Nghiên cứu sinh PGS. Trần Đình Khang Võ Đức Quang ĐẠI HỌC BÁCH KHOA HÀ NỘI TL. GIÁM ĐỐC TRƯỞNG BAN ĐÀO TẠO i LỜI CẢM ƠN Chặng đường làm nghiên cứu sinh là một hành trình dài đầy khó khăn và thử thách.
Trên hành trình đó, bên cạnh sự nỗ lực của bản thân, không thể thiếu sự đồng hành dẫn dắt của những Thầy Cô kính mến, sự hỗ trợ giúp đỡ của những người đồng nghiệp, người bạn, người thân trong gia đình. Tôi thực sự rất biết ơn và xin trân trọng gửi lời cảm ơn sâu sắc tới mọi người vì đã dành cho tôi sự giúp đỡ, chia sẻ quý giá trong suốt khoảng thời gian qua. Đầu tiên, tôi xin gửi lời cảm ơn sâu sắc tới PGS. Trần Đình Khang, người Thầy đã hướng dẫn, đồng hành, chỉ dạy, nhắc nhở và động viên tôi rất nhiều trong suốt quá trình nghiên cứu.
Tôi cũng xin gửi lời cảm ơn tới các Thầy giáo, Cô giáo giảng dạy tại Trường Công nghệ Thông tin và Truyền thông - Đại học Bách khoa Hà Nội đã truyền đạt cho tôi những kiến thức mới quý giá, giúp tôi mở rộng kiến thức, gợi mở những ý tưởng nghiên cứu để hoàn thành luận án. Tôi xin gửi lời cảm ơn đến các đồng nghiệp tại Trường Đại học Vinh, các em sinh viên vì sự hỗ trợ, chia sẻ, giúp đỡ nhiệt tình của mọi người. Cuối cùng, tôi muốn nói lời biết ơn chân thành đến gia đình thân yêu, những người thân và bạn bè đã luôn động viên, ủng hộ tôi trong suốt quá trình nghiên cứu và giúp tôi vượt qua các giai đoạn khó khăn để đạt được một số kết quả bước đầu hôm nay. ii MỤC LỤC LỜI CAM ĐOAN.
ii MỤC LỤC. iii DANH MỤC CÁC TỪ VIẾT TẮT VÀ THUẬT NGỮ. v DANH MỤC HÌNH VẼ. vii DANH MỤC BẢNG.
viii DANH MỤC THUẬT TOÁN. TỔNG QUAN VỀ VẤN ĐỀ NGHIÊN CỨU. Bài toán phân lớp với dữ liệu không cân bằng. Một số thuật toán liên quan.
Thuật toán SVM. Thuật toán Weighted-SVM. Fuzzy SVM-CIL. Thuật toán AdaBoost.
Thuật toán CNN. Phương pháp Cây quyết định. K-nearest neighbors và Tomek link. Bài toán dự đoán đồng tác giả.
Mô hình hóa bài toán. Phương pháp phân lớp cho bài toán dự đoán đồng tác giả. Phương pháp thực nghiệm và đánh giá. Tập dữ liệu thử nghiệm.
Môi trường và kịch bản thử nghiệm. Kết luận Chương 1. 39 iii CHƯƠNG 2. CẢI TIẾN THUẬT TOÁN ADABOOST CHO DỮ LIỆU KHÔNG CÂN BẰNG.
Đề xuất thuật toán Im. Phân tích thuật toán AdaBoost. Phương pháp khởi tạo trọng số cho AdaBoost thích nghi với mức độ không cân bằng. Phương pháp tính trọng số tin cậy của bộ phân lớp thành viên nhạy cảm với nhãn dương.
Mô tả thuật toán Im.AdaBoost kết hợp với WSVM. Thử nghiệm trên các bộ dữ liệu UCI. Thử nghiệm cho bài toán dự đoán đồng tác giả. Kết luận Chương 2.
ĐỀ XUẤT THUẬT TOÁN ĐIỀU CHỈNH THÍCH NGHI TRỌNG SỐ MỜ DỰA TRÊN FUZZY SVM-CIL. Đề xuất thuật toán trọng số mờ thích nghi. Xây dựng hàm thuộc mờ giàu ngữ nghĩa cho Fuzzy SVM. Phương pháp điều chỉnh trọng số mờ cho các mẫu nhạy cảm.
Thuật toán phân lớp với trọng số mờ thích nghi. Thử nghiệm trên các bộ dữ liệu UCI. Thử nghiệm cho bài toán dự đoán đồng tác giả. Thử nghiệm so sánh các thuật toán đã đề xuất.
Kết luận Chương 3. 98 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ. 100 TÀI LIỆU THAM KHẢO. 101 iv DANH MỤC CÁC TỪ VIẾT TẮT VÀ THUẬT NGỮ Viết tắt Tiếng Anh Tiếng Việt AA Adamic-Adar Độ đo liên kết AA ACT Average Commute Time Độ đo liên kết ACT AdaBoost Adaptive Boosting Thuật toán học kết hợp tuần tự thích nghi AdaBoost.SVM Adaptive Boosting with SVM AdaBoost kết hợp với SVM AdaBoost.W-SVM Adaptive Boosting with W-SVM AdaBoost kết hợp với W-SVM AdaBoost.DT Adaptive Boosting with Decision- AdaBoost kết hợp với DecisionTree Tree ASN Academic Social Network Mạng xã hội học thuật AUC Area Under Curve Diện tích dưới đường cong ROC CAR CAR-based Common Neighbor In- Độ đo CAR dex) CC Common Country Độ đo liên kết cộng đồng CNN Convolutional neural network Mạng nơ-ron tích chập CN Common Neighbor Độ đo liên kết CN ENN Edited Nearest Neighbor Thuật toán giảm mẫu ENN FSVM Fuzzy Support Vector Machine Máy véc-tơ hỗ trợ mờ FSVM-CIL Fuzzy Support Vector Machines for Máy véc-tơ hỗ trợ mờ cho học trên dữ liệu Class Imbalance Learning không cân bằng G-mean Geometric Mean Độ đo trung bình hình học HSM Hierarchical structure model Mô hình cấu trúc phân cấp JC Jaccard Coefficient Độ đo liên kết JC KNN K -Nearest Neighbors K -láng giềng gần nhất LDP local directed path Độ đo liên kết LDP LP Link Prediction Dự đoán liên kết MAG Microsoft Academic Graph Cơ sở dữ liệu khoa học MAG MF Matrix Forest Index Độ đo liên kết MF NCL Neighborhood Cleaning Rule Thuật toán giảm mẫu NCL OSS One Sided Selection Thuật toán giảm mẫu OSS PA Preferential Attachment Độ đo liên kết PA RA Resource Allocation Độ đo liên kết RA ROC Receiver operating characteristics Đường cong đặc tính RWR Random Walk with Restart Độ đo liên kết RWR SBM Stochastic block model Mô hình khối ngẫu nhiên SPRD Scholarly Paper Recommendation Cơ sở dữ liệu khoa học SPRD Dataset v SVM Support Vector Machine Máy véc-tơ hỗ trợ SMOTE Synthetic Minority Over-sampling Kỹ thuật tạo mẫu tổng hợp cho lớp thiểu Technique số SP Specificity Độ đo đặc hiệu SE Sensitivity Độ đo nhạy cảm SW Similar Work Độ đo liên kết SW TLP Tomek Link Pair Cặp Tomek link W-SVM Weight Support Vector Machine Máy véc-tơ hỗ trợ có trọng số vi DANH MỤC HÌNH VẼ 1.1 Các trường hợp của ξ trong Soft-SVM .2 Minh họa kiến trúc CNN-1D .3 Minh họa các cặp TLPs .4 Tổng quan quy trình giải quyết các bài toán trong mạng ASN .5 Mô hình gợi ý cộng tác đồng tác giả theo phương pháp phân lớp .1 Sơ đồ thuật toán Im.AdaBoost kết hợp với WSVM.2 Các giá trị của Gmean trên θ thu được bởi Im.3 Các giá trị Gmean, SE , và SP được xác định cho dữ liệu Nhóm I .4 Các giá trị Gmean, SE , và SP được xác định cho dữ liệu Nhóm II .5 Các giá trị Gmean, SE , và SP được xác định cho dữ liệu Nhóm III .1 Vị trí tương đối của các mẫu giữa hai lớp .2 Minh họa cho bốn trường hợp "mẫu nhạy cảm" được chỉ ra bởi TLPs 74 vii DANH MỤC BẢNG 1.1 Bảng ứng viên đồng tác giả .2 Thống kê dữ liệu bài báo thu thập từ năm 2000 đến năm 2017 .3 Bảng dữ liệu ứng viên đồng tác giả .4 Mô tả bộ dữ liệu UCI .1 Các giá trị tốt nhất của tham số θ cho thuật toán Im.SVM và Im.2 Kết quả phân lớp các tập dữ liệu UCI .3 Mô tả các bộ dữ liệu đồng tác giả .4 Các giá trị tốt nhất của tham số θ cho thuật toán Im.SVM và Im.5 Kết quả phân lớp các tập dữ liệu trong Nhóm I .6 Kết quả phân lớp các tập dữ liệu trong Nhóm II .7 Kết quả phân lớp các tập dữ liệu trong Nhóm III .1 Cài đặt FSVM-CIL với các hàm tính trọng số mờ .2 So sánh kết quả phân lớp của FSVM-CILcen lin và FSVM-CIL trên các bộ dữ liệu UCI .3 So sánh kết quả phân lớp của phương pháp F-AWA khi áp dụng vào FSVM-CIL trên các bộ dữ liệu UCI .4 So sánh kết quả phân lớp của AFW-CIL và FSVM-CIL cho các bộ dữ liệu chuẩn UCI .5 Mô tả các bộ dữ liệu đồng tác giả .6 Kết quả phân lớp của FSVM-CIL và FSVM-CILcen lin cho các bộ dữ liệu đồng tác giả Nhóm I .7 Kết quả phân lớp của FSVM-CIL và FSVM-CILcen lin cho các bộ dữ liệu đồng tác giả Nhóm II .8 Kết quả phân lớp của FSVM-CIL và điều chỉnh F-AWA cho các bộ dữ liệu đồng tác giả Nhóm I .9 Kết quả phân lớp của FSVM-CIL và điều chỉnh F-AWA cho các bộ dữ liệu đồng tác giả Nhóm II .10 Kết quả phân lớp của AFW-CIL và FSVM-CIL cho các bộ dữ liệu đồng tác giả Nhóm I .11 Kết quả phân lớp của AFW-CIL và FSVM-CIL cho các bộ dữ liệu đồng tác giả Nhóm II .12 Kết quả so sánh trên các tập dữ liệu UCI .13 Kết quả so sánh trên các tập dữ liệu Nhóm I.
95 ix DANH MỤC THUẬT TOÁN 1.1 Thuật toán SVM .2 Thuật toán AdaBoost .3 Thuật toán huấn luyện Cây quyết định .4 Thuật toán KNN .1 Thuật toán Im.1 CalFW: Tính toán trọng số mờ cho tập dữ liệu .2 AdjFW: Điều chỉnh trọng số mờ dựa trên TLPs .3 Thuật toán F-AWA .4 Thuật toán AFW-CIL. Lý do chọn đề tài Trong lĩnh vực nghiên cứu khoa học, mạng xã hội học thuật (ASN-Academic Social Networks) là khái niệm đề cập đến mối quan hệ tương tác về thông tin trong cộng đồng các nhà nghiên cứu khoa học [1][2]. Trong đó, khái niệm mạng đồng tác giả (co-authorship network) dùng để miêu tả mối quan hệ hợp tác cùng nghiên cứu giữa các nhà khoa học. Mối quan hệ này được thể hiện trong việc các nhà nghiên cứu là đồng tác giả trong một hoặc nhiều bài báo khoa học.
Các bài báo khoa học là sự trình bày nội dung các kết quả nghiên cứu và được công bố trên các tạp chí khoa học. Có nhiều tạp chí khoa học thuộc các chủ đề lĩnh vực nghiên cứu khác nhau. Một bài báo khoa học có thể là kết quả hợp tác của nhiều tác giả đến từ nhiều đơn vị/trường học/viện nghiên cứu.
Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ
Trích dẫn luận án này
Võ Đức Quang (2024). Thuật toán phân lớp dữ liệu không cân bằng & dự đoán đồng tác giả [Luận án tiến sĩ, Đại học Bách khoa Hà Nội]. LuanAn.net. https://luanan.net/cong-nghe-thong-tin/tri-tue-nhan-tao/cai-tien-thuat-toan-phan-lop-cho-du-lieu-khong-can-bang-va-ung-dung-trong-du
Câu hỏi thường gặp
Luận án "Thuật toán phân lớp dữ liệu không cân bằng & dự đoán đồng tác giả" nghiên cứu về vấn đề gì?
Luận văn đề xuất cải tiến thuật toán phân lớp cho dữ liệu không cân bằng, ứng dụng hiệu quả trong dự đoán đồng tác giả khoa học.
Luận án "Thuật toán phân lớp dữ liệu không cân bằng & dự đoán đồng tác giả" được bảo vệ tại trường nào?
Luận án này được bảo vệ tại Đại học Bách khoa Hà Nội. Năm bảo vệ: 2024.
Luận án "Thuật toán phân lớp dữ liệu không cân bằng & dự đoán đồng tác giả" thuộc chuyên ngành gì?
Luận án "Thuật toán phân lớp dữ liệu không cân bằng & dự đoán đồng tác giả" thuộc chuyên ngành Hệ thống thông tin. Danh mục: Trí Tuệ Nhân Tạo.
Luận án "Thuật toán phân lớp dữ liệu không cân bằng & dự đoán đồng tác giả" có bao nhiêu trang?
Luận án "Thuật toán phân lớp dữ liệu không cân bằng & dự đoán đồng tác giả" có 123 trang. Bạn có thể xem trước một phần tài liệu ngay trên trang web trước khi tải về.
Cách tải luận án "Thuật toán phân lớp dữ liệu không cân bằng & dự đoán đồng tác giả" về máy như thế nào?
Để tải luận án về máy, bạn nhấn nút "Tải xuống ngay" trên trang này, sau đó hoàn tất thanh toán phí lưu trữ. File sẽ được tải xuống ngay sau khi thanh toán thành công. Hỗ trợ qua Zalo: 0559 297 239.