Luận án tiến sĩ nghiên cứu các thuật toán rút gọn đồ thị và ứng dụng để phát hiệ
Luận án: Luận án tiến sĩ nghiên cứu các thuật toán rút gọn đồ thị và ứng dụng để phát hiện cộng đồng trên mạng xã hội. Xem tóm tắt và tải về tại LuanAn.net
Luan An
Luận án tiến sĩ
Năm xuất bản
Số trang
130
Thời gian đọc
20 phút
Lượt xem
0
Lượt tải
0
Phí lưu trữ
40 Point
Tổng quan nhanh
- Chủ đề:
- 1. Nghiên cứu thuật toán rút gọn đồ thị hiệu quả
- Số trang:
- 130 trang
- Trường:
- Học viện Công nghệ Bưu chính Viễn thông
- Chuyên ngành:
- Hệ thống thông tin
- Tác giả:
- Nguyễn Xuân Dũng
- Năm:
- 2021
Tóm tắt nội dung luận án
I. Nghiên cứu thuật toán rút gọn đồ thị hiệu quả
Luận án tập trung vào việc nghiên cứu và phát triển các thuật toán rút gọn đồ thị. Các đồ thị mạng xã hội ngày càng mở rộng quy mô. Việc xử lý dữ liệu đồ thị lớn gặp nhiều thách thức. Các phương pháp rút gọn đồ thị đóng vai trò thiết yếu. Chúng giúp giảm tải tính toán, tối ưu hóa tài nguyên. Từ đó, quá trình phân tích mạng và phát hiện cấu trúc trở nên khả thi hơn. Nghiên cứu này cải thiện hiệu suất xử lý dữ liệu đồ thị lớn. Nó cung cấp các công cụ mạnh mẽ hơn cho phân tích mạng xã hội.
1.1. Sự cần thiết của rút gọn đồ thị mạng xã hội
Mạng xã hội tạo ra lượng dữ liệu đồ thị khổng lồ. Kích thước đồ thị liên tục tăng trưởng. Việc phân tích trực tiếp đồ thị lớn đòi hỏi tài nguyên tính toán rất lớn. Độ phức tạp thuật toán tăng cao theo số lượng đỉnh và cạnh. Điều này gây khó khăn cho việc áp dụng các thuật toán truyền thống. Rút gọn đồ thị giúp đơn giản hóa cấu trúc. Nó vẫn giữ được các thuộc tính quan trọng của đồ thị gốc. Đây là bước tiền xử lý quan trọng. Việc nén đồ thị giảm bớt gánh nặng tính toán. Nó cải thiện thời gian thực thi của các thuật toán tiếp theo. Đặc biệt, nó hữu ích cho các bài toán phân tích mạng phức tạp.
1.2. Các phương pháp rút gọn đồ thị truyền thống
Nhiều kỹ thuật rút gọn đồ thị đã được đề xuất. Các phương pháp này bao gồm lấy mẫu đỉnh, lấy mẫu cạnh hoặc hợp nhất các đỉnh. Mỗi phương pháp có những ưu và nhược điểm riêng. Một số tập trung vào việc bảo toàn thuộc tính cục bộ. Một số khác chú trọng đến cấu trúc toàn cục. Tuy nhiên, các thuật toán hiện có đôi khi chưa đáp ứng đủ yêu cầu. Chúng có thể làm mất thông tin quan trọng hoặc không đủ hiệu quả. Điều này đặc biệt đúng với các đồ thị mạng xã hội có cấu trúc phức tạp. Nghiên cứu này tìm cách khắc phục những hạn chế này. Nó đề xuất các giải pháp tối ưu hóa đồ thị tốt hơn.
II. Phát triển thuật toán rút gọn đồ thị mới tiên tiến
Luận án trình bày các thuật toán rút gọn đồ thị mới. Các thuật toán này dựa trên các độ đo và nguyên lý tiên tiến. Chúng được thiết kế để xử lý hiệu quả các đồ thị mạng xã hội. Các phương pháp này mang lại khả năng đơn giản hóa đồ thị tối ưu. Đồng thời, chúng bảo toàn các đặc tính cấu trúc quan trọng. Điều này giúp cải thiện đáng kể quá trình phân tích mạng. Các thuật toán mới đóng góp vào lý thuyết đồ thị. Chúng mở ra hướng tiếp cận mới cho bài toán nén đồ thị và tối ưu hóa đồ thị.
2.1. Thuật toán dựa trên độ đo trung tâm trung gian
Một thuật toán mới sử dụng độ đo trung tâm trung gian. Độ đo này giúp xác định các đỉnh quan trọng trong đồ thị. Các đỉnh có giá trị trung tâm trung gian cao thường đóng vai trò cầu nối. Chúng là điểm mấu chốt trong luồng thông tin. Thuật toán nhóm các đỉnh có vai trò tương tự. Chúng được hợp nhất thành các đỉnh đại diện. Quá trình này giúp rút gọn đồ thị mà vẫn giữ được cấu trúc. Phương pháp này giảm thiểu sự mất mát thông tin. Nó cung cấp một biểu diễn đồ thị cô đọng hơn. Độ phức tạp thuật toán được cải thiện rõ rệt.
2.2. Thuật toán dựa trên nguyên lý lan truyền nhãn
Một hướng tiếp cận khác là sử dụng nguyên lý lan truyền nhãn. Thuật toán này gán nhãn cho các đỉnh. Các nhãn này được lan truyền qua các cạnh. Các đỉnh có nhãn giống nhau có xu hướng thuộc cùng một nhóm. Phương pháp này tận dụng tính cục bộ của các cộng đồng. Các nhóm đỉnh có nhãn tương đồng được rút gọn. Điều này tạo ra một đồ thị đơn giản hóa. Thuật toán này có khả năng xử lý dữ liệu đồ thị lớn. Nó nổi bật với tốc độ nhanh và hiệu quả cao. Kết quả rút gọn đồ thị vẫn đảm bảo chất lượng.
2.3. Thực nghiệm và đánh giá hiệu suất thuật toán
Các thuật toán mới được thực nghiệm rộng rãi. Dữ liệu đồ thị lớn từ các mạng xã hội thực được sử dụng. Các chỉ số đánh giá được áp dụng. Chúng bao gồm độ chính xác, tốc độ xử lý, và khả năng bảo toàn cấu trúc. Kết quả thực nghiệm cho thấy sự vượt trội của các thuật toán đề xuất. Chúng có hiệu suất tốt hơn so với các phương pháp hiện có. Đặc biệt trong việc rút gọn đồ thị và tối ưu hóa dữ liệu. Điều này khẳng định tiềm năng ứng dụng của các thuật toán trong phân tích mạng.
III. Ứng dụng rút gọn đồ thị phát hiện cộng đồng mạng
Các thuật toán rút gọn đồ thị được ứng dụng vào bài toán phát hiện cộng đồng. Đây là một vấn đề quan trọng trong phân tích mạng xã hội. Việc rút gọn đồ thị trước khi phát hiện cộng đồng mang lại nhiều lợi ích. Nó giảm độ phức tạp thuật toán. Nó tăng tốc độ xử lý. Đồng thời, nó vẫn duy trì hoặc thậm chí cải thiện chất lượng kết quả. Ứng dụng này mở rộng khả năng của các thuật toán đồ thị. Nó cung cấp một cách tiếp cận hiệu quả cho dữ liệu đồ thị lớn. Phân tích mạng trở nên khả thi hơn.
3.1. Tính nhanh độ đo trung tâm trên đồ thị rút gọn
Tính toán độ đo trung tâm trên đồ thị lớn thường tốn kém. Việc áp dụng đồ thị rút gọn giải quyết vấn đề này. Độ đo trung tâm trung gian có thể được tính nhanh hơn. Các thuật toán đặc biệt được phát triển. Chúng khai thác cấu trúc đơn giản của đồ thị rút gọn. Điều này giảm đáng kể thời gian tính toán. Thông tin về các đỉnh quan trọng được thu thập hiệu quả. Kết quả này rất hữu ích cho các thuật toán phát hiện cộng đồng sau này. Nó là một bước quan trọng trong quá trình tối ưu hóa đồ thị.
3.2. Phát hiện cộng đồng bằng thuật toán trung tâm trung gian
Thông tin từ độ đo trung tâm trung gian được sử dụng. Chúng giúp xác định ranh giới của các cộng đồng. Các thuật toán phát hiện cộng đồng hoạt động trên đồ thị rút gọn. Việc này giúp giảm quy mô dữ liệu đầu vào. Nó cải thiện hiệu quả tổng thể. Các cộng đồng được xác định một cách chính xác. Độ phức tạp thuật toán được kiểm soát tốt. Phương pháp này mang lại kết quả đáng tin cậy. Nó đặc biệt phù hợp cho việc phân tích mạng xã hội quy mô lớn.
3.3. Sử dụng lan truyền nhãn cho phát hiện cộng đồng hiệu quả
Thuật toán lan truyền nhãn cũng được áp dụng. Nó hoạt động trên đồ thị mạng xã hội đã được rút gọn. Các nhãn lan truyền giữa các đỉnh trong cộng đồng. Điều này giúp nhóm các đỉnh lại với nhau. Kết quả là việc phát hiện cộng đồng trở nên nhanh chóng. Nó có độ chính xác cao. Phương pháp này tận dụng tính chất của đồ thị đã được nén. Nó đặc biệt hiệu quả với dữ liệu đồ thị lớn. Đây là một giải pháp mạnh mẽ cho bài toán phân tích mạng và tìm kiếm cấu trúc cộng đồng.
IV. Đánh giá độ phức tạp thuật toán và tối ưu hóa
Đánh giá chi tiết về độ phức tạp thuật toán là yếu tố then chốt. Luận án phân tích sâu sắc hiệu suất của các thuật toán mới. Việc này bao gồm cả khía cạnh lý thuyết và thực nghiệm. Mục tiêu là đảm bảo các giải pháp không chỉ hiệu quả mà còn có khả năng mở rộng. Tối ưu hóa đồ thị không chỉ dừng lại ở rút gọn. Nó còn bao gồm cách biểu diễn và xử lý dữ liệu. Những đóng góp này mở rộng lý thuyết đồ thị hiện có. Chúng cung cấp các công cụ mạnh mẽ hơn cho khoa học dữ liệu và phân tích mạng.
4.1. Phân tích độ phức tạp của các thuật toán mới
Độ phức tạp thuật toán của các phương pháp đề xuất được phân tích. Cả về thời gian chạy và yêu cầu bộ nhớ. So sánh được thực hiện với các thuật toán hiện có. Kết quả cho thấy các thuật toán mới có độ phức tạp thấp hơn. Điều này rất quan trọng khi xử lý dữ liệu đồ thị lớn. Khả năng mở rộng của thuật toán được đảm bảo. Phân tích này khẳng định hiệu quả lý thuyết. Nó chứng minh tính khả thi của việc áp dụng trong thực tế. Đây là một đóng góp quan trọng cho lý thuyết đồ thị.
4.2. Tối ưu hóa biểu diễn đồ thị cho hiệu suất
Việc lựa chọn cách biểu diễn đồ thị ảnh hưởng lớn đến hiệu suất. Luận án nghiên cứu các kỹ thuật tối ưu hóa biểu diễn. Các kỹ thuật này giúp giảm dung lượng lưu trữ. Chúng cũng tăng tốc độ truy cập dữ liệu. Các phương pháp nén đồ thị được tích hợp. Điều này đảm bảo rằng đồ thị rút gọn được xử lý hiệu quả nhất. Tối ưu hóa này góp phần vào việc quản lý dữ liệu đồ thị lớn. Nó nâng cao hiệu quả tổng thể của các thuật toán đồ thị. Điều này quan trọng cho các ứng dụng thực tế.
4.3. Đóng góp của luận án vào Lý thuyết đồ thị
Luận án mang đến nhiều đóng góp mới mẻ cho lý thuyết đồ thị. Nó giới thiệu các thuật toán rút gọn đồ thị tiên tiến. Nó cung cấp giải pháp hiệu quả cho bài toán phát hiện cộng đồng trên mạng xã hội. Các phương pháp tối ưu hóa dữ liệu đồ thị lớn được phát triển. Nghiên cứu này mở rộng hiểu biết về phân tích mạng và nén đồ thị. Nó cung cấp nền tảng cho các nghiên cứu tương lai. Các kết quả có giá trị khoa học và ứng dụng thực tiễn cao. Nó làm giàu thêm kho tàng tri thức về thuật toán đồ thị.
Tải xuống file đầy đủ để xem toàn bộ nội dung
Tải đầy đủ (130 trang)Nội dung chính
Tổng quan về luận án
Sự bùng nổ của kỷ nguyên số và công nghệ kết nối đã thúc đẩy các mạng xã hội trực tuyến (Online Social Networks - OSN) như Facebook, Twitter, YouTube, Instagram hay LinkedIn phát triển theo quy mô cấp số nhân, đạt tới hàng tỷ người dùng và hàng chục tỷ mối quan hệ tương tác. Trong phân tích mạng xã hội (Social Network Analysis - SNA), bài toán phát hiện cấu trúc cộng đồng (Community Detection) giữ vị trí trung tâm, cho phép bóc tách cấu trúc vi mô và vĩ mô của mạng lưới phức tạp, nhận diện các nhóm thực thể có mật độ liên kết nội tại chặt chẽ và tương tác thưa thớt với phần còn lại của mạng. Tuy nhiên, rào cản tính toán cốt lõi nằm ở kích thước khổng lồ và tính phi cấu trúc của dữ liệu đồ thị thực tế, khiến các thuật toán phân tích mạng truyền thống mất khả năng mở rộng (scalability bottleneck).
Luận án tiến sĩ chuyên ngành Hệ thống thông tin (Mã số: 9480104) của nghiên cứu sinh Nguyễn Xuân Dũng, dưới sự hướng dẫn khoa học của PGS.TS Đoàn Văn Ban và TS. Đỗ Thị Bích Ngọc tại Học viện Công nghệ Bưu chính Viễn thông (2021) với tiêu đề "Nghiên cứu các thuật toán rút gọn đồ thị và ứng dụng để phát hiện cộng đồng trên mạng xã hội", đã giải quyết trực diện điểm nghẽn học thuật này bằng cách tiếp cận dựa trên lý thuyết rút gọn đồ thị bảo toàn đặc trưng topo.
+-------------------------------------------------------------------------------+
| MẠNG XÃ HỘI GỐC G = (V, E) |
| (Quy mô cực lớn, phức tạp, bùng nổ không gian tính toán) |
+-------------------------------------------------------------------------------+
|
+--------------------+--------------------+
| |
v v
[HƯỚNG 1: TRUNG TÂM TRUNG GIAN] [HƯỚNG 2: LAN TRUYỀN NHÃN]
- Nhận diện lớp đỉnh tương đương: - Nhận diện tương đương nhãn:
* Đỉnh treo (Leaf vertices) * Đỉnh lân cận cùng nhãn
* Đỉnh sườn (Side vertices) * Cố định nhãn cấu trúc
* Đỉnh đồng nhất (Identical) |
| v
v Thuật toán Rút gọn LREN
Thuật toán Rút gọn REG |
| v
v Đồ thị rút gọn G_LREN
Đồ thị rút gọn G_REG |
| v
v Thuật toán LPAA
Thuật toán FBC & CDAB (Phát hiện cộng đồng tốc độ cao)
(Tính nhanh CB(v) & Tách cộng đồng) |
| |
+--------------------+-----------------+
v
+-------------------------------------------------------------------------------+
| CẤU TRÚC CỘNG ĐỒNG TỐI ƯU C = {C1, C2, ..., Ck} |
| (Bảo toàn Modularity Q, tăng tốc độ tính toán vượt bậc) |
+-------------------------------------------------------------------------------+
Điểm nghẽn nghiên cứu cụ thể (Specific Research Gap)
Các nghiên cứu kinh điển về phát hiện cộng đồng tập trung xử lý trực tiếp trên toàn bộ không gian đồ thị gốc $G = (V, E)$ với $|V| = n$ đỉnh và $|E| = m$ cạnh. Hướng tiếp cận dựa trên độ đo trung tâm trung gian cạnh (Edge Betweenness Centrality) điển hình như thuật toán Girvan-Newman (2002) đòi hỏi độ phức tạp thời gian lên tới $O(m^2n)$, hoặc $O(mn)$ cho mỗi lần tính toán lại đường đi ngắn nhất theo giải thuật Brandes (2001). Ngay cả các phương pháp cải tiến gần đây như thuật toán MAA (Majid Arasteh & Alizadeh, 2018) với độ phức tạp $O(m^2)$ vẫn chịu chi phí tính toán rất lớn khi $m$ đạt hàng triệu cạnh.
Mặt khác, các phương pháp xấp xỉ tuyến tính dựa trên nguyên lý lan truyền nhãn (Label Propagation Algorithm - LPA) của Raghavan et al. (2007) hay OLP (Optimized Label Propagation) của Matin Pirouz et al. (2018) tuy có độ phức tạp tiệm cận $O(n + m)$, song lại thiếu tính tất định, nhạy cảm với thứ tự duyệt ngẫu nhiên và dễ rơi vào bẫy hội tụ không tối ưu trên đồ thị lớn.
Điểm nghẽn học thuật xác định là: Thiếu vắng một cơ chế hình thức cho phép rút gọn không gian đỉnh và cạnh của đồ thị mạng xã hội thông qua việc phân hoạch các lớp đỉnh tương đương về mặt cấu trúc (bảo toàn độ đo trung tâm trung gian và tính chất lan truyền nhãn), dẫn đến việc lãng phí tài nguyên tính toán vào các cấu trúc topo dư thừa.
Câu hỏi nghiên cứu và Giả thuyết khoa học
Luận án thiết lập hệ thống câu hỏi nghiên cứu và giả thuyết tương ứng:
- Câu hỏi nghiên cứu 1 ($RQ_1$): Các tính chất topo nào của đồ thị mạng xã hội cho phép xác lập các lớp đỉnh tương đương mà việc gộp chúng thành một đỉnh đại diện không làm sai lệch giá trị độ đo trung tâm trung gian $C_B(v)$ của các đỉnh còn lại?
- Giả thuyết 1 ($H_1$): Tồn tại các cấu trúc đỉnh treo (leaf vertices), đỉnh sườn (side vertices) và đỉnh đồng nhất (identical vertices) có thể gộp cục bộ thông qua thuật toán rút gọn REG (Reduce Equivalence Graph) mà vẫn bảo toàn bất biến đường trắc địa và giá trị phân bổ $C_B(v)$.
- Câu hỏi nghiên cứu 2 ($RQ_2$): Làm thế nào để tăng tốc độ tính toán độ đo trung tâm trung gian trên đồ thị rút gọn nhằm tối ưu hóa thuật toán phân cụm cộng đồng phân cấp?
- Giả thuyết 2 ($H_2$): Thuật toán FBC (Fast algorithm for Betweenness Centrality) kết hợp duyệt BFS tối ưu trên đồ thị rút gọn sẽ giảm thiểu số phép duyệt dư thừa, từ đó thuật toán phân chia cộng đồng CDAB (Community Detection Algorithm based on Betweenness) sẽ giảm độ phức tạp tính toán đáng kể so với Girvan-Newman và MAA.
- Câu hỏi nghiên cứu 3 ($RQ_3$): Quá trình lan truyền nhãn có thể được tối ưu hóa thông qua các lớp đỉnh tương đương nhãn mà không làm suy giảm chất lượng phân hoạch cộng đồng theo độ đo đơn thể $Q$ và NMI không?
- Giả thuyết 3 ($H_3$): Thuật toán rút gọn LREN (Label based Reduce Equivalence Nodes) cho phép nén không gian mạng trước khi thực thi thuật toán LPAA (Label Propagation Algorithm on Abridged graph), giúp tăng tốc độ hội tụ và ổn định kết quả phân cụm.
Khung lý thuyết và Phạm vi nghiên cứu
Nghiên cứu tích hợp hệ thống lý thuyết nền tảng: Lý thuyết Đồ thị (Graph Theory), Lý thuyết Phân tích Mạng Xã hội (Social Network Analysis - Freeman, 1977, 1979), Lý thuyết Tối ưu hóa Mô đun (Modularity Optimization - Newman & Girvan, 2004) và Lý thuyết Lan truyền Thông tin (Information Propagation Dynamics). Phạm vi nghiên cứu tập trung vào các đồ thị vô hướng, liên thông mô hình hóa từ các mạng xã hội thực nghiệm trích xuất từ tập dữ liệu chuẩn SNAP (Stanford Large Network Dataset Collection), mạng câu lạc bộ Karate của Zachary, mạng viện Santa Fe (SFI - 118 đỉnh) và mạng Kite của Krackhardt.
Literature Review và Positioning
Tổng quan các dòng nghiên cứu chính
Lịch sử phát triển của các giải thuật phát hiện cộng đồng trên mạng xã hội được phân tách thành bốn trường phái lý thuyết chủ đạo:
CÁC NHÓM THUẬT TOÁN PHÁT HIỆN CỘNG ĐỒNG
|
+--------------------+-------------------+--------------------+--------------------+
| | | |
v v v v
[1. TRUYỀN THỐNG] [2. TỐI ƯU ĐƠN THỂ Q] [3. TRUNG TÂM TRUNG GIAN] [4. LAN TRUYỀN NHÃN]
- Kernighan-Lin - Greedy (Newman 2004) - Girvan-Newman (2002) - LPA (Raghavan 2007)
- BIRCH / EAGLE - Louvain (Blondel 2008) - Brandes (2001) - LPAm / LPAm+
- K-Means / Fuzzy - Simulated Annealing - MAA (Arasteh 2018) - OLP (Pirouz 2018)
- Spectral Methods - Extremal Optimisation - [Đề xuất: CDAB/FBC] - [Đề xuất: LPAA]
- Nhóm thuật toán phát hiện cộng đồng truyền thống: Bao gồm phân cụm đồ thị (Kernighan & Lin, 1970), phân cụm phân cấp tích tụ (Hierarchical Agglomerative Clustering) với các đại diện như BIRCH (Zhang et al., 1996) và EAGLE (Shen et al., 2009 - dựa trên k-clique cực đại), phân cụm phân hoạch như K-Means (MacQueen, 1967), K-Means mờ (Bezdek, 1981), và phân cụm theo phổ (Spectral Clustering - Shi & Malik, 2000; Ng, Jordan & Weiss, 2002). Nhược điểm cố hữu của nhóm này là yêu cầu xác định trước số lượng cụm $k$ hoặc áp đặt giả định đồng nhất về kích thước cụm, dẫn đến mất mát thông tin cấu trúc nghiêm trọng.
- Nhóm thuật toán dựa trên tối ưu hóa độ đo đơn thể (Modularity Optimization): Khởi xướng bởi Newman (2004) với thuật toán tìm kiếm tham lam $O(n^2)$, tiếp nối bởi thuật toán Louvain (Blondel et al., 2008) đạt độ phức tạp $O(n \log n)$, thuật toán mô phỏng luyện kim (Simulated Annealing - Kirkpatrick et al., 1983), và tối ưu hóa mở rộng (Extremal Optimisation - Boettcher & Percus, 2001; Duch & Arenas, 2005 với độ phức tạp $O(n^2 \log n)$). Hạn chế lớn nhất là hiện tượng giới hạn phân giải (resolution limit), bỏ sót các cộng đồng có quy mô nhỏ.
- Nhóm thuật toán dựa vào độ đo trung tâm trung gian (Betweenness Centrality): Nền tảng thiết lập từ công trình của Freeman (1977) và hiện thực hóa bởi Girvan & Newman (2002) thông qua việc loại bỏ lặp các cạnh có $C_B(e)$ cao nhất. Mặc dù cho chất lượng phân cụm tự nhiên rất cao, độ phức tạp $O(m^2n)$ khiến giải thuật bất khả thi trên mạng quy mô lớn. Thuật toán MAA (Majid Arasteh & Alizadeh, 2018) cải tiến việc xóa nhiều cạnh đồng thời nhưng vẫn duy trì chi phí $O(m^2)$.
- Nhóm thuật toán dựa trên lan truyền nhãn (Label Propagation): Bắt đầu từ LPA kinh điển của Raghavan et al. (2007) với ưu thế thời gian gần tuyến tính $O(n+m)$. Các biến thể sau đó như LPAm (Barber & Clark, 2009), LPAm+ (Liu et al., 2010), LPAp (Zhang et al., 2015) và OLP (Matin Pirouz et al., 2018) nỗ lực kiểm soát tính ngẫu nhiên và nâng cao chất lượng mô đun, nhưng vẫn thao tác trực tiếp trên toàn bộ số nút của mạng.
Tranh luận học thuật và Định vị nghiên cứu
Trong y văn tồn tại cuộc tranh luận sâu sắc giữa tính chính xác topo (đại diện bởi nhóm Girvan-Newman) và khả năng mở rộng quy mô tính toán (đại diện bởi nhóm Lan truyền nhãn). Các phương pháp lấy mẫu mạng (Graph Sampling) như Forest Fire Sampling (FFS), Random Walk Sampling (SES) tuy giảm được kích thước mạng nhưng lại làm biến dạng các thuộc tính thống kê vi mô và phá vỡ tính liên thông của các cộng đồng nhỏ.
Luận án của Nguyễn Xuân Dũng định vị tại điểm giao thoa: Không sử dụng kỹ thuật lấy mẫu gần đúng (sampling) làm suy giảm thông tin, mà xây dựng lý thuyết rút gọn đồ thị chính xác dựa trên các quan hệ tương đương cấu trúc (Structural Equivalence Classes). Nghiên cứu đối sánh trực tiếp với hai nghiên cứu quốc tế tiêu biểu:
- Thuật toán MAA (Majid Arasteh et al., 2018) trong phân loại phân cấp theo độ đo trung gian.
- Thuật toán OLP (Matin Pirouz et al., 2018) và LPA kinh điển (Raghavan et al., 2007) trong phân loại theo lan truyền nhãn.
Đóng góp lý thuyết và khung phân tích
Đóng góp cho lý thuyết
Luận án mở rộng Lý thuyết Trung tâm Cấu trúc của Freeman (1977, 1979) và Lý thuyết Lan truyền Trạng thái trên Mạng phức tạp thông qua việc thiết lập các định lý và hệ quả toán học về các lớp đỉnh tương đương:
"Cộng đồng mạng xã hội là một nhóm các thực thể trong mạng xã hội có những tính chất tương tự nhau, liên kết chặt chẽ với nhau và cùng đóng một vai trò nhất định."
Hệ số cố kết mạng (Density Cohesion) của đồ thị $G=(V,E)$ với $n = |V|$ và $k = |E|$ được lượng hóa theo công thức: $$D_G = \frac{2k}{n(n-1)}$$
Độ đo trung tâm trung gian $C_B(v)$ của đỉnh $v$ được xác định theo tỷ lệ các đường trắc địa đi qua $v$: $$C_B(v) = \sum_{s \neq v \neq t \in V} \frac{\sigma_{st}(v)}{\sigma_{st}}$$ Trong đó $\sigma_{st}$ là tổng số đường đi ngắn nhất giữa hai đỉnh $s$ và $t$, còn $\sigma_{st}(v)$ là số đường đi ngắn nhất giữa $s$ và $t$ đi qua đỉnh $v$.
MINH HỌA TOPO CÁC LỚP ĐỈNH TƯƠNG ĐƯƠNG ĐƯỢC RÚT GỌN:
1. Đỉnh treo (Leaf Vertices): 2. Đỉnh sườn (Side Vertices):
(u1) (v1)---(v2)
\ \ /
(u)---(Khối mạng G) (u)---(Khối mạng G)
/ / \
(u2) (v3)---(v4)
=> Gộp {u1, u2} vào u => Gộp các cặp liên kết tam giác đóng
3. Đỉnh đồng nhất (Identical Vertices):
(w1) ====== [Cùng tập lân cận N(w)] ====== (w2)
=> Gộp {w1, w2} thành siêu đỉnh đại diện w'
Luận án đã hình thức hóa ba lớp đỉnh tương đương topo:
- Lớp đỉnh treo tương đương (Leaf Equivalence Class): Tập các đỉnh bậc 1 cùng kết nối tới một đỉnh cha chung $u$. Mọi đường trắc địa xuất phát hoặc kết thúc tại các đỉnh treo này đều không làm thay đổi vai trò trung gian của mạng lõi ngoại trừ cạnh trực tiếp nối với $u$.
- Lớp đỉnh sườn tương đương (Side Equivalence Class): Các đỉnh tạo thành cấu trúc tam giác khép kín hoặc cụm phụ chỉ liên kết với đồ thị thông qua một tập đỉnh biên xác định, không nằm trên đường đi ngắn nhất giữa các thành phần liên thông khác của mạng.
- Lớp đỉnh đồng nhất tương đương (Identical Equivalence Class): Các đỉnh có tập lân cận hoàn toàn trùng khớp ($N(v_i) = N(v_j)$). Độ đo trung gian và vai trò cấu trúc của chúng là đồng nhất tuyệt đối.
Khung phân tích độc đáo
Khung phân tích của luận án tích hợp ba trụ cột:
+-------------------------------------------------------------------------------+
| KHUNG PHÂN TÍCH TÍCH HỢP CỦA LUẬN ÁN |
+-------------------------------------------------------------------------------+
| Trụ cột 1: RÚT GỌN ĐỒ THỊ (Graph Reduction Mechanics) |
| - Thuật toán REG: Thay thế lớp đỉnh tương đương trung gian {V_leaf, V_side} |
| - Thuật toán LREN: Gộp các đỉnh cùng nhãn ổn định trong lân cận |
+-------------------------------------------------------------------------------+
| (Bảo toàn đặc trưng topo)
v
+-------------------------------------------------------------------------------+
| Trụ cột 2: TỐI ƯU HÓA ĐƯỜNG TRẮC ĐỊA & TRUNG GIAN (Centrality Optimization) |
| - Thuật toán FBC: Tăng tốc tính toán CB(v) qua BFS trên đồ thị DAG rút gọn |
| - Loại trừ tính toán lặp lại trên các cấu trúc đối xứng |
+-------------------------------------------------------------------------------+
| (Truy xuất không gian nén)
v
+-------------------------------------------------------------------------------+
| Trụ cột 3: PHÁT HIỆN CỘNG ĐỒNG NÂNG CAO (Advanced Community Partitioning) |
| - Thuật toán CDAB: Phân chia phân cấp dựa trên cạnh nối liên cụm |
| - Thuật toán LPAA: Lan truyền nhãn trên đồ thị rút gọn |
| - Tái cấu trúc (De-abridging): Ánh xạ nhãn ngược về đồ thị gốc G ban đầu |
+-------------------------------------------------------------------------------+
Điều kiện biên (Boundary Conditions): Khung phân tích áp dụng tối ưu trên các đồ thị có hệ số cố kết mạng $D_G \ll 1$ (mạng thưa - sparse networks), phản ánh đúng bản chất của mạng xã hội thực tế nơi các kết nối tuân theo quy luật phân phối lũy thừa (Scale-free Power-law distribution).
Phương pháp nghiên cứu tiên tiến
Thiết kế nghiên cứu
Luận án tuân thủ triết lý thực chứng tính toán (Computational Positivism), kết hợp chặt chẽ giữa suy diễn toán học hình thức (Mathematical Deduction) và thực nghiệm định lượng trên các tập dữ liệu thực nghiệm quy mô lớn. Thiết kế nghiên cứu đa tầng (Multi-level Design) bao gồm:
- Cấp độ phần tử (Micro-level): Đỉnh $v \in V$, Cạnh $e \in E$, bậc $deg(v)$, các chỉ số $C_D(v), C_{Cl}(v), C_B(v)$.
- Cấp độ nhóm tương đương (Meso-level): Các siêu đỉnh (Super-nodes/Macro-vertices), các đồ thị rút gọn $G_{REG}$ và $G_{LREN}$.
- Cấp độ toàn cục (Macro-level): Phân vùng cộng đồng $C = {C_1, C_2, \dots, C_k}$, Tối ưu hóa đơn thể $Q$, Đo lường tương hỗ thông tin chuẩn hóa (Normalized Mutual Information - NMI).
Quy trình nghiên cứu (Rigorous Research Protocols)
+-------------------------------------------------------------------------------+
| QUY TRÌNH THỰC NGHIỆM VÀ THẨM ĐỊNH |
+-------------------------------------------------------------------------------+
| BƯỚC 1: TIỀN XỬ LÝ VÀ CHUẨN HÓA DỮ LIỆU |
| - Nhập đồ thị mạng xã hội từ SNAP / Benchmark Datasets |
| - Chuyển đổi về ma trận kề A = (A_ij) in {0, 1}^(nxn) và danh sách kề |
+-------------------------------------------------------------------------------+
|
v
+-------------------------------------------------------------------------------+
| BƯỚC 2: RÚT GỌN ĐỒ THỊ TỰ ĐỘNG |
| - Nhánh A: Áp dụng REG quét tìm đỉnh treo, đỉnh sườn, đỉnh đồng nhất |
| - Nhánh B: Áp dụng LREN xác định lân cận đồng nhãn ban đầu |
+-------------------------------------------------------------------------------+
|
v
+-------------------------------------------------------------------------------+
| BƯỚC 3: THI CÔNG THUẬT TOÁN PHÁT HIỆN CỘNG ĐỒNG |
| - Phân nhánh A: Thực thi FBC tính CB(e) -> CDAB cắt cạnh biên liên cụm |
| - Phân nhánh B: Thực thi LPAA lan truyền nhãn trên siêu đỉnh đồ thị rút gọn |
+-------------------------------------------------------------------------------+
|
v
+-------------------------------------------------------------------------------+
| BƯỚC 4: GIẢI NÉN VÀ ĐÁNH GIÁ CHẤT LƯỢNG |
| - Ánh xạ nhãn từ siêu đỉnh về toàn bộ tập đỉnh con V ban đầu |
| - Đo lường Modularity Q, NMI, F-measure, Thời gian chạy Execution Time (s) |
| - So sánh đối chuẩn với Girvan-Newman, Brandes, MAA (2018), LPA, OLP (2018) |
+-------------------------------------------------------------------------------+
Data và Phân tích kỹ thuật
Các tập dữ liệu thực nghiệm được phân loại thành hai nhóm chuẩn:
- Nhóm dữ liệu kinh điển có cấu trúc mặt đất (Ground-truth):
- Zachary Karate Club: 34 đỉnh, 78 cạnh (phân rã thành 2 nhóm do mâu thuẫn giữa Giám đốc John A và Huấn luyện viên Mr. Hi).
- Dolphin Social Network: 62 đỉnh, 159 cạnh.
- Santa Fe Institute (SFI): 118 đỉnh, 200 cạnh (mạng lưới đồng tác giả của các nhà khoa học).
- American College Football: 115 đỉnh, 613 cạnh.
- Đồ thị Kite (Krackhardt Kite Social Network): Đồ thị chuẩn mô tả sự khác biệt giữa các độ đo Degree, Closeness và Betweenness.
- Nhóm dữ liệu quy mô lớn từ Stanford SNAP:
- Ego-Facebook, Ego-Twitter, DBLP Collaboration Network, Amazon Product Network, Coauthorship Networks.
Hệ thống chỉ số đánh giá chất lượng phân vùng cộng đồng:
- Độ đo đơn thể Mô-đun $Q$ (Modularity): $$Q = \sum_{i=1}^k \left[ \frac{e_{ii}}{m} - \left( \frac{a_i}{2m} \right)^2 \right]$$ Trong đó $e_{ii}$ là tỷ lệ số cạnh nằm hoàn toàn trong cộng đồng $i$, $a_i$ là tổng bậc của các đỉnh thuộc cộng đồng $i$.
- Độ đo Thông tin Tương hỗ Chuẩn hóa (NMI - Normalized Mutual Information): Đánh giá mức độ trùng khớp giữa phân hoạch thuật toán tìm được ($A$) và cấu trúc thực tế ($B$): $$NMI(A, B) = \frac{-2 \sum_{i=1}^{C_A} \sum_{j=1}^{C_B} N_{ij} \log \left( \frac{N_{ij} \cdot N}{N_{i\cdot} N_{\cdot j}} \right)}{\sum_{i=1}^{C_A} N_{i\cdot} \log \left( \frac{N_{i\cdot}}{N} \right) + \sum_{j=1}^{C_B} N_{\cdot j} \log \left( \frac{N_{\cdot j}}{N} \right)}$$
- Độ đo F-measure: Trung bình điều hòa giữa độ chính xác (Precision) và độ thu hồi (Recall).
- Môi trường thực nghiệm: Ngôn ngữ lập trình C++/Python, thư viện phân tích đồ thị chuyên sâu NetworKit, chạy trên hệ thống máy chủ tính toán hiệu năng cao.
Phát hiện đột phá và implications
Những phát hiện then chốt
+---------------------------------------------------------------------------------------+
| BẢNG TỔNG HỢP CÁC ĐÓNG GÓP VÀ PHÁT HIỆN ĐỘT PHÁ CỦA LUẬN ÁN |
+-------------------+-----------------------------------+-------------------------------+
| Thuật toán | Cơ chế đột phá | Hiệu năng & Minh chứng số liệu|
+-------------------+-----------------------------------+-------------------------------+
| REG | Rút gọn đỉnh treo, đỉnh sườn, | Giảm 15% - 45% số đỉnh/cạnh; |
| (Chương 2) | đỉnh đồng nhất dựa trên Betweenness| Bảo toàn tuyệt đối thứ tự CB |
+-------------------+-----------------------------------+-------------------------------+
| LREN | Tích tụ đỉnh tương đương nhãn | Giảm 20% - 50% không gian nén;|
| (Chương 2) | trước khi lan truyền | Ổn định tính hội tụ nhãn |
+-------------------+-----------------------------------+-------------------------------+
| FBC | Tối ưu hóa BFS trên cấu trúc DAG | Nhanh hơn Brandes & NetworKit |
| (Chương 3) | của đồ thị đã rút gọn | từ 1.8x đến 4.2x thời gian |
+-------------------+-----------------------------------+-------------------------------+
| CDAB | Phân tách cộng đồng dựa trên cạnh | Vượt trội Girvan-Newman & MAA;|
| (Chương 3) | trung gian trên đồ thị rút gọn | Giữ vững Q cao nhất |
+-------------------+-----------------------------------+-------------------------------+
| LPAA | Lan truyền nhãn trên siêu đỉnh | Đạt độ phức tạp gần O(n); |
| (Chương 3) | và ánh xạ ngược | NMI và F-measure vượt OLP 2018|
+-------------------+-----------------------------------+-------------------------------+
-
Hiệu quả nén không gian vượt bậc của REG và LREN: Trên các tập dữ liệu mạng xã hội thực tế, thuật toán REG và LREN đã rút gọn từ 15% đến hơn 45% số lượng đỉnh và cạnh dư thừa mà không làm thay đổi đặc tính liên thông và cấu trúc biên của các cộng đồng chính.
-
Tăng tốc tính toán độ đo trung gian với FBC: Thực nghiệm so sánh thời gian tính toán độ đo trung tâm trung gian giữa thuật toán FBC đề xuất với thuật toán Brandes kinh điển và thư viện hiệu năng cao NetworKit cho thấy FBC giảm thời gian chạy từ 35% đến 65% trên các mạng quy mô vừa và lớn.
-
Chất lượng phát hiện cộng đồng của CDAB vượt trội Girvan-Newman và MAA:
"Đối với đồ thị liên thông, vô hướng và không trọng số $G = (V, E)$ thì thuật toán Brandes có độ phức tạp thời gian tính toán là $O(mn)$... Tổng thời gian chạy của thuật toán [Girvan-Newman] là $O(m^2n)$."
Thuật toán CDAB trên đồ thị rút gọn loại bỏ sự cần thiết phải tính lại $C_B(e)$ trên toàn bộ mạng sau mỗi bước xóa cạnh, giúp rút ngắn thời gian thực thi hàng chục lần so với Girvan-Newman gốc, đồng thời đạt hệ số đơn thể $Q$ tương đương hoặc cao hơn thuật toán MAA (2018).
-
Tính ổn định và chính xác của thuật toán LPAA so với LPA và OLP: LPAA khắc phục triệt để hiện tượng phân mảnh nhãn trên các cụm đỉnh con nhờ việc gom cụm trước bằng LREN. Điểm số NMI và F-measure của LPAA trên các tập dữ liệu chuẩn đều cao hơn đáng kể so với thuật toán OLP (2018) và LPA truyền thống, trong khi thời gian thực thi giảm mạnh do số vòng lặp hội tụ ít hơn.
Implications đa chiều
- Ý nghĩa lý thuyết: Xác lập mô hình toán học tích hợp giữa Lý thuyết Tương đương Cấu trúc (Structural Equivalence) và Lý thuyết Động lực học Mạng (Network Dynamics), chứng minh tính khả thi của việc giảm chiều dữ liệu đồ thị (Graph Dimensionality Reduction) mà không làm méo mó các đặc trưng phân cụm toàn cục.
- Ý nghĩa phương pháp luận: Mở ra khung quy trình 2 giai đoạn chuẩn mực cho khai phá đồ thị lớn: Tiền xử lý rút gọn bảo toàn topo $\to$ Thi công thuật toán phân tích chuyên sâu. Phương pháp này có thể tái sử dụng cho các bài toán phân tích mạng khác như dự đoán liên kết (Link Prediction) hay phân loại nút (Node Classification).
- Ứng dụng thực tiễn:
- Hệ thống khuyến nghị và Chăm sóc khách hàng: Nhận diện chính xác các phân khúc người dùng có cùng hành vi mua sắm hoặc sở thích trên các nền tảng thương mại điện tử để tối ưu hóa chiến dịch tiếp thị.
- An ninh mạng và Ngăn chặn thông tin độc hại: Khoanh vùng nhanh các cụm phát tán tin giả (Fake news), mã độc hoặc nội dung cực đoan trên mạng xã hội, hỗ trợ cơ quan quản lý ban hành cảnh báo sớm.
- Phân tích mạng y sinh: Nhận diện các mô-đun protein chức năng và cụm tương tác gen liên quan đến các bệnh lý phức tạp như Alzheimer và Parkinson.
Limitations và Future Research
Hạn chế nghiên cứu (Limitations)
- Ràng buộc về kiểu đồ thị: Các thuật toán đề xuất chủ yếu tập trung và kiểm chứng trên đồ thị đơn, vô hướng, không trọng số. Việc mở rộng sang đồ thị đa quan hệ (Multigraphs), đồ thị có trọng số biến thiên liên tục hoặc mạng không gian liên kết phức hợp (Multiplex Networks) vẫn đòi hỏi bổ sung các điều kiện toán học ngặt nghèo.
- Tính động của mạng (Temporal Dynamics): Các thuật toán hiện tại giả định đồ thị ở trạng thái tĩnh tại một thời điểm chụp (snapshot). Trong thực tế, mạng xã hội biến đổi liên tục với sự xuất hiện/biến mất của các đỉnh và cạnh theo thời gian thực (Streaming Graphs).
- Sự phụ thuộc cấu trúc topo: Tỷ lệ rút gọn của REG và LREN phụ thuộc vào mật độ xuất hiện của các lớp đỉnh tương đương (đỉnh treo, đỉnh sườn, đỉnh đồng nhất). Trên các đồ thị ngẫu nhiên dạng Erdős–Rényi có phân bổ bậc đồng đều, tỷ lệ rút gọn sẽ suy giảm.
Hướng nghiên cứu tương lai (Future Research Agenda)
- Phát triển thuật toán rút gọn trên Đồ thị động (Dynamic/Temporal Graph Reduction): Xây dựng cơ chế cập nhật cục bộ (incremental updates) cho các lớp đỉnh tương đương khi đồ thị thay đổi, tránh việc phải tính toán rút gọn lại từ đầu.
- Tích hợp với Học máy đồ thị (Graph Neural Networks - GNNs): Ứng dụng đồ thị rút gọn REG/LREN làm cấu trúc nén đầu vào (Graph Pooling / Coarsening) nhằm tăng tốc độ huấn luyện của các mô hình GCN, GAT trên đồ thị quy mô hàng tỷ nút.
- Mở rộng sang mạng xã hội có thuộc tính (Attributed Social Networks): Kết hợp cả cấu trúc liên kết và thông tin ngữ nghĩa văn bản của người dùng để định nghĩa các lớp đỉnh tương đương đa chiều.
- Phát triển thuật toán phân tán trên nền tảng Big Data: Cài đặt song song hóa REG, FBC, CDAB, LPAA trên các kiến trúc tính toán phân tán như Apache Spark GraphX hoặc môi trường GPU.
Tác động và ảnh hưởng
+-------------------------------------------------------------------------------+
| MA TRẬN TÁC ĐỘNG VÀ ẢNH HƯỞNG |
+-------------------------------------------------------------------------------+
| HỌC THUẬT (Academic Impact) |
| - Giải quyết nút thắt tính toán O(m^2n) trong phân tích mạng xã hội |
| - Công bố công trình trên các tạp chí và hội thảo uy tín chuyên ngành |
+-------------------------------------------------------------------------------+
|
v
+-------------------------------------------------------------------------------+
| CÔNG NGHIỆP & R&D (Industry Transformation) |
| - Ứng dụng trong Social Listening, Marketing Automation, Thương mại điện tử |
| - Tiết kiệm chi phí phần cứng và điện năng xử lý Big Data đồ thị |
+-------------------------------------------------------------------------------+
|
v
+-------------------------------------------------------------------------------+
| QUẢN TRỊ & XÃ HỘI (Policy & Societal Benefits) |
| - Hỗ trợ phòng chống tin độc hại, bảo đảm an ninh trật tự không gian mạng |
| - Mô hình hóa và kiểm soát đường lây truyền dịch bệnh trong y tế công cộng |
+-------------------------------------------------------------------------------+
- Tác động học thuật: Luận án đóng góp trực tiếp vào kho tàng thuật toán của chuyên ngành Hệ thống thông tin và Khoa học mạng (Network Science), cung cấp giải pháp mở rộng cho các bài toán NP-khó trên đồ thị thực tế.
- Chuyển đổi công nghiệp: Giúp các doanh nghiệp công nghệ thông tin và viễn thông tối ưu hóa tài nguyên phần cứng máy chủ khi phân tích tập dữ liệu lớn, rút ngắn thời gian xử lý các truy vấn phân tích mạng từ nhiều ngày xuống vài giờ.
- Ảnh hưởng chính sách và xã hội: Cung cấp công cụ phân tích cấu trúc mạng hiệu quả phục vụ công tác giám sát thông tin truyền thông, phát hiện các chiến dịch thao túng dư luận, hỗ trợ các cơ quan quản lý nhà nước ra quyết định dựa trên bằng chứng dữ liệu.
Đối tượng hưởng lợi
- Nghiên cứu sinh và Giới học thuật: Tiếp cận một khung lý thuyết rút gọn đồ thị bài bản, sử dụng mã nguồn thuật toán FBC, CDAB, LPAA làm cơ sở đối chuẩn (baseline) cho các nghiên cứu chuyên sâu về lý thuyết đồ thị và khoa học dữ liệu.
- Chuyên gia R&D Công nghệ thông tin & AI: Tích hợp trực tiếp các giải thuật rút gọn vào các hệ thống khai phá dữ liệu lớn (Data Mining), công cụ Social Listening, công cụ phân tích quan hệ khách hàng (CRM) và hệ thống gợi ý sản phẩm.
- Kỹ sư An toàn thông tin và An ninh mạng: Vận dụng giải thuật để xây dựng hệ thống phát hiện sớm các chiến dịch tấn công mạng dạng phân tán, phát hiện cấu trúc điều khiển của mạng máy tính ma (Botnet).
- Nhà hoạch định chính sách và Cơ quan quản lý: Khai thác các mô hình phát hiện cộng đồng để thấu hiểu dòng chảy thông tin xã hội, phân tích dư luận và quản trị truyền thông số hiệu quả.
Câu hỏi chuyên sâu
1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và mở rộng lý thuyết nào?
Đóng góp lý thuyết độc đáo nhất là Lý thuyết phân hoạch lớp đỉnh tương đương bảo toàn độ đo trung gian và nhãn topo, mở rộng trực tiếp Lý thuyết Vị thế Cấu trúc (Structural Centrality) của Freeman (1977) và Lý thuyết Lan truyền Trạng thái của Raghavan (2007). Luận án đã chứng minh toán học rằng việc gộp các đỉnh treo, đỉnh sườn và đỉnh đồng nhất thành các siêu đỉnh không làm thay đổi các đường trắc địa cốt lõi đi qua mạng, giải quyết triệt để sự dư thừa dữ liệu trong các mạng tự do (Scale-free networks).
2. Đột phá phương pháp luận của luận án khi so sánh với ít nhất 2 nghiên cứu quốc tế?
So với thuật toán MAA (Majid Arasteh & Alizadeh, 2018 - vốn chỉ tập trung cải tiến việc xóa nhiều cạnh đồng thời với độ phức tạp $O(m^2)$ trên đồ thị nguyên bản), thuật toán CDAB của luận án thực hiện rút gọn đồ thị trước (bằng REG), giúp giảm mạnh số cạnh và đỉnh cần duyệt, đạt thời gian thực thi nhanh hơn rõ rệt. So với OLP (Matin Pirouz et al., 2018 - thuật toán tối ưu hóa lan truyền nhãn nhưng vẫn chạy trên toàn bộ không gian đỉnh), thuật toán LPAA nén không gian bằng LREN, giải quyết hiện tượng dao động nhãn tại các đỉnh biên, đạt chỉ số NMI và F-measure cao hơn trên các tập dữ liệu SNAP.
3. Phát hiện bất ngờ nhất từ dữ liệu thực nghiệm là gì?
Phát hiện bất ngờ nhất là trên các mạng xã hội thực tế, số lượng đỉnh treo và đỉnh sườn chiếm tỷ trọng từ 15% đến 45% tổng số đỉnh của mạng lưới. Việc loại bỏ và gộp nhóm các đỉnh này không những không làm suy giảm hệ số đơn thể $Q$ mà trong nhiều trường hợp còn làm tăng độ tách biệt giữa các cộng đồng, loại bỏ các kết nối nhiễu ngoại vi vốn làm sai lệch kết quả của các thuật toán phân cụm truyền thống.
4. Luận án có cung cấp giao thức tái lập thực nghiệm (Replication Protocol) không?
Có. Luận án mô tả chi tiết giả mã (pseudocode) của 5 thuật toán đề xuất (REG, LREN, FBC, CDAB, LPAA), xác định rõ cấu trúc dữ liệu đầu vào (ma trận liền kề, danh sách kề), ngưỡng tham số hội tụ, và sử dụng các tập dữ liệu mở chuẩn quốc tế từ SNAP và các kho dữ liệu kinh điển (Karate, SFI, Dolphins), đảm bảo tính tái lập hoàn toàn (full reproducibility) trong môi trường thực nghiệm độc lập.
5. Lộ trình nghiên cứu 10 năm được phác thảo từ công trình này như thế nào?
Lộ trình phát triển bao gồm ba giai đoạn chiến lược:
- Giai đoạn 1 (1-3 năm): Mở rộng khung thuật toán sang đồ thị động (Dynamic Graphs) và đồ thị có hướng/trọng số.
- Giai đoạn 2 (4-6 năm): Tích hợp cơ chế rút gọn đồ thị vào các tầng kiến trúc mạng nơ-ron đồ thị sâu (Deep Graph Neural Networks - GNNs) để xử lý đồ thị quy mô hàng chục tỷ kết nối.
- Giai đoạn 3 (7-10 năm): Ứng dụng toàn diện trong các hệ thống trí tuệ nhân tạo nhận thức (Cognitive AI), mô phỏng mạng lưới não bộ và giải quyết các bài toán sinh học phân tử quy mô lớn.
Kết luận
Luận án tiến sĩ của tác giả Nguyễn Xuân Dũng là một công trình nghiên cứu công phu, giải quyết xuất sắc bài toán then chốt trong lĩnh vực Hệ thống thông tin và Phân tích mạng xã hội.
Năm đóng góp cụ thể, nổi bật bao gồm:
- Xây dựng cơ sở lý thuyết toán học vững chắc về các lớp đỉnh tương đương topo (đỉnh treo, đỉnh sườn, đỉnh đồng nhất) trên đồ thị mạng xã hội.
- Đề xuất thuật toán REG và LREN cho phép rút gọn kích thước đồ thị mạng xã hội hiệu quả mà vẫn bảo toàn các đặc trưng cấu trúc cốt lõi.
- Đề xuất thuật toán FBC tăng tốc độ tính toán độ đo trung tâm trung gian, vượt trội so với giải thuật Brandes kinh điển và thư viện NetworKit.
- Phát triển thuật toán phát hiện cộng đồng CDAB trên đồ thị rút gọn, tối ưu hóa triệt để thời gian chạy so với họ thuật toán Girvan-Newman và MAA.
- Phát triển thuật toán LPAA phát hiện cộng đồng nhanh theo nguyên lý lan truyền nhãn trên đồ thị rút gọn, nâng cao độ chính xác $Q$, NMI và tính ổn định so với LPA và OLP.
Công trình tạo ra bước chuyển đổi phương pháp luận (Methodological Paradigm Shift) từ phân tích đồ thị trực tiếp sang phân tích trên không gian rút gọn bảo toàn topo, mở ra ba hướng nghiên cứu lớn về đồ thị động, học máy đồ thị và phân tích mạng y sinh phức tạp, khẳng định giá trị học thuật bền vững và khả năng ứng dụng thực tiễn to lớn trong kỷ nguyên dữ liệu lớn.
Trích đoạn nội dung luận án
Tải xuống để đọc toàn bộBỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG NGUYỄN XUÂN DŨNG NGHIÊN CỨU CÁC THUẬT TOÁN RÚT GỌN ĐỒ THỊ VÀ ỨNG DỤNG ĐỂ PHÁT HIỆN CỘNG ĐỒNG TRÊN MẠNG XÃ HỘI LUẬN ÁN TIẾN SĨ HỆ THỐNG THÔNG TIN HÀ NỘI - 2021 BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG NGUYỄN XUÂN DŨNG NGHIÊN CỨU CÁC THUẬT TOÁN RÚT GỌN ĐỒ THỊ VÀ ỨNG DỤNG ĐỂ PHÁT HIỆN CỘNG ĐỒNG TRÊN MẠNG XÃ HỘI CHUYÊN NGÀNH : HỆ THỐNG THÔNG TIN MÃ SỐ: 9.04 LUẬN ÁN TIẾN SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC: 1.TS Đoàn Văn Ban 2. Đỗ Thị Bích Ngọc HÀ NỘI - 2021 LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong luận án là trung thực và chưa từng được công bố trong bất cứ công trình nào. TÁC GIẢ Nguyễn Xuân Dũng LỜI CẢM ƠN Qua luận án này tôi xin chân thành cảm ơn PGS.TS Đoàn Văn Ban và TS.
Đỗ Thị Bích Ngọc đã tận tình giúp đỡ, động viên, định hướng, hướng dẫn tôi nghiên cứu và hoàn thành luận án này. Tôi xin chân thành cảm ơn các Thầy, Cô giáo trong Học viện Công nghệ Bưu chính Viễn thông đã tận tình giảng dạy và giúp đỡ tôi trong suốt khóa học. Tôi cũng xin cảm ơn PGS.TS Lê Nhật Thăng - Trưởng Khoa Đào tạo Sau Đại học của Học viện công nghệ bưu chính viễn thông, TS. Nguyễn Duy Phương - Trưởng Khoa Công nghệ thông tin của Học viện công nghệ bưu chính viễn thông và PGS.TS Phạm Thọ Hoàn - Giám đốc Trung tâm Khoa học Tính toán của Trường Đại học Sư phạm Hà Nội đã giúp đỡ tôi trong quá trình thực hiện luận án.
Tác giả chân thành mong nhận được những ý kiến đóng góp từ các Thầy, Cô giáo, các nhà khoa học và bạn bè đồng nghiệp. i MỤC LỤC MỤC MỤC. i DANH MỤC CÁC CHỮ VIẾT TẮT. iv DANH MỤC CÁC KÍ HIỆU TOÁN HỌC.
v DANH MỤC CÁC THUẬT NGỮ. vi DANH MỤC HÌNH VẼ.viii DANH MỤC CÁC BẢNG. ix MỞ ĐẦU. Tính cấp thiết của luận án.
Mục tiêu của luận án. Đối tượng nghiên cứu của luận án. Phạm vi nghiên cứu của luận án. Phương pháp nghiên cứu của luận án.
Các đóng góp của luận án. Bố cục của luận án. TỔNG QUAN RÚT GỌN ĐỒ THỊ VÀ PHÁT HIỆN CỘNG ĐỒNG TRÊN MẠNG XÃ HỘI. Một số hệ số đo quan trọng trên đồ thị mạng xã hội.
Hệ số cố kết mạng. Các hệ số đo tính trung tâm của tác nhân. Bài toán phát hiện cộng đồng mạng xã hội. Cộng đồng mạng xã hội.
Các thuật toán phát hiện cộng đồng mạng xã hội. Bài toán rút gọn đồ thị. Sự cần thiết phải rút gọn đồ thị mạng xã hội. Các thuật toán rút gọn đồ thị.
Các độ đo đánh giá thuật toán phát hiện cộng đồng mạng xã hội …………… 38 ii 1. Độ đo đơn thể mô đun Q. Độ đo dựa trên lý thuyết thông tin. Kết luận chương 1.
THUẬT TOÁN RÚT GỌN ĐỒ THỊ MẠNG XÃ HỘI DỰA VÀO ĐỘ ĐO TRUNG TÂM TRUNG GIAN VÀ NGUYÊN LÝ LAN TRUYỀN NHÃN ……43 2. Các tính chất của độ đo trung tâm trung gian trên đồ thị mạng xã hội. Các lớp đỉnh treo tương đương. Các lớp đỉnh sườn tương đương.
Các lớp đỉnh đồng nhất tương đương. Thuật toán rút gọn đồ thị dựa vào độ đo trung tâm trung gian. Thuật toán rút gọn đồ thị dựa vào nguyên lý lan truyền nhãn. Thuật toán lan truyền nhãn.
Thuật toán rút gọn đồ thị dựa vào nguyên lý lan truyền nhãn ……. Thực nghiệm và đánh giá. Bộ dữ liệu. Cài đặt thực nghiệm.
Kết quả thực nghiệm. Kết luận chương 2. ÁP DỤNG THUẬT TOÁN RÚT GỌN ĐỒ THỊ ĐỂ PHÁT HIỆN CỘNG ĐỒNG TRÊN MẠNG XÃ HỘI. Thuật toán tính nhanh độ đo trung tâm trung gian trên đồ thị mạng xã hội rút gọn.
Duyệt đồ thị theo chiều rộng. Thuật toán tính nhanh độ đo trung tâm trung gian. Thuật toán phát hiện cộng đồng mạng xã hội trên đồ thị rút gọn dựa vào độ đo trung tâm trung gian…. Thuật toán lan truyền nhãn phát hiện cộng đồng trên đồ thị mạng xã hội rút gọn.
Thực nghiệm và đánh giá. Cài đặt thực nghiệm. Đánh giá thực nghiệm. Kết luận chương 3.
101 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN.102 DANH MỤC CÁC CÔNG TRÌNH CÓ LIÊN QUAN ĐẾN LUẬN ÁN.104 TÀI LIỆU THAM KHẢO.105 iv DANH MỤC CÁC CHỮ VIẾT TẮT TỪ VIẾT TẮT DẠNG ĐẦY ĐỦ BIRCH Balanced iterative regucing and clustering using hierarchies BFS Breadth first search CDAB Community detection algorithm based on betweenness DAG Directed acyclic graph EBC Edge betweenness centrality EAGLE Agglomerative hierarchical clustering based on maximal clique ELPA Edge label propagation algorithm EMLPA Balanced multi labed propagation FBC Fast algorithm for betweenness centrality FFS Forest Fire Sampling GN Girvan-Newman HLPA Hybrid label propagation algorithm LREN Label based reduce equivalence nodes LPA Label propagation algorithm LPAA Label propagation algorithm on abridged graph MAA Majid Arasteh and Alizadeh NMI Normal mutual information OLP Optimized label propagation RE Random Edge Sampling RNE Random Node - Edge Sampling REG Reduce equivalence graph SES Snowball Expansion Sampling SN Social network SNA Social network analysis SNAP Stanford large network dataset collection v DANH MỤC CÁC KÝ HIỆU TOÁN HỌC KÝ HIỆU Ý NGHĨA A"# Ma trận liền kề d(x, y) Khoảng cách giữa đỉnh x và y G Đồ thị V Tập đỉnh E Tập cạnh D% Hệ số cố kết của đồ thị G CD(v) Hệ số trung tâm trực tiếp của đỉnh v deg(v) Số bậc của đỉnh v R Tập số nguyên CCl(v) Hệ số trung tâm lân cận của đỉnh v σ'( Số đường đi ngắn nhất đi v đến t CB(v) Độ đo trung tâm trung gian của đỉnh v d" Bậc của đỉnh i d# Bậc của đỉnh j G(u) Tập các đỉnh liền kề với u và kể cả u DAGX Đồ thị định hướng, phi chu trình gốc X n Số đỉnh của đồ thị k Bậc của đỉnh L(u) Nhãn của đỉnh u L(v) Nhãn của đỉnh v vi DANH MỤC CÁC THUẬT NGỮ THUẬT NGỮ TIẾNG ANH THUẬT NGỮ TIẾNG VIỆT Betweenness centrality Độ đo trung tâm trung gian Breadth first search Duyệt theo chiều rộng Closeness centrality Hệ số trung tâm lân cận Computer vision Thị giác máy tính Communication network Mạng truyền thông Communities detection Phát hiện cộng đồng Community social Cộng đồng mạng xã hội Cyclic workflow graph Quy trình nghiệp vụ theo chu kỳ Degree centrality Hệ số trung tâm trực tiếp Density Cohesion Hệ số cố kết Edge sampling Phát hiện mẫu cạnh Evolutionary algorithms Thuật toán tiến hóa Extremal Optimisation Tối ưu hóa mở rộng Graph clustering Phân cụm theo đồ thị Graph partitioning Phân cụm theo đồ thị Greedy techniques Tìm kiếm tham lam Hierarchical Agglomerative Clustering Phân cụm phân cấp Identical vertex Đỉnh đồng nhất Indexing and retrieval Lập chỉ mục và hệ thống tìm kiếm Image restoration Phục hồi hình ảnh Information theoretic Lý thuyết thông tin Label Propagation Algorithm Thuật toán lan truyền nhãn Leaf vertex Đỉnh treo Markov chain model-reduction problem Rút gọn mô hình chuỗi Markov Modularity Optimisation Based Thuật toán phát hiện cấu trúc cộng Community Detection Techniques đồng dựa trên tối ưu hóa mô đun Pair-counting Tính toán cặp vii Partitional clustering Phân cụm phân hoạch Sampling from large graphs Phát hiện mẫu trong các đồ thị lớn Semantic graph Đồ thị ngữ nghĩa Set-matching based Độ trùng cặp Side vertex Đỉnh sườn Simulated annealing Mô phỏng luyện kim Social Networks Mạng xã hội Social Network Analysis Phân tích mạng xã hội Social Network community Cộng đồng mạng xã hội Spectral clustering Phân cụm theo phổ Structural conflicts Xung đột cấu trúc Structural features Đặc trưng cấu trúc mạng Text summarization Tóm tắt văn bản Traditional Community Detection Thuật toán phát hiện cấu trúc cộng Techniques đồng truyền thống Traversal - based sampling Phát hiện mẫu dựa trên truyền tải Vertex sampling Phát hiện mẫu đỉnh Workflow management system Hệ thống quản lý luồng công việc viii DANH MỤC HÌNH VẼ Hình 1. Cộng đồng mạng lưới các nhà khoa học làm việc tại viện Santa Fe…. Đồ thị vô hướng liên thông G…………………………………………. Đồ thị G1 kết hợp các đỉnh treo tương đương ………………………….
Minh họa các mạng xã hội xuất hiện nhiều đỉnh treo…. Đồ thị G có các đỉnh sườn tương đương ………………………………. Đồ thị mạng xã hội câu lạc bộ Karate của Zachary xuất hiện nhiều đỉnh sườn ………………………………………………………………………………. Đồ thị G2 được rút gọn bằng cách kết hợp đỉnh 1 và 2 thành đỉnh sườn S’1, còn đỉnh 6 và 8 kết hợp thành S’2………………………………………………….
Đồ thị G3 sau khi kết hợp các đỉnh đồng nhất tương đương……………. Đồ thị mạng xã hội Kite…………………………………………………62 Hình 2. Đồ thị mạng xã hội Kite rút gọn……………. Đồ thị mạng xã hội G ………………………………………………….
Đồ thị G1 rút gọn các đỉnh tương đương từ G …………………………70 Hình 3. Các cấu trúc cộng đồng của đồ thị mạng xã hội Kite….85 ix DANH MỤC CÁC BẢNG Bảng 1. Một số thuật toán phổ biến phát hiện cộng đồng mạng xã hội ………. Độ đo trung tâm trung gian của các đỉnh trên đồ thị mạng xã hội Kite…………………………………………………………………………………63 Bảng 2.
Bảng các bộ dữ liệu thuộc nhóm thứ nhất ……………………………. Số lượng đỉnh và cạnh của đồ thị mạng xã hội rút gọn bởi thuật toán REG………………. Tỷ lệ rút gọn đồ thị bởi thuật toán REG………………. Số lượng đỉnh và cạnh của đồ thị mạng xã hội rút gọn bởi thuật toán LREN……………….
Tỷ lệ rút gọn bởi thuật toán LREN………………. Bảng các bộ dữ liệu thuộc nhóm thứ hai ………………………………. Bảng thời gian tính toán độ đo trung tâm trung gian của thuật toán đề xuất FBC với thuật toán Brandes trên đồ thị mạng xã hội ………………………………92 Bảng 3. Bảng thời gian tính toán độ đo trung tâm trung gian của thuật toán đề xuất FBC với NetworKit trên đồ thị mạng xã hội ………………………………………93 Bảng 3.
Số cộng đồng phát hiện bởi thuật toán GN, CDAB, LPA và LPAA……94 Bảng 3. Kết quả so sánh thuật toán GN, CDAB, LPA và LPAA về thời gian thực hiện …. Kết quả so sánh thuật toán GN, CDAB, LPA và LPAA về chất lượng cộng đồng thông qua độ đo đơn thể mô đun Q …………………………………………. Kết quả so sánh thuật toán GN, CDAB, LPA và LPAA về chất lượng cộng đồng NMI ………………………………………………………………………….
Kết quả so sánh thuật toán GN, CDAB, LPA và LPAA về chất lượng cộng đồng F-measure……………………………………………………………………. Kết quả so sánh thuật toán CDAB và MAA về chất lượng cộng đồng thông qua độ đo đơn thể mô đun Q………………………………………………. Kết quả so sánh thuật toán LPAA và OLP về chất lượng cộng đồng NMI…………………………. Tính cấp thiết của luận án Trong vài thập kỷ gần đây, các mạng xã hội (SN - Social Networks) đã trở nên phổ biến và thu hút được sự chú ý của các nhà khoa học thuộc các ngành khác nhau, như xã hội học, dịch tễ học, kinh tế, khoa học máy tính, viễn thông và nhiều ngành khác.
Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ
Trích dẫn luận án này
Nguyễn Xuân Dũng (2021). Luận án tiến sĩ nghiên cứu các thuật toán rút gọn đồ thị và [Luận án tiến sĩ, Học viện Công nghệ Bưu chính Viễn thông]. LuanAn.net. https://luanan.net/tai-lieu-khac/luan-an-tien-si-nghien-cuu-cac-thuat-toan-rut-gon-do-thi-va-ung-dung-de-phat-hien-cong-dong-tren-mang-xa-hoi
Câu hỏi thường gặp
Luận án "Luận án tiến sĩ nghiên cứu các thuật toán rút gọn đồ thị và" nghiên cứu về vấn đề gì?
Luận án: Luận án tiến sĩ nghiên cứu các thuật toán rút gọn đồ thị và ứng dụng để phát hiện cộng đồng trên mạng xã hội. Xem tóm tắt và tải về tại LuanAn.net
Luận án "Luận án tiến sĩ nghiên cứu các thuật toán rút gọn đồ thị và" được bảo vệ tại trường nào?
Luận án này được bảo vệ tại Học viện Công nghệ Bưu chính Viễn thông. Năm bảo vệ: 2021.
Luận án "Luận án tiến sĩ nghiên cứu các thuật toán rút gọn đồ thị và" thuộc chuyên ngành gì?
Luận án "Luận án tiến sĩ nghiên cứu các thuật toán rút gọn đồ thị và" thuộc chuyên ngành Hệ thống thông tin. Danh mục: Tài liệu khác.
Luận án "Luận án tiến sĩ nghiên cứu các thuật toán rút gọn đồ thị và" có bao nhiêu trang?
Luận án "Luận án tiến sĩ nghiên cứu các thuật toán rút gọn đồ thị và" có 130 trang. Bạn có thể xem trước một phần tài liệu ngay trên trang web trước khi tải về.
Cách tải luận án "Luận án tiến sĩ nghiên cứu các thuật toán rút gọn đồ thị và" về máy như thế nào?
Để tải luận án về máy, bạn nhấn nút "Tải xuống ngay" trên trang này, sau đó hoàn tất thanh toán phí lưu trữ. File sẽ được tải xuống ngay sau khi thanh toán thành công. Hỗ trợ qua Zalo: 0559 297 239.