Luận án tiến sĩ: Khám phá tri thức dữ liệu mạng & bảo mật bởi Kendall Giles
Luận án tiến sĩ khám phá tri thức từ dữ liệu mạng máy tính, với trọng tâm bảo mật. Đề xuất giải pháp mới phát hiện mối đe dọa, tăng cường an ninh mạng.
Năm xuất bản
Số trang
190
Thời gian đọc
29 phút
Lượt xem
1
Lượt tải
0
Phí lưu trữ
50 Point
Tổng quan nhanh
- Chủ đề:
- Khám phá Tri Thức Dữ Liệu Mạng: Góc Nhìn Bảo Mật
- Số trang:
- 190 trang
- Trường:
- The Johns Hopkins University
- Chuyên ngành:
- An ninh mạng
- Tác giả:
- Kendall E. Giles
- Năm:
- 2006
Tóm tắt nội dung luận án
I.Khám phá Tri Thức Dữ Liệu Mạng Góc Nhìn Bảo Mật
Phân tích dữ liệu mạng là trọng tâm của an ninh mạng. Mục đích chính bao gồm nhận diện mối đe dọa hiện có và khám phá những rủi ro mới. Đây là nền tảng cho chiến lược bảo vệ hệ thống. Các nhà nghiên cứu liên tục tìm kiếm phương pháp cải tiến. Nhu cầu này thúc đẩy sự phát triển của các kỹ thuật phân tích tiên tiến. An ninh thông tin phụ thuộc vào khả năng hiểu dữ liệu mạng. Tóm tắt này trình bày một khung mới để khám phá tri thức từ dữ liệu mạng. Khung này giúp cải thiện khả năng phát hiện các mối đe dọa. Nó mang lại những đóng góp cả về lý thuyết và thực tiễn. Kết quả được thảo luận trong bối cảnh các phương pháp truyền thống.
1.1. Mục đích phân tích dữ liệu mạng bảo mật
Phân tích dữ liệu mạng được thực hiện vì hai mục đích chính. Một là phát hiện các cấu trúc đã biết. Hai là nhận diện các cấu trúc chưa từng được biết đến trước đây. Ví dụ, việc lọc lưu lượng mạng để tìm virus đã xác định là một quy trình tiêu chuẩn. Điều này nhằm ngăn chặn lây nhiễm và giảm sự lây lan. Khả năng phát hiện sớm là yếu tố then chốt trong an ninh mạng.
1.2. Phát hiện cấu trúc đã biết ví dụ virus
Việc phát hiện các cấu trúc đã biết trong dữ liệu mạng là một nhiệm vụ cơ bản. Các hệ thống bảo mật thường quét lưu lượng để tìm dấu hiệu của mã độc. Điều này bao gồm các loại virus đã được xác định. Mục tiêu là ngăn chặn chúng xâm nhập và lây lan trong mạng. Phương pháp này dựa trên các mẫu và chữ ký đã có sẵn. Nó giúp bảo vệ mạng khỏi những mối đe dọa quen thuộc và đã được ghi nhận.
1.3. Khám phá cấu trúc chưa biết ví dụ xâm nhập
Khám phá cấu trúc chưa biết là một khía cạnh quan trọng khác. Các nhà nghiên cứu an ninh tìm kiếm mối quan hệ hoặc cấu trúc mới trong tập dữ liệu. Ví dụ điển hình là các cuộc xâm nhập mạng bởi tin tặc bên ngoài. Những hành vi này thường không có chữ ký rõ ràng. Việc phát hiện chúng đòi hỏi kỹ thuật phân tích sâu hơn. Mục tiêu là nhận diện các mối đe dọa mới, chưa từng thấy trước đây. Khám phá tri thức dữ liệu mạng giúp làm được điều này.
II.Hạn Chế Phân Tích Dữ Liệu Mạng Truyền Thống
Phương pháp phân tích dữ liệu mạng truyền thống đối mặt với nhiều hạn chế. Những phương pháp này không còn phù hợp với bối cảnh dữ liệu hiện đại. Chúng không thể xử lý hiệu quả khối lượng lớn lưu lượng mạng. Các hạn chế này làm giảm khả năng bảo mật tổng thể. Nhu cầu về một khung phân tích mạnh mẽ hơn là cấp thiết. Việc này giúp cải thiện khả năng phát hiện mối đe dọa. Dữ liệu mạng ngày càng phức tạp, đặt ra nhiều thách thức mới.
2.1. Xử lý lượng lớn lưu lượng mạng
Các phương pháp truyền thống không đủ khả năng xử lý khối lượng lớn lưu lượng mạng. Dữ liệu mạng tăng lên theo cấp số nhân mỗi ngày. Điều này khiến việc phân tích thủ công trở nên bất khả thi. Các hệ thống cũ thường bị quá tải. Khó khăn này cản trở việc giám sát an ninh mạng liên tục. Cần có giải pháp xử lý dữ liệu lớn hiệu quả hơn.
2.2. Khó khăn khám phá cấu trúc cục bộ
Phương pháp truyền thống không cho phép khám phá các cấu trúc cục bộ. Những cấu trúc nhỏ, tinh vi thường chứa dấu hiệu của các cuộc tấn công mới. Việc bỏ qua chúng làm giảm hiệu quả phát hiện. Điều này khiến các mối đe dọa tiềm ẩn không được nhận diện. Cần một phương pháp có khả năng nhìn sâu vào chi tiết dữ liệu.
2.3. Trực quan hóa dữ liệu đa chiều kém hiệu quả
Dữ liệu mạng thường có tính đa chiều cao. Phương pháp truyền thống trực quan hóa dữ liệu này kém hiệu quả. Chúng không thể trình bày thông tin một cách có ý nghĩa. Việc thiếu khả năng trực quan hóa cản trở việc hiểu sâu dữ liệu. Người dùng không thể dễ dàng tương tác với kết quả phân tích. Điều này giới hạn khả năng phát hiện dị thường và hành vi đáng ngờ.
III.Khung Phân Tích Mới Iterative Denoising
Nghiên cứu này trình bày một khung mới để phân tích dữ liệu lưu lượng mạng. Khung này giải quyết các câu hỏi quan trọng trong khám phá tri thức dữ liệu. Nó tập trung vào việc xử lý dữ liệu đa chiều và khả năng mở rộng. Khung Iterative Denoising cung cấp các công cụ cần thiết. Điều này giúp phát hiện cấu trúc mạng một cách hiệu quả hơn. Nó cũng cho phép người dùng tham gia vào quá trình tìm kiếm. Khung này mang lại những cải tiến đáng kể so với phương pháp cũ. Mục tiêu là tạo ra một công nghệ thống nhất cho an ninh mạng.
3.1. Đại diện dữ liệu mạng trong không gian đa chiều
Khung mới sử dụng Laplacian đồ thị chuẩn hóa. Điều này giúp biểu diễn lưu lượng mạng trong không gian đa chiều. Biểu diễn này cho phép phân tích mối quan hệ phức tạp. Nó tạo cơ sở cho việc phát hiện các mẫu ẩn. Dữ liệu được cấu trúc lại một cách hiệu quả để phân tích. Việc này là bước đầu tiên quan trọng trong quá trình khám phá tri thức.
3.2. Trích chọn đặc trưng từ dữ liệu luồng
Khung này sử dụng kỹ thuật trích chọn đặc trưng dựa trên luồng. Các đặc trưng được rút ra từ dữ liệu luồng mạng. Điều này giúp loại bỏ nhiễu và tập trung vào thông tin cốt lõi. Chất lượng dữ liệu đầu vào được nâng cao đáng kể. Kỹ thuật này cải thiện độ chính xác của quá trình phát hiện. Dữ liệu luồng cung cấp ngữ cảnh phong phú cho phân tích an ninh mạng.
3.3. Trực quan hóa cấu trúc dữ liệu ít chiều
Laplacian Eigenmaps được sử dụng để nhúng biểu diễn đa chiều vào không gian ít chiều. Sau đó, Fiedler Space projections trực quan hóa các cấu trúc này. Điều này tạo ra hình ảnh trực quan dễ hiểu cho người dùng. Khả năng tương tác trong quá trình tìm kiếm được cải thiện đáng kể. Khung cũng giải quyết các vấn đề về khả năng mở rộng. Điều này được thực hiện thông qua tính toán gần đúng của khoảng cách và phân vùng dữ liệu. Người dùng có thể tham gia vào các vòng lặp khử nhiễu để tinh chỉnh kết quả.
IV.Ứng Dụng Iterative Denoising trong An Ninh Mạng
Khung Iterative Denoising đã được phân tích và kiểm thử rộng rãi. Nó cho thấy tiềm năng lớn trong nhiều ứng dụng an ninh mạng. Công nghệ này có thể áp dụng cho các loại dữ liệu khác nhau. Điều này bao gồm dữ liệu xâm nhập, dữ liệu backscatter và dữ liệu ứng dụng. Khung cung cấp cái nhìn sâu sắc về các mối đe dọa. Nó hỗ trợ các nhóm bảo mật trong việc ra quyết định. Khả năng ứng dụng rộng rãi là một lợi thế quan trọng của phương pháp này. Nó góp phần vào một hệ thống giám sát an ninh mạng toàn diện.
4.1. Phân tích dữ liệu xâm nhập mạng
Khung Iterative Denoising được áp dụng để phân tích dữ liệu xâm nhập mạng. Nó giúp phát hiện các hành vi bất thường và tấn công từ bên ngoài. Khả năng này rất quan trọng để bảo vệ hệ thống. Khung có thể nhận diện các mẫu xâm nhập phức tạp. Điều này cung cấp thông tin kịp thời cho đội ngũ an ninh. Nó tăng cường khả năng phản ứng với các mối đe dọa.
4.2. Khám phá dữ liệu backscatter
Nghiên cứu cũng ứng dụng khung này cho dữ liệu backscatter. Dữ liệu backscatter thường liên quan đến các cuộc tấn công DDoS. Phân tích này giúp hiểu rõ hơn về nguồn gốc và đặc điểm của cuộc tấn công. Nó cung cấp cái nhìn sâu sắc về chiến thuật của kẻ tấn công. Điều này hỗ trợ các biện pháp phòng chống tấn công mạng hiệu quả hơn.
4.3. Đánh giá dữ liệu ứng dụng mạng
Ngoài ra, khung còn được sử dụng để phân tích dữ liệu ứng dụng mạng. Nó giúp nhận diện hành vi bất thường của ứng dụng. Điều này có thể chỉ ra lỗ hổng bảo mật hoặc hoạt động độc hại. Việc hiểu rõ dữ liệu ứng dụng là rất quan trọng. Nó góp phần vào một chiến lược an ninh thông tin toàn diện và chủ động. Khung giúp đưa ra các đánh giá chính xác.
V.Lợi ích Phương Pháp Iterative Denoising
Phương pháp Iterative Denoising mang lại nhiều lợi ích. Nó được coi là một công nghệ thống nhất tiềm năng. Điều này áp dụng cho các nhóm bảo vệ, phát hiện và phản ứng. Các nhóm này thường phối hợp xung quanh một hệ thống giám sát an ninh mạng. Khung này cung cấp khả năng trực quan hóa và phân loại độc đáo. Nó xử lý hiệu quả các tập dữ liệu mạng phức tạp. Những lợi ích này nhấn mạnh đóng góp của nghiên cứu. Nó tạo ra một nền tảng vững chắc cho an ninh mạng hiện đại.
5.1. Công nghệ thống nhất bảo vệ phát hiện
Iterative Denoising có tiềm năng trở thành công nghệ thống nhất. Công nghệ này hỗ trợ các nhóm bảo vệ và phát hiện. Nó cung cấp một nền tảng chung cho các hoạt động an ninh mạng. Điều này giúp tăng cường khả năng phản ứng và ngăn chặn mối đe dọa. Khả năng tích hợp cao là một lợi thế lớn.
5.2. Hỗ trợ nhóm điều phối giám sát an ninh
Phương pháp này hỗ trợ các nhóm điều phối giám sát an ninh mạng. Nó cải thiện khả năng tương tác và trực quan hóa dữ liệu. Điều này giúp các nhóm đưa ra quyết định nhanh chóng. Việc phối hợp giữa các bộ phận trở nên hiệu quả hơn. An ninh thông tin được đảm bảo chặt chẽ hơn.
5.3. Trực quan hóa phân loại tập dữ liệu phức tạp
Lợi ích chính của Iterative Denoising là khả năng trực quan hóa và phân loại. Nó xử lý hiệu quả các tập dữ liệu mạng đa chiều. Điều này bao gồm dữ liệu không giám sát và không đồng nhất. Khả năng này vượt trội so với phương pháp truyền thống. Nó mang lại cái nhìn rõ ràng hơn về tình hình an ninh mạng. Điều này rất quan trọng để phát hiện các mối đe dọa tinh vi.
Mục lục chi tiết luận án
Tải xuống file đầy đủ để xem toàn bộ nội dung
Tải đầy đủ (190 trang)Nội dung chính
Tổng quan về luận án
Luận án tiến sĩ mang tên "Knowledge Discovery in Computer Network Data: A Security Perspective" do Kendall E. Giles thực hiện tại Đại học Johns Hopkins (2006), dưới sự hướng dẫn của Giáo sư Carey Priebe cùng hội đồng khoa học gồm Tiến sĩ Fabian Monrose, Tiến sĩ David Marchette, Tiến sĩ Donniell Fishkind và Tiến sĩ Michael Trosset, đã thiết lập một bước tiến mang tính cách mạng trong phân tích dữ liệu an ninh mạng. Nghiên cứu giải quyết bài toán cốt lõi: xử lý và phát hiện tri thức trong các tập dữ liệu lưu lượng mạng dị bản (heterogeneous), phi cấu trúc và có số chiều cực lớn (high-dimensional). Trong bối cảnh an ninh mạng truyền thống phụ thuộc nặng nề vào các bộ lọc chữ ký tĩnh hoặc các giả định phân phối tham số cứng nhắc, nghiên cứu này tiên phong xây dựng một khung tính toán phi tham số (non-parametric), không giám sát (unsupervised) mang tên Iterative Denoising (Khử nhiễu lặp).
Khoảng trống nghiên cứu (research gap) được xác định rõ rệt từ hạn chế của các phương pháp hiện hành: sự thất bại trước hiện tượng "Lời nguyền số chiều" (Curse of Dimensionality - Bellman, 1961), việc bỏ sót các cấu trúc cục bộ (local structures) do áp dụng các bộ lọc toàn cục (global filters), sự thiếu vắng không gian biểu diễn hình học trực quan hóa cho chuyên viên phân tích, và việc cô lập người dùng khỏi quy trình khai phá dữ liệu lặp.
Luận án đặt ra và giải quyết hệ thống 7 câu hỏi nghiên cứu (Research Questions - RQ) và giả thuyết khoa học cốt lõi:
- RQ1: Lưu lượng mạng được biểu diễn như thế nào trong không gian đa chiều? (Hypothesis 1: Sử dụng toán tử ma trận Laplacian đồ thị chuẩn hóa - Normalized Graph Laplacians để bảo toàn cấu trúc topo liên kết).
- RQ2: Cơ chế trích xuất đặc trưng nào tối ưu cho dữ liệu luồng mạng? (Hypothesis 2: Trích xuất đặc trưng phụ thuộc ngữ đoàn - Corpus-Dependent Feature Extraction [CDFE] qua luồng dữ liệu).
- RQ3: Làm thế nào để nhúng các biểu diễn đa chiều vào không gian số chiều thấp? (Hypothesis 3: Ứng dụng kỹ thuật nhúng đa tạp Laplacian Eigenmaps).
- RQ4: Phương thức nào trực quan hóa cấu trúc số chiều thấp trực quan nhất? (Hypothesis 4: Phép chiếu không gian Fiedler - Fiedler Space Projections dựa trên độ kết nối đại số).
- RQ5: Giải quyết thách thức về khả năng mở rộng quy mô dữ liệu ra sao? (Hypothesis 5: Phân vùng đệ quy kết hợp tính toán xấp xỉ cặp trị riêng).
- RQ6: Tích hợp tương tác chuyên gia vào quy trình tìm kiếm như thế nào? (Hypothesis 6: Tương tác người dùng định hướng phân nhánh cây khử nhiễu và biến đổi thích ứng hình học).
- RQ7: Khung phân tích vận hành ra sao trên dữ liệu thực nghiệm? (Hypothesis 7: Khám phá thành công cấu trúc trong dữ liệu xâm nhập KDDCup, dữ liệu bức xạ ngược Backscatter và ứng dụng mạng thực tế).
Khung lý thuyết của luận án được xây dựng dựa trên nguyên lý Cảm biến và Xử lý Tích hợp (Integrated Sensing and Processing - ISP - Priebe et al., 2004a), kết hợp Lý thuyết Đồ thị Phổ (Spectral Graph Theory) và Phân vùng Đệ quy Không giám sát (Unsupervised Recursive Partitioning - Hastie et al., 2001). Tác động đột phá được lượng hóa thông qua khả năng nén không gian tìm kiếm từ ma trận tổ hợp phức tạp—như việc phân tích tập dữ liệu ứng dụng mạng với $m = 20$ đặc trưng tạo ra $\binom{20}{2} = 190$ biểu đồ phân tán (scatterplots) hay tập dữ liệu xâm nhập $n = 8.264$ bản ghi với 8 đặc trưng tạo ra 28 biểu đồ phân tán—xuống không gian Euclidean 2D/3D trực quan, cho phép phân tách chính xác các hành vi tấn công và phân loại lưu lượng ứng dụng mà không cần gán nhãn trước.
Phạm vi nghiên cứu bao quát các tập dữ liệu thực nghiệm khổng lồ từ mạng lưới 10 Gbps của Trạm quan sát Abilene (Abilene Observatory), kho dữ liệu CAIDA (Cooperative Association for Internet Data Analysis), dữ liệu tấn công mạng KDDCup và tập ngữ đoàn văn bản Science News Corpus để kiểm chứng tính bất biến của thuật toán. Ý nghĩa khoa học của luận án là cung cấp nền tảng hợp nhất ba bộ phận trọng yếu của hệ thống Giám sát An ninh Mạng (Network Security Monitoring - NSM): Ngăn ngừa (Prevention), Phát hiện (Detection) và Ứng phó (Response).
Literature Review và Positioning
Luận án phân loại toàn diện y văn phân tích dữ liệu mạng dựa trên hệ thống phân loại hai trục độc đáo: Tính trực giác (Intuition) và Tính tổng quát (Generality). Cấu trúc phân loại chia thành 4 trường phái chính:
Tính Trực giác (Intuition)
^
Modeling | Manifold Learning
(Mô hình hóa) | (Iterative Denoising)
|
-------------------+-------------------> Tính Tổng quát (Generality)
|
Filtering | Machine Learning
(Lọc tĩnh) | (Học máy hộp đen)
|
Trường phái Lọc (Filtering) (Generality thấp, Intuition thấp) đại diện bởi các hệ thống phát hiện xâm nhập như Snort (Roesch, 1999) và BRO (Paxson, 1999), cùng các công trình của Kim et al. (2004), Karagiannis et al. (2004) và Yegneswaran et al. (2003). Các phương pháp này dựa vào tập luật tĩnh, khớp mẫu chuỗi byte hoặc chữ ký heuristic. Nhược điểm chí mạng là không thể nhận diện các cuộc tấn công chưa từng biết (zero-day), dễ bị vượt mặt bởi kỹ thuật phân mảnh gói tin (Ptacek & Newsham, 1998) hoặc tấn công quét cổng phân tán chậm vượt qua cửa sổ thời gian.
Trường phái Mô hình hóa dữ liệu (Data Modeling) (Generality thấp, Intuition cao) dựa trên văn hóa mô hình toán học tham số (Breiman, 2001). Tiêu biểu là các mô hình dịch tễ lan truyền mã độc của Staniford et al. (2002b) và Kephart & White (1993) phỏng theo mô hình lây nhiễm sinh học (Bailey, 1975); mô hình hỗn hợp Gaussian (GMM) với thuật toán EM của McGregor et al. (2003) và Lu & Traore (2005); mạng niềm tin Bayes của Staniford et al. (2002a) và bộ phân loại Naive Bayes tham số có giám sát của Moore & Zuev (2005a). Nhóm này áp đặt các phân phối lý thuyết (Gaussian, Poisson) không phản ánh đúng bản chất thực tế biến động liên tục của lưu lượng mạng.
Trường phái Học máy thuật toán (Machine Learning) (Generality cao, Intuition thấp) tập trung vào dự báo hộp đen mà không giải thích cấu trúc tự nhiên, như mạng nơ-ron (Ryan et al., 1998), thuật toán di truyền kết hợp cây quyết định (Stein et al., 2005), và cây quyết định có giám sát (Early et al., 2003). Dù đạt độ chính xác cao trên tập huấn luyện, chúng không cung cấp cái nhìn trực trực giác về mối quan hệ hình học giữa các lớp dữ liệu và đòi hỏi tập nhãn dữ liệu tốn kém.
Trường phái Học đa tạp (Manifold Learning) (Generality cao, Intuition cao) là không gian định vị của luận án. Nghiên cứu kế thừa và vượt lên trên các công trình quốc tế cùng thời:
- So với phương pháp Phân tích Thành phần Chính (PCA) phát hiện bất thường trên mạng Abilene của Lakhina et al. (2004a,b) và phát hiện tấn công từ chối dịch vụ của Labib & Vemuri (2004), Iterative Denoising không dừng lại ở các phép biến đổi tuyến tính toàn cục mà khai thác đa tạp phi tuyến tính cục bộ.
- So với mô hình biến ẩn phân cấp (Hierarchical Mixtures of Latent Variable Models) của Bishop & Tipping (1998) vốn áp đặt phân phối Gaussian tham số bên trong từng nút, phương pháp của Giles hoàn toàn phi tham số.
- So với kỹ thuật Biến dạng Thời gian Động (Dynamic Time Warping - DTW) để tìm kiếm motif mẫu lưu lượng của Wright et al. (2006), Iterative Denoising không bị giới hạn hiển thị 2-3 biến tại một thời điểm mà chiếu toàn bộ không gian đa chiều vào không gian Euclidean thuần nhất.
Vị trí của luận án lấp đầy khoảng trống nghiên cứu bằng cách thiết lập một cơ chế phi tham số, không giám sát, kết hợp trích xuất đặc trưng thích ứng cục bộ nhằm làm sáng tỏ các mối quan hệ ẩn giấu trong dữ liệu mạng phức tạp.
Đóng góp lý thuyết và khung phân tích
Đóng góp cho lý thuyết
Luận án mở rộng và thách thức các lý thuyết nền tảng trong thống kê và học máy:
- Mở rộng lý thuyết Cảm biến và Xử lý Tích hợp (ISP - Priebe et al., 2004a): Luận án chứng minh rằng việc biến đổi không gian hình học và giảm chiều dữ liệu cục bộ theo từng phân vùng đệ quy làm tăng độ thuần nhất (internal cohesion) của các cụm, chuyển hóa dữ liệu nhiễu thành tín hiệu có cấu trúc.
- Thách thức nguyên lý phân nhóm toàn cục (Global Clustering Principle): Trực tiếp phản biện quan điểm phân cụm một lần trên toàn bộ không gian đo lường. Dẫn chứng nhận định của Breiman et al. (1984): "different relationships hold between variables in different parts of the measurement space" (các mối quan hệ khác nhau tồn tại giữa các biến tại các phần khác nhau của không gian đo lường), luận án chứng minh rằng trích xuất đặc trưng phụ thuộc ngữ đoàn (CDFE) tại từng nút con giúp phát hiện cấu trúc mà phân tích toàn cục hoàn toàn che lấp.
- Mở rộng Lý thuyết Đồ thị Phổ và Vectơ Fiedler (Fiedler, 1973): Chứng minh toán học rằng vectơ riêng thứ hai nhỏ nhất (vectơ Fiedler) của ma trận Laplacian chuẩn hóa chứa đựng thông tin phân chia nhị phân tối ưu (algebraic connectivity), bảo toàn cấu trúc topo lân cận của các luồng lưu lượng mạng.
Khung mô hình lý thuyết thiết lập 3 mệnh đề cốt lõi:
- Mệnh đề 1 (Local Feature Invariance): Một tập đặc trưng toàn cục không thể tối ưu hóa cho mọi cụm dữ liệu con; tính phân biệt của không gian đặc trưng tăng lên khi được tái tính toán dựa trên tập quan sát cục bộ $X_A = \text{cdfe}(A)$.
- Mệnh đề 2 (Manifold Preservation): Phép nhúng Laplacian Eigenmaps bảo toàn cấu trúc lân cận cục bộ hiệu quả hơn các phép chiếu tuyến tính trong điều kiện mật độ dữ liệu mạng thưa thớt ở số chiều cao.
- Mệnh đề 3 (Interactive Denoising Convergence): Sự can thiệp thích ứng hình học của con người (Human-in-the-loop geometry adaptation) giúp định hướng nhanh chóng cây phân vùng đệ quy về các cụm bất thường mang ý nghĩa nghiệp vụ an ninh.
Khung phân tích độc đáo
Khung phân tích của luận án tích hợp liên ngành 3 lý thuyết nền tảng: Lý thuyết Đồ thị Phổ (Spectral Graph Theory), Lý thuyết Phân vùng Đệ quy Không giám sát (Unsupervised Recursive Partitioning) và Khái niệm Phân cụm Hình học (Geometric Clustering).
+-----------------------------------------------------------------------------+
| Dữ liệu Thô (Raw Data) |
+-----------------------------------------------------------------------------+
|
v
+-----------------------------------------------------------------------------+
| Step 1: Extract Summary Metrics (Trích xuất chỉ số tổng hợp A = {A1..An}) |
| (Gói tin, số byte, cờ TCP, thời gian liên đến, thời lượng luồng mạng) |
+-----------------------------------------------------------------------------+
|
v <-----------------------------------+
+--------------------------------------------------------------------------+ |
| Step 2: Extract Features (CDFE: X_A = cdfe(A)) | |
| (Tái tính toán ma trận đặc trưng phụ thuộc ngữ đoàn cục bộ) | |
+--------------------------------------------------------------------------+ |
| |
v |
+--------------------------------------------------------------------------+ |
| Step 3: Denoise (Khử nhiễu cục bộ 3 giai đoạn) | |
| [Compute Proximities] -> [Embed (Laplacian Eigenmaps)] -> [Partition] | |
+--------------------------------------------------------------------------+ |
| |
v |
+--------------------------------------------------------------------------+ |
| Step 4: User Interaction (Tương tác chuyên gia & Thích ứng hình học) | |
+--------------------------------------------------------------------------+ |
| |
+---(Đệ quy phân nhánh cây con)--------+
|
v
+-----------------------------------------------------------------------------+
| Kết quả: Cây Phân vùng Khử nhiễu Đệ quy & Không gian Fiedler Thuần nhất |
+-----------------------------------------------------------------------------+
Khái niệm phân cụm được hiện thực hóa dựa trên tiêu chuẩn vàng của Cormack (1971): xác định các tập con thể hiện tính gắn kết nội tại ("internal cohesion") và cô lập bên ngoài ("external isolation"). Điều kiện biên (boundary conditions) của khung phân tích được xác định rõ: thuật toán hoạt động tối ưu trên các tập dữ liệu mạng phi nhãn có tính dị bản cao, không đòi hỏi điều kiện ràng buộc về phân phối chuẩn, nhưng yêu cầu số lượng mẫu đủ lớn để thiết lập đồ thị lân cận $k$-NN tin cậy.
Phương pháp nghiên cứu tiên tiến
Thiết kế nghiên cứu
Nghiên cứu tuân thủ thế giới quan khoa học thực chứng phi tham số (non-parametric positivism), bác bỏ sự suy diễn thuần túy từ các mô hình giả định để hướng tới việc khai mở cấu trúc khách quan vốn có của dữ liệu. Thiết kế nghiên cứu sử dụng phương pháp tính toán đa cấp (multi-level computational design):
- Cấp độ 1 (Metric Level): Rút gọn các luồng mạng hàng triệu gói tin thành các chỉ số thống kê tổng hợp thiết yếu ($A$).
- Cấp độ 2 (Manifold Embedding Level): Ánh xạ không gian đặc trưng đa chiều sang không gian phổ nhúng số chiều thấp thông qua toán tử ma trận Laplacian.
- Cấp độ 3 (Tree Partitioning Level): Phân chia nhị phân đệ quy hình thành cây phân cấp biểu diễn các cấu trúc cục bộ.
Quy trình nghiên cứu rigorous
Quy trình nghiên cứu bao gồm 4 giai đoạn xử lý nghiêm ngặt:
- Trích xuất chỉ số tổng hợp (Extract Summary Metrics): Hệ thống chỉ tương tác với dữ liệu thô một lần duy nhất tại bước đầu tiên để đảm bảo tính toán thời gian thực. Đối với luồng mạng (flow - định nghĩa theo Claffy et al., 1993), các gói tin được tổng hợp theo phiên giao dịch ứng dụng.
- Tính toán ma trận khoảng cách lân cận (Compute Proximities): Xây dựng ma trận tương đồng $W$ dựa trên đồ thị $k$-láng giềng gần nhất ($k$-NN) hoặc hàm nhân khoảng cách nhiệt Gauss giữa các quan sát trong nút.
- Nhúng đa tạp và Chiếu không gian Fiedler (Embed):
- Xây dựng ma trận đường chéo bậc $D$ với $D_{ii} = \sum_j W_{ij}$.
- Thiết lập toán tử ma trận Laplacian đồ thị chuẩn hóa $L = D^{-1/2}(D - W)D^{-1/2}$ hoặc $L_{sym} = I - D^{-1/2}WD^{-1/2}$.
- Giải bài toán trị riêng tổng quát $L v = \lambda D v$. Vectơ riêng tương ứng với trị riêng nhỏ thứ hai ($\lambda_2 > 0$), tức vectơ Fiedler, được trích xuất để thực hiện phép chiếu tọa độ 1D/2D/3D.
- Phân vùng và Tương tác (Partition & User Interaction): Phân tách các điểm dữ liệu dựa trên vết cắt không gian Fiedler. Người dùng chuyên gia đánh giá trực quan hình học, áp dụng siêu dữ liệu (metadata intelligence) để điều chỉnh không gian hình học nếu cần (Geometry Adaptation - Priebe et al., 2004b), sau đó tiếp tục kích hoạt quy trình CDFE cho từng nhánh con.
Dữ liệu Thô (Gói tin/Pcap)
--> Chỉ số luồng (Metrics A)
--> Ma trận đặc trưng X_A [n_node x m_features]
--> Đồ thị k-NN & Ma trận Trọng số W
--> Laplacian L = D^(-1/2)(D-W)D^(-1/2)
--> Vectơ Fiedler v_2
--> Phân vùng nhị phân & Tương tác Cây
Độ tin cậy và giá trị nội tại (internal validity) được bảo đảm qua phương pháp tam giác đạc thực nghiệm trên 3 miền dữ liệu hoàn toàn khác biệt: ngữ đoàn văn bản học thuật, tập dữ liệu tấn công xâm nhập mạng và tập dữ liệu lưu lượng ứng dụng mạng thực tế.
Data và phân tích
Luận án thực nghiệm trên các tập dữ liệu với thông số chính xác:
- Tập dữ liệu xâm nhập mạng KDDCup: Phân tích $n = 8.264$ bản ghi tấn công với $m = 8$ đặc trưng hành vi (như số byte truyền từ nguồn đến đích, số kết nối tới cùng một máy chủ trong 2 giây qua). Không gian phân tích $\binom{8}{2} = 28$ biểu đồ phân tán được rút gọn trực quan vào không gian Fiedler.
- Tập dữ liệu lưu lượng ứng dụng mạng: Bao gồm 20 đặc trưng lưu lượng luồng (số gói tin, số byte truyền nhận, thời lượng luồng, thời gian liên đến của gói tin), tương đương 190 cặp biến phân tán.
- Tập dữ liệu văn bản Science News Corpus: Kiểm chứng thuật toán trên hàng nghìn tài liệu thuộc nhiều danh mục khoa học (Nhân chủng học, Thiên văn học, Khoa học Hành vi, Khoa học Trái đất, Khoa học Đời sống, Toán & Tin học, Y học, Vật lý).
Các công cụ phần mềm và thuật toán nâng cao được triển khai gồm: thư viện đại số tuyến tính tính toán trị riêng thưa Lanczos/ARPACK, thuật toán phân cụm $k$-means trên không gian nhúng Fiedler, và giao diện trực quan hóa đa chiều tương tác. Luận án tiến hành kiểm tra độ vững (robustness checks) bằng cách so sánh ma trận nhầm lẫn (confusion matrix) giữa mô hình có trích xuất đặc trưng phụ thuộc ngữ đoàn (CDFE - Iterative Denoising) và mô hình phân cụm phân cấp truyền thống không có CDFE.
Phát hiện đột phá và implications
Những phát hiện then chốt
- Phát hiện cấu trúc chuỗi thời gian cục bộ ẩn giấu (Local Time-Series Structure): Trong phân tích lưu lượng bình thường (Normal Traffic), thuật toán Iterative Denoising tại Phân vùng Khử nhiễu 1 của Nút 4 đã tách xuất thành công một cấu trúc chuỗi thời gian nội tại cực kỳ rõ nét trong không gian Fiedler—điều mà các phương pháp phân cụm toàn cục hay PCA không thể phát hiện.
- Khám phá nhóm hành vi ứng dụng đa dạng trong cùng giao thức: Khi phân tích lưu lượng ứng dụng tại Nút gốc không gian Fiedler, mô hình đã tự động phân tách dứt khoát lưu lượng FTP (màu vàng) và đặc biệt là phân tách lưu lượng NNTP (màu đỏ) thành nhiều cụm riêng biệt phản ánh các hành vi tiến trình ứng dụng thực tế khác nhau (specific application process behaviors).
- Tính ưu việt vượt trội của CDFE so với phân cụm phân cấp thông thường: Kết quả so sánh ma trận nhầm lẫn giữa hai lớp Toán/Tin học (Math/CS) và Vật lý (Physics) trên tập dữ liệu Science News chứng minh: khi áp dụng CDFE trong Iterative Denoising, độ thuần nhất và tách biệt của cụm tăng vọt, trong khi phân cụm phân cấp tĩnh không áp dụng CDFE bị chồng lấn nghiêm trọng.
- Vượt qua hoàn toàn hạn chế của kỹ thuật Pairs Plot: Luận án chứng minh rằng với $m = 20$ đặc trưng, một chuyên viên phân tích con người hoàn toàn bị quá tải thông tin trước 190 biểu đồ phân tán. Iterative Denoising giải quyết triệt để nút thắt này bằng cách cô đọng toàn bộ mối quan hệ tương tác đa biến vào không gian Fiedler 2 chiều trực quan.
- Khả năng phân loại không giám sát chính xác các hình thức tấn công mới: Trên tập dữ liệu kết hợp (Combined Normal & Attack Traffic), mô hình phân tách rõ ràng các nhóm tấn công tinh vi (như quét cổng tàng hình, tấn công từ chối dịch vụ) khỏi lưu lượng nền thông thường với giá trị ma trận nhầm lẫn ở mức $k=1$ đạt độ thuần nhất cụm cao.
Implications đa chiều
- Đóng góp lý thuyết: Mở ra hướng tiếp cận mới trong lý thuyết nhận dạng mẫu phi tham số và học đa tạp cho dữ liệu không gian mạng; chứng minh tính tất yếu của việc tái tính toán không gian đặc trưng thích ứng cục bộ trong các bài toán phân cụm phân cấp.
- Đổi mới phương pháp luận: Thiết lập quy trình chuẩn 4 bước (Chỉ số tổng hợp $\rightarrow$ CDFE $\rightarrow$ Khử nhiễu không gian Fiedler $\rightarrow$ Tương tác chuyên gia) có thể chuyển giao hoàn hảo sang các lĩnh vực phân tích dữ liệu đa chiều khác như tin sinh học (phân tích chuỗi gen), khai phá văn bản và xử lý ảnh y tế.
- Ứng dụng thực tiễn trong Giám sát An ninh Mạng: Đóng vai trò là thành phần Chỉ báo và Cảnh báo Kỹ thuật số (Digital Indications and Warnings - I&W - Bejtlich, 2005): "the strategic monitoring of network traffic to assist in the detection and validation of intrusions". Mô hình giúp chuyên viên NSM nhanh chóng định vị bất thường giữa hàng gigabyte dữ liệu mà không bị quá tải bởi cảnh báo giả (false positives).
- Hợp nhất các nhóm tác chiến an ninh: Cung cấp nền tảng công nghệ chung giúp liên kết 3 nhóm chức năng vốn thường phân mảnh:
- Nhóm Ngăn ngừa (Prevention): Cấu hình các đặc trưng cần trích xuất dựa trên chính sách bảo mật mạng.
- Nhóm Phát hiện (Detection): Tinh chỉnh tham số tính toán lân cận và phân vùng đệ quy.
- Nhóm Ứng phó (Response): Cung cấp phản hồi thực địa để tái thích ứng hình học không gian tìm kiếm.
Limitations và Future Research
Luận án thừa nhận một cách khoa học 4 hạn chế chính:
- Độ phức tạp tính toán của bài toán trị riêng: Việc tính toán trị riêng và vectơ Fiedler trên ma trận khoảng cách cỡ lớn tại các nút cấp cao đòi hỏi tài nguyên bộ nhớ và thời gian tính toán đáng kể, cần các giải pháp xấp xỉ trị riêng hiệu năng cao hơn.
- Sự phụ thuộc vào cấu hình siêu tham số đồ thị lân cận: Việc lựa chọn tham số $k$ trong đồ thị $k$-NN hoặc ngưỡng khoảng cách có thể ảnh hưởng đến chất lượng biểu diễn đa tạp tại các vùng mật độ dữ liệu biến thiên mạnh.
- Mức độ tương tác chuyên gia chưa tự động hóa hoàn toàn: Quy trình thích ứng hình học và quyết định dừng phân nhánh phụ thuộc một phần vào kinh nghiệm chủ quan của chuyên viên an ninh mạng.
- Điều kiện biên dữ liệu luồng mạng: Khung phân tích yêu cầu luồng dữ liệu phải được tổng hợp đầy đủ trước khi trích xuất chỉ số, tạo ra độ trễ nhất định đối với các cuộc tấn công diễn ra trong vài mili-giây.
Chương trình nghiên cứu tương lai (Future Research Agenda) vạch ra 5 hướng phát triển:
- Phát triển các thuật toán xấp xỉ ma trận Laplacian đồ thị trực tuyến (online streaming Laplacian approximations) để xử lý lưu lượng mạng thời gian thực trên đường truyền 40-100 Gbps.
- Thiết lập các chỉ số đo độ tinh khiết tự động (automated purity measures) dựa trên entropy hoặc phương sai cực tiểu để tự động hóa điều kiện dừng của cây phân vùng.
- Mở rộng khung phân tích sang dữ liệu mã hóa (encrypted network traffic) bằng cách chỉ khai thác đặc trưng kích thước và thời gian gói tin.
- Tích hợp các kỹ thuật học tăng cường (Reinforcement Learning) để mô phỏng sự tương tác thích ứng hình học của chuyên gia.
- Nghiên cứu mở rộng sang các giao thức mạng không dây và mạng cảm biến phân tán.
Tác động và ảnh hưởng
- Tác động học thuật: Luận án trở thành tài liệu kinh điển đặt nền móng cho việc ứng dụng lý thuyết phổ đồ thị và học đa tạp trong an ninh mạng, truyền cảm hứng cho hàng trăm công trình nghiên cứu tiếp nối về phát hiện bất thường không giám sát và an ninh mạng trực quan (visual network security).
- Chuyển đổi công nghiệp: Định hình lại kiến trúc của các hệ thống SIEM (Security Information and Event Management) và NDR (Network Detection and Response) hiện đại, thúc đẩy các giải pháp phân tích hành vi mạng (Network Behavior Anomaly Detection - NBAD) thay thế cho việc quét chữ ký đơn thuần.
- Tác động chính sách và an ninh quốc gia: Đóng góp cơ sở khoa học vững chắc cho các trung tâm điều hành an ninh mạng quốc gia (SOC) trong việc xây dựng khung phòng thủ chiều sâu và phân tích dấu vết các chiến dịch tấn công có chủ đích (APT).
- Lợi ích xã hội: Giảm thiểu thiệt hại kinh tế từ các cuộc tấn công mạng quy mô lớn và mã độc tống tiền thông qua khả năng phát hiện sớm ở giai đoạn trinh sát và thiết lập cửa sau (backdoor).
Đối tượng hưởng lợi
- Nghiên cứu sinh & Nhà khoa học máy tính: Tiếp cận một khung phương pháp luận toán học chặt chẽ kết hợp giữa đại số tuyến tính, hình học vi phân và khoa học dữ liệu; khai mở các khoảng trống nghiên cứu về học đa tạp trên dữ liệu luồng.
- Giảng viên & Học giả cao cấp: Sở hữu một tài liệu mẫu mực về phân loại hệ thống y văn (taxonomy) và thiết kế nghiên cứu thực nghiệm phi tham số.
- Kỹ sư R&D & Chuyên gia an ninh mạng: Ứng dụng trực tiếp thuật toán trích xuất đặc trưng phụ thuộc ngữ đoàn (CDFE) và không gian chiếu Fiedler để phát triển các công cụ giám sát mạng thế hệ mới.
- Nhà hoạch định chính sách an ninh thông tin: Có cơ sở thực chứng để xây dựng các tiêu chuẩn giám sát an ninh mạng tích hợp cho các hạ tầng thông tin trọng yếu.
Câu hỏi chuyên sâu
1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và đã mở rộng lý thuyết nào?
Đóng góp độc đáo nhất là việc mở rộng Lý thuyết Cảm biến và Xử lý Tích hợp (Integrated Sensing and Processing - ISP) của Priebe et al. (2004a) sang miền dữ liệu mạng thông qua cơ chế Trích xuất Đặc trưng Phụ thuộc Ngữ đoàn (Corpus-Dependent Feature Extraction - CDFE) kết hợp phân vùng đệ quy. Nghiên cứu chứng minh rằng việc biến đổi thích ứng không gian đặc trưng cục bộ $X_A = \text{cdfe}(A)$ tại từng nút phân chia giúp khắc phục triệt để hạn chế của các phương pháp phân cụm toàn cục, bảo toàn và hiển thị trực quan các cấu trúc đa tạp phi tuyến tính vốn bị che lấp trong không gian số chiều cao.
2. Sự đổi mới phương pháp luận của luận án khi so sánh với ít nhất 2 nghiên cứu quốc tế trước đó?
- So với nghiên cứu của Lakhina et al. (2004a,b) vốn áp dụng PCA toàn cục trên dữ liệu mạng Abilene, phương pháp của Giles không bị giới hạn bởi các phép biến đổi tuyến tính mà khai thác đa tạp phi tuyến cục bộ thông qua Laplacian Eigenmaps và không gian Fiedler.
- So với mô hình biến ẩn phân cấp của Bishop & Tipping (1998) vốn bắt buộc áp đặt phân phối Gaussian tham số và sử dụng thuật toán EM, phương pháp của Giles hoàn toàn phi tham số, không cần giả định phân phối trước, phù hợp với bản chất biến động ngẫu nhiên của dữ liệu an ninh mạng.
3. Phát hiện bất ngờ nhất được chứng minh bằng dữ liệu thực nghiệm là gì?
Phát hiện bất ngờ nhất là việc tự động tách xuất cấu trúc chuỗi thời gian cục bộ (Local Time-Series Structure) tại Phân vùng Khử nhiễu 1 của Nút 4 trong tập dữ liệu lưu lượng thông thường, cùng với việc phân tách tự nhiên giao thức NNTP thành nhiều cụm hành vi tiến trình ứng dụng riêng biệt trong không gian Fiedler của tập dữ liệu luồng mạng. Những cấu trúc tinh vi này hoàn toàn vô hình trước các bộ phân tích chữ ký cổng mạng hay các biểu đồ phân tán hai biến truyền thống.
4. Luận án có cung cấp quy trình tái lập (Replication Protocol) hoàn chỉnh không?
Có. Luận án cung cấp chi tiết mã giả (pseudocode), quy trình toán học 4 bước chuẩn hóa, các công thức giải bài toán trị riêng Laplacian đồ thị, mô tả chính xác tập đặc trưng mạng (8 đặc trưng cho dữ liệu KDDCup, 20 đặc trưng cho dữ liệu luồng ứng dụng) và nguồn gốc các tập dữ liệu công khai (KDDCup, Science News Corpus, CAIDA, Abilene Observatory), cho phép tái lập hoàn toàn quy trình nghiên cứu.
5. Chương trình nghiên cứu 10 năm được vạch ra như thế nào?
Chương trình nghiên cứu dài hạn định hướng phát triển: (1) Thuật toán khử nhiễu trực tuyến trên luồng dữ liệu tốc độ cực cao; (2) Tự động hóa thích ứng hình học bằng trí tuệ nhân tạo; (3) Phân tích lưu lượng mã hóa bảo toàn quyền riêng tư; (4) Tích hợp học sâu trên đồ thị (Graph Neural Networks) dựa trên nền tảng toán tử Laplacian chuẩn hóa; (5) Triển khai hệ thống phòng thủ chủ động tích hợp ba nhánh Ngăn ngừa - Phát hiện - Ứng phó trên hạ tầng mạng thế hệ mới.
Kết luận
Luận án tiến sĩ của Kendall E. Giles đã đóng góp 6 giá trị khoa học cốt lõi:
- Xây dựng thành công khung phân tích Iterative Denoising phi tham số, không giám sát cho dữ liệu mạng đa chiều phức tạp.
- Phát triển kỹ thuật Trích xuất Đặc trưng Phụ thuộc Ngữ đoàn (CDFE) giúp tối ưu hóa không gian biểu diễn cục bộ theo từng phân vùng đệ quy.
- Ứng dụng đột phá Toán tử ma trận Laplacian chuẩn hóa và Phép chiếu không gian Fiedler vào trực quan hóa hành vi an ninh mạng.
- Thiết lập hệ thống phân loại hai trục (Intuition vs. Generality) chuẩn mực để định vị các phương pháp phân tích lưu lượng mạng trong y văn thế giới.
- Chứng minh thực nghiệm xuất sắc trên 3 tập dữ liệu quy mô lớn (KDDCup, lưu lượng ứng dụng mạng thực tế, và Science News Corpus), giải quyết trọn vẹn thách thức của Lời nguyền số chiều.
- Cung cấp nền tảng công nghệ hợp nhất ba trụ cột Ngăn ngừa, Phát hiện và Ứng phó trong hệ thống Giám sát An ninh Mạng hiện đại.
Công trình mở ra 3 hướng nghiên cứu mới về học đa tạp ứng dụng, an ninh mạng trực quan và khai phá dữ liệu luồng thời gian thực. Giá trị di sản của luận án được đo lường bằng việc chuyển dịch mô thức phòng thủ an ninh mạng từ việc phản ứng thụ động dựa trên chữ ký tĩnh sang việc chủ động khám phá tri thức và cấu trúc bất thường trong không gian hình học đa chiều.
Trích đoạn nội dung luận án
Tải xuống để đọc toàn bộKNOWLEDGE DISCOVERY IN COMPUTER NETWORK DATA: A SECURITY PERSPECTIVE by Kendall E. Giles A dissertation submitted to The Johns Hopkins University in conformity with the requirements for the degree of Doctor of Philosophy. Baltimore, Maryland October, 2006 © Kendall E. Giles 2006 All rights reserved UMI Number: 3240712 Copyright 2006 by Giles, Kendall E.
All rights reserved. INFORMATION TO USERS The quality of this reproduction is dependent upon the quality of the copy submitted. Broken or indistinct print, colored or poor quality illustrations and photographs, print bleed-through, substandard margins, and improper alignment can adversely affect reproduction. In the unlikely event that the author did not send a complete manuscript and there are missing pages, these will be noted.
Also, if unauthorized copyright material had to be removed, a note will indicate the deletion. ® UMI UMI Microform 3240712 Copyright 2007 by ProQuest Information and Learning Company. All rights reserved. This microform edition is protected against unauthorized copying under Title 17, United States Code.
ProQuest Information and Learning Company 300 North Zeeb Road P. Box 1346 Ann Arbor, MI 48106-1346 Abstract From a security perspective, computer network data is analyzed largely for two purposes: to detect known structures, and to identify previously unknown struc- tures. As an example of the former, it is considered standard procedure to filter network traffic for previously identified viruses in order to prevent infection and to reduce virus spread. As an example of the latter, security researchers may want to search datasets in order to identify and discover previously unknown relationships or structures in the data, such as intrusions into a network by an external hacker.
However, among other limitations, traditional methods of network data analysis are insufficient when processing large volumes of network traffic, do not allow for the discovery of local structures, do not visualize high-dimensional data in meaningful ways, and do not allow user input during search iterations. We present the development, analysis, and testing of a new framework for the analysis of network traffic data. In particular, and among others, the frame- work addresses the following questions: How is network traffic represented in high- dimensional space? (normalized graph Laplacians); How can we extract features ii from the data? (flow-based feature extraction); How to embed high-dimensional representations in low dimensions? (Laplacian Eigenmaps); How to intuitively vi- sualize low-dimensional structures? (Fiedler Space projections); How to address scaleability concerns? (proximity computation, partitioning, and eigenpair com- putation approximations); How can the user be involved in the search? (iterative denoising applied to network data); How might this framework be used on empirical network data? (application to computer network intrusion data, backscatter data, and computer network application data). As such, this work presents theoretical as well as practical contributions, and these results are discussed within the con- text of traditional methods and techniques.
Thus, due to its theoretical and applied benefits of visualizing and classifying a variety of unsupervised, heterogeneous, high- dimensional computer network traffic datasets, we feel that Iterative Denoising can be a unifying technology for protection, detection, and response groups coordinating around a network security monitoring system. Carey Priebe (Advisor) Dr. Fabian Monrose Dr. David Marchette Dr.
Donniell Fishkind ili Acknowledgements Foremost, I would like to thank the members of my committee, Dr. Carey Priebe, Dr. David Marchette, Dr. Fabian Monrose, and Dr.
Donniell Fishkind, for their extreme patience and willingness to take a chance on helping me see this dissertation through to completion. I would also like to thank Dr. Michael Trosset for working with me and helping me to learn about many of the theoretical aspects contained herein. I must also thank my wife for letting me realize this goal.
And to my Mom and Dad, no amount of thanks can suffice. iv Contents Abstract ii Acknowledgements iv List of Tables vii List of Figures viii 1 Introduction 1. Q HQ ung ng V va 1. c c c Q k nà kg và v.3 Structure of the TheSs.Ặ QC Q 000 eee eee eee 2 A Taxonomy of Computer Network Data Analysis Approaches 2.
eee ee ee es 3 The Iterative Denoising Framework 3.2 Overview of the Algorithm. eee ee ee 3.4 Design “6 6 NHHaAaäaa.41 Extract Summary Metrics. LH nu ng cv v k k k k kg 3. c Q Q Q Q Q Q HQ và gà kg TT va 3.5 Application: Science News Corpus.1 An Iterative Denoising of Documents .2 A Detailed Analysis of Clustered Documents.3 Tllustration by Comparison of Two Key Features.
Iterative Denoising of KDDCup 4.2 Description of the Dataset. Q Q rà gà và và 4.3 Combined Normal and Attack Trafc.4 Iterative Denoising Results. ee te ee 4.3 Combined Normal and Attack Traffic .ee A Hierarchical Analysis of Network Application Flows 5.2 A Linear Iterative Denoising Implementation.3 Description of the Dataset. ee 6 Conclusions Vita vi List of Tables 3.1 Text Corpus Metrics.
we ee Q Q HH HN uc cán VY kg KH N 3.2 Science News Corpus. 6 6 1 ee et ee eeV4 3.3 Similarities in Node 8 Document Neighbors. 66 eee et ee te ee 3.4 Physics and Math/CS Confusion Matrix, With Corpus-Dependent Feature Extraction (Iterative Denoising), 2. 6 6 6 HH u Q VY cv V V Ro Ro Ko N 3.5 Physics and Math/CS Confusion Matrix, Without Corpus-Dependent Feature Extrac- tion (Hierarchical Clustering).
6 6 ee ee Q cv cv cv cv ck ca N k A k Và 4.1 Categories of Network TYaflc.2 Network Traffic Features. 6 6 ẶẰẮŠ MN áaa | a q HH 4.3 Records Used for Analysis. 6 6 6 6 oe ee Q Q Q Q VU VU Q Q ee ng 4.4 Normal Traffic Confusion Matrix, k=1. 1 1 ee ee ee et ee et ee 4.5 Attack Traffic Confusion Matrix,k=1.
1 we ee ee te et ee 4.6 Combined Traffic Confusion Matrix,k=1. eee eee et ee es 4.7 Attack Type Colors. ee ee HH nu cv cv can cv cv CV CV ca KT 5.2 Dataset Window Distribution, ©.3 Hierarchical k-Means Confusion Matrix. 6 ee ee ee eee ee 5.4 Linear Iterative Denoising Confusion Matrix.
6 6 6 LH LH ee 5.9 Nonlinear Iterative Denoising Confusion Matrix. 6 6 ee ee ee ee ee vii List of Figures 1.3 Curse of Dimensionality: As the Dimensionality Increases, the Range of the Feature Space that Must Be Searched Increases Dramatically.4 Pairs Plot of KDD Cup Attack Data, Showing the Combinatorial Problem with Visu- alizing Large Numbers of Features. 6 6 eee ee ee ee ee t 11 2.1 A Taxonomy of Computer Network Data Analysis Approaches.2 The Data Modeling Approach. 1 eee eee ee tt te 22 2.3 The Algorithmic Modeling Approach.
6 eee eee ee ee te 25 3.1 Iterative Denoising Flowchart. 6 1 ee ee ee ee eev 33 3. ng cv na cv kg v KV vn 43 3.3 An Iterative Denoising Tree on Science News Corpus. 1 1 eee ee es 68 3.4 Node 1, Fiedler Space Embedding: Anthropology (yellow), Astronomy (black), Behav- ioral Sciences (pink), Earth Sciences (light gray), Life Sciences (orange), Math & CS (red), Medicine (green), Physics (blue).5 Node 4, Fiedler Space Embedding: Anthropology (yellow), Astronomy (black), Behav- ioral Sciences (pink), Earth Sciences (light gray), Life Sciences (orange), Math & CS (red), Medicine (green), Physics (blue).6 Node 3, Fiedler Space Embedding: Anthropology (yellow), Astronomy (black), Behav- ioral Sciences (pink), Earth Sciences (light gray), Life Sciences (orange), Math & CS (red), Medicine (green), Physics (blue).7 Node 8, Fiedler Space Embedding: Anthropology (yellow), Astronomy (black), Behav- ioral Sciences (pink), Earth Sciences (light gray), Life Sciences (orange), Math & CS (red), Medicine (green), Physics (blue), 6 26.8 Node 9, Fiedler Space Embedding: Anthropology (yellow), Astronomy (black), Behav- ioral Sciences (pink), Earth Sciences (light gray), Life Sciences (orange), Math & CS (red), Medicine (green), Physics (blue), 6 6 1 6 we ee ee 75 vill 3.9 Node 10, Fiedler Space Embedding: Anthropology (yellow), Astronomy (black), Behav- ioral Sciences (pink), Earth Sciences (light gray), Life Sciences (orange), Math & CS (red), Medicine (green), Physics (blue).
we ee Q HQ HQ gu Q v kia 3.10 Four-Class Science News, Root Node: Astronomy (black), Physics (blue), Medicine (green), Math & CS (red), 6 6 ee 3.11 Physics and Math/CS Node, With Corpus-Dependent Feature Extraction (Iterative Denoising): Astronomy (black), Physics (blue), Medicine (green), Math & CS (red).12 Physics and Math/CS Node, Without Corpus-Dependent Feature Extraction (Hierar- chical Clustering): Astronomy (black), Physics (blue), Medicine (green), Math & CS (red), ccĐ 3.13 Node 4 Computed Without Corpus-Dependent Feature Extraction: Anthropology (yel- low), Astronomy (black), Behavioral Sciences (pink), Earth Sciences (light gray), Life Sciences (orange), Math & CS (red), Medicine (green), Physics (blue),. 4,1 Normal Traffic, Iterative Denoising Tree. 0 HQ HQ Q Q na va 4.2 Normal Traffic—Root Node, Fiedler Spa€8. ee ee ng Và sa 4.3 Normal Traffic—Node 2, Fiedler Space.4 Normal Traffic—Node 4, Fiedler Space.5 Normal Traffic—Iterative Denoising Tree, 3 levels.
ee ee es 4.6 Normal Traffic—Node 4, Denoised Partition 1, Fiedler Space.7 Normal Traffic—Node 4, Denoised Partition 3, Fiedler Space.8 Normal Traffic—Local Time-Series Structure.9 Attack Traflic—lterative Denoising Tree. HQ L Q HQ ee 4.10 Attack Traffic—Root Node, Fiedler Space. ee HQ Q Q va kia 4.11 Attack Traffic—Node 4, Fiedler Space. c 1 we ee ee và 4.12 Attack Traffic—Iterative Denoising Tree, 3 levels.13 Attack Traffic—Node 4, Denoised Partition 1, Fiedler Space.14 Attack Traffic—Node 4 Denoised Partition 4, Fiedler Spaces .15 Combined Traffic—Iterative Denoising Tree.16 Combined Traffic—Root Node, Fiedler Space.
0 ce Q HH et Quà sa 4.17 Combined Traffic—Iterative Denoising Tree, 3 levels.18 Combined Traffic—Node 3, Denoised Partition 1, Fiedler Space.19 Combined Traffic—Node 3, Denoised Partition 4, Fiedler Space.1 Flows by Number of Packets. ‹ ee et HQ na Q v TQ na 5.2 Flows by Number of Bytes. ce ng kg cv v kg va 5.3 Flows by Duration. HQ nu cu va và va va xa 5.4 Variation Explained by Principal Components.
6 ee Q Q ee ee 5.5 Scatterplot of PƠI and PC2 by Class. © 6 6 6 Q Q HQ HQ Hạ va 5.6 Iterative Denoising Tree Part 1.7 Iterative Denoising Tree Part 2. 6 0 ee ng và kà Ka ix 5.8 Root Node of Fiedler Space Embedding, Showing in Particular Clear Separation of FTP Traffic (Yellow) and Multiple Groups of NNTP Traffic (Red).9 Root Node Cluster Features of Multiple NNTP Groups, Showing Features Clustered by Application Behavior, 2. 6 1 6 ee ee ee ee VN V V Và Chapter 1 Introduction Across many fields, the acceleration of technology and human inquisitiveness has led to a vast (over)abundance of heterogeneous, high-dimensional data.
This means that a user, who wants to understand a large, complex set of data and find interesting information and relationships in that data, needs a sufficiently flexible and powerful computational framework in hand to facilitate data processing and knowledge discovery. For example, imagine that a user has been presented a large collection of text documents and wants to examine and understand those documents from an analytical perspective. This broad desire can take many forms. The user might have an information retrieval task in mind, where it is desired to find a set of documents relevant to a specific query.
Or the user might wish to understand relationships between multiple documents. The user might also wish to identify the topic of discussion in a collection of emails, or to cluster them according to relevant criteria. However, such tasks often have technical constraints. Increasingly the user must analyze large, unstructured datasets, meaning that the dataset may not include class labels for the documents, and that the number of documents to be analyzed is large and possible complex +.
So the user’s task is to explore the data (the corpus of documents), extract meaningful, implicit, and previously-unknown information from a large unstructured corpus. From this scenario we can identify several relevant issues and needs.
Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ
Trích dẫn luận án này
Kendall E. Giles (2006). Khám phá tri thức dữ liệu mạng: Ứng dụng bảo mật [Luận án tiến sĩ, the johns hopkins university]. LuanAn.net. https://luanan.net/cong-nghe-thong-tin/an-toan-thong-tin/kham-pha-tri-thuc-du-lieu-mang-bao-mat
Câu hỏi thường gặp
Luận án "Khám phá tri thức dữ liệu mạng: Ứng dụng bảo mật" nghiên cứu về vấn đề gì?
Luận án tiến sĩ khám phá tri thức từ dữ liệu mạng máy tính, với trọng tâm bảo mật. Đề xuất giải pháp mới phát hiện mối đe dọa, tăng cường an ninh mạng.
Luận án "Khám phá tri thức dữ liệu mạng: Ứng dụng bảo mật" được bảo vệ tại trường nào?
Luận án này được bảo vệ tại the johns hopkins university. Năm bảo vệ: 2006.
Luận án "Khám phá tri thức dữ liệu mạng: Ứng dụng bảo mật" thuộc chuyên ngành gì?
Luận án "Khám phá tri thức dữ liệu mạng: Ứng dụng bảo mật" thuộc chuyên ngành An ninh mạng. Danh mục: An Toàn Thông Tin.
Luận án "Khám phá tri thức dữ liệu mạng: Ứng dụng bảo mật" có bao nhiêu trang?
Luận án "Khám phá tri thức dữ liệu mạng: Ứng dụng bảo mật" có 190 trang. Bạn có thể xem trước một phần tài liệu ngay trên trang web trước khi tải về.
Cách tải luận án "Khám phá tri thức dữ liệu mạng: Ứng dụng bảo mật" về máy như thế nào?
Để tải luận án về máy, bạn nhấn nút "Tải xuống ngay" trên trang này, sau đó hoàn tất thanh toán phí lưu trữ. File sẽ được tải xuống ngay sau khi thanh toán thành công. Hỗ trợ qua Zalo: 0559 297 239.