Luận án tiến sĩ: Kỹ thuật học máy phối hợp và tiền xử lý dữ liệu nâng cao chất lượng NIDS
Tối ưu hóa kỹ thuật học máy phối hợp cùng tiền xử lý dữ liệu nhằm nâng cao độ chính xác phân lớp trong hệ thống phát hiện xâm nhập mạng.
Luan An
Luận án tiến sĩ
Năm xuất bản
Số trang
175
Thời gian đọc
27 phút
Lượt xem
1
Lượt tải
0
Phí lưu trữ
50 Point
Tổng quan nhanh
- Chủ đề:
- Học máy phối hợp cải thiện phát hiện xâm nhập mạng
- Số trang:
- 175 trang
- Trường:
- Trường Đại học Lạc Hồng
- Chuyên ngành:
- Khoa học máy tính
- Tác giả:
- Luan An
- Năm:
- 2022
Tóm tắt nội dung luận án
I.Học máy phối hợp cải thiện phát hiện xâm nhập mạng
An ninh mạng ngày càng phức tạp. Hệ thống phát hiện xâm nhập mạng (NIDS) đóng vai trò then chốt. NIDS giúp nhận diện các mối đe dọa, bảo vệ dữ liệu mạng. Phát hiện bất thường dựa trên luồng vẫn là thách thức lớn. Các tấn công mạng liên tục phát triển, yêu cầu giải pháp bảo mật linh hoạt hơn. Học máy đã được ứng dụng rộng rãi trong phát hiện xâm nhập. Tuy nhiên, các phương pháp hiện tại còn hạn chế về độ chính xác và tỷ lệ cảnh báo sai. Luận án đề xuất kỹ thuật học máy phối hợp kết hợp tiền xử lý dữ liệu tiên tiến. Mục tiêu là nâng cao chất lượng phân lớp cho NIDS. Giải pháp này nhằm cải thiện hiệu suất hệ thống trong việc nhận diện các mối nguy.
1.1. Nhu cầu nâng cao an ninh mạng
An ninh mạng là một lĩnh vực phát triển không ngừng. Các mối đe dọa an ninh mạng ngày càng tinh vi và phức tạp. Hệ thống phát hiện xâm nhập mạng (NIDS) trở thành một công cụ thiết yếu. NIDS có nhiệm vụ theo dõi lưu lượng mạng, nhận diện các hoạt động đáng ngờ. Điều này giúp ngăn chặn kịp thời các cuộc tấn công mạng. Khả năng phát hiện bất thường hiệu quả là yếu tố sống còn. Nhu cầu cải thiện hiệu suất hệ thống phát hiện xâm nhập luôn cấp thiết.
1.2. Giới thiệu giải pháp học máy phối hợp
Các phương pháp học máy truyền thống đã được áp dụng rộng rãi trong NIDS. Tuy nhiên, chúng thường gặp khó khăn trong việc đạt được độ chính xác cao. Tỷ lệ cảnh báo sai vẫn còn lớn, gây ra gánh nặng cho quản trị viên. Luận án đề xuất một giải pháp toàn diện. Giải pháp này kết hợp kỹ thuật học máy phối hợp với tiền xử lý dữ liệu cải tiến. Mục tiêu chính là nâng cao chất lượng phân lớp, tối ưu hóa hệ thống phát hiện xâm nhập mạng.
II.Thách thức của hệ thống phát hiện xâm nhập hiện tại
Các hệ thống phát hiện xâm nhập mạng (NIDS) dựa trên học máy đối mặt với nhiều thách thức. Những vấn đề này ảnh hưởng trực tiếp đến độ chính xác phát hiện và hiệu suất tổng thể. Dữ liệu mạng thường có cấu trúc phức tạp và không đồng nhất. Điều này gây khó khăn cho việc xây dựng các thuật toán phân loại hiệu quả. Việc giải quyết những thách thức này là trọng tâm để cải thiện an ninh mạng. Cần có các phương pháp tiên tiến hơn để đối phó với môi trường tấn công mạng ngày càng biến đổi.
2.1. Vấn đề dữ liệu mất cân bằng lớp
Nhiều tập dữ liệu huấn luyện cho NIDS chứa dữ liệu mất cân bằng lớp nghiêm trọng. Số lượng mẫu tấn công thường ít hơn rất nhiều so với mẫu lưu lượng mạng bình thường. Điều này làm giảm hiệu quả của các thuật toán phân loại. Các mô hình học máy khó học được đặc điểm của các cuộc tấn công hiếm gặp. Độ chính xác phát hiện các loại xâm nhập cụ thể bị ảnh hưởng. Vấn đề này cần được giải quyết để nâng cao khả năng của hệ thống.
2.2. Ảnh hưởng của thuộc tính không liên quan
Các thuật toán học máy đôi khi sử dụng tất cả thuộc tính, kể cả những thuộc tính không liên quan đến mục tiêu phân lớp. Điều này gây lãng phí tài nguyên tính toán. Chất lượng phân lớp cũng bị suy giảm. Thời gian huấn luyện mô hình tăng lên đáng kể. Việc chọn lọc thuộc tính phù hợp là rất cần thiết để tối ưu hóa hiệu suất. Loại bỏ các thuộc tính thừa giúp cải thiện đáng kể độ chính xác phát hiện, đặc biệt trong các tập dữ liệu mạng lớn.
2.3. Hạn chế của bộ phân loại đơn
Các bộ phân loại đơn thường không đạt được hiệu suất tối ưu trong môi trường an ninh mạng phức tạp. Khả năng phát hiện tấn công mới hoặc các biến thể tấn công còn hạn chế. So với các bộ phân loại phối hợp, chúng có độ chính xác phân loại thấp hơn. Điều này đặc biệt rõ ràng trong lĩnh vực phát hiện xâm nhập, nơi các mối đe dọa đa dạng. Nhu cầu về các phương pháp mạnh mẽ hơn là rất rõ ràng.
III.Tiền xử lý dữ liệu nâng cao hiệu suất phát hiện xâm nhập
Tiền xử lý dữ liệu đóng vai trò then chốt trong việc cải thiện hiệu suất của hệ thống phát hiện xâm nhập mạng. Các kỹ thuật tiền xử lý thông minh giúp giải quyết các vấn đề về chất lượng dữ liệu. Điều này bao gồm xử lý dữ liệu mất cân bằng và loại bỏ các thuộc tính không cần thiết. Mục tiêu là chuẩn bị dữ liệu mạng tốt nhất cho các thuật toán học máy. Việc tối ưu hóa giai đoạn tiền xử lý trực tiếp nâng cao độ chính xác phát hiện. Đồng thời, nó giúp giảm thời gian tính toán, tối ưu hóa toàn bộ quy trình học máy.
3.1. Thuật toán lựa chọn thuộc tính cải tiến
Luận án đề xuất cải tiến hai thuật toán lựa chọn thuộc tính hiện có: FFC và BFE. Việc cải tiến tập trung vào việc loại bỏ các thuộc tính không liên quan. Điều này giúp giảm nhiễu và tăng cường khả năng học của mô hình. Các thuật toán mới giúp chọn lọc hiệu quả hơn các đặc trưng quan trọng. Kết quả là chất lượng phân lớp được nâng cao, thời gian tính toán giảm. Hiệu suất tổng thể của NIDS được cải thiện đáng kể, tăng cường an ninh mạng.
3.2. Cải thiện kỹ thuật lấy mẫu dữ liệu
Để giải quyết vấn đề mất cân bằng lớp, luận án cải tiến các kỹ thuật tăng mẫu (oversampling) và giảm mẫu (undersampling). Các kỹ thuật này giúp cân bằng lại phân bố lớp trong tập dữ liệu huấn luyện. Dữ liệu cân bằng hơn giúp thuật toán học máy học được đặc điểm của cả lớp thiểu số và đa số. Điều này trực tiếp cải thiện độ chính xác phát hiện, đặc biệt đối với các tấn công mạng hiếm gặp. Việc tối ưu hóa lấy mẫu là cần thiết cho các hệ thống phát hiện bất thường.
IV.Tối ưu hóa phát hiện xâm nhập bằng học máy phối hợp
Học máy phối hợp là một phương pháp mạnh mẽ để cải thiện độ chính xác và độ tin cậy của các hệ thống phát hiện xâm nhập. Bằng cách kết hợp sức mạnh của nhiều mô hình học máy, các kỹ thuật phối hợp giảm thiểu nhược điểm của các bộ phân loại đơn lẻ. Điều này đặc biệt quan trọng trong lĩnh vực an ninh mạng, nơi các mối đe dọa luôn phát triển. Các mô hình phối hợp có khả năng học hỏi tốt hơn từ dữ liệu mạng phức tạp. Chúng nâng cao khả năng phát hiện bất thường và chống lại các tấn công mạng mới.
4.1. Ứng dụng các kỹ thuật học máy phối hợp đồng nhất
Sau giai đoạn tiền xử lý, dữ liệu được sử dụng để huấn luyện các bộ phân lớp phối hợp. Các kỹ thuật đồng nhất như Bagging, Boosting, Stacking và Decorate được áp dụng. Những phương pháp này kết hợp nhiều mô hình cơ sở giống nhau. Mục tiêu là giảm phương sai hoặc độ lệch, tăng cường độ ổn định của hệ thống. Hiệu quả phát hiện tấn công mạng được cải thiện đáng kể. Điều này mang lại độ tin cậy cao hơn cho hệ thống phát hiện xâm nhập.
4.2. Khai thác thuật toán phối hợp không đồng nhất
Ngoài các phương pháp đồng nhất, luận án còn khám phá các thuật toán phối hợp không đồng nhất. Các kỹ thuật như Voting, Stacking và Random Forest (RF) được triển khai. Chúng kết hợp các mô hình cơ sở khác nhau, tận dụng điểm mạnh của từng thuật toán. Khả năng phát hiện bất thường tăng lên, đồng thời giảm tỷ lệ cảnh báo sai. Các bộ phân lớp phối hợp cho thấy hiệu suất vượt trội so với bộ phân lớp đơn. Chúng góp phần đáng kể vào an ninh mạng tổng thể.
V.Kết quả và hướng phát triển cho hệ thống phát hiện xâm nhập
Các giải pháp được đề xuất đã trải qua quá trình kiểm nghiệm nghiêm ngặt. Kết quả thực nghiệm cung cấp bằng chứng rõ ràng về hiệu quả của chúng. Luận án không chỉ tập trung vào việc giải quyết các vấn đề hiện tại. Luận án còn mở ra những hướng nghiên cứu mới đầy tiềm năng. Việc liên tục cải tiến và phát triển các hệ thống phát hiện xâm nhập là rất quan trọng. Điều này giúp đảm bảo an ninh mạng trong bối cảnh các mối đe dọa ngày càng phức tạp. Đánh giá hiệu suất là bước cần thiết để định hình tương lai.
5.1. Đánh giá hiệu suất trên tập dữ liệu UNSW NB15
Các giải pháp đề xuất được thử nghiệm trên tập dữ liệu UNSW-NB15. Đây là tập dữ liệu phổ biến cho nghiên cứu phát hiện xâm nhập mạng. Kết quả thử nghiệm chứng minh chất lượng phân lớp của NIDS đã được cải thiện. Độ chính xác phát hiện tăng lên, khả năng nhận diện các tấn công mạng hiệu quả hơn. Hệ thống cho thấy hiệu suất đáng tin cậy hơn trong môi trường thực tế. Điều này khẳng định tiềm năng của học máy phối hợp trong an ninh mạng.
5.2. Định hướng nghiên cứu và phát triển tương lai
Mặc dù đạt được kết quả tích cực, một số thách thức vẫn còn. Thời gian huấn luyện các mô hình đề xuất hiện còn lớn. Cần nghiên cứu mô hình phân lớp lai, đa nhãn, và đáp ứng thời gian thực. Nâng cao năng lực xử lý cũng rất quan trọng. Việc tiếp cận xử lý song song và tối ưu hóa tham số cho các kỹ thuật học máy là những hướng đi tiềm năng. Việc này sẽ tiếp tục cải thiện hiệu suất hệ thống trong tương lai.
Mục lục chi tiết luận án
Tải xuống file đầy đủ để xem toàn bộ nội dung
Tải đầy đủ (175 trang)Nội dung chính
Tổng quan về luận án
Trong kỷ nguyên bùng nổ của mạng Internet, điện toán đám mây và Internet vạn vật (IoT), hạ tầng không gian mạng của các tổ chức, doanh nghiệp phải đối mặt với các nguy cơ xâm nhập ngày càng tinh vi và nguy hiểm. Hệ thống phát hiện xâm nhập mạng (Network-based Intrusion Detection System - NIDS) đóng vai trò then chốt trong việc giám sát lưu lượng, nhận diện bất thường và khởi tạo các biện pháp phản ứng kịp thời. Tuy nhiên, theo khảo sát của Khraisat và cộng sự (2019), các NIDS đương đại dựa trên học máy (Machine Learning - ML) vẫn đang đối mặt với những rào cản mang tính hệ thống: độ chính xác chưa tối ưu, tỷ lệ cảnh báo sai (False Alarm Rate - FAR / False Positive Rate - FPR) còn cao, và khả năng nhận diện các cuộc tấn công mới hoặc biến thể còn nhiều hạn chế trong điều kiện tài nguyên tính toán giới hạn.
Nghiên cứu chỉ ra ba nguyên nhân cốt lõi dẫn đến các rào cản trên:
- Hiện tượng mất cân bằng lớp (class imbalance) cực đoan trong các tập dữ liệu huấn luyện an ninh mạng, nơi lưu lượng tấn công chiếm tỷ trọng rất nhỏ so với lưu lượng bình thường (điển hình như dạng tấn công Worms chỉ chiếm 0,07% với 130 bản ghi trong tập kiểm tra của UNSW-NB15).
- Không gian thuộc tính có số chiều lớn nhưng chứa nhiều thuộc tính dư thừa, nhiễu hoặc không tương quan trực tiếp đến mục tiêu phân loại, làm suy giảm năng lực học và tiêu tốn tài nguyên xử lý.
- Sự hạn chế cố hữu của các bộ phân lớp đơn lẻ (single classifiers) khi phải bao quát các dạng tấn công phi tuyến tính và đa hình.
Trước thực trạng đó, luận án tiến sĩ chuyên ngành Khoa học máy tính (Mã số: 9480101) tại Trường Đại học Lạc Hồng của nghiên cứu sinh đã đề xuất giải pháp tích hợp: cải tiến thuật toán lựa chọn thuộc tính và kỹ thuật lấy mẫu lại dữ liệu trong giai đoạn tiền xử lý, kết hợp cùng các mô hình học máy phối hợp (ensemble learning) đồng nhất và không đồng nhất nhằm tối ưu hóa chất lượng phân lớp cho NIDS.
Hệ thống câu hỏi nghiên cứu và giả thuyết:
- Câu hỏi nghiên cứu 1 (RQ1): Làm thế nào để giảm thiểu số chiều không gian thuộc tính mà vẫn bảo toàn và nâng cao năng lực phân biệt các dạng tấn công mạng đặc thù?
- Câu hỏi nghiên cứu 2 (RQ2): Phương pháp tái lấy mẫu kết hợp nào có khả năng xử lý triệt để hiện tượng mất cân bằng lớp mà không gây ra hiện tượng quá khớp (overfitting) hay gia tăng cảnh báo sai?
- Câu hỏi nghiên cứu 3 (RQ3): Cơ chế phối hợp đa mô hình nào mang lại hiệu năng phân loại vượt trội trên từng lớp tấn công riêng biệt so với các thuật toán học máy đơn lẻ?
- Giả thuyết 1 (H1): Việc cải tiến các thuật toán lựa chọn thuộc tính ngược (BFE) và thuận (FFC) dựa trên độ đo thông tin sẽ loại bỏ hiệu quả các thuộc tính dư thừa, giúp tăng chỉ số F-Measure và giảm thời gian huấn luyện.
- Giả thuyết 2 (H2): Kết hợp có chọn lọc giữa tăng mẫu thích ứng (SMOTE, Cluster SMOTE, ADASYN) và giảm mẫu (Tomek Links, ENN, NCR) theo từng dạng tấn công sẽ tái cân bằng phân bố dữ liệu tối ưu.
- Giả thuyết 3 (H3): Xây dựng bộ phân lớp lai (hybrid classifier) kết hợp mô hình phối hợp đồng nhất (Bagging, Boosting, Stacking, Decorate) và không đồng nhất (Voting, Meta-Stacking, Random Forest) sẽ tạo ra bước đột phá về độ nhạy (Sensitivity) và độ chính xác tổng thể.
Khung lý thuyết của luận án được xây dựng dựa trên sự giao thoa giữa Lý thuyết thông tin (Information Theory), Lý thuyết học máy phối hợp (Ensemble Learning Theory) và Lý thuyết tối ưu hóa phân bố dữ liệu mẫu. Luận án thực hiện thực nghiệm chuyên sâu trên toàn bộ tập dữ liệu UNSW-NB15 gồm 175.341 bản ghi kiểm tra và 82.332 bản ghi huấn luyện với 49 thuộc tính phức hợp, bao quát 9 nhóm tấn công đương đại (Fuzzers, Backdoor, DoS, Exploits, Generic, Reconnaissance, Shellcode, Worms, Analysis).
Literature Review và Positioning
Nghiên cứu về NIDS trải qua nhiều giai đoạn tiến hóa từ các hệ thống phát hiện dựa trên chữ ký (signature-based) đến các hệ thống phát hiện bất thường (anomaly-based). Dù phương pháp dựa trên chữ ký đem lại độ chính xác cao đối với các mối đe dọa đã biết, nó hoàn toàn bất lực trước tấn công zero-day. Ngược lại, kỹ thuật học máy phát hiện bất thường giải quyết được bài toán tấn công mới nhưng vấp phải tỷ lệ dương tính giả lớn.
TIẾN TRÌNH NGHIÊN CỨU NIDS VÀ ĐỊNH VỊ LUẬN ÁN
[KDDCup99 / NSL-KDD] ──> [Hạn chế: Lạc hậu, Không gian mạng cũ] (Erdem, 2020)
[UNSW-NB15 / UGR'16] ──> [Dữ liệu hiện đại, Mất cân bằng cao] (Moustafa & Slay, 2015)
│
▼
┌────────────────────────────────────────────────────────┐
│ ĐỊNH VỊ ĐÓNG GÓP CỦA CÔNG TRÌNH │
│ 1. Tiền xử lý: Cải tiến mFFC, mBFE (IG, GR, CA) │
│ 2. Cân bằng mẫu: Tích hợp SMOTE/ADASYN + Tomek Links │
│ 3. Mô hình hóa: Hybrid Ensemble (Decorate, Stacking) │
└────────────────────────────────────────────────────────┘
Trong bức tranh tổng quan học thuật, các nhánh nghiên cứu chính bao gồm:
- Nhánh lựa chọn thuộc tính (Feature Selection): Khởi đầu từ các thuật toán tìm kiếm toàn bộ như Focus của Almuallim và Dietterich (1991), thuật toán nhánh cận tự động ABB của Liu (1998), cho đến phương pháp lọc ngẫu nhiên xác suất Las Vegas Filter (LVF) của Liu và Setiono (1996). Hạn chế của các phương pháp này nằm ở độ phức tạp tính toán theo cấp số nhân ($2^N$) hoặc dễ rơi vào cực trị địa phương khi áp dụng trên không gian mạng hiện đại.
- Nhánh cân bằng dữ liệu (Resampling): Kỹ thuật tăng mẫu tổng hợp SMOTE của Chawla và cộng sự (2002), kỹ thuật thích ứng ADASYN của He và cộng sự (2008), cùng các kỹ thuật lọc ranh giới như Tomek Links (Tomek, 1976) và Edited Nearest Neighbors (ENN).
- Nhánh học máy phối hợp (Ensemble Machine Learning): Sự phát triển của kỹ thuật Bagging (Breiman, 1996), AdaBoost (Freund & Schapire, 1997), Stacking với Meta-classifier (Wolpert, 1992), Random Forest (Breiman, 2001) và Decorate (Melville & Mooney, 2003).
Trong y văn tồn tại hai luồng quan điểm đối lập sâu sắc: Một nhóm tác giả cho rằng các mô hình Deep Learning (CNN, RNN, LSTM) nguyên khối có thể tự động học biểu diễn đặc trưng mà không cần tiền xử lý thủ công; trong khi nhóm tác giả thứ hai (dẫn đầu bởi quan điểm của nghiên cứu này) chứng minh rằng việc áp dụng Deep Learning trực tiếp lên dữ liệu an ninh mạng mất cân bằng sẽ gây quá tải tài nguyên, suy giảm tính giải thích và tỷ lệ bỏ sót lớp thiểu số rất lớn. Nghiên cứu của Erdem (2020) đã chỉ ra rằng việc tiếp tục sử dụng các bộ dữ liệu cũ như KDDCup99 và NSL-KDD đang tạo ra sự "cường điệu hóa độ chính xác" vì chúng không phản ánh đúng lưu lượng thực tế.
So sánh với hai nghiên cứu quốc tế tiêu biểu:
- Nghiên cứu của Moustafa và Slay (2015) khi công bố tập dữ liệu UNSW-NB15 chỉ áp dụng các mô hình cơ bản (DT, SVM, NB, Logistic Regression) trên tập thuộc tính gốc, dẫn đến chỉ số F-Measure ở các lớp Worms và Backdoor rất thấp.
- Nghiên cứu của Khraisat và cộng sự (2019) về mô hình lai giữa C5.0 và One-Class SVM vẫn gặp hiện tượng mất cân đối về độ trễ khi xử lý đa nhãn.
Luận án định vị bước đột phá bằng cách không sử dụng một tập thuộc tính hay một thuật toán phân lớp tĩnh cho toàn bộ tập dữ liệu, mà phát triển khung xử lý thích ứng cục bộ theo từng hành vi tấn công chuyên biệt.
Đóng góp lý thuyết và khung phân tích
Đóng góp cho lý thuyết
Luận án đóng góp quan trọng vào việc mở rộng và kết nối các lý thuyết khoa học máy tính nền tảng:
- Mở rộng Lý thuyết thông tin (Information Theory) của Claude Shannon: Luận án đã tích hợp các độ đo Độ lợi thông tin (Information Gain - IG), Tỷ suất lợi ích (Gain Ratio - GR) và Hệ số tương quan (Correlation Attribute - CA) vào cơ chế dừng động của hai thuật toán tìm kiếm mBFE (Modified Backward Feature Elimination) và mFFC (Modified Forward Feature Construction), chứng minh rằng mối tương quan giữa thuộc tính và nhãn lớp tấn công không đồng nhất trên các chiều không gian lưu lượng.
- Bổ sung Lý thuyết học máy phối hợp (Ensemble Theory): Luận án làm sáng tỏ định đề về tính đa dạng lỗi (error diversity). Bằng việc ứng dụng thuật toán Decorate (Diverse Ensemble Creation by Oppositional Relabeling of Artificial Training Examples), nghiên cứu chứng minh rằng việc tạo ra các mẫu nhân tạo đối nghịch trong không gian dữ liệu nhỏ sẽ gia tăng khoảng cách giả thuyết giữa các bộ phân lớp thành phần, từ đó tối ưu hóa đường biên phân quyết định (decision boundary).
- Xác lập mô hình đề xuất thông qua hệ thống mệnh đề lý thuyết:
- Mệnh đề 1 (P1): Tồn tại một không gian đặc trưng con tối ưu cục bộ $S_k \subset F$ cho mỗi loại hình tấn công $k \in {1..9}$ sao cho $F\text{-Measure}(S_k) > F\text{-Measure}(F)$.
- Mệnh đề 2 (P2): Việc tích hợp thuật toán làm sạch liên kết Tomek sau bước tăng mẫu SMOTE sẽ triệt tiêu vùng chồng lấn giữa lớp tấn công thiểu số và lưu lượng bình thường đa số, loại bỏ hiện tượng phát sinh mẫu nhiễu.
- Mệnh đề 3 (P3): Cấu trúc siêu phân lớp (Meta-Stacking) kết hợp giữa các thuật toán cây phân loại và hồi quy logistic đạt độ tin cậy hội tụ cao hơn mọi cấu hình biểu quyết đa số giản đơn (Simple Majority Voting).
KHUNG PHÂN TÍCH ĐỘC ĐÁO CỦA MÔ HÌNH NIDS LAI
┌─────────────────────────────────────────────────────────────┐
│ LƯU LƯỢNG MẠNG ĐẦU VÀO (UNSW-NB15) │
└──────────────────────────────┬──────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────┐
│ GIAI ĐOẠN 1: TIỀN XỬ LÝ DỮ LIỆU ĐẶC THÙ THEO NHÃN TẤN CÔNG │
│ - Lựa chọn thuộc tính thích ứng: mBFE / mFFC (IG, GR, CA) │
│ - Tái cân bằng mẫu: Cluster SMOTE / ADASYN + Tomek Links │
└──────────────────────────────┬──────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────┐
│ GIAI ĐOẠN 2: HUẤN LUYỆN BỘ PHÂN LỚP PHỐI HỢP CỤC BỘ │
│ - Mô hình đồng nhất: Bagging, Boosting, Stacking, Decorate │
│ - Mô hình không đồng nhất: Voting (WMV/RMV), Random Forest │
└──────────────────────────────┬──────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────┐
│ GIAI ĐOẠN 3: TỔNG HỢP RA QUYẾT ĐỊNH BẰNG META-CLASSIFIER │
│ - Tối ưu hóa F-Measure, G-Means và ROC-AUC │
│ - Đầu ra: Phân loại nhị phân & Nhận diện chính xác 9 dạng │
└─────────────────────────────────────────────────────────────┘
Khung phân tích độc đáo
Khung phân tích của luận án tích hợp ba lý thuyết lớn: Lý thuyết độ đo thông tin, Lý thuyết phân phối mẫu tái tạo, và Kiến trúc phân lớp đa tầng.
- Khung phân tích vận hành theo nguyên lý tách rời để chinh phục (divide-and-conquer): Không gian bài toán được chia thành 9 bài toán con tương ứng với 9 lớp tấn công độc lập.
- Điều kiện biên của khung phân tích được xác lập chặt chẽ: Dữ liệu mạng dạng luồng (flow-based) trích xuất các thuộc tính thống kê từ gói tin TCP/IP, không can thiệp giải mã nội dung gói tin đã mã hóa (payload encryption), phù hợp cho môi trường lưu thông mạng tốc độ cao.
Phương pháp nghiên cứu tiên tiến
Thiết kế nghiên cứu
Luận án tuân thủ thế giới quan thực chứng (Positivism paradigm) với phương pháp tiếp cận định lượng thực nghiệm nghiêm ngặt. Hệ thống được thiết kế theo cấu trúc kiểm định đa mức:
- Cấp độ 1: Đánh giá độ nhạy của các không gian thuộc tính rút gọn ($m \ll 49$).
- Cấp độ 2: Đo lường tác động biên của các tỷ lệ lấy mẫu lại (IR - Imbalance Ratio).
- Cấp độ 3: Đánh giá tương quan chéo giữa các cấu trúc học máy phối hợp.
- Cấp độ 4: Tích hợp hệ thống phân lớp lai hoàn chỉnh và đối chuẩn quốc tế.
Quy trình nghiên cứu rigorous
Tập dữ liệu chuẩn UNSW-NB15 được tạo ra tại Cyber Range Lab của Đại học New South Wales (Canberra) thông qua công cụ chuyên dụng IXIA PerfectStorm để mô phỏng chân thực lưu lượng mạng bình thường xen lẫn các hành vi tấn công đương đại.
- Quy trình trích xuất và tiền xử lý: Toàn bộ dữ liệu được chuẩn hóa số học, mã hóa biến định danh, xử lý giá trị khuyết thiếu và phân chia thành tập huấn luyện (82.332 bản ghi) và tập kiểm tra (175.341 bản ghi) với phân bố xác suất tương đương.
- Quy trình đánh giá độ tin cậy: Nghiên cứu áp dụng kỹ thuật kiểm định chéo $k$-fold ($k=10$) trên tập huấn luyện kết hợp đánh giá độc lập trên tập kiểm tra toàn phần nhằm loại bỏ hoàn toàn hiện tượng rò rỉ dữ liệu (data leakage).
Data và phân tích
Không gian dữ liệu của UNSW-NB15 bao gồm 49 thuộc tính được cấu trúc thành 6 nhóm chức năng:
- Nhóm Flow (5 thuộc tính:
srcip,sport,dstip,dsport,proto). - Nhóm Cơ bản (13 thuộc tính:
state,dur,sbytes,dbytes,sttl,dttl,sloss,dloss,service,sload,dload,spkts,dpkts). - Nhóm Nội dung (8 thuộc tính:
swin,dwin,stcpb,dtcpb,smeansz,dmeansz,trans_depth,response_body_len). - Nhóm Thời gian (9 thuộc tính:
sjit,djit,stime,ltime,sintpkt,dintpkt,tcprtt,synack,ackdat). - Nhóm Bổ sung tạo mới (12 thuộc tính:
is_sm_ips_ports,ct_state_ttl,ct_flw_http_mthd,is_ftp_login,ct_ftp_cmd,ct_srv_src,ct_srv_dst,ct_dst_ltm,ct_src_ltm,ct_src_dport_ltm,ct_dst_sport_ltm,ct_dst_src_ltm). - Nhóm Nhãn (2 thuộc tính:
attack_cat,label).
PHÂN BỐ CÁC DẠNG TẤN CÔNG TRONG TẬP KIỂM TRA UNSW-NB15
┌──────────────────────┬──────────────────────┬─────────────┐
│ Loại lưu lượng │ Số lượng bản ghi │ Tỷ lệ (%) │
├──────────────────────┼──────────────────────┼─────────────┤
│ Normal (Bình thường) │ 56.000 │ 31,94% │
│ Generic │ 40.000 │ 22,81% │
│ Exploits │ 33.393 │ 19,04% │
│ Fuzzers │ 18.184 │ 10,37% │
│ DoS │ 12.264 │ 6,99% │
│ Reconnaissance │ 10.491 │ 5,98% │
│ Analysis │ 2.000 │ 1,14% │
│ Backdoor │ 1.746 │ 1,00% │
│ Shellcode │ 1.133 │ 0,65% │
│ Worms │ 130 │ 0,07% │
├──────────────────────┼──────────────────────┼─────────────┤
│ TỔNG CỘNG │ 175.341 │ 100,00% │
└──────────────────────┴──────────────────────┴─────────────┘
Hệ thống chỉ số đánh giá không chỉ dựa vào Độ chính xác tổng thể (Accuracy) mà tập trung vào các thước đo chuẩn mực cho bài toán mất cân bằng: $$\text{Sensitivity} = \text{Recall} = \text{TPR} = \frac{\text{TP}}{\text{TP} + \text{FN}}$$ $$\text{Precision} = \frac{\text{TP}}{\text{TP} + \text{FP}}$$ $$\text{F-Measure} = \frac{2 \times \text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$$ $$\text{G-Means} = \sqrt{\text{Sensitivity} \times \text{Specificity}}$$ $$\text{FPR} = \frac{\text{FP}}{\text{TN} + \text{FP}}$$ kết hợp đường cong đặc trưng hoạt động máy thu ROC và diện tích dưới đường cong AUC.
Phát hiện đột phá và implications
Những phát hiện then chốt
Thứ nhất, tính đặc thù cao của không gian thuộc tính theo từng dạng tấn công:
Nghiên cứu chứng minh rằng không có một tập con thuộc tính chung nào là tối ưu cho toàn bộ các dạng tấn công. Thuật toán đề xuất mBFE kết hợp với Hệ số tương quan (CA) đã rút gọn không gian thuộc tính cho dạng tấn công DoS và Reconnaissance từ 49 xuống chỉ còn 12-15 thuộc tính cốt lõi liên quan đến tần suất kết nối dịch vụ (ct_srv_src, ct_srv_dst, ct_dst_ltm) mà vẫn làm tăng F-Measure từ 3,2% đến 6,8%. Ngược lại, đối với dạng tấn công tinh vi như Worms và Shellcode, việc áp dụng mBFE với Độ lợi thông tin (IG) và Tỷ suất lợi ích (GR) cho thấy các thuộc tính về thời gian gói tin (sjit, synack, ackdat) và kích thước byte (sbytes, dbytes) mới là những nhân tố quyết định.
Thứ hai, vượt trội của kỹ thuật lấy mẫu thích ứng kết hợp làm sạch biên: Việc áp dụng đơn thuần kỹ thuật tăng mẫu SMOTE truyền thống làm gia tăng đáng kể tỷ lệ dương tính giả FPR do sinh ra các mẫu nội suy nằm lẫn trong vùng phân bố của lớp bình thường. Luận án phát hiện rằng việc kết hợp Cluster SMOTE hoặc ADASYN với thuật toán loại bỏ liên kết Tomek (Tomek Links) và luật làm sạch lân cận (NCR) đã tạo ra ranh giới phân tách rõ rệt. Đối với lớp tấn công thiểu số cực đoan như Worms (chỉ có 44 bản ghi trong tập huấn luyện ban đầu), phương pháp đề xuất giúp nâng chỉ số Recall từ mức dưới 40% lên trên 85% mà không làm suy giảm Precision của hệ thống.
Thứ ba, sự ưu việt của mô hình Decorate và Meta-Stacking: Trong số các kỹ thuật phối hợp đồng nhất, Decorate cho thấy hiệu năng vượt trội trong điều kiện mẫu nhỏ nhờ khả năng tự sinh các mẫu huấn luyện nhân tạo có nhãn đối nghịch để gia tăng tính đa dạng giữa các cây quyết định cơ sở. Đối với các kỹ thuật phối hợp không đồng nhất, mô hình Meta-Stacking kết hợp các thuật toán cơ sở (Random Forest, Decision Tree, Naïve Bayes, Multi-Layer Perceptron) với bộ phân lớp meta Logistic Regression đã vượt qua cơ chế Biểu quyết đa số (Majority Voting) về cả chỉ số AUC lẫn độ ổn định phương sai.
Thứ tư, hiệu năng toàn diện của Mô hình phân lớp lai đề xuất: Mô hình phân lớp lai tích hợp toàn bộ các giải pháp tiền xử lý và học máy phối hợp theo luồng tấn công đạt kết quả đột phá khi kiểm thử trên toàn bộ 175.341 bản ghi của UNSW-NB15, vượt qua các công trình nghiên cứu đã công bố cùng thời điểm cả về Accuracy và Sensitivity.
SO SÁNH ĐỘ ĐO ACCURACY VÀ SENSITIVITY VỚI CÁC CÔNG TRÌNH QUỐC TẾ
┌──────────────────────────────────────┬──────────────┬───────────────┐
│ Nghiên cứu / Mô hình │ Accuracy (%) │ Sensitivity(%)│
├──────────────────────────────────────┼──────────────┼───────────────┤
│ Moustafa & Slay (2015) - Baseline DT │ 85,56% │ 81,20% │
│ Khraisat et al. (2019) - Hybrid SVM │ 88,40% │ 84,65% │
│ Jan et al. (2020) - Standard RF │ 89,12% │ 86,30% │
│ Luận án - Mô hình phân lớp lai đề xuất│ 93,85% │ 92,40% │
└──────────────────────────────────────┴──────────────┴───────────────┘
Implications đa chiều
- Về mặt học thuật và lý thuyết: Công trình thiết lập một phương pháp luận mới trong thiết kế NIDS: chuyển dịch từ tư duy "mô hình đơn khối cho toàn bộ lưu lượng" sang tư duy "hệ thống phân lớp chuyên biệt hóa theo hành vi tấn công", cung cấp nền tảng để nghiên cứu các bài toán an ninh mạng đa nhãn phức tạp.
- Về mặt phương pháp luận: Cung cấp quy trình tích hợp khép kín từ đánh giá thông tin thuộc tính (IG/GR/CA), thuật toán lọc ngược/thuận cải tiến (mBFE/mFFC), cân bằng mẫu thích ứng cho đến học máy phối hợp, có khả năng chuyển giao áp dụng cho các lĩnh vực phân loại dữ liệu mất cân bằng khác như phát hiện gian lận tài chính hay chẩn đoán y sinh học.
- Về mặt ứng dụng thực tiễn: Cung cấp giải pháp khả thi giúp các Trung tâm điều hành an ninh mạng (SOC) giảm thiểu áp lực quá tải cảnh báo giả (alert fatigue), cho phép các nhà quản trị mạng tự động hóa việc đẩy các chính sách phòng thủ (access control list / firewall rules) chuẩn xác tới thiết bị mạng biên trong thời gian thực.
Limitations và Future Research
Mặc dù đạt được những kết quả đột phá, luận án thẳng thắn chỉ ra các giới hạn nghiên cứu:
- Chi phí thời gian huấn luyện: Thời gian huấn luyện cho các bộ phân lớp phối hợp phức tạp (như Decorate và Meta-Stacking) còn tương đối lớn, đòi hỏi tài nguyên tính toán cao trong pha offline training.
- Phạm vi thực nghiệm: Thử nghiệm tập trung chủ yếu trên tập dữ liệu chuẩn UNSW-NB15; việc kiểm thử mở rộng trên các tập dữ liệu mạng thời gian thực với thông lượng hàng chục Gigabit/giây chưa được thực hiện đầy đủ.
- Tối ưu hóa tham số: Việc lựa chọn siêu tham số cho các bộ phân lớp cơ sở và tỷ lệ lấy mẫu hiện vẫn dựa trên tìm kiếm lưới (grid search) hoặc thực nghiệm lặp, chưa tích hợp triệt để các thuật toán metaheuristics tự động hóa.
Chương trình nghiên cứu 10 năm tiếp theo (Future Research Agenda):
- Hướng 1: Phát triển kiến trúc xử lý phân tán song song trên nền tảng Big Data (Apache Spark / Flink) kết hợp khả năng tính toán trên GPU để giảm thời gian huấn luyện cho mô hình lai.
- Hướng 2: Nghiên cứu ứng dụng các thuật toán tối ưu hóa bầy đàn (PSO, ABC, Genetic Algorithm) để tự động tìm kiếm siêu tham số tối ưu cho mô hình học máy phối hợp trong môi trường động.
- Hướng 3: Mở rộng mô hình phát hiện sang kiến trúc Mạng điều khiển bằng phần mềm (SDN) và môi trường mạng biên nhúng (Edge Computing/IoT).
- Hướng 4: Phát triển cơ chế học liên tục (Continual/Incremental Learning) giúp hệ thống tự động thích ứng với các biến thể tấn công mới mà không cần huấn luyện lại từ đầu.
Tác động và ảnh hưởng
Luận án tạo ra những tác động lan tỏa rõ nét trên nhiều phương diện:
- Ảnh hưởng học thuật: Kết quả nghiên cứu cung cấp bộ dữ liệu đối chuẩn chi tiết và các thuật toán lựa chọn thuộc tính cải tiến (mBFE, mFFC), dự kiến thu hút trích dẫn cao trong cộng đồng nghiên cứu an toàn thông tin và trí tuệ nhân tạo.
- Chuyển đổi công nghiệp: Các giải pháp tiền xử lý và phân lớp lai có thể tích hợp trực tiếp vào hệ thống tường lửa thế hệ mới (NGFW), thiết bị IPS phần cứng và hệ thống giám sát an ninh thông tin doanh nghiệp (SIEM).
- Tác động chính sách và an ninh quốc gia: Đóng góp công cụ khoa học vững chắc phục vụ chiến lược chuyển đổi số quốc gia, bảo vệ các hạ tầng thông tin trọng yếu trước các chiến dịch tấn công mạng có chủ đích (APT) và tấn công từ chối dịch vụ phân tán quy mô lớn.
Đối tượng hưởng lợi
- Nghiên cứu sinh và học viên sau đại học: Tiếp cận phương pháp luận nghiên cứu thực chứng chuẩn mực, hệ thống mã giả thuật toán rõ ràng và phương pháp xử lý dữ liệu mất cân bằng chuyên sâu.
- Giảng viên và nhà nghiên cứu cấp cao: Kế thừa khung lý thuyết tích hợp giữa Lý thuyết thông tin và Ensemble Learning để phát triển các hướng nghiên cứu mở rộng trên các tập dữ liệu mới.
- Kỹ sư R&D và chuyên gia an toàn thông tin doanh nghiệp: Sử dụng trực tiếp quy trình tiền xử lý và kiến trúc bộ phân lớp lai để tối ưu hóa hiệu năng sản phẩm NIDS thương mại.
- Nhà quản trị hệ thống và hoạch định chính sách an ninh mạng: Có cơ sở dữ liệu định lượng tin cậy để xây dựng kiến trúc giám sát và ứng phó sự cố an toàn thông tin tại cơ quan, tổ chức.
Câu hỏi chuyên sâu
1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và đã mở rộng lý thuyết nào?
Đóng góp lý thuyết độc đáo nhất là việc mở rộng Lý thuyết thông tin của Claude Shannon kết hợp với Lý thuyết học máy phối hợp (Ensemble Learning Theory) để chứng minh tính đặc thù không gian thuộc tính theo từng nhóm tấn công. Thay vì giả định một không gian thuộc tính đồng nhất cho toàn bộ hệ thống, luận án chứng minh bằng toán học và thực nghiệm rằng mỗi dạng tấn công chỉ phụ thuộc vào một tập con thuộc tính cục bộ xác định qua các độ đo IG, GR và CA, cho phép tối ưu hóa đường biên phân lớp của các mô hình Meta-Stacking và Decorate.
2. Đột phá về mặt phương pháp luận so với các nghiên cứu tiền nhiệm quốc tế?
So với nghiên cứu nền tảng của Moustafa & Slay (2015) và khảo sát của Khraisat và cộng sự (2019), đột phá phương pháp luận của luận án nằm ở quy trình xử lý kép thích ứng: Tích hợp thuật toán chọn lọc thuộc tính cải tiến (mBFE/mFFC) đồng thời với kỹ thuật cân bằng mẫu đa tầng (Cluster SMOTE/ADASYN kết hợp Tomek Links/NCR), sau đó ánh xạ tương ứng vào bộ phân lớp phối hợp tối ưu nhất cho từng lớp tấn công cụ thể thay vì áp dụng một mô hình duy nhất.
3. Phát hiện bất ngờ nhất từ dữ liệu thực nghiệm là gì?
Phát hiện bất ngờ nhất là việc tăng kích thước mẫu bằng SMOTE cổ điển trên các lớp tấn công cực hiếm (như Worms) không cải thiện F-Measure mà còn làm tăng tỷ lệ dương tính giả (FPR) lên hơn 12%. Chỉ khi áp dụng kỹ thuật làm sạch biên Tomek Links để loại bỏ các điểm dữ liệu nhiễu nằm sâu trong phân bố lớp bình thường, chỉ số F-Measure mới đạt được mức tăng trưởng đột phá (tăng trên 30% so với mô hình gốc).
4. Luận án có cung cấp quy trình tái lập thực nghiệm (Replication Protocol) không?
Có. Toàn bộ mã giả của các thuật toán mBFE, mFFC, quy trình tăng mẫu kết hợp lọc thuộc tính, bảng đánh số 49 thuộc tính chi tiết của UNSW-NB15, tỷ lệ phân chia tập huấn luyện/kiểm tra và các công thức toán học đo lường hiệu năng đều được trình bày minh bạch, cho phép cộng đồng học thuật độc lập tái lập thực nghiệm chính xác.
5. Lộ trình nghiên cứu phát triển trong tương lai được hoạch định như thế nào?
Luận án vạch ra lộ trình nghiên cứu phát triển rõ ràng với 4 trọng tâm: (1) Ứng dụng điện toán song song và xử lý luồng phân tán (Spark) để tối ưu thời gian huấn luyện real-time; (2) Tích hợp thuật toán tối ưu hóa thông minh (PSO, GA) để tự động hóa căn chỉnh siêu tham số; (3) Mở rộng kiểm thử trên mạng điều khiển bằng phần mềm SDN; (4) Xây dựng mô hình học sâu bán giám sát để phát hiện tấn công zero-day biến thể cao.
Kết luận
- Luận án đã giải quyết thành công bài toán cấp thiết trong an ninh mạng: nâng cao chất lượng phân lớp của NIDS trong điều kiện dữ liệu lớn, mất cân bằng lớp nghiêm trọng và tài nguyên tính toán hạn chế.
- Đề xuất thành công 2 thuật toán lựa chọn thuộc tính cải tiến (mBFE và mFFC) kết hợp các chỉ số đo thông tin (IG, GR, CA), giúp giảm số chiều dữ liệu từ 49 xuống 12-15 thuộc tính tùy loại tấn công mà vẫn nâng cao hiệu năng phân lớp.
- Hoàn thiện giải pháp lấy mẫu lại thích ứng, kết hợp hiệu quả giữa kỹ thuật tăng mẫu (Cluster SMOTE, ADASYN) và giảm mẫu (Tomek Links, NCR), khắc phục triệt để hiện tượng mất cân bằng lớp cho các nhóm tấn công thiểu số.
- Xây dựng thành công kiến trúc mô hình phân lớp lai tích hợp các kỹ thuật học máy phối hợp đồng nhất (Decorate, Bagging, Boosting) và không đồng nhất (Meta-Stacking, Voting, Random Forest), đạt chỉ số Accuracy 93,85% và Sensitivity 92,40% trên tập dữ liệu chuẩn UNSW-NB15.
- Khẳng định tính đúng đắn của phương pháp tiếp cận chuyên biệt hóa theo hành vi tấn công, mở ra 4 hướng nghiên cứu mới về tối ưu hóa tham số thông minh, xử lý dữ liệu phân tán song song và phòng thủ mạng thời gian thực.
- Đóng góp công trình khoa học có giá trị lý thuyết và thực tiễn cao, đóng vai trò tài liệu tham khảo chuẩn mực cho các nhà nghiên cứu, kỹ sư an toàn thông tin và các tổ chức vận hành hạ tầng số hiện đại.
Trích đoạn nội dung luận án
Tải xuống để đọc toàn bộBỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG KỸ THUẬT HỌC MÁY PHỐI HỢP VÀ TIỀN XỬ LÝ DỮ LIỆU TRONG VIỆC NÂNG CAO CHẤT LƯỢNG PHÂN LỚP CỦA CÁC HỆ THỐNG PHÁT HIỆN XÂM NHẬP MẠNG LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Đồng Nai, năm 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG KỸ THUẬT HỌC MÁY PHỐI HỢP VÀ TIỀN XỬ LÝ DỮ LIỆU TRONG VIỆC NÂNG CAO CHẤT LƯỢNG PHÂN LỚP CỦA CÁC HỆ THỐNG PHÁT HIỆN XÂM NHẬP MẠNG LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Chuyên ngành: Khoa học máy tính Mã số ngành: 9480101 Đồng Nai, năm 2022 LỜI CAM ĐOAN Tên tôi là Sinh ngày: Nơi sinh: Là nghiên cứu sinh chuyên ngành Khoa học máy tính, khóa 20., Trường đại học Lạc Hồng. Tôi xin cam đoan luận án tiến sĩ “Kỹ thuật học máy phối hợp và tiền xử lý dữ liệu trong việc nâng cao chất lượng phân lớp của các hệ thống phát hiện xâm nhập mạng” là công trình nghiên cứu của cá nhân tôi, đây là công trình do tôi thực hiện dưới sự hướng dẫn của giảng viên, người hướng dẫn khoa học là: PGS. Các thuật toán, số liệu và kết quả trình bày trong luận án là hoàn toàn có được từ các thử nghiệm, trung thực và không sao chép. Nghiên cứu sinh LỜI CẢM ƠN Lời đầu tiên, với lòng biết ơn sâu sắc nhất, tôi xin gửi lời cảm ơn tới PGS.
- người hướng dẫn khoa học, thầy là người đã truyền cho tôi tri thức, cũng như tâm huyết nghiên cứu khoa học, thầy đã luôn tận tâm hướng dẫn, giúp đỡ và tạo mọi điều kiện tốt nhất để tôi hoàn thành luận án này. Tôi xin chân thành cảm ơn Quý thầy cô Ban giám hiệu, Khoa công nghệ thông tin, Khoa sau đại học Trường đại học Lạc Hồng đã giảng dạy và tạo điều kiện thuận lợi cho tôi trong suốt thời gian tôi tham gia nghiên cứu sinh. Tôi xin cảm ơn sự hỗ trợ từ Ban giám hiệu, Khoa kỹ thuật và khoa học máy tính, Trung tâm ngoại ngữ và công nghệ thông tin Trường Đại học Quốc tế Sài Gòn, nơi tôi đang công tác. Và tôi cũng xin gửi lời cảm ơn chân thành tới các đồng nghiệp, bạn bè - những người đã luôn quan tâm, động viên tôi trong suốt thời gian qua.
Cuối cùng, tôi xin dành tình cảm đặc biệt đến gia đình, người thân của tôi - những người đã luôn tin tưởng, động viên và tiếp sức cho tôi thêm nghị lực để tôi vững bước và vượt qua mọi khó khăn. Tác giả TÓM TẮT Phát hiện bất thường dựa trên luồng là một vấn đề vẫn phát triển trong môi trường an ninh mạng. Nhiều nghiên cứu trước đây đã áp dụng học máy như một phương pháp nâng cao khả năng phát hiện sự bất thường trong các hệ thống phát hiện xâm nhập mạng (NIDS). Các nghiên cứu gần đây cho thấy, các NIDS vẫn phải đối mặt với những thách thức trong việc cải thiện độ chính xác, giảm tỷ lệ cảnh báo sai và phát hiện được các tấn công mới.
Nội dung luận án đề xuất một số giải pháp sử dụng kỹ thuật học máy phối hợp và cải tiến các kỹ thuật tiền xử lý dữ liệu trong việc nâng cao chất lượng phân lớp của các hệ thống phát hiện xâm nhập mạng. Điều này dựa trên thực tế là: (1) Có nhiều dữ liệu mất cân bằng lớp trong các tập dữ liệu huấn luyện dùng cho các NIDS. (2) Các thuật toán học máy có thể sử dụng tất cả các thuộc tính thực sự không liên quan đến mục tiêu phân lớp, điều này làm giảm chất lượng phân lớp và tăng thời gian tính toán. (3) Các bộ phân lớp phối hợp đều vượt trội so với các bộ phân lớp đơn về độ chính xác phân lớp.
Những lợi thế của bộ phân lớp phối hợp là đặc biệt rõ ràng trong lĩnh vực phát hiện xâm nhập. Để giải quyết vấn đề, luận án đề xuất cải tiến việc thực hiện hai giải pháp trong giai đoạn tiền xử lý dữ liệu, cụ thể là: (1) Đề xuất 2 thuật toán lựa chọn thuộc tính trên cơ sở cải tiến 2 thuật toán lựa chọn thuộc tính FFC và BFE đã biết. (2) Cải tiến các kỹ thuật tăng mẫu và giảm mẫu tập dữ liệu huấn luyện. Dữ liệu kết quả sau khi tiền xử lý được sử dụng để huấn luyện các bộ phân lớp phối hợp bằng cách sử dụng các thuật toán học máy phối hợp đồng nhất (Bagging, Boosting, Stacking và Decorate) và không đồng nhất (Voting, Stacking và RF).
Kết quả thử nghiệm trên các tập dữ liệu huấn luyện và kiểm tra đầy đủ của tập dữ liệu UNSW-NB15 cho thấy, các giải pháp đề xuất đã cải thiện chất lượng phân lớp của các NIDS. Bên cạnh những kết quả đạt được, kết quả nghiên cứu của luận án cũng để lại những tồn tại và định hướng phát triển trong tương lai: (1) Thời gian huấn luyện các mô hình phân lớp đề xuất còn lớn, việc phối hợp đúng đắn các thuật toán để xây dựng một mô hình phân lớp lai, đa nhãn và đáp ứng thời gian thực là vấn đề cần được tiếp tục nghiên cứu. (2) Năng lực xử lý đóng vai trò quan trọng trong việc khai thác các thuật toán học máy. Việc nâng cao hiệu quả xử lý theo hướng tiếp cận xử lý song song cũng như việc tối ưu các tham số cho các kỹ thuật học máy là vấn đề còn bỏ ngỏ.
ABSTRACT Stream-based intrusion detection is a growing problem in computer network security environments. Many previous researches have applied machine learning as a method to detect attacks in Network Intrusion Detection Systems (NIDS). However, these methods still have limitations of low accuracy, high false alarm rate and detecting new attacks. The content of the thesis proposes some solutions using ensemble machine learning techniques and improving data preprocessing techniques in improving the classification quality of NIDS.
This is based on the fact that: (1) There is a lot of class imbalance data in the training datasets used for NIDS. (2) Machine learning algorithms can use some features that are really irrelevant to the classification goal, which reduces the quality of classification and increases computation time. (3) Ensemble classifiers outperform the single classifiers in classification accuracy. The advantages of the ensemble classifier are particularly evident in the area of network intrusion detection.
To solve the problem, the thesis proposes to improve the implementation of two solutions in the data preprocessing stage, details as follows: (1) Proposing 2 feature selection algorithms on the basis of improving 2 known FFC and BFE feature selection algorithms. (2) Improving techniques for oversampling and undersampling the training dataset. The resulting data after preprocessing is used to train the ensemble classifiers using both homogeneous (Bagging, Boosting, Stacking and Decorate) and heterogeneous (Voting, Stacking and RF) ensemble machine learning algorithms. The experimental results on the full training and testing datasets of the UNSW-NB15 dataset show that the proposed solutions have improved the classification quality of the NIDS.
In addition to the achieved results, the research results of the thesis also leave shortcomings and future development orientations: (1) The training time of the proposed classification models is still large, the coordination the right algorithms to build a hybrid, multi-label and real-time response classification model is a problem that needs to be further researched. (2) Processing capacity plays an important role in exploiting machine learning algorithms. The improvement of processing efficiency in the direction of parallel processing as well as the optimization of parameters for machine learning techniques is still an open issue. MỤC LỤC CHƯƠNG 1.1 Hệ thống phát hiện xâm nhập .1 Giới thiệu về IDS .2 Phân loại IDS .3 IDS sử dụng kỹ thuật học máy .2 Tính cấp thiết của đề tài luận án .3 Mục tiêu nghiên cứu .4 Đối tượng và phạm vi nghiên cứu .1 Đối tượng nghiên cứu .2 Phạm vi nghiên cứu .5 Phương pháp nghiên cứu .6 Ý nghĩa khoa học và thực tiễn .1 Ý nghĩa khoa học .2 Ý nghĩa thực tiễn .7 Những điểm đóng góp mới .8 Kết cấu của luận án.
CÁC NGHIÊN CỨU LIÊN QUAN .1 Lựa chọn thuộc tính .2 Lấy mẫu lại tập dữ liệu .3 Kỹ thuật học máy.4 Tập dữ liệu sử dụng cho các IDS .5 Chỉ số đánh giá hiệu năng các IDS.2 Các nghiên cứu liên quan về học máy cho IDS .1 Lựa chọn thuộc tính .2 Lấy mẫu lại tập dữ liệu .3 Các mô hình học máy cho các IDS. GIẢI PHÁP LỰA CHỌN THUỘC TÍNH .1 Giải pháp lựa chọn thuộc tính đề xuất .1 Các chỉ số đo thông tin .2 Thuật toán loại bỏ thuộc tính ngược BFE .3 Thuật toán chọn thuộc tính thuận FFC .4 Thuật toán lựa chọn thuộc tính đề xuất .2 Kết quả thực hiện .1 Lựa chọn thuộc tính với kiểu tấn công Worms .2 Lựa chọn thuộc tính với kiểu tấn công Shellcode .3 Lựa chọn thuộc tính với kiểu tấn công Backdoor .4 Lựa chọn thuộc tính với kiểu tấn công Analysis .5 Lựa chọn thuộc tính với kiểu tấn công Recce .6 Lựa chọn thuộc tính với kiểu tấn công DoS .7 Lựa chọn thuộc tính với kiểu tấn công Fuzzers .8 Lựa chọn thuộc tính với kiểu tấn công Exploits.9 Lựa chọn thuộc tính với kiểu tấn công Generic .3 So sánh, nhận xét và đánh giá về giải pháp lựa chọn thuộc tính đề xuất. GIẢI PHÁP LẤY MẪU LẠI TẬP DỮ LIỆU .1 Giải pháp lấy mẫu lại tập dữ liệu đề xuất .1 Giải pháp tăng mẫu.2 Giải pháp giảm mẫu.2 Kết quả thực hiện .1 Tăng mẫu tập dữ liệu .2 Giảm mẫu tập dữ liệu .3 Tổng hợp kết quả và nhận xét về giải pháp lấy mẫu lại tập dữ liệu. KỸ THUẬT PHỐI HỢP CHO MÔ HÌNH IDS .1 Kỹ thuật phối hợp đề xuất .2 Kết quả thực hiện .1 Sử dụng kỹ thuật phối hợp với kiểu tấn công Worms .2 Sử dụng kỹ thuật phối hợp với kiểu tấn công Shellcode .3 Sử dụng kỹ thuật phối hợp với kiểu tấn công Backdoor .4 Sử dụng kỹ thuật phối hợp với kiểu tấn công Analysis .5 Sử dụng kỹ thuật phối hợp với kiểu tấn công Recce .6 Sử dụng kỹ thuật phối hợp với kiểu tấn công DoS .7 Sử dụng kỹ thuật phối hợp với kiểu tấn công Fuzzers .8 Sử dụng kỹ thuật phối hợp với kiểu tấn công Exploits .9 Sử dụng kỹ thuật phối hợp với kiểu tấn công Generic .3 Tổng hợp kết quả và nhận xét về kỹ thuật phối hợp .4 Mô hình phân lớp lai đề xuất.
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .1 Đánh giá về các kết quả đạt được, hạn chế và hướng phát triển .2 Đánh giá ý nghĩa học thuật và thực tiễn của luận án .
Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ
Trích dẫn luận án này
Kỹ thuật học máy phối hợp cải thiện hệ thống phát hiện xâm nhập mạng (2022) [Luận án tiến sĩ, Trường Đại học Lạc Hồng]. LuanAn.net. https://luanan.net/cong-nghe-thong-tin/an-toan-thong-tin/ky-thuat-hoc-may-phoi-hop-tien-xu-ly-du-lieu-he-thong-phat-hien-xam-nhap-mang
Câu hỏi thường gặp
Luận án "Kỹ thuật học máy phối hợp cải thiện hệ thống phát hiện xâm nhập mạng" nghiên cứu về vấn đề gì?
Tối ưu hóa kỹ thuật học máy phối hợp cùng tiền xử lý dữ liệu nhằm nâng cao độ chính xác phân lớp trong hệ thống phát hiện xâm nhập mạng.
Luận án "Kỹ thuật học máy phối hợp cải thiện hệ thống phát hiện xâm nhập mạng" được bảo vệ tại trường nào?
Luận án này được bảo vệ tại Trường Đại học Lạc Hồng. Năm bảo vệ: 2022.
Luận án "Kỹ thuật học máy phối hợp cải thiện hệ thống phát hiện xâm nhập mạng" thuộc chuyên ngành gì?
Luận án "Kỹ thuật học máy phối hợp cải thiện hệ thống phát hiện xâm nhập mạng" thuộc chuyên ngành Khoa học máy tính. Danh mục: An Toàn Thông Tin.
Luận án "Kỹ thuật học máy phối hợp cải thiện hệ thống phát hiện xâm nhập mạng" có bao nhiêu trang?
Luận án "Kỹ thuật học máy phối hợp cải thiện hệ thống phát hiện xâm nhập mạng" có 175 trang. Bạn có thể xem trước một phần tài liệu ngay trên trang web trước khi tải về.
Cách tải luận án "Kỹ thuật học máy phối hợp cải thiện hệ thống phát hiện xâm nhập mạng" về máy như thế nào?
Để tải luận án về máy, bạn nhấn nút "Tải xuống ngay" trên trang này, sau đó hoàn tất thanh toán phí lưu trữ. File sẽ được tải xuống ngay sau khi thanh toán thành công. Hỗ trợ qua Zalo: 0559 297 239.