Luận án tiến sĩ khoa học máy tính: Kỹ thuật học máy phối hợp và tiền xử lý dữ liệu nâng cao chất lượng phân lớp NIDS

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG HOÀNG NGỌC THANH KỸ THUẬT HỌC MÁY PHỐI HỢP VÀ TIỀN XỬ LÝ DỮ LIỆU TRONG VIỆC NÂNG CAO CHẤT LƯỢNG PHÂN LỚP CỦA CÁC HỆ THỐNG PHÁT HIỆN XÂM NHẬP MẠNG LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Chuyên ngành: Khoa học máy tính Mã số ngành: 9480101 NGƯỜI HƯỚNG DẪN KHOA HỌC PGS. TRẦN VĂN LĂNG Đồng Nai, năm 2022 LỜI CAM ĐOAN Tên tôi là: Hoàng Ngọc Thanh Sinh ngày: 13/11/1969 Nơi sinh: Bình Định Là nghiên cứu sinh chuyên ngành Khoa học máy tính, khóa 2015, Trường đại học Lạc Hồng. Tôi xin cam đoan luận án tiến sĩ “Kỹ thuật học máy phối hợp và tiền xử lý dữ liệu trong việc nâng cao chất lượng phân lớp của các hệ thống phát hiện xâm nhập mạng” là công trình nghiên cứu của cá nhân tôi, đây là công trình do tôi thực hiện dưới sự hướng dẫn của giảng viên, người hướng dẫn khoa học là: PGS. Các thuật toán, số liệu và kết quả trình bày trong luận án là hoàn toàn có được từ các thử nghiệm, trung thực và không sao chép.

Nghiên cứu sinh Hoàng Ngọc Thanh LỜI CẢM ƠN Lời đầu tiên, với lòng biết ơn sâu sắc nhất, tôi xin gửi lời cảm ơn tới PGS. Trần Văn Lăng - người hướng dẫn khoa học, thầy là người đã truyền cho tôi tri thức, cũng như tâm huyết nghiên cứu khoa học, thầy đã luôn tận tâm hướng dẫn, giúp đỡ và tạo mọi điều kiện tốt nhất để tôi hoàn thành luận án này. Tôi xin chân thành cảm ơn Quý thầy cô Ban giám hiệu, Khoa công nghệ thông tin, Khoa sau đại học Trường đại học Lạc Hồng đã giảng dạy và tạo điều kiện thuận lợi cho tôi trong suốt thời gian tôi tham gia nghiên cứu sinh. Tôi xin cảm ơn sự hỗ trợ từ Ban giám hiệu, Khoa kỹ thuật và khoa học máy tính, Trung tâm ngoại ngữ và công nghệ thông tin Trường Đại học Quốc tế Sài Gòn, nơi tôi đang công tác.

Và tôi cũng xin gửi lời cảm ơn chân thành tới các đồng nghiệp, bạn bè - những người đã luôn quan tâm, động viên tôi trong suốt thời gian qua. Cuối cùng, tôi xin dành tình cảm đặc biệt đến gia đình, người thân của tôi - những người đã luôn tin tưởng, động viên và tiếp sức cho tôi thêm nghị lực để tôi vững bước và vượt qua mọi khó khăn. Tác giả Hoàng Ngọc Thanh TÓM TẮT Phát hiện bất thường dựa trên luồng là một vấn đề vẫn phát triển trong môi trường an ninh mạng. Nhiều nghiên cứu trước đây đã áp dụng học máy như một phương pháp nâng cao khả năng phát hiện sự bất thường trong các hệ thống phát hiện xâm nhập mạng (NIDS).

Các nghiên cứu gần đây cho thấy, các NIDS vẫn phải đối mặt với những thách thức trong việc cải thiện độ chính xác, giảm tỷ lệ cảnh báo sai và phát hiện được các tấn công mới. Nội dung luận án đề xuất một số giải pháp sử dụng kỹ thuật học máy phối hợp và cải tiến các kỹ thuật tiền xử lý dữ liệu trong việc nâng cao chất lượng phân lớp của các hệ thống phát hiện xâm nhập mạng. Điều này dựa trên thực tế là: (1) Có nhiều dữ liệu mất cân bằng lớp trong các tập dữ liệu huấn luyện dùng cho các NIDS. (2) Các thuật toán học máy có thể sử dụng tất cả các thuộc tính thực sự không liên quan đến mục tiêu phân lớp, điều này làm giảm chất lượng phân lớp và tăng thời gian tính toán.

(3) Các bộ phân lớp phối hợp đều vượt trội so với các bộ phân lớp đơn về độ chính xác phân lớp. Những lợi thế của bộ phân lớp phối hợp là đặc biệt rõ ràng trong lĩnh vực phát hiện xâm nhập. Để giải quyết vấn đề, luận án đề xuất cải tiến việc thực hiện hai giải pháp trong giai đoạn tiền xử lý dữ liệu, cụ thể là: (1) Đề xuất 2 thuật toán lựa chọn thuộc tính trên cơ sở cải tiến 2 thuật toán lựa chọn thuộc tính FFC và BFE đã biết. (2) Cải tiến các kỹ thuật tăng mẫu và giảm mẫu tập dữ liệu huấn luyện.

Dữ liệu kết quả sau khi tiền xử lý được sử dụng để huấn luyện các bộ phân lớp phối hợp bằng cách sử dụng các thuật toán học máy phối hợp đồng nhất (Bagging, Boosting, Stacking và Decorate) và không đồng nhất (Voting, Stacking và RF). Kết quả thử nghiệm trên các tập dữ liệu huấn luyện và kiểm tra đầy đủ của tập dữ liệu UNSW-NB15 cho thấy, các giải pháp đề xuất đã cải thiện chất lượng phân lớp của các NIDS. Bên cạnh những kết quả đạt được, kết quả nghiên cứu của luận án cũng để lại những tồn tại và định hướng phát triển trong tương lai: (1) Thời gian huấn luyện các mô hình phân lớp đề xuất còn lớn, việc phối hợp đúng đắn các thuật toán để xây dựng một mô hình phân lớp lai, đa nhãn và đáp ứng thời gian thực là vấn đề cần được tiếp tục nghiên cứu. (2) Năng lực xử lý đóng vai trò quan trọng trong việc khai thác các thuật toán học máy.

Việc nâng cao hiệu quả xử lý theo hướng tiếp cận xử lý song song cũng như việc tối ưu các tham số cho các kỹ thuật học máy là vấn đề còn bỏ ngỏ. ABSTRACT Stream-based intrusion detection is a growing problem in computer network security environments. Many previous researches have applied machine learning as a method to detect attacks in Network Intrusion Detection Systems (NIDS). However, these methods still have limitations of low accuracy, high false alarm rate and detecting new attacks.

The content of the thesis proposes some solutions using ensemble machine learning techniques and improving data preprocessing techniques in improving the classification quality of NIDS. This is based on the fact that: (1) There is a lot of class imbalance data in the training datasets used for NIDS. (2) Machine learning algorithms can use some features that are really irrelevant to the classification goal, which reduces the quality of classification and increases computation time. (3) Ensemble classifiers outperform the single classifiers in classification accuracy.

The advantages of the ensemble classifier are particularly evident in the area of network intrusion detection. To solve the problem, the thesis proposes to improve the implementation of two solutions in the data preprocessing stage, details as follows: (1) Proposing 2 feature selection algorithms on the basis of improving 2 known FFC and BFE feature selection algorithms. (2) Improving techniques for oversampling and undersampling the training dataset. The resulting data after preprocessing is used to train the ensemble classifiers using both homogeneous (Bagging, Boosting, Stacking and Decorate) and heterogeneous (Voting, Stacking and RF) ensemble machine learning algorithms.

The experimental results on the full training and testing datasets of the UNSW-NB15 dataset show that the proposed solutions have improved the classification quality of the NIDS. In addition to the achieved results, the research results of the thesis also leave shortcomings and future development orientations: (1) The training time of the proposed classification models is still large, the coordination the right algorithms to build a hybrid, multi-label and real-time response classification model is a problem that needs to be further researched. (2) Processing capacity plays an important role in exploiting machine learning algorithms. The improvement of processing efficiency in the direction of parallel processing as well as the optimization of parameters for machine learning techniques is still an open issue.

MỤC LỤC CHƯƠNG 1.1 Hệ thống phát hiện xâm nhập .1 Giới thiệu về IDS .2 Phân loại IDS .3 IDS sử dụng kỹ thuật học máy .2 Tính cấp thiết của đề tài luận án .3 Mục tiêu nghiên cứu .4 Đối tượng và phạm vi nghiên cứu .1 Đối tượng nghiên cứu .2 Phạm vi nghiên cứu .5 Phương pháp nghiên cứu .6 Ý nghĩa khoa học và thực tiễn .1 Ý nghĩa khoa học .2 Ý nghĩa thực tiễn .7 Những điểm đóng góp mới .8 Kết cấu của luận án. CÁC NGHIÊN CỨU LIÊN QUAN .1 Lựa chọn thuộc tính .2 Lấy mẫu lại tập dữ liệu .3 Kỹ thuật học máy.4 Tập dữ liệu sử dụng cho các IDS .5 Chỉ số đánh giá hiệu năng các IDS.2 Các nghiên cứu liên quan về học máy cho IDS .1 Lựa chọn thuộc tính .2 Lấy mẫu lại tập dữ liệu .3 Các mô hình học máy cho các IDS. GIẢI PHÁP LỰA CHỌN THUỘC TÍNH .1 Giải pháp lựa chọn thuộc tính đề xuất .1 Các chỉ số đo thông tin .2 Thuật toán loại bỏ thuộc tính ngược BFE .3 Thuật toán chọn thuộc tính thuận FFC .4 Thuật toán lựa chọn thuộc tính đề xuất .2 Kết quả thực hiện .1 Lựa chọn thuộc tính với kiểu tấn công Worms .2 Lựa chọn thuộc tính với kiểu tấn công Shellcode .3 Lựa chọn thuộc tính với kiểu tấn công Backdoor .4 Lựa chọn thuộc tính với kiểu tấn công Analysis .5 Lựa chọn thuộc tính với kiểu tấn công Recce .6 Lựa chọn thuộc tính với kiểu tấn công DoS .7 Lựa chọn thuộc tính với kiểu tấn công Fuzzers .8 Lựa chọn thuộc tính với kiểu tấn công Exploits.9 Lựa chọn thuộc tính với kiểu tấn công Generic .3 So sánh, nhận xét và đánh giá về giải pháp lựa chọn thuộc tính đề xuất. GIẢI PHÁP LẤY MẪU LẠI TẬP DỮ LIỆU .1 Giải pháp lấy mẫu lại tập dữ liệu đề xuất .1 Giải pháp tăng mẫu.2 Giải pháp giảm mẫu.2 Kết quả thực hiện .1 Tăng mẫu tập dữ liệu .2 Giảm mẫu tập dữ liệu .3 Tổng hợp kết quả và nhận xét về giải pháp lấy mẫu lại tập dữ liệu.

KỸ THUẬT PHỐI HỢP CHO MÔ HÌNH IDS .1 Kỹ thuật phối hợp đề xuất .2 Kết quả thực hiện .1 Sử dụng kỹ thuật phối hợp với kiểu tấn công Worms .2 Sử dụng kỹ thuật phối hợp với kiểu tấn công Shellcode .3 Sử dụng kỹ thuật phối hợp với kiểu tấn công Backdoor .4 Sử dụng kỹ thuật phối hợp với kiểu tấn công Analysis .5 Sử dụng kỹ thuật phối hợp với kiểu tấn công Recce .6 Sử dụng kỹ thuật phối hợp với kiểu tấn công DoS .7 Sử dụng kỹ thuật phối hợp với kiểu tấn công Fuzzers .8 Sử dụng kỹ thuật phối hợp với kiểu tấn công Exploits .9 Sử dụng kỹ thuật phối hợp với kiểu tấn công Generic .3 Tổng hợp kết quả và nhận xét về kỹ thuật phối hợp .4 Mô hình phân lớp lai đề xuất. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .1 Đánh giá về các kết quả đạt được, hạn chế và hướng phát triển .2 Đánh giá ý nghĩa học thuật và thực tiễn của luận án .