Luận án tiến sĩ: Phát triển mô hình phát hiện bất thường mạng dựa trên học sâu và tổng hợp dữ liệu

Các hệ thống phát hiện xâm nhập mạng (NIDS) truyền thống chủ yếu dựa trên tập luật hoặc chữ ký tấn công cố định. Cơ chế này đạt độ chính xác cao với các cuộc tấn công đã biết trước. Tuy nhiên, hệ thống hoàn toàn bất lực trước hiểm họa Zero-day và biến thể mã độc mới. Khi kẻ tấn công thay đổi cấu trúc gói tin, chữ ký cũ mất đi tác dụng cảnh báo. Ngoài ra, việc cập nhật cơ sở dữ liệu chữ ký đòi hỏi chi phí lớn và độ trễ cao. Ngược lại, phương pháp phát hiện bất thường dựa trên hành vi tập trung tìm kiếm các sai lệch so với trạng thái hoạt động chuẩn. Hướng đi này giúp hệ thống phát hiện xâm nhập mạng (NIDS) nhận biết tấn công chưa từng xuất hiện. Thách thức lớn nhất nằm ở tỷ lệ cảnh báo sai còn ở mức cao. Lưu lượng mạng thay đổi liên tục tạo ra nhiều biến động giả mạo. Việc tối ưu hóa mô hình nhằm hạ thấp tỷ lệ báo động nhầm là điều kiện bắt buộc để triển khai NIDS trong thực tế.

Trong môi trường an ninh mạng thực tế, thu thập dữ liệu tấn công có gán nhãn đầy đủ là nhiệm vụ rất khó khăn. Dữ liệu bất thường luôn chiếm tỷ lệ cực kỳ nhỏ so với lưu lượng bình thường. Tình trạng mất cân bằng dữ liệu nghiêm trọng này cản trở các thuật toán học có giám sát truyền thống. Để giải quyết rào cản trên, phương pháp phân loại đơn lớp (One-class Classification - OCC) kết hợp học bán giám sát (semi-supervised learning) được coi là giải pháp tối ưu. Mô hình chỉ cần huấn luyện trên tập dữ liệu hoàn toàn bình thường. Hệ thống sẽ học ranh giới bao bọc toàn bộ các điểm dữ liệu chuẩn. Bất kỳ mẫu lưu lượng nào nằm ngoài phạm vi này đều bị đánh dấu là bất thường. Kỹ thuật học bán giám sát (semi-supervised learning) giúp loại bỏ nhu cầu gán nhãn dữ liệu tấn công tốn kém. Đây là tiền đề vững chắc để phát triển các cơ chế giám sát an ninh mạng linh hoạt và tự thích ứng cao.

Dù đạt nhiều thành công, mô hình Autoencoder phát hiện bất thường vẫn bộc lộ những hạn chế rõ rệt. Dữ liệu lưu lượng mạng thực tế thường phân bố phức tạp, tồn tại dưới dạng nhiều cụm tách biệt thay vì một khối duy nhất. Các mô hình Autoencoder truyền thống thường cố gắng ép toàn bộ các cụm đa dạng vào một không gian phân bố chuẩn đơn lẻ. Hiện tượng này làm mờ ranh giới cục bộ giữa các cụm lưu lượng. Kết quả là mô hình Autoencoder phát hiện bất thường có thể tái tạo nhầm cả dữ liệu tấn công có đặc tính gần giống với các cụm thưa. Điều này dẫn đến việc bỏ sót các cuộc tấn công tinh vi nhắm vào vùng biên. Ngoài ra, việc xác định ngưỡng sai số tái tạo tối ưu cho nhiều cụm dữ liệu phân tán là bài toán rất hóc búa.

Để khắc phục điểm yếu của cấu trúc đa cụm, các kỹ thuật phát hiện bất thường không giám sát (unsupervised anomaly detection) cải tiến đã được phát triển. Thuật toán mới tích hợp cơ chế phân cụm thích ứng trực tiếp vào hàm mất mát của mạng nơ-ron. Mô hình tự động nhận diện và bảo toàn cấu trúc hình học của từng cụm dữ liệu riêng biệt. Nhờ đó, không gian tiềm ẩn giữ nguyên tính phân tách giữa các nhóm hành vi mạng bình thường khác nhau. Khả năng tái tạo dữ liệu trở nên chặt chẽ và chính xác hơn tại từng vùng cụm. Cơ chế phát hiện bất thường không giám sát (unsupervised anomaly detection) cải tiến giúp giảm thiểu tối đa sai sót khi dữ liệu lưu lượng chứa nhiều tạp âm. Hệ thống nâng cao đáng kể độ chính xác nhận diện các cuộc tấn công ngụy trang tinh vi.

Khung tổng hợp dữ liệu OFuseAD là giải pháp đột phá ứng dụng lý thuyết bằng chứng Dempster-Shafer cải tiến. Thay vì chỉ lấy trung bình đơn giản, OFuseAD phân tích độ tin cậy của từng bộ phân loại đơn lớp tham gia hệ thống. Khung tự động gán trọng số thích ứng cho từng mô hình dựa trên mức độ chắc chắn của dự đoán. Quy tắc kết hợp Dempster-Shafer được điều chỉnh để triệt tiêu các xung đột thông tin giữa những thuật toán khác nhau. Cơ chế này giúp OFuseAD tổng hợp sức mạnh từ nhiều cấu trúc học sâu, giảm thiểu tác động tiêu cực của các mô hình yếu. Khung tổng thể tạo ra quyết định an ninh chuẩn xác và hạn chế tối đa tình trạng nhiễu loạn cảnh báo.

Phần lớn các phương pháp phân loại đơn lớp truyền thống đòi hỏi chuyên gia an ninh phải trực tiếp can thiệp để thiết lập ngưỡng cảnh báo. Trong môi trường mạng biến động không ngừng, ngưỡng tĩnh cố định nhanh chóng trở nên lỗi thời và kém hiệu quả. Khung OFuseAD giải quyết triệt để rào cản này bằng thuật toán tự động hóa xác định ngưỡng quyết định. Hệ thống tự động tính toán ngưỡng tối ưu dựa trên phân phối xác suất và độ bất định của dữ liệu tổng hợp. Mô hình có thể vận hành độc lập liên tục mà không cần sự can thiệp thủ công từ con người. Khả năng tự thích ứng này biến giải pháp thành một công cụ lý tưởng cho các trung tâm điều hành an ninh mạng (SOC) tự động hóa.

Mạng nơ-ron tích chập (CNN) rất hiệu quả trong việc trích xuất các mẫu không gian cục bộ từ dữ liệu gói tin thô. Khi biểu diễn dữ liệu mạng thành dạng ma trận 2D, CNN tự động nhận diện các dấu hiệu bất thường trong tiêu đề gói tin. Song song đó, các hành vi xâm nhập thường diễn ra theo chuỗi thời gian kéo dài qua nhiều phiên truyền tải. Mạng nơ-ron hồi quy LSTM GRU được sử dụng để ghi nhớ các phụ thuộc thời gian tuần tự này. Cổng nhớ trong LSTM và GRU loại bỏ vấn đề triệt tiêu đạo hàm, cho phép theo dõi các chuỗi giao tiếp dài hạn. Sự kết hợp giữa mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy LSTM GRU tạo nên bộ lọc kép mạnh mẽ, phát hiện cả tấn công đơn lẻ lẫn tấn công theo kịch bản thời gian.

Kiến trúc mô hình Transformer cho chuỗi thời gian mạng mang lại bước tiến vượt bậc nhờ cơ chế tự chú ý (Self-Attention). Mô hình có khả năng phân tích đồng thời toàn bộ chuỗi gói tin và phát hiện các mối tương quan xa mà mạng hồi quy khó nhận biết. Bên cạnh chuỗi thời gian, cấu trúc liên kết giữa các thiết bị mạng được mô hình hóa tự nhiên dưới dạng đồ thị. Mạng nơ-ron đồ thị (GNN) biểu diễn các máy chủ là nút và luồng giao tiếp là cạnh kết nối. Mạng nơ-ron đồ thị (GNN) giúp phát hiện nhanh chóng hành vi quét cổng ngang dọc, lây lan mã độc nội bộ và tấn công từ chối dịch vụ phân tán (DDoS). Sự kết hợp giữa mô hình Transformer cho chuỗi thời gian mạng và GNN đem lại giải pháp toàn diện cho giám sát topo mạng phức tạp.

Quy trình tiền xử lý bắt đầu bằng bước phân tích gói tin PCAP để thu thập dữ liệu lưu lượng thô từ các giao diện mạng. Dữ liệu gói tin thô sau đó trải qua quá trình trích xuất đặc trưng luồng mạng (NetFlow/IPFIX) chuyên sâu. Các thuộc tính quan trọng bao gồm địa chỉ IP nguồn/đích, cổng, giao thức, số lượng gói tin, độ dài luồng và khoảng thời gian giữa các gói. Việc trích xuất đặc trưng luồng mạng (NetFlow/IPFIX) giúp cô đọng hàng triệu gói tin thành các bản ghi luồng súc tích, giảm thiểu áp lực tính toán cho mô hình học sâu. Dữ liệu sau khi trích xuất được chuẩn hóa và loại bỏ tạp âm trước khi đưa vào huấn luyện mô hình. Quá trình phân tích gói tin PCAP và chuyển đổi định dạng luồng đảm bảo tính toàn vẹn thông tin cho quá trình nhận diện tấn công.

Hiệu năng của khung tổng hợp OFuseAD và các mô hình học sâu cải tiến đã được kiểm chứng trên 10 tập dữ liệu an ninh mạng chuẩn quốc tế. Kết quả thực nghiệm cho thấy khung OFuseAD vượt trội hơn hẳn so với các phương pháp phân loại đơn lớp đơn lẻ trên 9/10 tập dữ liệu thử nghiệm. Tỷ lệ phát hiện tấn công tăng đáng kể trong khi tỷ lệ cảnh báo sai giảm xuống mức tối thiểu. Đặc biệt, mô hình duy trì hiệu năng nhận diện ổn định đối với các nhóm tấn công dạng cụm thưa và phân tán mà mô hình Autoencoder truyền thống thường bỏ sót. Khả năng tự động hóa xác định ngưỡng hoạt động chính xác, chứng minh tính sẵn sàng cao khi ứng dụng vào hệ thống giám sát an ninh thực tế.