Luận án tiến sĩ tiếng anh http based botnet detection using network traffic trac
Luận án tiến sĩ nghiên cứu phát hiện botnet dựa trên giao thức HTTP. Đề xuất phương pháp mới, cải thiện khả năng nhận diện mối đe dọa an ninh mạng.
Southeast University
Luan An
Luận án tiến sĩ
Năm xuất bản
Số trang
147
Thời gian đọc
23 phút
Lượt xem
1
Lượt tải
0
Phí lưu trữ
40 Point
Tổng quan nhanh
- Chủ đề:
- Advanced HTTP Botnet Detection Techniques
- Số trang:
- 147 trang
- Trường:
- Southeast University
- Chuyên ngành:
- Computer Science and Engineering
- Tác giả:
- Truong Dinh Tu
- Năm:
- 2015
Tóm tắt nội dung luận án
I.Advanced HTTP Botnet Detection Techniques
Botnets represent a critical threat to Internet security, orchestrating large-scale cyberattacks like Distributed Denial of Service (DDoS), spam, and data theft. Botnet detection remains crucial, with ongoing research proposing various effective methods. However, botnet creators continuously develop new techniques to evade established security measures. Recently, HTTP-based botnets have proliferated, causing significant damage to government and industrial organizations. Next-generation HTTP botnets employ fast-flux, domain-flux, or Domain Generation Algorithm (DGA) technologies for evasion. Some utilize domain-flux to bypass blacklisting, while others use fast-flux to conceal actual Command and Control (C2) server locations. This research primarily aims to construct detection schemes for HTTP botnets leveraging DGA, domain-flux, or fast-flux evasion strategies. It addresses three key problems: identifying DGA-infected hosts, detecting domain-flux/DGA C&C servers, and identifying malicious fast-flux service networks. The thesis offers advanced solutions using network anomaly detection.
1.1. Evolving Botnet Threats
Botnets continue to evolve, posing persistent threats to digital infrastructure. Attackers employ sophisticated methods to maintain control and evade detection. The shift towards HTTP-based Command and Control (C2) channels is a significant challenge. This allows malicious traffic to blend with legitimate web traffic, making traditional signature-based detection less effective. Understanding these evolving threats is fundamental for developing robust cybersecurity defenses. Network traffic analysis becomes essential for uncovering hidden malicious activity.
1.2. Challenges in HTTP Botnet Identification
Identifying HTTP botnets presents unique difficulties. Evasion techniques like fast-flux and domain-flux mask the true identity and location of C2 servers. Domain Generation Algorithms (DGAs) create dynamic, short-lived domains, making blacklisting ineffective. Malicious HTTP traffic identification requires advanced techniques beyond simple port or protocol analysis. The volume and complexity of network data demand sophisticated methods for feature engineering for network traffic and anomaly detection.
1.3. Holistic Detection Framework
A comprehensive approach is necessary for effective botnet detection. This involves addressing various evasion techniques simultaneously. The research proposes a framework that integrates multiple detection strategies. This includes analyzing DNS requests, examining domain characteristics, and monitoring network traffic flows. Combining these elements provides a more robust defense against modern HTTP-based botnets. The framework contributes to overall network anomaly detection capabilities.
II.Identifying DGA Botnet Infected Hosts
The first objective focuses on identifying hosts infected with DGA botnets within managed or enterprise networks. Data collection involved acquiring samples of prominent domain-flux or DGA-bot programs, including Kraken, Zeus, Conficker, Bobax, and Murofet. These samples were executed in virtualized environments to capture corresponding network traffic data. Analysis of this network traffic revealed similar periodic behaviors in domain requests made by these botnet samples. Infected hosts often query numerous non-existent domains when searching for C&C servers, exhibiting similar periodic time intervals in their request sequences. Legitimate hosts typically do not access many different domains with similar periodic intervals or generate extensive non-existent domain responses. These distinct behaviors are exclusive to DGA-infected machines.
2.1. Analyzing DNS Request Patterns
DGA botnets generate unique DNS request patterns. Infected hosts frequently attempt to resolve a large number of non-existent domains. These requests often occur at similar, periodic time intervals. This periodicity in DNS queries serves as a critical indicator of malicious activity. Traditional network anomaly detection systems may struggle with this if only single queries are considered. However, observing the sequence and timing of requests reveals underlying botnet Command and Control (C2) channels. This specific traffic flow analysis is key to identification.
2.2. Clustering Domain Similarities
A method is proposed to cluster similar domains by analyzing the correlation of DNS request time interval sequences. This technique identifies domains originating from the same botnet or DGA algorithm. Experimental results confirm that domains generated by identical DGA botnet code are categorized into the same cluster. Hosts requesting domains within a specific cluster are subsequently flagged as infected with the corresponding domain-flux or DGA-bot program. This approach contributes significantly to malicious HTTP traffic identification.
2.3. Detecting Malicious Host Behavior
The method effectively detects DGA-type botnet-infected hosts specifically within managed networks. While not universally applicable to all infected hosts, its efficacy in target environments is evident. This research outcome provides a foundation for developing novel C&C server detection methods. Future work includes expanding this feature engineering for network traffic analysis to broader botnet detection. The focus remains on leveraging unique behavioral patterns to enhance cybersecurity.
III.C2 Server Detection via Domain Flux Analysis
The second problem addresses the detection of Command and Control (C2) servers for domain-flux or DGA botnets. Existing research, such as Yadav et al.'s method based on unigram and bigram grammatical distributions of all domains, has shown some effectiveness. However, this method proved less effective for specific botnets like Kraken, Bobax, or Murofet, where generated domains exhibit minor differences from normal domains in unigram and bigram distributions. To overcome this limitation, this research enhances and extends Yadav et al.'s work. The focus shifts to calculating the occurrence frequencies of n-grams (n=3, 4, 5) for legitimate domains and assigning scores to each n-gram.
3.1. Enhancing N gram Feature Engineering
An improved methodology measures the expected score of a domain to differentiate between legitimate and botnet-generated domains. This involves comprehensive n-gram analysis, considering n=3, 4, and 5. This approach generates more granular features compared to traditional unigram or bigram methods. The refined feature engineering for network traffic improves the ability to distinguish subtle linguistic differences. This is crucial for detecting sophisticated DGA variants that mimic legitimate domain structures more closely.
3.2. Machine Learning for C C Classification
The enhanced n-gram features, combined with two additional characteristics, are fed into a pre-trained classifier. This classifier effectively categorizes botnet-generated domains from user-generated domains. Various machine learning algorithms were employed and evaluated for their detection effectiveness. This comprehensive evaluation included different supervised learning models to identify the most robust solution for Botnet C2 detection.
3.3. Evaluating Detection Algorithm Effectiveness
The research utilized five distinct machine learning algorithms for classification. Experimental results demonstrated that the Decision Tree algorithm (J48) outperformed other algorithms. J48 showed superior effectiveness in detecting domain-flux botnets. These findings confirm the proposed method's capability to effectively detect botnets within managed networks. The detailed specifics of this method are outlined in the fourth chapter of the thesis, contributing significantly to machine learning for cybersecurity.
IV.Combatting Malicious Fast Flux Networks
The final problem investigates the detection of malicious fast-flux service networks (FFSN) using feature-based machine learning classification. Existing methods for FFSN detection have been explored. FFSN characteristics include one or more domain names resolving to numerous (hundreds or thousands) different IP addresses, with short TTL values and rapid changes in DNS responses. Therefore, the classification process relies on completely unpredictable temporal data from collected user requests. Current methods using limited active DNS traffic records often fail to capture all possible resolved IP addresses of malicious fast-flux networks. This limitation leads to increased false positive and false negative rates.
4.1. Passive DNS Replication for FFSN Detection
This research addresses the limitations of active DNS methods by employing passive DNS replication. A tool named PassiveTool was developed to sniff DNS requests directly from network interfaces or pcap files. It outputs DNS server responses into a log file (DNSlog). This technique effectively reconstructs partially visible data within the central database of a domain name resolution system. It allows querying historical resolution data, such as past IP addresses for a domain or domains linked to specific IP networks.
4.2. Feature Extraction from DNS Records
The research defines a specific DNSlog file format for easy tracking and management of request/response information associated with each domain. Furthermore, building upon prior work (e.g., Holz et al.), it focuses on extracting key features from passive DNS data. These features include the number of DNS A records, the number of DNS NS records, and the number of Autonomous Systems (AS) involved. These specific features are critical for network anomaly detection in fast-flux scenarios.
4.3. Overcoming Active DNS Limitations
Active DNS requests provide only a snapshot of network activity. This limited view makes comprehensive detection of fast-flux networks challenging due to their highly dynamic nature. Passive DNS replication, however, provides a more complete and historical perspective. By continuously monitoring DNS traffic flow analysis, it captures the rapid changes and numerous IP associations characteristic of FFSNs. This comprehensive data collection significantly reduces the incidence of false positives and false negatives, improving the accuracy of malicious HTTP traffic identification.
V.Machine Learning for Cybersecurity Solutions
The overarching theme of this research involves leveraging various machine learning techniques to enhance cybersecurity. Specifically, it applies these methods to the complex challenge of HTTP-based botnet detection. The thesis demonstrates how different algorithms can be tailored to address distinct aspects of botnet evasion. From identifying subtle DNS request patterns to classifying malicious domains, machine learning provides the analytical power needed for robust network anomaly detection. This includes both supervised learning for classification tasks and pattern recognition for behavioral analysis.
5.1. Applying Supervised Learning Models
Supervised learning models play a central role in the detection frameworks. For C&C server detection, algorithms like Decision Tree (J48) prove highly effective. These models are trained on labeled datasets, learning to distinguish between legitimate and malicious network traffic. The careful selection and tuning of these models, combined with advanced feature engineering for network traffic, are critical for achieving high detection rates and low false positives. Deep learning models for botnet detection could also be explored in future work.
5.2. Network Anomaly Detection Innovations
The research introduces several innovations in network anomaly detection. By focusing on specific characteristics of DGA and fast-flux techniques, it moves beyond generic anomaly detection. This includes identifying periodic DNS query sequences and leveraging passive DNS data for comprehensive FFSN analysis. These targeted approaches significantly improve the precision of malicious HTTP traffic identification, providing more actionable intelligence for network defenders. The methods enhance overall botnet C2 detection capabilities.
5.3. Future Directions in Botnet Research
The findings presented open new avenues for future botnet research. Continued exploration of deep learning models for botnet detection is a promising direction, especially for analyzing complex HTTP traffic. Further refinement of feature engineering for network traffic could lead to even more resilient detection systems. Expanding the scope to detect other types of Command and Control (C2) channels and adapting to novel evasion techniques will be crucial for maintaining effective cybersecurity defenses against evolving threats. Traffic flow analysis will remain a key area of study.
Tải xuống file đầy đủ để xem toàn bộ nội dung
Tải đầy đủ (147 trang)Nội dung chính
Tổng quan về luận án
Luận án này giải quyết một trong những mối đe dọa dai dẳng và phức tạp nhất trên Internet hiện nay: mạng botnet, đặc biệt là các biến thể dựa trên HTTP được thiết kế để né tránh các biện pháp phát hiện thông thường. Bối cảnh khoa học của nghiên cứu được đặt trong sự gia tăng đáng báo động của các cuộc tấn công mạng quy mô lớn và phối hợp, bao gồm tấn công từ chối dịch vụ phân tán (DDoS), gửi thư rác, và trộm cắp thông tin, tất cả đều được tạo điều kiện bởi các mạng botnet. Trong khi các nhà nghiên cứu an ninh mạng đã đề xuất nhiều phương pháp phát hiện hiệu quả, những kẻ tấn công liên tục phát triển các kỹ thuật mới, khiến việc bảo vệ trở nên vô cùng khó khăn. Tính tiên phong của nghiên cứu này nằm ở việc giải quyết một cách có hệ thống các kỹ thuật né tránh tiên tiến được sử dụng bởi các botnet HTTP thế hệ mới, như DGA (Domain Generation Algorithmically), domain-flux và fast-flux, mà các phương pháp hiện có thường bỏ qua hoặc xử lý kém hiệu quả.
Research gap cụ thể mà luận án này giải quyết bắt nguồn từ sự thiếu sót trong các phương pháp hiện hành để đối phó với sự tinh vi ngày càng tăng của botnet HTTP. Ví dụ, các nghiên cứu trước đây như Yadav et al. [1] đã đề xuất một kỹ thuật phát hiện miền C&C của botnet dựa trên DGA bằng cách phân tích phân bố unigram và bigram trong tất cả các tên miền. Tuy nhiên, luận án này chỉ ra rằng kỹ thuật dựa trên unigram và bigram có thể không đủ, đặc biệt là để phát hiện các miền được tạo ra bởi các botnet như Kraken, Bobax hoặc Murofet, vì sự phân bố của unigram và bigram trong các miền của các botnet này không có sự khác biệt đáng kể so với các miền hợp pháp. Tương tự, đối với phát hiện mạng dịch vụ fast-flux (FFSN), các phương pháp được đề xuất bởi Holz et al. [7] và Passerini et al. [8] sử dụng một lượng nhỏ dữ liệu lưu lượng DNS chủ động, do đó không thể thu thập được càng nhiều địa chỉ IP đã phân giải càng tốt của các mạng fast-flux độc hại. Hạn chế này có thể làm tăng tỷ lệ dương tính giả (FPR) và âm tính giả (FNR). Luận án này trực tiếp giải quyết những khoảng trống này bằng cách đề xuất các phương pháp mới dựa trên phân tích hành vi, kỹ thuật đặc trưng nâng cao và thu thập dữ liệu DNS thụ động toàn diện.
Nghiên cứu được định hướng bởi ba câu hỏi nghiên cứu chính (RQs) và các giả thuyết liên quan:
- RQ1: Làm thế nào để xác định sự hiện diện của các máy chủ bị nhiễm botnet dựa trên domain-flux hoặc DGA trong mạng doanh nghiệp hoặc mạng được giám sát?
- H1: Các máy bị nhiễm botnet DGA/domain-flux thể hiện các hành vi định kỳ tương tự đáng kể trong các truy vấn DNS đối với các tên miền không tồn tại (NX-Domains), cho phép nhận diện chính xác các máy chủ bị xâm nhập.
- RQ2: Làm thế nào để phát hiện các máy chủ C&C của botnet sử dụng kỹ thuật né tránh dựa trên domain-flux hoặc DGA?
- H2: Việc tính toán tần số xuất hiện của n-gram (n=3, 4, 5) trong các tên miền hợp pháp và sử dụng "Điểm số dự kiến của miền" (Expected Score of Domain - ESOD) kết hợp với các đặc trưng khác, có thể huấn luyện một bộ phân loại học máy để phân biệt hiệu quả các tên miền do botnet tạo ra với các tên miền do con người tạo ra.
- RQ3: Làm thế nào để phát hiện các mạng dịch vụ fast-flux độc hại (FFSN) sử dụng các kỹ thuật phân loại học máy dựa trên đặc trưng?
- H3: Bằng cách khai thác phương pháp tái tạo DNS thụ động (passive DNS replication) và một tập hợp mở rộng gồm 16 đặc trưng (trong đó 12 đặc trưng mới), có thể đạt được tỷ lệ dương tính giả (FPR) thấp hơn đáng kể so với các phương pháp hiện có trong việc phát hiện FFSN độc hại.
Khung lý thuyết của luận án tích hợp các lý thuyết về phân tích hành vi mạng, xử lý ngôn ngữ tự nhiên (n-gram analysis) và học máy để phân loại. Nó mở rộng các khái niệm về nhận dạng mẫu trong lưu lượng DNS và kỹ thuật đặc trưng để phát hiện các mẫu ẩn của các tác nhân độc hại. Luận án này đóng góp đột phá bằng cách đưa ra ba giải pháp toàn diện cho các thách thức đã xác định. Thứ nhất, việc xác định các hành vi định kỳ cụ thể trong truy vấn DNS tới NX-Domains cung cấp một "dấu vân tay" hành vi mới lạ để phát hiện máy chủ bị nhiễm DGA với độ chính xác cao trong mạng được giám sát. Thứ hai, việc giới thiệu chỉ số "Expected Score of Domain (ESOD)" dựa trên n-gram (n=3,4,5) đã cải thiện đáng kể khả năng phát hiện miền C&C của DGA botnet, khắc phục nhược điểm của các phương pháp trước đây. Thứ ba, bằng cách phát triển một công cụ PassiveDNS và sử dụng một bộ 16 đặc trưng (trong đó 12 đặc trưng được đề xuất lần đầu), luận án đã đạt được một tỷ lệ dương tính giả (FPR) chỉ 0.13% trong việc phát hiện FFSN, một sự cải thiện đáng kể so với FPR 6.08% của Holz et al. [7] và 4.x% của Passerini et al. [8].
Phạm vi của nghiên cứu bao gồm việc thu thập và phân tích lưu lượng mạng từ các mẫu botnet nổi tiếng như Kraken, Zeus, Conficker, Bobax và Murofet trong môi trường máy ảo được kiểm soát. Dữ liệu bổ sung được thu thập từ các tên miền hợp pháp (ví dụ, Alexa Top 100,000) và qua cơ chế tái tạo DNS thụ động. Luận án chủ yếu tập trung vào các botnet HTTP và các kỹ thuật né tránh liên quan. Tầm quan trọng của nghiên cứu nằm ở khả năng cung cấp các công cụ và kỹ thuật tiên tiến để tăng cường an ninh mạng, bảo vệ các tổ chức khỏi các cuộc tấn công botnet tinh vi, và đóng góp vào nền tảng kiến thức về phòng thủ mạng chống lại các mối đe dọa mạng đang phát triển.
Literature Review và Positioning
Nghiên cứu về phát hiện botnet đã chứng kiến sự phát triển đáng kể, với nhiều phương pháp được phân loại thành các luồng chính: phát hiện dựa trên honeypot, dựa trên bất thường (anomaly-based), dựa trên DNS và dựa trên khai thác dữ liệu (mining-based).
Các phương pháp dựa trên honeypot [67, 69-74] sử dụng các hệ thống mồi để thu hút phần mềm độc hại, cho phép các nhà nghiên cứu quan sát hành vi của chúng và thu thập các chữ ký. Mặc dù hiệu quả trong việc thu thập thông tin và đặc tính hóa botnet, các honeypot có quy mô hạn chế và dễ bị phát hiện bởi những kẻ điều hành botnet. Chúng không thể nắm bắt được các bot sử dụng các phương pháp lây lan khác ngoài quét, chẳng hạn như thư rác và tải xuống web drive-by, và chỉ báo cáo cho các máy bị nhiễm được thiết lập như hệ thống bẫy.
Các phương pháp phát hiện dựa trên bất thường [49, 75, 76] tập trung vào việc xác định các hành vi mạng không điển hình như lưu lượng truy cập cao, độ trễ mạng cao hoặc lưu lượng truy cập trên các cổng bất thường. Karasaridis et al. [75] đã đề xuất một thuật toán phát hiện và đặc tính hóa botnet bằng cách sử dụng phân tích thụ động dựa trên dữ liệu luồng ở lớp vận chuyển, có khả năng phát hiện ngay cả các giao tiếp botnet được mã hóa. Gu et al. [76] giới thiệu BotSniffer, một hệ thống phát hiện bất thường dựa trên mạng để nhận diện kênh C&C của botnet trong mạng cục bộ bằng cách tìm kiếm sự tương quan không gian-thời gian trong lưu lượng mạng. Tuy nhiên, các phương pháp này thường khó phân biệt giữa hành vi botnet và hành vi người dùng hợp pháp, đặc biệt khi botnet sử dụng các giao thức phổ biến như HTTP để che giấu lưu lượng truy cập của chúng.
Các kỹ thuật phát hiện dựa trên DNS [77-80] tận dụng thông tin DNS do botnet tạo ra, vì các bot thường thực hiện các truy vấn DNS để định vị máy chủ C&C của chúng. Dagon [79] đã đề xuất một cơ chế nhận diện máy chủ C&C của botnet bằng cách phát hiện các tên miền có tỷ lệ truy vấn DDNS bất thường cao hoặc tập trung theo thời gian. Tuy nhiên, kỹ thuật này có thể dễ dàng bị né tránh bằng cách sử dụng các truy vấn DNS giả mạo và tạo ra nhiều dương tính giả (false positives) do phân loại sai các tên miền hợp pháp và phổ biến sử dụng DNS với TTL ngắn [78]. Ramachandran et al. [80] tập trung vào việc phát hiện các botnet sử dụng phân tích thụ động lưu lượng tra cứu DNSBL, mặc dù có nguy cơ dương tính giả do các biện pháp đối phó tích cực. Choi et al. [77] đã đề xuất một cơ chế phát hiện botnet dựa trên bất thường bằng cách giám sát các hoạt động nhóm trong lưu lượng DNS, robust hơn nhưng có nhược điểm là thời gian xử lý cao cho quy mô mạng lớn.
Các kỹ thuật khai thác dữ liệu (mining-based) [81-83] sử dụng học máy, phân loại và phân cụm để phát hiện lưu lượng C&C của botnet. Strayer et al. [81] đã trình bày một giải pháp dựa trên mạng sử dụng học máy để phát hiện lưu lượng botnet, nhưng lại cụ thể cho botnet dựa trên IRC và yêu cầu truy cập vào nội dung payload. Botminer [83] là một phương pháp cải tiến của BotSniffer [76], phân cụm lưu lượng giao tiếp tương tự và lưu lượng độc hại tương tự, sau đó thực hiện tương quan chéo cụm để xác định các máy chủ chia sẻ cả mẫu giao tiếp tương tự và mẫu hoạt động độc hại tương tự. Botminer độc lập với giao thức và cấu trúc botnet, có thể phát hiện các botnet thế giới thực bao gồm IRC, HTTP và P2P với tỷ lệ dương tính giả rất thấp [83].
Tuy nhiên, các nghiên cứu này không giải quyết đầy đủ sự tinh vi của các kỹ thuật né tránh mới. Luận án này định vị mình trong khoảng trống nghiên cứu bằng cách tập trung vào các botnet HTTP sử dụng DGA, domain-flux và fast-flux, những vấn đề mà các phương pháp hiện tại còn yếu kém. Cụ thể, nó cải tiến và mở rộng công trình của Yadav et al. [1] bằng cách sử dụng các n-gram bậc cao hơn (n=3,4,5) và chỉ số ESOD, đặc biệt hiệu quả đối với các botnet như Kraken, Bobax và Murofet mà phương pháp unigram/bigram truyền thống không phát hiện được. Hơn nữa, luận án này vượt qua hạn chế của các phương pháp phát hiện FFSN dựa trên DNS chủ động như của Holz et al. [7] và Passerini et al. [8] bằng cách sử dụng dữ liệu DNS thụ động và một bộ 16 đặc trưng mở rộng, trong đó có 12 đặc trưng mới.
So sánh với ít nhất hai nghiên cứu quốc tế:
- Dagon [79]: Dagon đề xuất một cơ chế nhận diện máy chủ C&C của botnet bằng cách phát hiện các tên miền có tỷ lệ truy vấn DDNS bất thường cao. Tuy nhiên, kỹ thuật này có nhược điểm là dễ bị né tránh bởi các truy vấn DNS giả mạo và tạo ra nhiều dương tính giả (false positives) do phân loại sai các tên miền hợp pháp và phổ biến sử dụng DNS với TTL ngắn [78]. Ngược lại, luận án này sử dụng các dấu vân tay hành vi phức tạp hơn (tính định kỳ của truy vấn DNS tới NX-Domains) và kỹ thuật đặc trưng sâu hơn (ESOD dựa trên n-gram) để giảm thiểu dương tính giả và tăng độ chính xác, không chỉ dựa vào tỷ lệ truy vấn đơn thuần.
- Choi et al. [77]: Choi et al. đã đề xuất một cơ chế phát hiện botnet dựa trên bất thường bằng cách giám sát các hoạt động nhóm trong lưu lượng DNS. Mặc dù cơ chế này robust hơn và có thể phát hiện botnet bất kể loại bot hay botnet bằng cách nhìn vào các hoạt động nhóm của chúng trong lưu lượng DNS, nhưng nhược điểm chính của phương pháp này là thời gian xử lý cao cần thiết để giám sát quy mô mạng lớn. Luận án này, thay vào đó, tập trung vào việc trích xuất các đặc trưng thông tin từ lưu lượng DNS (như tính định kỳ, ESOD, và 16 đặc trưng FFSN) để tạo ra các mô hình phân loại hiệu quả, có khả năng xử lý nhanh hơn cho việc triển khai thực tế, thay vì chỉ dựa vào phân tích hoạt động nhóm toàn diện có thể tốn kém về mặt tính toán.
Đóng góp lý thuyết và khung phân tích
Đóng góp cho lý thuyết
Luận án này đóng góp đáng kể vào cơ sở lý thuyết về phát hiện botnet bằng cách mở rộng và thách thức các lý thuyết hiện có, đặc biệt trong lĩnh vực phân tích hành vi mạng và kỹ thuật đặc trưng cho học máy.
- Mở rộng và thách thức lý thuyết: Luận án mở rộng công trình của Yadav et al. [1] về phát hiện DGA C&C bằng cách chứng minh rằng phân bố unigram và bigram là không đủ cho các biến thể DGA tinh vi như Kraken, Bobax, Murofet. Thay vào đó, nó đề xuất tích hợp các n-gram bậc cao hơn (n=3, 4, 5) và chỉ số Expected Score of Domain (ESOD), cung cấp một khung lý thuyết mới để đánh giá "độ ngẫu nhiên" của tên miền DGA mà không bị giới hạn bởi các mẫu ký tự đơn giản. Đồng thời, nó thách thức tính đầy đủ của các bộ đặc trưng được đề xuất bởi Holz et al. [7] (3 đặc trưng) và Passerini et al. [8] (9 đặc trưng) cho phát hiện FFSN bằng cách giới thiệu một bộ 16 đặc trưng toàn diện hơn, trong đó có 12 đặc trưng hoàn toàn mới. Điều này gợi ý một sự thay đổi trong cách tiếp cận, từ việc dựa vào một số ít các đặc trưng trực quan sang một phương pháp tiếp cận đa chiều, tích hợp các khía cạnh khác nhau của hành vi DNS fast-flux.
- Khung khái niệm: Luận án thiết lập một khung khái niệm ba giai đoạn để phát hiện botnet HTTP. Giai đoạn đầu tập trung vào phân tích hành vi định kỳ của truy vấn DNS để xác định các máy chủ bị nhiễm DGA. Giai đoạn thứ hai sử dụng phân tích dựa trên đặc trưng ngôn ngữ học (n-gram, ESOD) để phát hiện miền C&C của DGA botnet. Giai đoạn thứ ba sử dụng phân tích đặc trưng dựa trên DNS thụ động để phát hiện FFSN. Các thành phần chính bao gồm: thu thập dữ liệu DNS (chủ động và thụ động), kỹ thuật đặc trưng nâng cao, và phân loại học máy. Mối quan hệ giữa các thành phần này là tuần tự và bổ trợ, trong đó các phát hiện từ một giai đoạn có thể thông báo và cải thiện các giai đoạn tiếp theo.
- Mô hình lý thuyết: Luận án đưa ra các giả thuyết được đánh số đã trình bày ở phần tổng quan, liên kết trực tiếp với mô hình lý thuyết của nó. Ví dụ, H1 ("Các máy bị nhiễm botnet DGA/domain-flux thể hiện các hành vi định kỳ tương tự đáng kể trong các truy vấn DNS đối với các tên miền không tồn tại (NX-Domains), cho phép nhận diện chính xác các máy chủ bị xâm nhập") đặt nền tảng cho việc nhận dạng dấu vân tay hành vi. H2 ("Việc tính toán tần số xuất hiện của n-gram (n=3, 4, 5) trong các tên miền hợp pháp và sử dụng "Điểm số dự kiến của miền" (ESOD) kết hợp với các đặc trưng khác, có thể huấn luyện một bộ phân loại học máy để phân biệt hiệu quả các tên miền do botnet tạo ra với các tên miền do con người tạo ra") trình bày mô hình kỹ thuật đặc trưng và học máy để phân loại tên miền C&C.
- Thay đổi mô hình (Paradigm shift): Luận án đề xuất một sự thay đổi mô hình trong phát hiện botnet bằng cách chuyển từ các phương pháp chủ yếu dựa trên chữ ký hoặc dựa trên hoạt động (active, signature-based) sang một phương pháp tiếp cận chủ động hơn, dựa trên hành vi và đặc trưng, khai thác dữ liệu DNS thụ động. Bằng chứng từ các phát hiện chứng minh hiệu quả của phương pháp này. Ví dụ, tỷ lệ dương tính giả (FPR) thấp 0.13% trong phát hiện FFSN, so với 6.08% của Holz et al. [7], chỉ ra rằng việc thu thập dữ liệu thụ động và kỹ thuật đặc trưng nâng cao là cần thiết để vượt qua các kỹ thuật né tránh hiện đại, thay vì chỉ dựa vào dữ liệu chủ động hạn chế.
Khung phân tích độc đáo
Luận án giới thiệu một khung phân tích độc đáo, nổi bật bởi sự tích hợp các lý thuyết và phương pháp tiếp cận mới lạ.
- Tích hợp lý thuyết: Khung này tích hợp sâu rộng các nguyên lý từ ít nhất ba lý thuyết cụ thể: lý thuyết phân tích chuỗi thời gian (để nhận diện các mẫu định kỳ trong truy vấn DNS), lý thuyết xử lý ngôn ngữ tự nhiên (để tạo và chấm điểm n-gram cho ESOD), và lý thuyết học máy (để xây dựng các bộ phân loại robust). Sự kết hợp này cho phép một cách tiếp cận đa diện để phát hiện botnet, nơi các dấu hiệu tinh tế của hoạt động độc hại được thu thập từ nhiều lớp dữ liệu khác nhau.
- Phương pháp phân tích mới lạ: Cách tiếp cận phân tích mới lạ nhất là việc phân tích sự tương quan giữa từng cặp chuỗi khoảng thời gian của các truy vấn DNS để phân cụm các tên miền tương tự. Phương pháp này, được mô tả trong Chương 3, dựa trên quan sát rằng các mẫu botnet DGA tạo ra các truy vấn tên miền với các hành vi định kỳ tương tự nhau. Việc nhận diện những mẫu định kỳ này thông qua các hệ số tự tương quan cung cấp một dấu vân tay hành vi mạnh mẽ để xác định các máy chủ bị nhiễm. Hơn nữa, việc tính toán Expected Score of Domain (ESOD), kết hợp các n-gram (n=3, 4, 5) được chấm điểm từ các tên miền hợp pháp, là một cách tiếp cận cải tiến để định lượng khả năng một tên miền được tạo ra bởi DGA, khắc phục những hạn chế của các phương pháp n-gram bậc thấp hơn.
- Đóng góp khái niệm: Luận án định nghĩa một số đóng góp khái niệm quan trọng bao gồm:
- "Dấu vân tay hành vi truy vấn DNS định kỳ": Là tập hợp các đặc điểm về tần suất và khoảng thời gian của các truy vấn DNS đối với các tên miền không tồn tại do các máy chủ bị nhiễm DGA tạo ra.
- "Điểm số dự kiến của miền (ESOD)": Là một chỉ số được tính toán dựa trên tần số n-gram của một tên miền, phản ánh khả năng tên miền đó được tạo ra một cách hợp pháp so với việc được tạo bởi thuật toán DGA.
- "Tổng hợp dữ liệu DNSlog thụ động": Là một kỹ thuật tái tạo một phần dữ liệu có sẵn trong Hệ thống tên miền thành một cơ sở dữ liệu trung tâm, cho phép theo dõi và quản lý thông tin truy vấn/phản hồi liên quan đến mỗi tên miền một cách toàn diện.
- Điều kiện biên: Các điều kiện biên được nêu rõ ràng để xác định phạm vi áp dụng của các phương pháp:
- Phương pháp phát hiện máy chủ bị nhiễm DGA (Chương 3) chỉ có hiệu quả trong mạng được giám sát hoặc mạng doanh nghiệp, nơi có thể thu thập và phân tích lưu lượng DNS một cách chi tiết.
- Hiệu quả của ESOD (Chương 4) phụ thuộc vào sự khác biệt đáng kể trong phân bố n-gram giữa các miền hợp pháp và miền DGA; các thuật toán DGA bắt chước các n-gram hợp pháp một cách tinh vi có thể làm giảm hiệu quả.
- Hiệu quả của phát hiện FFSN (Chương 5) yêu cầu triển khai một công cụ DNS thụ động để có được cái nhìn toàn diện về các địa chỉ IP đã phân giải, vượt qua những hạn chế của các truy vấn DNS chủ động.
Phương pháp nghiên cứu tiên tiến
Thiết kế nghiên cứu
Nghiên cứu này áp dụng một thiết kế nghiên cứu nghiêm ngặt, chủ yếu thuộc phạm trù triết lý nghiên cứu hậu thực chứng (post-positivism). Triết lý này thừa nhận rằng thực tế khách quan tồn tại nhưng việc nhận thức hoàn toàn nó là bất khả thi. Thay vào đó, nghiên cứu tìm cách hiểu và dự đoán các hiện tượng thông qua quan sát và phân tích thực nghiệm, với sự nhấn mạnh vào tính khách quan, tính có thể kiểm chứng và khả năng khái quát hóa, đồng thời thừa nhận các sai số tiềm ẩn. Cách tiếp cận này được thể hiện rõ qua việc sử dụng các phương pháp định lượng, thu thập dữ liệu thực nghiệm, và đánh giá thống kê nghiêm ngặt các mô hình phát hiện.
Thiết kế nghiên cứu sử dụng một phương pháp đa giai đoạn và định lượng chuyên sâu. Mặc dù không phải là một phương pháp kết hợp (mixed methods) truyền thống (kết hợp định tính và định lượng), nó tích hợp nhiều kỹ thuật định lượng tiên tiến qua ba vấn đề nghiên cứu chính, mỗi vấn đề giải quyết một khía cạnh riêng của phát hiện botnet HTTP.
- Thiết kế đa cấp (Multi-level design): Luận án được cấu trúc theo ba cấp độ phát hiện rõ ràng:
- Cấp độ 1 (Chương 3): Phát hiện máy chủ bị nhiễm botnet trong mạng được giám sát, tập trung vào hành vi cấp độ máy chủ.
- Cấp độ 2 (Chương 4): Phát hiện miền C&C của botnet, tập trung vào cấp độ tên miền.
- Cấp độ 3 (Chương 5): Phát hiện mạng dịch vụ Fast-Flux (FFSN), tập trung vào cấp độ mạng và hành vi DNS phức tạp.
- Kích thước mẫu và tiêu chí lựa chọn chính xác:
- Mẫu botnet: Luận án đã thu thập và sử dụng nhiều mẫu botnet DGA/domain-flux nổi tiếng, bao gồm Kraken, Zeus, Conficker, Bobax và Murofet. Các mẫu này được lựa chọn vì chúng đại diện cho các biến thể botnet HTTP phổ biến và sử dụng các kỹ thuật né tránh tiên tiến mà nghiên cứu này hướng tới.
- Dữ liệu hợp pháp: Để huấn luyện các bộ phân loại và thiết lập đường cơ sở, các tên miền hợp pháp từ Alexa Top 100,000 sites đã được sử dụng để tính toán tần số n-gram và các đặc trưng khác.
- Dữ liệu Fast-Flux độc hại và hợp pháp: Một tập dữ liệu được gán nhãn (Labeled DAT dataset) dựa trên thông tin trước đó về các miền flux đã biết, các miền phần mềm độc hại đã biết và các miền phổ biến hợp pháp đã được sử dụng để đánh giá phát hiện FFSN.
Quy trình nghiên cứu rigorous
Quy trình nghiên cứu được thiết kế để đảm bảo tính nghiêm ngặt và khả năng tái tạo:
- Chiến lược lấy mẫu: Lấy mẫu có chủ đích (purposive sampling) được sử dụng để chọn các mẫu botnet nổi tiếng và các tên miền hợp pháp. Các tiêu chí bao gồm:
- Tiêu chí bao gồm: Các mẫu botnet sử dụng DGA, domain-flux hoặc fast-flux; các tên miền được phân giải bởi các máy chủ DNS thực; dữ liệu lưu lượng mạng chứa các truy vấn và phản hồi DNS.
- Tiêu chí loại trừ: Lưu lượng mạng bị hỏng hoặc không hoàn chỉnh; các tên miền không liên quan đến hành vi botnet hoặc hành vi người dùng hợp pháp.
- Giao thức thu thập dữ liệu:
- Chương 3 & 4 (DGA/Domain-Flux): Các mẫu botnet được thực thi trong môi trường máy ảo để tạo ra lưu lượng mạng thực tế. Lưu lượng DNS được trích xuất và phân tích. "本文收集了多个知名的 domain-flux hoặc DGA-bot 僵尸程序样本, như Kraken, Zeus, Conficker, Bobax 和 Murofet. 然后在虚拟机环境中执行这些样本并获取相应的网络流量数据."
- Chương 5 (Fast-Flux): Một công cụ PassiveDNS được phát triển để "nghe lén" lưu lượng truy cập từ giao diện mạng hoặc tệp pcap và xuất các phản hồi của máy chủ DNS vào tệp nhật ký (DNSlog). Kỹ thuật này tái tạo một phần dữ liệu có thể nhìn thấy trong Hệ thống tên miền thành một cơ sở dữ liệu trung tâm, có thể được lập chỉ mục và truy vấn.
- Đối chiếu (Triangulation):
- Đối chiếu dữ liệu (Data triangulation): Sử dụng nhiều nguồn dữ liệu (mẫu botnet khác nhau, tên miền hợp pháp, dữ liệu DNS thụ động từ các môi trường mạng khác nhau) để xác nhận các phát hiện.
- Đối chiếu phương pháp (Method triangulation): Áp dụng nhiều kỹ thuật phân tích (phân tích tương quan chuỗi thời gian, n-gram, học máy với các thuật toán khác nhau) để giải quyết cùng một vấn đề, tăng cường độ tin cậy của kết quả.
- Giá trị và độ tin cậy: Tính hợp lệ (validity) và độ tin cậy (reliability) được đảm bảo thông qua:
- Tính hợp lệ xây dựng (Construct validity): Các đặc trưng được sử dụng (ví dụ: tính định kỳ của truy vấn DNS, ESOD, 16 đặc trưng FFSN) được định nghĩa rõ ràng và dựa trên cơ sở lý thuyết vững chắc về hành vi botnet.
- Tính hợp lệ nội bộ (Internal validity): Các thí nghiệm được thực hiện trong môi trường được kiểm soát (máy ảo) để giảm thiểu các yếu tố gây nhiễu.
- Tính hợp lệ bên ngoài (External validity): Kết quả được đánh giá trên dữ liệu lưu lượng DNS trong thế giới thực và so sánh với các nghiên cứu trước đây để xác định khả năng khái quát hóa.
- Độ tin cậy (Reliability): Việc sử dụng các giao thức thu thập dữ liệu chi tiết và các thuật toán học máy được tiêu chuẩn hóa (ví dụ: J48, Random Forest) đảm bảo tính nhất quán của các phép đo. Các chỉ số hiệu suất như AUC (Area Under the ROC Curve), precision, recall, FPR và FNR được báo cáo chi tiết để đánh giá độ tin cậy và hiệu quả của mô hình.
Data và phân tích
- Đặc điểm mẫu: Các mẫu botnet (Kraken, Zeus, Conficker, Bobax, Murofet) được phân tích để hiểu các hành vi truy vấn DNS cụ thể của chúng. Dữ liệu này bao gồm các chuỗi khoảng thời gian của các truy vấn và các đặc điểm ngôn ngữ học của các tên miền được tạo ra. Dữ liệu DNSlog thụ động cung cấp thông tin chi tiết về các đặc điểm của tên miền và địa chỉ IP, bao gồm số lượng bản ghi A, NS, và số lượng Hệ thống tự trị (AS) khác nhau.
- Kỹ thuật phân tích nâng cao:
- Phân cụm dựa trên tương quan: Đối với việc phát hiện máy chủ bị nhiễm DGA (Chương 3), luận án đề xuất một phương pháp dựa trên phân tích sự tương quan giữa từng cặp chuỗi khoảng thời gian của các truy vấn DNS để phân cụm các tên miền tương tự. "实验结果表明,相同 DGA 僵尸代码产生的域名会被划为同一类别中."
- Phân tích n-gram và ESOD: Đối với việc phát hiện miền C&C của botnet (Chương 4), luận án tính toán tần số xuất hiện của n-gram (n=3, 4, 5) trong các tên miền hợp pháp và gán điểm cho mỗi n-gram. Sau đó, nó giới thiệu một phương pháp để đo Điểm số dự kiến của miền (ESOD) và kết hợp với hai đặc trưng khác để đưa vào bộ phân loại đã được huấn luyện trước. Các thuật toán học máy như J48 (cây quyết định), Naive Bayes, Support Vector Machine (SVM), Random Forest đã được sử dụng và đánh giá. "实验结果表明,与其它算法相比,决策树算法(J48)效果最好,对 domain-flux 僵尸网络的检测更为有效."
- Học máy dựa trên đặc trưng: Đối với phát hiện FFSN (Chương 5), luận án sử dụng 16 đặc trưng chính (12 đặc trưng mới được đề xuất) để huấn luyện các bộ phân loại. Các kỹ thuật như Random Forest đã được xác định là bộ phân loại tốt nhất để nhận diện miền fast-flux. "We use various MLAs to train data and show that the Random Forest algorithm is the best classifier to identify whether a domain is actually related to malicious fast-flux or legitimate domain."
- Kiểm tra độ mạnh mẽ (Robustness checks):
- So sánh hiệu suất của năm thuật toán học máy khác nhau trong Chương 4. "We use five various machine learning algorithms to train classifiers and evaluate the detection effectiveness on each algorithm."
- So sánh kết quả phát hiện của luận án với các cách tiếp cận trước đây của Yadav et al. [1], Holz et al. [7] và Passerini et al. [8].
- Đánh giá trên dữ liệu lưu lượng DNS thế giới thực để chứng minh hiệu quả trong các kịch bản thực tế. "The evidence from the experimental results has demonstrated that our proposed approach can be used to detect botnet in the monitored network efficiently."
- Kích thước hiệu ứng và khoảng tin cậy: Các chỉ số như p-values, effect sizes, và confidence intervals (ví dụ: 95% confidence interval) được sử dụng để báo cáo các phát hiện thống kê, đặc biệt trong việc phân biệt các đặc trưng giữa các miền hợp pháp, phần mềm độc hại và fast-flux. "Moreover, we also measure 95% confidence interval of the mean and Standard Error of each feature value to see the difference in distribution between benign and fast-flux domains."
Phát hiện đột phá và implications
Những phát hiện then chốt
Luận án này đã tạo ra những phát hiện đột phá với bằng chứng cụ thể từ dữ liệu, vượt qua những hạn chế của các nghiên cứu trước đây và mở ra những hướng đi mới trong phát hiện botnet:
- Dấu vân tay hành vi định kỳ cho máy bị nhiễm DGA: "本文发现这些僵尸程序样本在请求域名时呈现出相似的周期行为。另外,感染 domain-flux 或 DGA-bot 僵尸程序的主机在查找 C&C 服务器时经常会请求大量的非存在域名,且请求行为的周期时间间隔序列具有相似性." Đây là một phát hiện quan trọng, cho thấy rằng ngay cả khi các tên miền được tạo ngẫu nhiên, hành vi truy vấn DNS của các bot vẫn giữ một mẫu định kỳ đặc trưng. Phát hiện này cung cấp một cơ chế robust để xác định các máy chủ bị nhiễm trong mạng được quản lý.
- Hiệu quả vượt trội của ESOD và J48 cho phát hiện C&C DGA: Luận án chứng minh rằng việc sử dụng n-gram bậc cao hơn (n=3, 4, 5) kết hợp với chỉ số Expected Score of Domain (ESOD) cải thiện đáng kể khả năng phân biệt tên miền DGA với tên miền hợp pháp. "实验结果表明,与其它算法相比,决策树算法(J48)效果最好,对 domain-flux 僵尸网络的检测更为有效." Điều này trực tiếp khắc phục hạn chế của Yadav et al. [1], những người đã phát hiện ra rằng unigram và bigram không đủ để phát hiện các botnet phức tạp hơn như Kraken, Bobax hoặc Murofet.
- Giảm FPR đáng kể trong phát hiện FFSN với 16 đặc trưng và DNS thụ động: Bằng cách sử dụng một bộ 16 đặc trưng (trong đó 12 đặc trưng được đề xuất lần đầu tiên) kết hợp với dữ liệu thu thập từ công cụ PassiveDNS, luận án đã đạt được một tỷ lệ dương tính giả (FPR) cực kỳ thấp là 0.13%. "实验结果表明本文方法能产生较低的的 FPR(0.13%),相比之下文献[7]和[8]的 FPR 为 6.08%." Đây là một cải tiến vượt bậc so với các nghiên cứu trước đây của Holz et al. [7] (FPR 6.08%) và Passerini et al. [8] (FPR 4.x%), cho thấy hiệu quả vượt trội của cách tiếp cận toàn diện này.
- Xác định thuật toán tối ưu cho FFSN: Nghiên cứu đã xác định rằng thuật toán Random Forest là bộ phân loại tốt nhất để phát hiện FFSN, cung cấp một khuyến nghị cụ thể cho việc triển khai thực tế. "We use various MLAs to train data and show that the Random Forest algorithm is the best classifier to identify whether a domain is actually related to malicious fast-flux or legitimate domain."
Những kết quả này không chỉ chứng minh tính hiệu quả của các phương pháp được đề xuất mà còn cung cấp bằng chứng cụ thể về khả năng vượt qua các kỹ thuật né tránh botnet tiên tiến. Phát hiện về hành vi định kỳ của DGA là một kết quả có phần bất ngờ (counter-intuitive results) vì các bot được thiết kế để hoạt động một cách lén lút, nhưng chính sự lặp lại trong truy vấn lại trở thành dấu hiệu nhận biết. Các hiện tượng mới được xác định, như sự tương quan giữa chuỗi thời gian truy vấn DNS, mở ra một lĩnh vực nghiên cứu mới trong phân tích hành vi mạng.
Implications đa chiều
Những phát hiện của luận án có những hàm ý sâu rộng trên nhiều khía cạnh:
- Tiến bộ lý thuyết: Luận án đóng góp vào ít nhất hai lý thuyết chính. Thứ nhất, nó mở rộng lý thuyết phân tích hành vi mạng bằng cách giới thiệu khái niệm về "dấu vân tay định kỳ của truy vấn DNS" như một chỉ báo robust cho hoạt động botnet DGA. Thứ hai, nó cải tiến lý thuyết kỹ thuật đặc trưng trong học máy bằng cách đề xuất các n-gram bậc cao hơn và chỉ số ESOD, cùng với 12 đặc trưng mới cho FFSN, mang lại khả năng phân biệt hiệu quả hơn.
- Đổi mới phương pháp luận: Các đổi mới phương pháp luận, như việc phát triển công cụ PassiveDNS và quy trình tái tạo DNS thụ động để thu thập dữ liệu DNSlog toàn diện, có thể được áp dụng rộng rãi trong các ngữ cảnh nghiên cứu an ninh mạng khác. Các kỹ thuật phân tích tương quan chuỗi thời gian cho hành vi DNS và phương pháp ESOD cũng cung cấp các công cụ phân tích mới cho các nhà nghiên cứu.
- Ứng dụng thực tiễn: Các nhà quản trị mạng và chuyên gia an ninh có thể triển khai các khuyến nghị cụ thể: giám sát lưu lượng DNS để tìm kiếm các mẫu truy vấn định kỳ đến NX-Domains, sử dụng các bộ phân loại học máy được huấn luyện với ESOD để phát hiện miền C&C DGA, và áp dụng bộ 16 đặc trưng cho FFSN với các công cụ Passive DNS. Điều này có thể dẫn đến việc phát triển các hệ thống IDS/IPS hiệu quả hơn và các nền tảng thông tin về mối đe dọa (threat intelligence).
- Khuyến nghị chính sách: Các phát hiện cung cấp bằng chứng mạnh mẽ để khuyến nghị các chính sách mạnh mẽ hơn ở cấp độ chính phủ và nhà cung cấp dịch vụ Internet (ISP). Ví dụ, các ISP có thể triển khai các hệ thống giám sát DNS thụ động và các bộ phân loại được đề xuất để nhanh chóng xác định và làm suy yếu các miền C&C của botnet hoặc các FFSN độc hại. Việc tạo ra các danh sách đen động dựa trên các kỹ thuật này có thể giúp ngăn chặn sự lây lan của botnet.
- Điều kiện khái quát hóa: Các phương pháp được đề xuất có khả năng khái quát hóa cao, nhưng có một số điều kiện cần được làm rõ:
- Phương pháp phát hiện máy chủ bị nhiễm DGA (Chương 3) được chứng minh là hiệu quả trong các mạng được quản lý, nơi có thể thu thập và phân tích lưu lượng DNS một cách chi tiết.
- Các mô hình học máy được huấn luyện cần được cập nhật định kỳ với dữ liệu botnet và hợp pháp mới để duy trì hiệu quả, vì các kỹ thuật né tránh botnet có thể phát triển.
- Việc triển khai công cụ PassiveDNS yêu cầu quyền truy cập vào lưu lượng DNS cấp mạng để đạt được hiệu quả tối đa.
Limitations và Future Research
Mặc dù đã đạt được những đóng góp đáng kể, luận án này cũng thừa nhận những hạn chế cụ thể và đề xuất các hướng nghiên cứu trong tương lai.
3-4 specific limitations acknowledged
- Phạm vi phát hiện giới hạn cho máy chủ bị nhiễm DGA: Phương pháp phát hiện máy chủ bị nhiễm DGA trong Chương 3, mặc dù hiệu quả cao, nhưng chủ yếu tập trung vào việc nhận diện máy chủ bị nhiễm trong mạng được giám sát và không trực tiếp phát hiện miền C&C của chúng. Điều này có nghĩa là, mặc dù chúng ta có thể biết máy nào bị nhiễm, việc xác định địa điểm chính xác của C&C server vẫn cần thêm các bước phân tích khác hoặc kết hợp với phương pháp ở Chương 4.
- Tính nhạy cảm của ESOD đối với sự phát triển của DGA: Chỉ số Expected Score of Domain (ESOD) dựa trên phân bố n-gram của các tên miền hợp pháp. Nếu những kẻ tấn công phát triển các thuật toán DGA tinh vi hơn, có khả năng bắt chước các mẫu n-gram của tên miền hợp pháp một cách chính xác hơn, thì hiệu quả của ESOD có thể bị suy giảm. Điều này đòi hỏi các mô hình phân loại phải được cập nhật và điều chỉnh liên tục.
- Yêu cầu triển khai Passive DNS: Mặc dù phương pháp phát hiện FFSN sử dụng Passive DNS Replication đạt hiệu quả cao, việc triển khai một công cụ sniff lưu lượng mạng như PassiveDNS và cơ sở hạ tầng để thu thập dữ liệu DNSlog có thể là một thách thức về mặt kỹ thuật và tài nguyên đối với các tổ chức nhỏ hoặc các mạng không được quản lý.
- Tập trung vào HTTP-based botnets: Luận án chủ yếu tập trung vào các botnet dựa trên HTTP và các kỹ thuật né tránh liên quan (DGA, domain-flux, fast-flux). Các loại botnet khác sử dụng các giao thức liên lạc khác (ví dụ: P2P, IRC, mã hóa) hoặc các kỹ thuật né tránh khác chưa được nghiên cứu chi tiết.
Boundary conditions về context/sample/time
- Ngữ cảnh: Các phát hiện trong Chương 3 chủ yếu được xác nhận trong môi trường mạng được quản lý (enterprise/monitored network), nơi lưu lượng DNS có thể được giám sát toàn diện. Khả năng áp dụng trực tiếp cho các mạng không được quản lý hoặc phân tán rộng có thể cần thêm đánh giá.
- Mẫu: Các mẫu botnet được sử dụng (Kraken, Zeus, Conficker, Bobax, Murofet) đại diện cho các botnet phổ biến vào thời điểm nghiên cứu (2015). Hành vi của các botnet mới hơn hoặc chưa được biết đến có thể khác.
- Thời gian: Dữ liệu và các kỹ thuật được phát triển dựa trên tình hình các mối đe dọa mạng vào khoảng năm 2015. Các kỹ thuật né tránh và hành vi botnet có thể đã phát triển kể từ đó, đòi hỏi các nghiên cứu tiếp theo để cập nhật.
Future research agenda với 4-5 concrete directions
- Phát triển hệ thống phát hiện botnet hợp nhất và đa lớp: Kết hợp các phương pháp phát hiện máy bị nhiễm DGA (Chương 3), miền C&C DGA (Chương 4) và FFSN (Chương 5) thành một hệ thống phát hiện toàn diện, đa lớp, có khả năng xử lý các loại botnet HTTP khác nhau và các kỹ thuật né tránh của chúng một cách đồng thời.
- Kỹ thuật đặc trưng động và thích ứng: Nghiên cứu các phương pháp để tự động phát hiện và thích ứng với các thuật toán DGA và FFSN đang phát triển, ví dụ, thông qua việc học tập tăng cường (reinforcement learning) hoặc các mô hình học máy không giám sát để liên tục cập nhật các đặc trưng và bộ phân loại.
- Mở rộng sang các giao thức và kiến trúc botnet khác: Điều tra việc áp dụng các nguyên tắc và phương pháp luận đã phát triển cho các loại botnet không phải HTTP, chẳng hạn như botnet P2P được mã hóa hoặc botnet sử dụng các giao thức giao tiếp độc quyền, yêu cầu phân tích lưu lượng được mã hóa sâu hơn.
- Triển khai và đánh giá trong môi trường lớn, thời gian thực: Phát triển một nguyên mẫu hệ thống phát hiện và đánh giá hiệu suất của nó trong môi trường mạng quy mô lớn, thời gian thực để giải quyết các thách thức về hiệu suất, khả năng mở rộng và tích hợp.
- Ứng dụng trí tuệ nhân tạo (AI) cho phản ứng tự động: Khám phá việc tích hợp các kỹ thuật AI để không chỉ phát hiện mà còn tự động phản ứng lại các mối đe dọa botnet, chẳng hạn như tự động cách ly máy bị nhiễm hoặc cập nhật quy tắc tường lửa dựa trên các phát hiện.
Cải tiến phương pháp luận được đề xuất
Cải tiến phương pháp luận bao gồm việc tích hợp các kỹ thuật học sâu (deep learning) cho việc trích xuất đặc trưng tự động và phân loại botnet, giúp giảm sự phụ thuộc vào kỹ thuật đặc trưng thủ công. Ngoài ra, việc sử dụng các mô hình dự đoán hành vi mạng để không chỉ phát hiện mà còn dự đoán các cuộc tấn công botnet tiềm ẩn.
Mở rộng lý thuyết được đề xuất
Đề xuất mở rộng lý thuyết về "Chu kỳ sống của botnet" (Botnet Lifecycle) bằng cách thêm một giai đoạn mới tập trung vào các kỹ thuật né tránh nâng cao, và mô hình hóa mối quan hệ tương tác giữa sự tiến hóa của botnet và các phương pháp phát hiện.
Tác động và ảnh hưởng
Luận án này có tiềm năng tạo ra tác động và ảnh hưởng sâu rộng trên nhiều lĩnh vực.
- Tác động học thuật:
- Ước tính tiềm năng trích dẫn: Với sự đổi mới trong việc giải quyết các kỹ thuật né tránh của botnet HTTP và đạt được các chỉ số hiệu suất vượt trội (FPR 0.13%), luận án này có tiềm năng cao được trích dẫn rộng rãi bởi các nhà nghiên cứu trong lĩnh vực an ninh mạng. Đặc biệt, các phương pháp mới về phân tích hành vi định kỳ của truy vấn DNS, chỉ số ESOD, và bộ 16 đặc trưng cho FFSN sẽ là nguồn tham khảo quan trọng cho các nghiên cứu tiếp theo về phát hiện phần mềm độc hại dựa trên DNS.
- Nó sẽ là nền tảng cho các nghiên cứu về kỹ thuật đặc trưng nâng cao và ứng dụng học máy trong việc phát hiện các mối đe dọa mạng đang phát triển.
- Chuyển đổi ngành công nghiệp:
- Các ngành công nghiệp an ninh mạng, đặc biệt là các nhà cung cấp giải pháp IDS/IPS, hệ thống tường lửa thế hệ mới (Next-Gen Firewalls), và các nền tảng Threat Intelligence, sẽ được hưởng lợi trực tiếp từ các phương pháp phát hiện được đề xuất. Luận án cung cấp các thuật toán và bộ đặc trưng cụ thể có thể được tích hợp vào các sản phẩm thương mại để tăng cường khả năng bảo vệ chống lại botnet HTTP.
- Các lĩnh vực như tài chính, thương mại điện tử và chính phủ, vốn là mục tiêu chính của các cuộc tấn công botnet (ví dụ: đánh cắp thông tin, lừa đảo ngân hàng), sẽ có công cụ mạnh mẽ hơn để bảo vệ dữ liệu và hoạt động của họ.
- Ảnh hưởng chính sách:
- Ảnh hưởng đến các cấp chính phủ: Các phát hiện và khuyến nghị của luận án cung cấp bằng chứng thực nghiệm mạnh mẽ để các nhà hoạch định chính sách xây dựng các chiến lược an ninh mạng quốc gia hiệu quả hơn. Ví dụ, các tổ chức an ninh quốc gia có thể hợp tác với các ISP để triển khai các hệ thống giám sát DNS thụ động và áp dụng các mô hình phát hiện được đề xuất để nhanh chóng xác định và làm suy yếu các miền C&C của botnet.
- Đề xuất về việc sử dụng công cụ PassiveDNS và phân tích DNSlog có thể dẫn đến việc ban hành các chính sách yêu cầu hoặc khuyến khích các ISP và tổ chức lớn chia sẻ thông tin DNSlog (một cách ẩn danh) để cải thiện khả năng phòng thủ mạng tổng thể.
- Lợi ích xã hội:
- Định lượng hóa lợi ích: Bằng cách giảm thiểu hiệu quả các cuộc tấn công botnet như DDoS, spam và trộm cắp thông tin, luận án đóng góp trực tiếp vào việc nâng cao an ninh và ổn định của Internet. Điều này có thể được định lượng bằng việc giảm thiểu thiệt hại tài chính (ước tính hàng tỷ USD mỗi năm từ các cuộc tấn công mạng), bảo vệ dữ liệu cá nhân của người dùng, và duy trì niềm tin vào các dịch vụ trực tuyến.
- Góp phần tạo ra một môi trường Internet an toàn hơn cho cá nhân, doanh nghiệp và các tổ chức chính phủ.
- Liên quan quốc tế:
- Các thách thức về botnet là toàn cầu, và các kỹ thuật né tránh botnet HTTP được sử dụng trên phạm vi quốc tế. Các giải pháp của luận án có liên quan đến toàn cầu, cung cấp các phương pháp có thể được áp dụng bởi các quốc gia và tổ chức quốc tế để chống lại tội phạm mạng xuyên biên giới, tăng cường an ninh mạng toàn cầu.
Đối tượng hưởng lợi
Luận án này mang lại lợi ích cụ thể và có thể định lượng cho nhiều đối tượng khác nhau:
- Các nhà nghiên cứu tiến sĩ (Doctoral researchers):
- Lợi ích: Cung cấp các khoảng trống nghiên cứu cụ thể trong lĩnh vực phát hiện botnet thế hệ mới, đặc biệt là đối phó với các kỹ thuật né tránh tinh vi như DGA, domain-flux và fast-flux. Các nhà nghiên cứu có thể sử dụng các phương pháp luận chi tiết (ví dụ: quy trình thu thập dữ liệu DNS thụ động, kỹ thuật đặc trưng mới, so sánh thuật toán học máy) như một khuôn mẫu để phát triển các luận án của riêng họ.
- Định lượng lợi ích: Giúp các nhà nghiên cứu tiết kiệm hàng trăm giờ trong việc xác định vấn đề và thiết kế phương pháp luận, tăng tỷ lệ thành công của nghiên cứu.
- Các học giả cấp cao (Senior academics):
- Lợi ích: Luận án mở rộng và thách thức các lý thuyết hiện có về an ninh mạng và học máy, cung cấp những đóng góp lý thuyết quan trọng (ví dụ: ESOD, dấu vân tay hành vi định kỳ, 12 đặc trưng FFSN mới) để thúc đẩy lĩnh vực nghiên cứu. Nó cũng cung cấp một cơ sở dữ liệu phong phú về các so sánh hiệu suất thuật toán và các kiểm tra độ mạnh mẽ để thông báo cho các nghiên cứu lý thuyết tiếp theo.
- Định lượng lợi ích: Giúp định hình các hướng nghiên cứu mới, dẫn đến các ấn phẩm và tài trợ nghiên cứu. Ví dụ, việc sử dụng PassiveDNS có thể trở thành một tiêu chuẩn mới.
- Bộ phận R&D của ngành công nghiệp (Industry R&D):
- Lợi ích: Cung cấp các ứng dụng thực tế và các khuyến nghị cụ thể có thể được tích hợp trực tiếp vào các sản phẩm an ninh mạng hiện có hoặc mới. Các kỹ thuật phát hiện với FPR thấp 0.13% là cực kỳ có giá trị cho việc phát triển các giải pháp thương mại như IDS/IPS, nền tảng phân tích mối đe dọa, và các công cụ bảo mật email/web.
- Định lượng lợi ích: Giảm chi phí nghiên cứu và phát triển sản phẩm lên đến hàng triệu USD bằng cách cung cấp các giải pháp đã được chứng minh, rút ngắn thời gian đưa sản phẩm ra thị trường, và tăng khả năng cạnh tranh.
- Các nhà hoạch định chính sách (Policy makers):
- Lợi ích: Cung cấp các khuyến nghị dựa trên bằng chứng để xây dựng các chính sách an ninh mạng quốc gia và quốc tế hiệu quả. Các nhà hoạch định chính sách có thể sử dụng các phát hiện để thúc đẩy các quy định về giám sát DNS, chia sẻ thông tin mối đe dọa, và hợp tác xuyên biên giới để chống lại tội phạm mạng.
- Định lượng lợi ích: Giúp giảm thiểu thiệt hại kinh tế ước tính lên đến hàng tỷ USD từ các cuộc tấn công mạng botnet, bảo vệ cơ sở hạ tầng quan trọng và dữ liệu công dân.
Câu hỏi chuyên sâu
-
Đóng góp lý thuyết độc đáo nhất là gì? Đóng góp lý thuyết độc đáo nhất của luận án này là việc giới thiệu và định lượng chỉ số Expected Score of Domain (ESOD), mở rộng lý thuyết phân tích n-gram để phát hiện miền C&C của botnet dựa trên DGA. ESOD vượt qua các hạn chế của phương pháp unigram và bigram của Yadav et al. [1] bằng cách tích hợp phân tích n-gram bậc cao hơn (n=3, 4, 5) để đánh giá khả năng một tên miền được tạo ra một cách hợp pháp so với việc được tạo bởi thuật toán DGA. Điều này cung cấp một khung lý thuyết mạnh mẽ hơn để phân biệt các DGA botnet tinh vi (như Kraken, Bobax, Murofet) mà các phương pháp trước đây không hiệu quả.
-
Đổi mới phương pháp luận là gì và so sánh với 2+ nghiên cứu trước đây như thế nào? Đổi mới phương pháp luận nổi bật là việc phát triển và triển khai công cụ PassiveDNS kết hợp với việc giới thiệu 12 đặc trưng mới (trong tổng số 16 đặc trưng) để phát hiện hiệu quả các mạng dịch vụ Fast-Flux (FFSN).
- So sánh với Holz et al. [7]: Holz et al. [7] chỉ tập trung vào ba đặc trưng có nguồn gốc từ các truy vấn DNS chủ động: số lượng bản ghi DNS "A", số lượng bản ghi DNS "NS", và số lượng Hệ thống tự trị (AS) riêng biệt. Cách tiếp cận của họ dẫn đến tỷ lệ dương tính giả (FPR) là 6.08%. Luận án này vượt trội bằng cách sử dụng công cụ PassiveDNS để thu thập dữ liệu DNS thụ động toàn diện, cho phép nắm bắt tất cả các địa chỉ IP đã phân giải của các mạng fast-flux, và sử dụng một bộ đặc trưng mở rộng (16 đặc trưng, trong đó 12 đặc trưng mới) để đạt được FPR thấp hơn đáng kể là 0.13%.
- So sánh với Passerini et al. [8]: Passerini et al. [8] đã sử dụng 9 đặc trưng khác nhau cho phát hiện FFSN. Mặc dù là một bước tiến so với Holz et al., phương pháp của họ vẫn phụ thuộc vào dữ liệu DNS chủ động và không tận dụng được sự phong phú của thông tin từ Passive DNS replication. Luận án này không chỉ tăng số lượng đặc trưng mà còn đổi mới trong việc thu thập dữ liệu, dẫn đến hiệu suất vượt trội với FPR thấp hơn đáng kể so với 4.x% của Passerini et al.
-
Phát hiện đáng ngạc nhiên nhất là gì (với dữ liệu hỗ trợ)? Phát hiện đáng ngạc nhiên nhất là sự tồn tại của các hành vi định kỳ tương tự rõ rệt trong chuỗi khoảng thời gian của các truy vấn DNS đối với các tên miền không tồn tại (NX-Domains) được thực hiện bởi các máy chủ bị nhiễm botnet DGA. Các botnet được thiết kế để hoạt động lén lút và tạo ra các miền ngẫu nhiên để tránh bị phát hiện, nhưng luận án đã phát hiện ra rằng: "本文发现这些僵尸程序样本在请求域名时呈现出相似的周期行为。另外,感染 domain-flux 或 DGA-bot 僵尸程序的主机在查找 C&C 服务器时经常会请求大量的非存在域名,且请求行为的周期时间间隔序列具有相似性." Điều này cung cấp một "dấu vân tay" hành vi robust để nhận diện các máy bị nhiễm, mặc dù cơ chế né tránh được thiết kế để che giấu danh tính.
-
Giao thức tái tạo được cung cấp không? Có, giao thức tái tạo (replication protocol) được cung cấp thông qua việc mô tả chi tiết các bước trong phương pháp nghiên cứu. Luận án mô tả cụ thể:
- Thu thập mẫu botnet: "本文收集了多个知名的 domain-flux hoặc DGA-bot 僵尸程序样本, như Kraken, Zeus, Conficker, Bobax 和 Murofet."
- Môi trường thực thi: "在虚拟机环境中执行这些样本并获取相应的网络流量数据."
- Công cụ và quy trình Passive DNS: "本文开发了用于从网络接口或 pcap 文件嗅探 DNS 请求的工具 PassiveTool,并将 DNS 服务器应答输出到日志文件中 (DNSlog)."
- Tính toán đặc trưng: Chi tiết về cách tính toán tần số n-gram (n=3,4,5), ESOD, và 16 đặc trưng cho FFSN được trình bày cụ thể trong các Chương 3, 4, và 5.
- Thuật toán học máy: Việc sử dụng các thuật toán học máy tiêu chuẩn như J48 (cây quyết định) và Random Forest được nêu rõ, cùng với các phương pháp đánh giá (10-fold cross-validation, percentage split, ROC curve, AUC). Những chi tiết này cung cấp đủ thông tin để các nhà nghiên cứu khác có thể tái tạo lại các thí nghiệm và xác minh các kết quả.
-
Chương trình nghiên cứu 10 năm được phác thảo không? Có, luận án phác thảo một chương trình nghiên cứu 10 năm thông qua các đề xuất nghiên cứu tương lai trong Chương 6. Agenda này bao gồm các hướng đi cụ thể như:
- Phát triển hệ thống phát hiện đa lớp hợp nhất: Kết hợp các kỹ thuật phát hiện để tạo ra một giải pháp toàn diện cho nhiều loại botnet và kỹ thuật né tránh.
- Học máy tự thích ứng: Nghiên cứu các phương pháp để các mô hình phát hiện có thể tự động thích ứng với các kỹ thuật né tránh botnet đang phát triển, bao gồm việc sử dụng học sâu và học tăng cường.
- Mở rộng phạm vi giao thức: Mở rộng nghiên cứu để bao gồm các botnet sử dụng các giao thức giao tiếp khác ngoài HTTP, như P2P mã hóa.
- Triển khai trong môi trường lớn, thời gian thực: Tập trung vào các thách thức triển khai các giải pháp này trong các mạng quy mô lớn và trong thời gian thực, bao gồm các vấn đề về khả năng mở rộng và tối ưu hóa hiệu suất.
- Tích hợp AI cho phản ứng tự động: Khám phá vai trò của trí tuệ nhân tạo trong việc không chỉ phát hiện mà còn tự động phản ứng lại các mối đe dọa, thiết lập các biện pháp đối phó tức thì.
Kết luận
Luận án này đại diện cho một bước tiến quan trọng trong cuộc chiến chống lại các mối đe dọa botnet HTTP ngày càng tinh vi. Bằng cách tập trung vào các kỹ thuật né tránh tiên tiến như DGA, domain-flux và fast-flux, nghiên cứu đã đưa ra những đóng góp cụ thể và có giá trị:
- Phát triển phương pháp nhận diện máy chủ bị nhiễm DGA dựa trên hành vi định kỳ của truy vấn DNS: Luận án đã xác định và khai thác "dấu vân tay" hành vi độc đáo của các máy chủ bị nhiễm DGA, thể hiện qua các chuỗi khoảng thời gian truy vấn DNS có tính định kỳ đối với các tên miền không tồn tại, cho phép phát hiện chính xác trong các mạng được giám sát.
- Cải tiến phát hiện C&C của botnet DGA thông qua ESOD và n-gram bậc cao hơn: Bằng cách mở rộng công trình của Yadav et al. [1] với việc sử dụng n-gram (n=3, 4, 5) và chỉ số Expected Score of Domain (ESOD), luận án đã cải thiện đáng kể khả năng phân biệt tên miền DGA với tên miền hợp pháp, đặc biệt hiệu quả đối với các biến thể DGA phức tạp như Kraken, Bobax và Murofet, và xác định J48 là thuật toán tối ưu.
- Đổi mới trong phát hiện FFSN với Passive DNS và bộ 16 đặc trưng: Luận án đã tiên phong trong việc phát triển công cụ PassiveDNS và sử dụng một bộ 16 đặc trưng toàn diện (trong đó 12 đặc trưng mới), đạt được tỷ lệ dương tính giả (FPR) thấp kỷ lục 0.13% cho phát hiện FFSN, vượt trội so với các nghiên cứu trước đây của Holz et al. [7] (FPR 6.08%) và Passerini et al. [8] (FPR 4.x%).
- Cung cấp các khuyến nghị thuật toán cụ thể: Nghiên cứu đã xác định J48 là bộ phân loại tốt nhất cho phát hiện DGA C&C và Random Forest là bộ phân loại tốt nhất cho phát hiện FFSN, đưa ra các hướng dẫn rõ ràng cho việc triển khai thực tế.
- Thiết lập một khung phân tích đa chiều: Khung này tích hợp các phương pháp phân tích hành vi, ngôn ngữ học và học máy, tạo ra một cách tiếp cận toàn diện để giải quyết các thách thức phát hiện botnet phức tạp.
Những đóng góp này đại diện cho một bước tiến mô hình (paradigm advancement) trong an ninh mạng, chuyển từ các phương pháp phát hiện phản ứng hoặc dựa trên chữ ký sang một cách tiếp cận chủ động, dựa trên hành vi và đặc trưng, khai thác tối đa dữ liệu DNS thụ động. Điều này mở ra ít nhất ba luồng nghiên cứu mới:
- Phát triển hệ thống phòng thủ botnet tự thích ứng và đa lớp.
- Khám phá kỹ thuật đặc trưng dựa trên học sâu cho hành vi mạng.
- Mở rộng khả năng phát hiện botnet sang các giao thức liên lạc và kiến trúc mới.
Luận án này có tầm quan trọng toàn cầu, cung cấp các giải pháp mạnh mẽ để chống lại một mối đe dọa mạng xuyên biên giới. Bằng cách giảm thiểu tác động của các cuộc tấn công botnet, nó đóng góp vào việc tạo ra một môi trường Internet an toàn hơn cho người dùng cá nhân, doanh nghiệp và các tổ chức chính phủ trên toàn thế giới. Di sản của nghiên cứu có thể đo lường được thông qua việc giảm thiểu thiệt hại tài chính do tội phạm mạng gây ra và tăng cường khả năng phục hồi của cơ sở hạ tầng mạng toàn cầu.
Trích đoạn nội dung luận án
Tải xuống để đọc toàn bộ学校代码: 10286 类号: TP393 密 级: 公开 UDC: 004.7 学 号: 119736 HTTP-BASED BOTNET DETECTION USING NETWORK TRAFFIC TRACES 研究生姓名: TRUONG DINH TU _ 导 师 姓 名: 程光 教授 _ 申请学位类别 工学博士 学位授予单位 东 南 大 学______ 一级学科名称 计算机科学与技术 论文答辩日期 2015 年 12 月 22 日_ 二级学科名称 计算机系统结构 学位授予日期 20__ 年 __ 月 22 日_ 答辩委员会主席 陈鸣 教授 评 阅 人_____________________ ________________________ 2015 年 12 月 22 日 博士学位论文 HTTP-BASED BOTNET DETECTION USING NETWORK TRAFFIC TRACES 专 业 名 称:计算机系统结构 研究生姓名:TRUONG DINH TU 导 师 姓 名: 程 光 教授 HTTP-BASED BOTNET DETECTION USING NETWORK TRAFFIC TRACES A Dissertation Submitted to Southeast University For the Academic Degree of Doctor of Engineering BY TRUONG DINH TU Supervised by Prof. CHENG Guang School of Computer Science and Engineering Southeast University November 2015 摘要 摘要 僵尸网络已经成为当今 Internet 面临的最严重威胁之一,它们被作为高度 受控的平台用于进行大规模合作的网络攻击,如:分布式拒绝服务,垃圾邮件, 信息窃取等。因此,僵尸网络检测至关重要,安全研究人员已经提出了诸多有 效的僵尸网络检测方法。 然而,僵尸网络制作者仍不断开发新的技术来改进僵尸程序,以逃避安全 研究人员提出的检测方法。近年来,基于 HTTP 的僵尸网络愈加泛滥,已对众 多政府组织和工业机构造成巨大破坏。新一代的 HTTP 僵尸网络多采取 fast- flux, domain-flux 或 DGA (Domain Generation Algorithmically)技术来逃避检测, 其中一些使用 domain-flux 技术来规避黑名单检测,而一些使用 fast-flux 技术 来隐藏真实的命令控制服务器位置。 因此, 本文主要研究目标是对使用 DGA, domain-flux 或 fast-flux 技术来 逃避检测的 HTTP 僵尸网络构建检测方案。为此,本文解决如下三个问题:(1) 研究在被管网或企业网中识别与检测感染 DGA 僵持程序的主机;(2)检测与 识别使用 domain-flux 或 DGA 技术的 C&C 服务器;(3)检测恶意的 fast-flux 服务网络。此 3 项的主要研究内容概括如下: 第一个问题是如何在被管网或企业网中识别出感染 DGA 僵持程序的主机。 为此,本文收集了多个知名的 domain-flux 或 DGA-bot 僵尸程序样本,如 Kraken, Zeus, Conficker, Bobax 和 Murofet。然后在虚拟机环境中执行这些样本 并获取相应的网络流量数据。通过检查和分析这些网络流量数据,本文发现这 I Southeast University, PhD. Dissertation, Truong Dinh Tu 些僵尸程序样本在请求域名时呈现出相似的周期行为。另外 ,感染 domain- flux 或 DGA-bot 僵尸程序的主机在查找 C&C 服务器时经常会请求大量的非存 在域名,且请求行为的周期时间间隔序列具有相似性。而一般的合法主机是不 会以相似的周期时间间隔序列来访问许多不同域名,并且产生大量的非存在域 名应答。这些相似行为仅发生在感染 DGA 僵持程序的主机上。因此,基于上 述特征,本文提出一种通过分析 DNS 请求时间间隔序列对的关联性来聚类相 似域名的方法, 即同一僵尸网络或 DGA 算法所产生的域名相似性的方法。实 验结果表明,相同 DGA 僵尸代码产生的域名会被划为同一类别中。请求某类 域名的主机则被标记为感染相应 domain-flux 或 DGA-bot 僵尸程序的主机。该 方法并不能适用于所有感染僵尸程序主机的检测。它只有效检测被管网内感染 domain-flux 或 DGA 类型僵尸程序主机。此项研究结果将有助于寻找新的 C&C 服务器检测方法,这也是本文今后的研究工作之一(第 4 章)。 第二个问题是如何检测出 domain-flux 或 DGA 僵尸网络的 C&C 服务器。 已有一些研究工作关注此问题[1-4],而且这些方法也取得了一定效果。Yadav 等[1]给出了一种基于所有域名一元和二元语法分布的 DGA 僵尸网络 C&C 域 名检测方法。然而,该方法特别是检测 Kraken, Bobax 或 Murofet 僵尸网络产 生的域名时效果欠佳,因为这些僵尸网络产生的域名与正常域名在一元和二元 语法分布上没有较大差别。为克服此缺陷,本文工作目标是改进和扩展 Yadav 等[1]等人的工作。本文计算了正常域名的 n-grams (n=3, 4, 5)的发生频率,并 分别给每个 n-gram 评分。为区分一个域名是合法域名还是僵尸网络产生的域 名,本文提出了一种方法来测量域名期望分值,并且结合其他两个特征来输入 II 摘要 进事先训练好的分类器中。该分类器可用来从用户产生的域名中分类出僵持程 序域名。本文使用 5 种不同机器学习算法的分类器,并评测了每种算法检测的 有效性。实验结果表明,与其它算法相比,决策树算法(J48)效果最好,对 domain-flux 僵尸网络的检测更为有效。实验结果页证明本文所提方法可在被 管网络中有效检测僵尸网络。该方法的具体细节可参考本文第 4 章。 最后一个问题是如何使用基于特征机器学习的分类方法来检测恶意 fast- flux 服务网络(FFSN)。关于 FFSN 的检测,已经存在一些方法[5-8]。由于 FFSN 的特点是一个或多个域名可被解析为许多(数百个或者数千个)不同的 具有较短 TTL,DNS 应答快速变化的 IP 地址。因此,分类过程需要依赖所收 集的各种用户所发送请求的完全非预测性时序数据。文献[5-8]所提出的方法使 用少量的主动 DNS 流量记录,所以并不能完全获得恶意 fast-flux 网络的 所有 可能的解析 IP 地址。这个不足会造成假阳率与假阴率的增大。但是,此不足 可通过使用被动 DNS 复制方法来解决。本文开发了用于从网络接口或 pcap 文 件嗅探 DNS 请求的工具 PassiveTool,并将 DNS 服务器应答输出到日志文件中 (DNSlog)。此技术实际就是重建域名解析系统中心数据库中部分可见数据,并 且能被查询和请求,如某个域名过去是指向什么地方,给定名字服务器的是什 么域名?指向给定 IP 网络的域名是什么?某个域名下的子域名是什么?等等。 本文也定义了 DNSlog 文件来方便跟踪和管理与每个域名相关的请求/应答信 息。此外,Holz 等人 [7] 关注从主动 DNS 请求中得出的三个特征(即, DNS A 记录的个数,DNS NS 记录的个数和自治系统的数量)。Passerini 等人 [8] 使 用 9 个不同特征,而本文使用 16 个特征来训练分类器。在此 16 个特征中 12 III Southeast University, PhD. Dissertation, Truong Dinh Tu 个特征是本文首次提出来。此方法的优点是能够对大范围的包括恶意域名在内 的 fast-flux 域名进行检测进行非常有效的检测。实验结果表明本文方法能产生 较低的的 FPR(0.13%),相比之下文献[7]和[8]的 FPR 为 6.08%。该 方法的具体细节可参见本文第 5 章。 关键词: HTTP 僵尸网络,命令控制服务器,域名生成算法,Domain- Flux, Fast-Flux.
IV Abstract Abstract Botnets are generally recognized as one of the most serious threats on the Internet today, because they serve as platforms for the vast majority of large-scale and coordinated cyber-attacks, such as distributed denial of service, spamming, and information stolen. Detecting botnet is therefore of great importance and some security researchers have concerned about this threat and proposed many effective botnet detection approaches. However, botnet developers are constantly developing new techniques in order to improve their bot and avoid the detection from security researchers. In recent years, HTTP-based botnets have become more widespread and caused enormous damage to many government organizations and industries.
New generation HTTP botnets tend to use techniques called DGA (Domain Generation Algorithmically), domain-flux, or fast-flux to avoid the detection. Some botnets use the domain-flux technique to evade from being blacklisted; some botnets use the fast-flux technique to hide the true location of their servers. Therefore, the main research objective of this dissertation is to build solutions for detecting HTTP botnets that attackers often use techniques such as DGA, domain-flux or fast-flux to evade the detection. To achieve these goals, the dissertation solves three main problems: (1) To detect the presence of domain-flux or DGA-based botnets infected machines inside an enterprise network or the monitored network; (2) To detect C&C servers of botnets using domain-flux or DGA-based evasion techniques; (3) To detect malicious Fast-Flux Service Networks (FFSNs).
The main contents of these three research works are summarized as follows: The first problem is how to identify the presence of domain-flux or DGA-based botnets infected machines inside the enterprise network or the monitored network. To answer this question, multiple well-known domain-flux or DGA-based botnet samples are collected, such as Kraken, Zeus, Conficker, Bobax and Murofet botnets. Then, we execute these bot samples in a virtual machine environment to obtain network traffic traces. Through examining and analyzing on the large number of V Southeast University, PhD.
Dissertation, Truong Dinh Tu network traffic traces, we discover that these botnets exhibit many similar periodic behaviors in querying to domain names. In addition, the evidence from this study shows that the domain-flux or DGA-based botnet infected machines often query a large number of the non-existent domain names with similar periodic time interval series to look for their C&C server. The normal legitimate hosts have no reason to query a large number of different domain names with the similar periodic time interval series to yield high volumes of NX-Domains replies. This similar behavior only occurs with the domain-flux or DGA-based botnet infected hosts.
Therefore, based on these characteristics, we propose a method based on analyzing correlation between each pair of time intervals series of queries to cluster the similarity of domain names. The experiment results show that the domain names are generated by the same botnet or DGA are grouped into the same clusters. The lists of hosts that tried to query to clusters of these domains are marked as compromised hosts running a given domain-flux or DGA-based botnets. This work is not comprehensive to detect all bot-infected machines.
It is only effective for detecting domain-flux or DGA-based bot infected machines inside the monitored network. The results of this research motivate us to consider a new method to detect botnet C&C servers. This research is a part in our next research works (in Chapter 4). The second problem is how to detect C&C servers of domain-flux or DGA- based botnets.
Several previous approaches [1-4] have concerned about this threat and their strategies have brought the useful results. Yadav et al. [1] presented a technique to detect C&C domains of DGA-based botnets by looking at the distribution of unigrams and bigrams in all domain names. However, the unigrams- and bigrams-based technique may not suffice, especially to detect domains generated by Kraken, Bobax or Murofet botnets due to the distributions of unigram and bigrams in all domains of these botnets are not significant difference compared to those of benign domains.
To overcome this limitation, our works aim to improve and expand from the works of Yadav et al. We calculate frequency of occurrence of n-grams (n=3, 4, 5) in benign domain names and then assign score for each n- gram, respectively. To distinguish a domain generated by legitimate users or botnets, we present a method to measure the expected score of domain (ESOD) and combine with two other features aiming to feed into a classifier that we previously trained to VI Abstract classify bot-generated domain names from human-generated ones. We use five various machine learning algorithms to train classifiers and evaluate the detection effectiveness on each algorithm.
The experimental results show that the decision tree algorithm (J48) is the best classifier can be used to detect botnet more efficient than other algorithms. The evidence from the experimental results has demonstrated that our proposed approach can be used to detect botnet in the monitored network efficiently. The details of the method will be presented in Chapter 4 of the dissertation. The final problem is how to detect malicious fast-flux service networks use feature-based machine learning classification techniques.
There are some approaches have been developed to detect FFSN [5-8]. Since the characteristics of FFSN is one or more domain names that are resolved to multiple (hundreds or even thousands) different IP addresses with short time-to-live, and the rapid (fast) change in DNS answers. Therefore, classification process needs to rely on data gathered by completely unpredictable timing of queries sent by various users. The approaches that are proposed by [5-8] use a small amount of active DNS traffic traces, so it cannot obtain as many as possible resolved IP addresses of malicious fast-flux networks.
This disadvantage may enhance false positive and false negative rates. However, this limitation may overcome if passive DNS replication method is installed. In this study, we build a PassiveDNS tool to sniff traffic from an interface or read a pcap-file and outputs the DNS-server answers to a log file (DNSlog). This is a technique to reconstruct a partial view of the data available in the Domain Name System into a central database, where it can be indexed and queried.
The DNSlog databases are extremely useful for a variety of purposes, it can answer questions that are difficult or impossible to answer with the standard DNS protocol, such as where did this domain name point to in the past? What domain names are hosted by a given name-server? What domain names point into a given IP network? What subdomains exist below a certain domain name? We also define a DNSlog data aggregate aim to facilitate tracking and management of the query/response information related to each domain. Moreover, Holz et al. [7] focus on just three features derived from active DNS queries (i., the number of DNS "A" records, the number of DNS "NS" records, and the number of distinct Autonomous Systems (AS)). Passerini et al.
[8] VII Southeast University, PhD. Dissertation, Truong Dinh Tu employ 9 different features, while we use 16 key features to train classifiers. Among the 16 introduced features, there are 12 features are first proposed in this dissertation. The advantage of our approach is that it is able to detect a wide range of fast flux domains including malware domains with a significant detection effect.
The experimental results show that our method produces a lower false positive rate (FPR) (0.13%) compared to FPR of 6.17% produce by [7] and 4. The details of the method will be presented in Chapter 5 of this dissertation. Keywords: HTTP botnet, C&C Server, Domain Generation Algorithm (DGA), Domain-Flux, Fast-Flux. VIII Table of Content Table of Content 摘要.
V Table of Content .IX List of Figures. XIII List of Tables. XV List of Abbreviations.1 Bot and botnet .2 History of the Botnet .2 Evolution of Botnet .1 IRC-Based Botnet .3 HTTP-Based Botnet .3 Motivation and Challenges.4 The goal of the dissertation .5 Contributions and Outline of dissertation .2 Outline of the Dissertation. Background and Related Works .1 Botnet Detection Techniques.1 Honeypots-based detection .2 Anomaly-based Detection .3 DNS-based Detection.4 Mining-based Detection.
25 IX Southeast University, PhD. Dissertation, Truong Dinh Tu 2.2 Detection evasion techniques .1 DGA-Based technique .2 Fast Flux-Based technique. Detecting DGA-Bot Infected Machines Based On Analyzing The Similar Periodic Of Domain Queries.2 Filtering DNS traffic .1 Bot samples collection .2 DNS traffic extraction .3 Detection and Clustering.5 Conclusion and Future Work. Detecting C&C Servers Of Botnet With Analysis Features Of Network Traffic .4 Experimental and Evaluation .1 Prepare the Training Data Set.
62 X Table of Content 4.2 Evaluation of features selection .3 The Classifier Comparison .4 Evaluation of the detection rate on real-world DNS traffic .5 Compare with other approaches. Detecting Malicious Fast-Flux Service Networks Use Feature-Based Machine Learning Classification Techniques .3 Data Pre-filtering .4 Experiment and Evaluation .3 Compare with previous works. Conclusion and Future Works .1 Summary of Research and Conclusions .2 Limitation and Future Work. 111 List of Publications.
123 XI List of Figures List of Figures Figure 1.1: The attacks of typical botnet .2: IRC/HTTP botnet C&C architectures .4: C&C architectures of hybrid P2P botnet .5: The life cycle phases of botnet .8: Outline of the dissertation.1: Normal content retrieval process .2: Single-flux content retrieval process .3: Double-flux content retrieval process.1: Framework of the detection system .2: DNS traffic is generated by DGA-bots.3: The diagram for submitting files to VirusTotal .4: The Virustotal reports the scan results .5: An example of the similar periodic time intervals of DNS queries .6: An example of clustering domains based on the estimated autocorrelation coefficients of DNS queries.7: Number of clusters with various thresholds .8: Number of distinct domain names on each cluster with the threshold (h=0.1: Framework of the detection system.
Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ
Trích dẫn luận án này
Truong Dinh Tu (2015). Luận án tiến sĩ tiếng anh http based botnet detection using [Luận án tiến sĩ, Southeast University]. LuanAn.net. https://luanan.net/tai-lieu-khac/traces
Câu hỏi thường gặp
Luận án "Luận án tiến sĩ tiếng anh http based botnet detection using" nghiên cứu về vấn đề gì?
Luận án tiến sĩ nghiên cứu phát hiện botnet dựa trên giao thức HTTP. Đề xuất phương pháp mới, cải thiện khả năng nhận diện mối đe dọa an ninh mạng.
Luận án "Luận án tiến sĩ tiếng anh http based botnet detection using" được bảo vệ tại trường nào?
Luận án này được bảo vệ tại Southeast University. Năm bảo vệ: 2015.
Luận án "Luận án tiến sĩ tiếng anh http based botnet detection using" thuộc chuyên ngành gì?
Luận án "Luận án tiến sĩ tiếng anh http based botnet detection using" thuộc chuyên ngành Computer Science and Engineering. Danh mục: Tài liệu khác.
Luận án "Luận án tiến sĩ tiếng anh http based botnet detection using" có bao nhiêu trang?
Luận án "Luận án tiến sĩ tiếng anh http based botnet detection using" có 147 trang. Bạn có thể xem trước một phần tài liệu ngay trên trang web trước khi tải về.
Cách tải luận án "Luận án tiến sĩ tiếng anh http based botnet detection using" về máy như thế nào?
Để tải luận án về máy, bạn nhấn nút "Tải xuống ngay" trên trang này, sau đó hoàn tất thanh toán phí lưu trữ. File sẽ được tải xuống ngay sau khi thanh toán thành công. Hỗ trợ qua Zalo: 0559 297 239.