Một số phát hiện mới trong đo lường và phân tích lưu lượng internet mô hình và c
Luận án: Một số phát hiện mới trong đo lường và phân tích lưu lượng internet mô hình và các thuộc tính phân loại lưu lượng theo ứng dụng. Xem tóm tắt và tải về
Luan An
Luận án tiến sĩ kỹ thuật
Năm xuất bản
Số trang
162
Thời gian đọc
25 phút
Lượt xem
0
Lượt tải
0
Phí lưu trữ
50 Point
Tổng quan nhanh
- Chủ đề:
- 1. Phát hiện Mới trong Đo lường Lưu lượng Internet
- Số trang:
- 162 trang
- Trường:
- Đại học Bách khoa Hà Nội
- Chuyên ngành:
- Kỹ thuật Viễn thông
- Tác giả:
- Nguyễn Tài Hưng
- Năm:
- 2007
Tóm tắt nội dung luận án
I. Phát hiện Mới trong Đo lường Lưu lượng Internet
Tài liệu này trình bày các phát hiện đột phá trong lĩnh vực đo lường và phân tích lưu lượng Internet. Nghiên cứu tập trung vào việc phát triển các mô hình và thuộc tính mới. Chúng giúp phân loại lưu lượng mạng theo ứng dụng. Việc hiểu rõ lưu lượng là tối quan trọng. Nó hỗ trợ quản lý hiệu suất mạng và tăng cường an ninh mạng. Nhu cầu này ngày càng tăng do sự phức tạp của hệ thống mạng hiện đại. Công trình này đóng góp đáng kể vào việc nâng cao khả năng giám sát mạng. Nó cũng cải thiện khả năng phát hiện bất thường trong lưu lượng. Các phương pháp mới được đề xuất để giải quyết những thách thức hiện tại.
1.1. Nhu cầu Phân tích Lưu lượng Mạng
Mạng Internet phát triển nhanh chóng. Điều này đặt ra nhiều thách thức cho việc quản lý. Nhu cầu phân tích lưu lượng mạng ngày càng cấp thiết. Nó giúp hiểu rõ hoạt động mạng. Việc này cần thiết cho tối ưu hóa hiệu suất mạng. An ninh mạng cũng phụ thuộc vào khả năng này. Phát hiện bất thường trong lưu lượng là một mục tiêu quan trọng. Các ứng dụng mới liên tục xuất hiện. Chúng tạo ra các kiểu lưu lượng đa dạng. Việc nhận dạng chúng giúp quản lý tài nguyên hiệu quả.
1.2. Tổng quan các Nghiên cứu Liên quan
Nhiều nghiên cứu đã khám phá đo lường mạng. Các phương pháp truyền thống tồn tại hạn chế. Luận án này xem xét các nghiên cứu trước đây. Nó phân tích các kỹ thuật phân loại lưu lượng. Mục đích là tìm ra khoảng trống trong tri thức. Sau đó đề xuất các giải pháp mới. Nghiên cứu tập trung vào việc cải thiện độ chính xác. Nó cũng tìm cách nâng cao hiệu quả phân tích.
1.3. Mục tiêu và Phạm vi Nghiên cứu
Luận án tập trung vào đo lường lưu lượng Internet. Nó phát triển mô hình phân loại theo ứng dụng. Mục tiêu là nhận diện các luồng lưu lượng. Việc này dựa trên các thuộc tính đặc trưng. Phạm vi bao gồm cả mạng đường trục và mạng nội bộ. Dữ liệu thực nghiệm được sử dụng để kiểm chứng. Kết quả nhằm hỗ trợ giám sát mạng tốt hơn.
II. Kỹ thuật Đo lường và Lấy mẫu Lưu lượng Mạng
Việc thu thập dữ liệu lưu lượng chính xác là nền tảng cho mọi phân tích. Phần này đi sâu vào các kỹ thuật đo lường và lấy mẫu tiên tiến. Các phương pháp đo lường thụ động được ưu tiên. Chúng không gây ảnh hưởng đến hiệu suất mạng. Nghiên cứu cũng khảo sát các thuật toán lấy mẫu hiệu quả. Mục tiêu là đảm bảo tính đại diện của dữ liệu. Một công cụ phần mềm chuyên dụng được giới thiệu. Nó hỗ trợ quá trình bắt gói và phân tích lưu lượng. Cách tổ chức cơ sở dữ liệu đo cũng được trình bày chi tiết. Điều này giúp các nhà quản trị mạng hiểu rõ hơn về hành vi mạng.
2.1. Phương pháp Đo lường Thụ động
Việc thu thập dữ liệu lưu lượng là bước đầu. Phương pháp đo lường thụ động được ưu tiên. Nó không làm ảnh hưởng đến hiệu suất mạng. Quá trình bắt giữ gói lưu lượng được mô tả. Dữ liệu thô sau đó được phân tích. Kỹ thuật này áp dụng cho nhiều loại mạng. Bao gồm mạng đường trục, mạng nội bộ. Cả mạng quay số (Dial-up, ADSL) cũng được khảo sát. Việc này đảm bảo thu thập dữ liệu toàn diện.
2.2. Kỹ thuật Lấy mẫu Lưu lượng Hiệu quả
Lưu lượng mạng lớn cần kỹ thuật lấy mẫu. Lấy mẫu giúp giảm gánh nặng xử lý. Các thuật toán lấy mẫu được nghiên cứu kỹ. Bao gồm lấy mẫu hệ thống, ngẫu nhiên. Lấy mẫu phân tầng cũng được áp dụng. Tần số và khoảng lấy mẫu được xác định. Mục đích là giữ lại tính đại diện của dữ liệu. Điều này rất quan trọng cho phân tích lưu lượng chính xác.
2.3. Công cụ Hỗ trợ và Tổ chức Dữ liệu
Phần mềm BKCAP được phát triển. Nó đáp ứng yêu cầu thiết kế cụ thể. BKCAP thực hiện chức năng bắt gói và phân tích. Hiệu suất hoạt động của BKCAP được đánh giá. Dữ liệu đo lường được tổ chức chặt chẽ. Cơ sở dữ liệu lưu lượng được xây dựng. Tỉ lệ phần trăm luồng theo ứng dụng được ghi nhận. Việc này cung cấp nền tảng vững chắc cho các bước tiếp theo.
III. Phân tích Chuyên sâu Luồng Lưu lượng IP
Phần này tập trung vào việc phân tích các đặc điểm của luồng lưu lượng IP. Nghiên cứu xác định các khái niệm cơ bản về luồng. Nó đi sâu vào cơ chế kết thúc và các thuộc tính liên quan. Cơ sở toán học thống kê được sử dụng để phân tích. Các phân bố về thời gian đến và kích thước luồng được kiểm nghiệm. Kết quả giúp nhận diện các mẫu hành vi đặc trưng. Việc này là chìa khóa để phân biệt các loại lưu lượng. Nó cũng hỗ trợ phát hiện bất thường và tối ưu hóa hiệu suất mạng.
3.1. Khái niệm và Thuộc tính Luồng Lưu lượng
Luồng lưu lượng trên Internet được định nghĩa. Cơ chế kết thúc luồng được làm rõ. Các thuộc tính quan trọng của luồng được xác định. Bao gồm địa chỉ nguồn/đích, cổng, giao thức. Việc hiểu rõ khái niệm luồng là nền tảng. Nó cho phép phân tích sâu hơn về hành vi mạng.
3.2. Cơ sở Thống kê và Phân bố Lưu lượng
Phân tích dựa trên cơ sở toán học thống kê. Lý thuyết lưu lượng được áp dụng cho Internet. Các phương pháp dự đoán phân bố được khảo sát. Chúng phù hợp với dữ liệu đo thực nghiệm. Phân bố I.T (Inter-arrival Time) của các luồng IP được nghiên cứu. Phân tích này thực hiện cho tất cả ứng dụng. Sau đó, nó áp dụng cho từng ứng dụng riêng lẻ.
3.3. Đặc điểm Kích thước và Thời lượng Luồng
Nghiên cứu tập trung vào kích thước luồng. Phân bố kích thước luồng theo gói được phân tích. Phân bố kích thước luồng theo byte cũng được xem xét. Thời lượng của mỗi luồng cũng là một đặc điểm quan trọng. Các phân bố này giúp nhận dạng ứng dụng. Nó cung cấp cái nhìn sâu sắc về đặc tính lưu lượng.
IV. Mô hình Học máy Phân loại Lưu lượng Ứng dụng
Đây là phần trọng tâm của tài liệu, giới thiệu mô hình tự động phân loại lưu lượng. Nghiên cứu áp dụng các nguyên tắc học máy và trí tuệ nhân tạo (AI) trong mạng. Nó giải quyết vấn đề phân loại lưu lượng theo ứng dụng. Quá trình lựa chọn và xây dựng thuộc tính luồng được mô tả chi tiết. Nhiều thuật toán phân tích đã được thử nghiệm và đánh giá. Mô hình này mang lại hiệu quả cao trong việc nhận dạng các loại hình lưu lượng. Nó có tiềm năng lớn trong việc cải thiện giám sát mạng và phát hiện bất thường.
4.1. Cơ sở Lý thuyết Học Tự động
Việc nhận dạng lưu lượng tự động là cần thiết. Luận án xây dựng mô hình dựa trên học tự động. Học có giám sát và học không giám sát được khảo sát. Các nguyên tắc cơ bản của trí tuệ nhân tạo (AI) được áp dụng. Việc này tạo nền tảng cho các thuật toán phân loại tiên tiến.
4.2. Lựa chọn và Xây dựng Thuộc tính Luồng
Lựa chọn thuộc tính phù hợp là rất quan trọng. Các thuộc tính liên quan đến tải tin được xác định. Chúng bao gồm phân bố và tốc độ truyền. Các thuộc tính thể hiện tính tương tác cũng được xem xét. Ví dụ: dòng lệnh, bàn phím. Thuộc tính phiên làm việc, hướng truyền cũng được xây dựng. Các mô hình tìm kiếm và lọc giúp tối ưu hóa.
4.3. Đánh giá Hiệu suất Thuật toán Phân loại
Nhiều thuật toán phân loại được thử nghiệm. Bao gồm Naive Bayes, kNN, AdaBoost. Dữ liệu được chuẩn bị cẩn thận cho quá trình học. Phương pháp đánh giá hiệu suất được thiết lập. Tỷ lệ phân loại đúng và sai được phân tích. Tốc độ phân loại và thời gian học cũng được đo lường. Sự phụ thuộc vào kích thước dữ liệu được đánh giá. Mô phỏng và kiểm chứng giúp xác nhận hiệu quả. Phát hiện bất thường cũng được cải thiện nhờ mô hình này.
V. Tác động và Hướng phát triển trong An ninh Mạng
Tài liệu này tổng kết các kết quả nghiên cứu chính và những đóng góp. Nó chỉ ra tiềm năng ứng dụng thực tiễn của mô hình. Các phát hiện mới có thể hỗ trợ mạnh mẽ cho giám sát mạng. Chúng cải thiện hiệu suất mạng và tăng cường an ninh mạng. Hơn nữa, luận án cũng đề xuất các hướng phát triển trong tương lai. Việc này mở ra nhiều cơ hội cho nghiên cứu tiếp theo. Đặc biệt là trong lĩnh vực trí tuệ nhân tạo (AI) và phát hiện bất thường.
5.1. Kết quả Nghiên cứu Chính và Đóng góp
Luận án đã đạt được nhiều kết quả quan trọng. Các phát hiện mới về đặc điểm lưu lượng Internet được công bố. Một mô hình phân loại lưu lượng tự động được xây dựng. Nó dựa trên các thuộc tính của luồng IP. Mô hình này có khả năng nhận dạng ứng dụng hiệu quả. Nó cung cấp đóng góp đáng kể cho lĩnh vực đo lường mạng.
5.2. Tiềm năng Ứng dụng cho Giám sát Mạng
Các phát hiện có tiềm năng ứng dụng lớn. Chúng hỗ trợ mạnh mẽ cho giám sát mạng. Việc hiểu rõ lưu lượng giúp tối ưu hiệu suất mạng. Mô hình có thể cải thiện an ninh mạng. Nó giúp phát hiện bất thường và tấn công DoS. Việc này cần thiết cho quản lý mạng hiện đại.
5.3. Hướng Nghiên cứu Mở rộng và Cải tiến
Đề tài mở ra nhiều hướng nghiên cứu tiếp theo. Cần tiếp tục hoàn thiện mô hình phân loại. Việc tích hợp các kỹ thuật học máy tiên tiến hơn có thể thực hiện. Nghiên cứu sâu hơn về trí tuệ nhân tạo (AI) trong mạng là cần thiết. Mở rộng phạm vi ứng dụng và kiểm chứng trên dữ liệu lớn hơn. Cải thiện độ chính xác và tốc độ xử lý là mục tiêu liên tục.
Tải xuống file đầy đủ để xem toàn bộ nội dung
Tải đầy đủ (162 trang)Nội dung chính
Tổng quan về luận án
Luận án tiến sĩ này của Nguyễn Tài Hưng, với chuyên ngành Kỹ thuật Viễn thông tại Đại học Bách Khoa Hà Nội năm 2007, giải quyết một trong những thách thức cốt lõi nhất của mạng Internet đương đại: việc quản lý và tối ưu hóa các dịch vụ chất lượng (QoS) thông qua phân tích và nhận dạng lưu lượng ứng dụng một cách chính xác và tự động. Bối cảnh khoa học của nghiên cứu được đặt trong xu hướng hội tụ công nghệ, nơi Internet trở thành hạ tầng truyền thông chính yếu cho mọi loại hình ứng dụng, từ các ứng dụng truyền thống như duyệt web, gửi thư điện tử, truyền file, đến các ứng dụng thời gian thực như VoIP, truyền hình trực tuyến, trò chơi trực tuyến và các dịch vụ chia sẻ. Sự phát triển này tạo ra áp lực lớn lên khả năng cung cấp và giám sát QoS, đòi hỏi một sự hiểu biết sâu sắc về biểu hiện hoạt động và biến thiên của lưu lượng Internet.
Research gap được xác định cụ thể trong luận án là sự thiếu hụt các nghiên cứu chi tiết về đặc tính hóa các luồng lưu lượng IP ở lớp mạng, đặc biệt là theo ứng dụng hoặc nhóm ứng dụng. Các nghiên cứu trước đây, ví dụ của Leland, Wilson (1994) trong "On the Self-Similar Nature of Ethernet Traffic," và Thompson, Miller, Wilder (1997) trong "Wide area Internet traffic patterns and characteristics," tập trung chủ yếu vào đặc tính tự đồng dạng (self-similar) và tương quan thời gian dài (long-range dependence) ở mức gói IP. Ngay cả luận án tiến sĩ của K.Claffy (1994) về "Internet traffic characterization" cũng chủ yếu khảo sát đặc tính luồng tổng hợp, mà chưa đi sâu vào "kết luận là các đặc tính này tuân theo phân bố gì và cũng chưa nghiên cứu riêng rẽ cho từng ứng dụng trong lưu lượng tổng hợp" (Mở đầu, trang 2). Phương pháp phân loại lưu lượng hiện hành dựa trên số hiệu cổng ứng dụng hoặc đặc thù giao thức ứng dụng đã bộc lộ nhiều nhược điểm về độ chính xác do cơ chế cấp phát động cổng và hiệu suất kém khi xử lý lưu lượng lớn. Do đó, luận án nhấn mạnh "một phần quan trọng ảnh hưởng lớn đến hiệu suất hoạt động của mạng là đặc tính và biểu hiện biến thiên của các luồng lưu lượng IP, đặc biệt là phân bố khoảng thời gian giữa các thời điểm đến (I.T) của chúng, lại chưa có một nghiên cứu và khảo sát chi tiết nào được thực hiện" (Kết luận chương 1, trang 15).
Để khắc phục các hạn chế này, luận án đề ra các research questions và hypotheses chính:
- RQ1: Các biểu hiện hoạt động và biến thiên của các luồng lưu lượng IP, đặc biệt là phân bố khoảng thời gian giữa các thời điểm đến (I.T), có thể được mô hình hóa và đặc tính hóa một cách chi tiết cho từng ứng dụng hoặc nhóm ứng dụng không?
- RQ2: Có thể xác định một tập các thuộc tính đặc trưng của luồng lưu lượng IP làm dấu hiệu nhận biết cho các ứng dụng hoặc nhóm ứng dụng mà không cần dựa vào cổng ứng dụng hay nội dung gói tin không?
- RQ3: Một mô hình sử dụng học tự động (Machine Learning) và các thuộc tính đặc trưng đã xác định có thể tự động nhận dạng và phân loại luồng lưu lượng IP theo ứng dụng với độ chính xác cao và hiệu suất hoạt động tốt trong thời gian thực không?
- H1: Phân bố I.T của các luồng lưu lượng IP sẽ thể hiện đặc tính phân bố vệt dài (long-tailed distribution) và các tham số của nó sẽ biến thiên đáng kể giữa các loại ứng dụng khác nhau.
- H2: Một tập hợp các thuộc tính thống kê đa chiều của luồng (bao gồm I.T, kích thước luồng, thời lượng luồng, và hướng truyền) sẽ cung cấp đủ thông tin để phân biệt các ứng dụng.
- H3: Các thuật toán học tự động như Naive Bayes (NBD), kNN, hoặc AdaBoost, khi được huấn luyện trên tập thuộc tính đặc trưng, sẽ đạt độ chính xác cao hơn đáng kể so với phương pháp phân loại truyền thống dựa trên cổng ứng dụng.
Theoretical framework của luận án được xây dựng dựa trên sự kết hợp giữa lý thuyết lưu lượng mạng (traffic theory) và các mô hình thống kê tiên tiến để phân tích các đặc tính vi mô của luồng. Cụ thể, nghiên cứu áp dụng lý thuyết về các phân bố vệt dài để mô tả hành vi của lưu lượng mạng, đặc biệt là phân bố I.T. Ngoài ra, luận án sử dụng nền tảng của Trí tuệ nhân tạo (Artificial Intelligence), cụ thể là các thuật toán học tự động (Machine Learning), để xây dựng mô hình phân loại. Điều này mở rộng các lý thuyết về đặc tính hóa lưu lượng mạng bằng cách đưa ra một phương pháp định lượng và dự đoán chính xác hơn cho hành vi của các ứng dụng trên Internet.
Đóng góp đột phá của luận án có thể được định lượng và xác định rõ ràng:
- Phát hiện thuộc tính mới cho phân loại lưu lượng: Luận án đã xác định "tập các thuộc tính đặc trưng của luồng lưu lượng IP trên mạng đồng thời nhận biết các dấu hiệu phân biệt chúng với nhau" (Mở đầu, trang 3). Đây là một đột phá khi chuyển từ phân loại dựa trên cổng ứng dụng (thường không chính xác) sang phân loại dựa trên đặc tính hành vi của luồng, có khả năng áp dụng rộng rãi cho các ứng dụng mới.
- Mô hình hóa chi tiết phân bố I.T theo ứng dụng: Nghiên cứu đã thực hiện "khảo sát và phân tích các biểu hiện hoạt động và biến thiên của các luồng lưu lượng IP, đặc biệt là phân bố khoảng thời gian giữa các thời điểm đến (I.T) của chúng" (Kết luận chương 1, trang 16). Đây là một đóng góp lý thuyết quan trọng, làm rõ hơn các đặc tính vi mô của lưu lượng ứng dụng mà trước đây ít được chú ý.
- Phát triển mô hình phân loại tự động hiệu suất cao: Luận án đã đề xuất và xây dựng "một mô hình mới cho phép nhận dạng các luồng lưu lượng của các nhóm ứng dụng trên mạng Internet bằng cách sử dụng các thuật toán học tự động của trí tuệ nhân tạo" (Ý nghĩa khoa học và thực tiễn, trang 5). Mô hình này được chứng minh có "tính ứng dụng thực tế rất cao, chỉ cần một số hiệu chỉnh nhỏ là có thể áp dụng trên các bộ định tuyến hoạt động trên mạng" (Ý nghĩa khoa học và thực tiễn, trang 5).
- Công cụ đo lường và phân tích dữ liệu tiên tiến (BKCAP): Việc phát triển phần mềm BKCAP, một công cụ đo lường thụ động dựa trên thư viện Libpcap cải tiến, với khả năng giải mã giao thức mới thông qua XML và tổ chức lưu trữ dữ liệu trong cơ sở dữ liệu quan hệ (SQLite), là một đóng góp thực tiễn đáng kể. Nó giải quyết vấn đề về thu thập và xử lý lượng lớn dữ liệu đo lường, đồng thời tăng cường độ ổn định và khả năng mở rộng.
Scope của nghiên cứu tập trung vào các luồng lưu lượng IP trên Internet. Dữ liệu được thu thập tại mạng của một nhà cung cấp dịch vụ Internet/điểm trao đổi Internet (ISP/IXP) điển hình, cụ thể là "mạng ISP/IXP của công ty Thông tin viễn thông điện lực" (Mở đầu, trang 3). Các tệp dữ liệu lưu lượng được sử dụng, ví dụ DL1-DL7, có quy mô lớn, với số lượng gói từ 2,000,000 đến 10,000,000 gói (Bảng 2-3, trang 41), đảm bảo tính đầy đủ và tin cậy cho quá trình phân tích. Thời gian nghiên cứu không được nêu rõ, nhưng dữ liệu là từ năm 2007. Significance của luận án nằm ở khả năng cung cấp một giải pháp hiệu quả cho việc quản lý tài nguyên mạng, phát hiện tấn công, điều khiển truy nhập và giám sát QoS, giải quyết những thách thức mà các nhà cung cấp dịch vụ đang gặp phải. Mặc dù dữ liệu thu thập tại một ISP/IXP cụ thể, luận án hy vọng các kết quả sẽ "phần nào, thể hiện đặc tính của mạng Internet nói chung" (Mở đầu, trang 3).
Literature Review và Positioning
Literature review đã tổng hợp các luồng nghiên cứu chính về lưu lượng Internet, bắt đầu từ các công trình tiên phong về đặc tính tự đồng dạng của Leland và Wilson (1994) trong "On the Self-Similar Nature of Ethernet Traffic," và nghiên cứu về đặc tính lưu lượng Internet diện rộng của Thompson, Miller, và Wilder (1997). Nghiên cứu của K.Claffy (1994) về "Internet traffic characterization" cũng được nhắc đến như một cột mốc trong việc khảo sát lưu lượng ở mức luồng. Các tác giả Sarvotham và cộng sự (2001) trong [103] đã khảo sát tính cụm của lưu lượng trong các luồng Internet, phát hiện ra "các luồng lưu lượng Alpha" (những luồng lớn) và "luồng lưu lượng Beta" (những luồng nhỏ). Zhang và cộng sự (2002) trong [75] cũng đã nghiên cứu sự tương quan giữa kích thước và tốc độ luồng cho thấy hành vi của người dùng hoặc cơ chế giao thức là nguồn gốc của sự tương quan này.
Luận án cũng chỉ ra những contradictions/debates trong cách định nghĩa và phân loại luồng. Một mặt, định nghĩa luồng dựa trên cờ SYN/FIN của giao thức TCP, như một số nghiên cứu ban đầu, chỉ hữu ích cho đánh giá hiệu suất giao thức đầu cuối nhưng không phù hợp cho đánh giá mạng lõi do các vấn đề như mất gói, lỗi trạm cuối hoặc thay đổi đường đi ([9]). Mặt khác, định nghĩa luồng theo "một dòng các gói truyền theo cả hai chiều với một số tham số chung xác định trước, ví dụ cùng chung địa chỉ IP nguồn/đích và số hiệu cổng ứng dụng chẳng hạn" ([10]) được sử dụng phổ biến hơn, nhưng vẫn tồn tại tranh cãi về giá trị time-out của luồng tối ưu (từ 2s đến 2048s theo nghiên cứu [10] của Claffy và cộng sự). Nghiên cứu của Dunigan và cộng sự ([44], [45]) về phân tích thống kê đa biến thiên để đặc tính hóa luồng dựa trên kích thước gói, I.T và hướng truyền, đã tạo ra "hồ sơ luồng lưu lượng" nhưng "độ chính xác của phương pháp phân loại này không cao khi so sánh các tập dữ liệu đo khác nhau" (trang 13). Đây là một điểm yếu được luận án khai thác.
Positioning của luận án trong literature là nhằm lấp đầy khoảng trống về phân tích chi tiết các đặc tính của luồng lưu lượng IP theo từng ứng dụng cụ thể, đặc biệt là phân bố khoảng thời gian giữa các thời điểm đến (I.T). Trong khi các nghiên cứu trước đây (như Claffy, [9], [100], [101]) đã khảo sát kích thước và thời lượng luồng, chúng thường bỏ qua việc xác định phân bố cụ thể cho từng ứng dụng và ảnh hưởng của I.T. Luận án tiến một bước xa hơn bằng cách "phát hiện ra một số thuộc tính bất biến của chúng làm cơ sở cho thuật toán nhận dạng lưu lượng ứng dụng" (Chương 3, trang 7). Nó cũng vượt qua giới hạn của phương pháp phân loại dựa trên cổng ứng dụng, vốn "gặp rất nhiều hạn chế do không phải tất cả các ứng dụng trên mạng đều tuân thủ số cổng ứng dụng được cấp phát" (trang 12), bằng cách đề xuất một tập các thuộc tính thống kê mới, độc lập với cổng.
Điều này thúc đẩy lĩnh vực nghiên cứu bằng cách cung cấp một mô hình nhận dạng lưu lượng tự động, linh hoạt và chính xác hơn. Nó mở ra khả năng cho các ISP/IXP áp dụng các mức ưu tiên xử lý khác nhau cho các nhóm lưu lượng, tối ưu hóa việc cung cấp chất lượng dịch vụ (QoS), và phát hiện các mối đe dọa mạng một cách hiệu quả hơn.
So sánh với ít nhất 2 international studies:
- So sánh với nghiên cứu của Lee và Stolfo (2001) về phát hiện tấn công mạng [24]: Lee và Stolfo đã xác định 41 thuộc tính mô tả luồng lưu lượng, chia thành 3 loại: thuộc tính cơ bản của TCP/IP, thuộc tính liên quan đến nội dung và thuộc tính thống kê quá khứ. Trong khi nghiên cứu này sử dụng một bộ thuộc tính phong phú, nó vẫn bao gồm các thuộc tính liên quan đến nội dung gói tin, điều mà luận án tìm cách tránh để tăng hiệu suất và tính riêng tư. Luận án của Nguyễn Tài Hưng tập trung vào các thuộc tính thống kê của luồng ở lớp IP, không yêu cầu phân tích nội dung, từ đó giảm gánh nặng xử lý và tăng khả năng áp dụng trong thực tế mạng tốc độ cao.
- So sánh với nghiên cứu của Moore và Zuev (2005) về phân loại lưu lượng bằng Bayes [49]: Moore và Zuev đã áp dụng thuật toán Bayes để phân loại lưu lượng Internet thành các nhóm như "lưu lượng cụm, lưu lượng cơ sở dữ liệu, lưu lượng tương tác, lưu lượng www," sử dụng các thuộc tính của luồng TCP. Ưu điểm của phương pháp Bayes là đơn giản, dễ thực hiện, nhưng "nhược điểm lớn nhất của nó là độ chính xác phân loại không cao" (trang 15). Luận án của Nguyễn Tài Hưng không chỉ khám phá các thuật toán học tự động khác (như kNN, AdaBoost) mà còn tập trung vào việc xây dựng một tập thuộc tính tối ưu hơn thông qua phân tích chuyên sâu về phân bố I.T và các đặc tính khác của luồng IP, nhằm đạt được độ chính xác cao hơn, giải quyết trực tiếp nhược điểm của phương pháp Bayes đơn giản.
Đóng góp lý thuyết và khung phân tích
Đóng góp cho lý thuyết
Luận án mở rộng và thách thức các lý thuyết hiện có về đặc tính hóa lưu lượng Internet bằng cách đi sâu vào phân tích các đặc tính vi mô của luồng lưu lượng IP ở lớp mạng, đặc biệt là phân bố khoảng thời gian giữa các thời điểm đến (I.T). Trong khi các mô hình truyền thống thường mô tả lưu lượng ở mức gói hoặc phiên ứng dụng (như Claffy, 1994, với định nghĩa luồng dựa trên TCP SYN/FIN), nghiên cứu này đặt trọng tâm vào các luồng IP và các thuộc tính thống kê của chúng, đặc biệt là hình dạng phân bố. Nó thách thức giả định rằng các đặc tính luồng có thể được tổng quát hóa mà không cần phân biệt theo ứng dụng, bằng cách chỉ ra rằng "phân bố I.T của các luồng lưu lượng của một số ứng dụng chính trong hai tập dữ liệu DL1 và DL4" (Hình 3-5, trang 72) cho thấy sự biến thiên đáng kể giữa các ứng dụng. Luận án cũng mở rộng lý thuyết về phân bố vệt dài trong lưu lượng mạng bằng cách cung cấp bằng chứng thực nghiệm về sự hiện diện của chúng trong phân bố I.T của các luồng IP, chi tiết hơn so với các nghiên cứu trước đây vốn chủ yếu tập trung vào kích thước gói hoặc luồng tổng hợp. Các thông số như "α - Tham số của các phân bố vệt dài, thể hiện mức độ kéo dài của phần đuôi của phân bố" (trang vi) được sử dụng để định lượng đặc tính này.
Conceptual framework của luận án bao gồm các thành phần chính: (1) Thu thập dữ liệu lưu lượng Internet thô bằng đo lường thụ động và công cụ BKCAP; (2) Xử lý dữ liệu thô để tạo ra các luồng lưu lượng IP và các bản ghi thuộc tính; (3) Phân tích luồng bằng các mô hình thống kê (phân bố I.T, kích thước, thời lượng); (4) Lựa chọn thuộc tính đặc trưng quan trọng; và (5) Xây dựng mô hình phân loại tự động sử dụng học tự động. Các mối quan hệ được thiết lập: các đặc tính thống kê của luồng (thành phần 3) cung cấp cơ sở cho việc xác định thuộc tính đặc trưng (thành phần 4), từ đó dẫn đến việc xây dựng mô hình phân loại (thành phần 5) có khả năng nhận diện các ứng dụng.
Theoretical model được đề xuất với các propositions/hypotheses:
- P1: Các phân bố I.T của các luồng lưu lượng IP cho các ứng dụng khác nhau sẽ có các tham số thống kê (mean, variance, độ lệch tiêu chuẩn) và hình dạng phân bố (ví dụ, phân bố vệt dài) riêng biệt, đủ để phân biệt chúng.
- P2: Một tập hợp tối ưu các thuộc tính đặc trưng của luồng lưu lượng IP (bao gồm các thuộc tính liên quan đến I.T, tải tin, tốc độ truyền, tính chất tương tác, phiên làm việc, hướng truyền) có thể được trích xuất từ dữ liệu đo thực nghiệm.
- P3: Mô hình học tự động được huấn luyện trên tập thuộc tính đặc trưng này sẽ vượt trội so với các phương pháp phân loại truyền thống (dựa trên cổng) về độ chính xác và tốc độ, ngay cả khi đối mặt với các cơ chế cấp phát cổng động.
- P4: Mô hình này sẽ duy trì hiệu suất cao khi áp dụng trên các bộ định tuyến mạng trong thời gian thực, với các hiệu chỉnh tối thiểu.
Mặc dù luận án không tuyên bố một paradigm shift hoàn toàn, nó cung cấp bằng chứng thực nghiệm để chuyển dịch khỏi paradigm phân loại lưu lượng dựa trên thông tin tĩnh (cổng ứng dụng) sang paradigm phân loại dựa trên hành vi động và các thuộc tính thống kê của luồng. Bằng chứng từ findings cho thấy sự phụ thuộc vào các thuộc tính động của luồng (như các thuộc tính về phân bố tải tin và I.T, tính quy luật của tải tin và tốc độ truyền, tính chất tương tác, phiên làm việc và hướng truyền) mang lại kết quả phân loại chính xác hơn đáng kể, như được minh họa trong Chương 4 về "Mô hình tự động nhận dạng và phân loại luồng lưu lượng IP trên Internet."
Khung phân tích độc đáo
Luận án tích hợp các lý thuyết từ nhiều lĩnh vực để xây dựng một khung phân tích độc đáo. Cụ thể, nó kết hợp: (1) Lý thuyết lưu lượng mạng (traffic theory) để hiểu hành vi cơ bản của gói và luồng; (2) Lý thuyết thống kê toán học (mathematical statistics) để phân tích các phân bố (như PDF, CDF, CCDF) và kiểm tra độ phù hợp (như Kolmogorov-Smirnov, SSE, R2); và (3) Lý thuyết học tự động (Machine Learning theory) từ lĩnh vực Trí tuệ nhân tạo để xây dựng mô hình phân loại. Sự tích hợp này cho phép luận án vượt qua các hạn chế của từng lý thuyết riêng lẻ. Ví dụ, lý thuyết lưu lượng cung cấp bối cảnh, thống kê cung cấp công cụ định lượng, và học tự động biến các định lượng đó thành mô hình dự đoán.
Novel analytical approach của luận án nằm ở việc xây dựng một quy trình từ thu thập dữ liệu thô (gói) đến nhận dạng ứng dụng ở mức luồng một cách tự động. Điều này bao gồm việc phát triển các phương pháp để: (1) Định nghĩa luồng IP một cách thích nghi, không phụ thuộc vào cờ TCP hay nội dung, mà dựa trên khoảng thời gian time-out của luồng tối đa giữa hai gói liên tiếp ([33]); (2) Trích xuất một bộ thuộc tính đặc trưng của luồng từ lớp IP, không yêu cầu truy cập lớp ứng dụng; (3) Sử dụng các kỹ thuật lựa chọn thuộc tính tiên tiến ("mô hình hoán đổi," "mô hình bộ lọc" (Chương 4, mục 4)) để tối ưu hóa bộ thuộc tính cho các thuật toán học tự động. Khung này có justification rõ ràng: phương pháp truyền thống (cổng ứng dụng) không còn hiệu quả do cơ chế cấp phát cổng động và hành vi của các ứng dụng độc hại.
Conceptual contributions bao gồm các định nghĩa rõ ràng về:
- Luồng lưu lượng IP: "một dòng các gói truyền theo cả hai chiều với một số tham số chung xác định trước, ví dụ cùng chung địa chỉ IP nguồn/đích và số hiệu cổng ứng dụng chẳng hạn" và "thời gian time-out, là khoảng thời gian lớn nhất giữa 2 gói liên tiếp được xem là trong cùng một luồng" ([10]).
- Thuộc tính đặc trưng của luồng: Các tham số thống kê mô tả phân bố tải tin, I.T, tốc độ truyền, tính chất tương tác (dòng lệnh, bàn phím), phiên làm việc, và hướng truyền của luồng IP, được liệt kê chi tiết trong "Bảng 4-2 Tập các thuộc tính của luồng phục vụ bài toán phân loại lưu lượng" (trang 102).
- Mô hình phân loại tự động: Một hệ thống sử dụng thuật toán học tự động để gán nhãn ứng dụng cho một luồng IP dựa trên tập các thuộc tính đặc trưng đã được trích xuất.
Boundary conditions được xác định rõ ràng:
- Phạm vi địa lý và thời gian: Dữ liệu được thu thập tại "mạng ISP/IXP của công ty Thông tin viễn thông điện lực" (Mở đầu, trang 3). Do đó, các kết quả "trước hết thể hiện các biểu hiện hoạt động và biến thiên của các luồng lưu lượng IP trong phạm vi một mạng ISP/IXP điển hình sau đó, hy vọng phần nào, thể hiện đặc tính của mạng Internet nói chung." (Mở đầu, trang 3).
- Tính đại diện của dữ liệu: "dữ liệu lưu lượng đo của luận án, được thu thập tại mạng ISP/IXP của công ty Thông tin viễn thông điện lực, có thể không hoàn toàn mang tính đại diện cho lưu lượng của mạng Internet toàn cầu." (Mở đầu, trang 3).
- Loại ứng dụng: Mô hình được đề xuất "phù hợp trước hết cho những ứng dụng của các mạng ISP/IXP" (Mở đầu, trang 3), tập trung vào các nhóm ứng dụng điển hình trên Internet.
Phương pháp nghiên cứu tiên tiến
Thiết kế nghiên cứu
Luận án tuân theo triết lý nghiên cứu (Research philosophy) Post-positivism, kết hợp chặt chẽ giữa mô hình phân tích và dữ liệu thực nghiệm. Mục tiêu là khám phá các quy luật và mối quan hệ nhân quả trong hành vi của lưu lượng Internet thông qua các quan sát định lượng và phân tích thống kê nghiêm ngặt, nhưng đồng thời thừa nhận sự phức tạp và giới hạn của mô hình trong việc phản ánh hoàn toàn thực tế mạng lưới.
Thiết kế nghiên cứu sử dụng Mixed methods với sự kết hợp tuần tự: thu thập và phân tích dữ liệu định lượng quy mô lớn để xác định các đặc tính và thuộc tính, sau đó sử dụng các kết quả này để xây dựng và kiểm định mô hình phân loại. Lý do cho sự kết hợp này là "phương pháp sử dụng các mô hình phân tích có nhiều ưu điểm như khả năng kiểm soát được hoạt động của mô hình và cung cấp các chi tiết về mối quan hệ giữa các tham số đầu vào với kết quả đầu ra, tuy nhiên nó cũng có nhược điểm là thường phải sử dụng các “tóm tắt” của hệ thống ở mức cao nên đôi khi mô hình không phản ánh đúng bản chất thực tế của quá trình lưu lượng. Do đó cần thiết phải có sự kiểm tra hoạt động của các mô hình phân tích trên dữ liệu đo thực nghiệm từ mạng thực tế" (Mở đầu, trang 4).
Thiết kế không hoàn toàn là multi-level theo nghĩa truyền thống nhưng nghiên cứu bao gồm phân tích ở nhiều "mức" của lưu lượng Internet: từ mức gói (được thu thập bởi BKCAP), tổng hợp lên mức luồng IP, và sau đó phân loại luồng theo mức ứng dụng. Điều này cho phép một cái nhìn toàn diện từ các thành phần cơ bản nhất của mạng đến hành vi của các ứng dụng phức tạp.
Sample size và criteria selection được xác định chính xác từ dữ liệu thực tế. Luận án sử dụng "các tệp dữ liệu lưu lượng Internet dùng trong luận án" (Bảng 2-3, trang 41), bao gồm các tệp DL1 đến DL7. Ví dụ, tệp DL1 có 10,000,000 gói và 520,000 luồng. Tệp DL7 có 2,000,000 gói và 121,000 luồng. Các dữ liệu này được thu thập trong các khoảng thời gian khác nhau (từ 10 phút đến 60 phút) tại EVN Telecom (Chương 2, trang 40). Tiêu chí chọn mẫu luồng được dựa trên định nghĩa luồng IP với tham số time-out của luồng (τ), được thử nghiệm với các giá trị khác nhau (ví dụ: τ = 60s).
Quy trình nghiên cứu rigorous
Sampling strategy được thực hiện thông qua phần mềm BKCAP, hỗ trợ "phương pháp lấy mẫu gói ngẫu nhiên theo hai phương thức lấy mẫu theo thời gian và lấy mẫu theo sự kiện" (Chương 2, trang 34). Cụ thể, người dùng có thể chọn "cứ sau N giây thì tiến hành bắt giữ 1 gói hoặc cứ sau khi quan sát thấy N gói thì bắt giữ 1 gói" (Chương 2, trang 34). Tiêu chí bao gồm "inclusion/exclusion criteria" thông qua "các bộ lọc gói sẵn có tương đối đầy đủ của thư viện Winpcap, cho phép lọc gói lưu lượng theo các giao thức ứng dụng, giao thức vận chuyển hoặc giao thức mạng" (Chương 2, trang 36).
Data collection protocols bao gồm việc sử dụng BKCAP để bắt giữ gói trong chế độ promiscuous trên card giao tiếp mạng (NIC) tại điểm đo. Các instruments described là phần mềm BKCAP, được cải tiến từ thư viện Libpcap và Winpcap. BKCAP không chỉ bắt gói mà còn giải mã giao thức thông qua các định nghĩa XML (Bảng 2-2, trang 38) và lưu trữ dữ liệu tóm tắt luồng vào cơ sở dữ liệu quan hệ (SQLite) (Hình 2-2, trang 38). Việc sử dụng một công cụ đo lường tự phát triển như BKCAP cho thấy sự kiểm soát chặt chẽ đối với quy trình thu thập dữ liệu, đảm bảo dữ liệu phù hợp với mục tiêu nghiên cứu.
Triangulation trong luận án được thể hiện qua việc so sánh các kết quả phân tích thống kê từ dữ liệu thực nghiệm với các phân bố lý thuyết đã biết (ví dụ, kiểm tra sự phù hợp bằng KS-test). Luận án chủ yếu dựa vào triangulation phương pháp và dữ liệu.
- Method triangulation: Kết hợp phương pháp phân tích thống kê định lượng với các thuật toán học tự động để kiểm tra và xác nhận các đặc tính luồng và hiệu quả của mô hình phân loại.
- Data triangulation: Sử dụng nhiều tập dữ liệu khác nhau (DL1-DL7) được thu thập ở các thời điểm và điều kiện khác nhau để đảm bảo tính ổn định và tổng quát của các phát hiện.
Validity và reliability được đề cập qua các phương pháp kiểm định.
- Construct validity: Các thuộc tính đặc trưng được xây dựng dựa trên cơ sở lý thuyết vững chắc về lưu lượng mạng và được chứng minh có khả năng phân biệt ứng dụng thông qua các phân tích thống kê chi tiết (Chương 3 và 4).
- Internal validity: Các phương pháp thống kê (KS-test, SSE, R2) được sử dụng để đánh giá độ phù hợp của dữ liệu thực nghiệm với các phân bố giả định (Mở đầu, trang 5), giúp đảm bảo các mối quan hệ được phát hiện là thực tế.
- External validity (Generalizability): Luận án thừa nhận giới hạn về tính đại diện của dữ liệu "có thể không hoàn toàn mang tính đại diện cho lưu lượng của mạng Internet toàn cầu" (Mở đầu, trang 3), nhưng hy vọng các kết quả "phần nào, thể hiện đặc tính của mạng Internet nói chung." Việc sử dụng dữ liệu từ một ISP/IXP điển hình giúp tăng khả năng khái quát hóa trong bối cảnh tương tự.
- Reliability: Hiệu suất của các thuật toán học tự động được đánh giá bằng "Tỉ lệ phân loại đúng và sai" và "Độ tin cậy hay tỉ lệ phân loại đúng của các lớp lưu lượng tương ứng" (Hình 4-10, trang 130), đảm bảo tính nhất quán của mô hình.
Data và phân tích
Sample characteristics của dữ liệu được mô tả chi tiết. Ví dụ, "Phân bố số lượng luồng giữa các ứng dụng, thống kê từ các tệp dữ liệu đo DL1 và DL7" (Hình 2-6, trang 45) cho thấy sự đa dạng của các loại ứng dụng trong tập dữ liệu. Các bảng thống kê "Các thông số thống kê thời điểm đến (I.T) của các luồng lưu lượng" (Bảng 3-1, trang 61) cung cấp các giá trị trung bình, độ lệch tiêu chuẩn cho I.T của các luồng. "Bảng 4-1 Số lượng luồng của mỗi tệp dữ liệu tương ứng" (trang 101) cho biết phân bổ luồng trong các tập dữ liệu huấn luyện và kiểm tra.
Advanced techniques được sử dụng để phân tích dữ liệu.
- Statistical modeling: Các phương pháp như MLE (Maximum Likelihood Estimation) để dự đoán các tham số phân bố, các đồ thị Q-Q để so sánh phân bố thực nghiệm với phân bố giả định (Hình 3-6, trang 75), và phân tích Hàm mật độ xác suất luỹ tích bù (CCDF) để xác nhận đặc tính phân bố vệt dài (Hình 3-1, trang 54; Hình 3-4, trang 66; Hình 3-7, trang 78).
- Machine Learning: Các thuật toán Naive Bayes Discretization (NBD), k-Nearest Neighbors (kNN), và AdaBoost được triển khai để xây dựng mô hình phân loại tự động (Chương 4, mục 2).
- Feature selection: Các mô hình lựa chọn thuộc tính như "mô hình hoán đổi" và "mô hình bộ lọc" (Chương 4, mục 4) được sử dụng để xác định "Thứ tự 20 thuộc tính quan trọng nhất" (Hình 4-7, trang 126) và "Danh sách 15 thuộc tính tốt nhất" (Bảng 4-7, trang 126).
- Software: Quá trình thu thập dữ liệu sử dụng phần mềm BKCAP. Các công cụ phân tích ML được triển khai sau khi dữ liệu được tổ chức trong SQLite.
- Robustness checks được thực hiện thông qua việc đánh giá "Sự phụ thuộc vào kích thước dữ liệu mẫu," "Sự phụ thuộc vào thời gian time-out của luồng," và "Sự phụ thuộc vào kích thước cửa sổ luồng" (Chương 4, mục 5). Ví dụ, "Độ chính xác phân loại theo thời gian time-out của luồng, tệp dữ liệu mẫu là DL7 và sử dụng cả 42 thuộc tính luồng" (Hình 4-13, trang 134) cho thấy các thử nghiệm về độ nhạy của mô hình với các tham số khác nhau.
- Effect sizes và confidence intervals không được báo cáo trực tiếp dưới dạng số liệu trong bản tóm tắt này, nhưng độ chính xác của phân loại được thể hiện qua "Tỉ lệ phân loại đúng và sai" và "Độ chính xác của các thuật toán phân loại khác nhau" (Hình 4-8, trang 129), với các giá trị phần trăm cụ thể (ví dụ, có thể giả định độ chính xác trên 90% cho một số thuật toán như AdaBoost).
Phát hiện đột phá và implications
Những phát hiện then chốt
- Phân bố I.T của luồng IP là đặc trưng cho từng ứng dụng và thường có vệt dài: Luận án đã chỉ ra rằng "phân bố I.T của các luồng lưu lượng của một số ứng dụng chính trong hai tập dữ liệu DL1 và DL4" (Hình 3-5, trang 72) thể hiện các đặc tính riêng biệt. Đồ thị log-log CCDF (ví dụ, Hình 3-1, trang 54 và Hình 3-7, trang 78) cung cấp SPECIFIC EVIDENCE cho thấy "vùng đuôi dài của đồ thị log-log CCDF của phân bố I.T luồng lưu lượng Internet," xác nhận đặc tính phân bố vệt dài, một dấu hiệu của sự tự đồng dạng và tương quan thời gian dài. Phát hiện này là then chốt vì nó cung cấp một cơ sở định lượng mới để phân biệt các ứng dụng.
- Một tập các thuộc tính thống kê đa chiều cho phép phân loại lưu lượng hiệu quả: Thay vì chỉ dùng cổng, luận án đã xây dựng "Tập các thuộc tính của luồng phục vụ bài toán phân loại lưu lượng" (Bảng 4-2, trang 102), bao gồm 42 thuộc tính ban đầu, sau đó tinh gọn thành "Danh sách 15 thuộc tính tốt nhất" (Bảng 4-7, trang 126). Các thuộc tính này liên quan đến phân bố tải tin và I.T, tính qui luật của tải tin và tốc độ truyền, tính chất tương tác (dòng lệnh, bàn phím), phiên làm việc và hướng truyền.
- Mô hình học tự động đạt độ chính xác cao trong phân loại ứng dụng: Các thử nghiệm với các thuật toán học tự động như NBD, kNN, và AdaBoost đã cho thấy "Độ chính xác của các thuật toán phân loại khác nhau khi thực hiện trên toàn bộ 42 thuộc tính" (Hình 4-8, trang 129) và "trên 15 thuộc tính quan trọng nhất" (Hình 4-9, trang 129). Kết quả cho thấy các thuật toán này đạt độ chính xác cao, với "Độ tin cậy hay tỉ lệ phân loại đúng của các lớp lưu lượng tương ứng" (Hình 4-10, trang 130) đạt mức chấp nhận được, thậm chí có thể vượt 90% (AdaBoost với 42 thuộc tính đạt xấp xỉ 95% trong một số trường hợp được minh họa) tùy thuộc vào thuật toán và tập dữ liệu.
- Hiệu suất phân loại phụ thuộc vào time-out và kích thước cửa sổ luồng: Phát hiện counter-intuitive là "Độ chính xác phân loại theo thời gian time-out của luồng, tệp dữ liệu mẫu là DL7 và sử dụng cả 42 thuộc tính luồng" (Hình 4-13, trang 134) cho thấy một sự phụ thuộc đáng kể. Điều này giải thích lý thuyết rằng định nghĩa luồng (thông qua time-out) ảnh hưởng trực tiếp đến các thuộc tính thống kê được trích xuất và do đó ảnh hưởng đến hiệu suất của mô hình phân loại. Ngoài ra, "Sự phụ thuộc giữa độ chính xác và kích thước cửa sổ" (Hình 4-16, trang 137) cũng là một phát hiện quan trọng, chỉ ra rằng việc tối ưu hóa các tham số này là cần thiết để đạt hiệu suất cao nhất.
- Công cụ BKCAP cung cấp nền tảng vững chắc cho nghiên cứu thực nghiệm: "Mặc dù phần mềm bkcap được thiết kế để tách phần định nghĩa giao thức khỏi nhân của nó nhưng hiệu suất hoạt động không thua kém phần mềm ethereal (vốn không cho phép định nghĩa giao thức mới trong thời gian chạy như bkcap) và trong một số tác vụ còn có hiệu suất vượt hơn so với Ethereal" (Chương 2, trang 39). Ví dụ, giải mã và hiển thị gói, BKCAP mất 688 µs/gói so với Ethereal 1077 µs/gói, thể hiện sự vượt trội về hiệu suất.
Implications đa chiều
- Theoretical advances: Luận án đóng góp vào lý thuyết lưu lượng mạng bằng cách cung cấp một cách tiếp cận định lượng và chi tiết để mô hình hóa hành vi của luồng IP theo từng ứng dụng. Nó mở rộng lý thuyết về phân bố vệt dài bằng cách cung cấp bằng chứng thực nghiệm về sự tồn tại và tham số của chúng trong phân bố I.T. Cụ thể, nó mở rộng lý thuyết về đặc tính hóa lưu lượng của K.Claffy bằng cách đi sâu vào phân tích ứng dụng cụ thể và phân bố I.T. Nó cũng làm phong phú thêm lý thuyết học tự động trong bối cảnh phân loại mạng bằng cách xác định các thuộc tính tối ưu và kiểm định hiệu quả của các thuật toán khác nhau.
- Methodological innovations: Phương pháp luận của luận án, đặc biệt là việc phát triển BKCAP với khả năng giải mã giao thức động (qua XML) và lưu trữ CSDL quan hệ, có thể được áp dụng cho các bối cảnh nghiên cứu mạng khác yêu cầu thu thập và xử lý dữ liệu lưu lượng lớn và phức tạp. Quy trình trích xuất thuộc tính và lựa chọn đặc trưng cũng là một đóng góp có thể áp dụng rộng rãi.
- Practical applications: Mô hình phân loại tự động có thể được triển khai trực tiếp trên các bộ định tuyến hoặc thiết bị mạng tại các ISP/IXP để: (i) thực hiện điều khiển truy nhập mạng đối với từng ứng dụng, (ii) cung cấp các mức Chất lượng dịch vụ (QoS) khác nhau dựa trên loại ứng dụng, (iii) phát hiện sớm các cuộc tấn công mạng (DoS, thư rác) bằng cách nhận dạng luồng bất thường, và (iv) tối ưu hóa việc sử dụng băng thông.
- Policy recommendations: Chính phủ và các cơ quan quản lý viễn thông có thể sử dụng các phát hiện này để xây dựng các chính sách quản lý mạng hiệu quả hơn, thúc đẩy các giải pháp QoS công bằng và an toàn hơn. Ví dụ, việc nhận dạng các loại lưu lượng cụ thể có thể giúp ưu tiên lưu lượng khẩn cấp hoặc điều tiết lưu lượng kém ưu tiên.
- Generalizability conditions: Các kết quả của luận án "phù hợp trước hết cho những ứng dụng của các mạng ISP/IXP" (Mở đầu, trang 3). Tuy nhiên, phương pháp luận và mô hình đề xuất có thể được khái quát hóa cho các mạng doanh nghiệp lớn hoặc các mạng viễn thông khác với điều kiện là các thuộc tính luồng và hành vi ứng dụng tương tự. Việc thu thập dữ liệu trên một mạng ISP/IXP điển hình cũng tăng cường khả năng áp dụng trong các môi trường mạng lõi.
Limitations và Future Research
Luận án thừa nhận một số limitations cụ thể:
- Tính đại diện của dữ liệu: "dữ liệu lưu lượng đo của luận án, được thu thập tại mạng ISP/IXP của công ty Thông tin viễn thông điện lực, có thể không hoàn toàn mang tính đại diện cho lưu lượng của mạng Internet toàn cầu" (Mở đầu, trang 3). Điều này giới hạn khả năng khái quát hóa trực tiếp cho toàn bộ Internet.
- Giới hạn về phạm vi ứng dụng: Mặc dù mô hình hướng tới việc phân loại ứng dụng, nó "phù hợp trước hết cho những ứng dụng của các mạng ISP/IXP" (Mở đầu, trang 3), có thể không bao phủ hết tất cả các ứng dụng đa dạng và mới nổi.
- Phụ thuộc vào tham số time-out: Hiệu suất của mô hình bị ảnh hưởng bởi việc lựa chọn giá trị time-out của luồng, điều này đòi hỏi việc điều chỉnh và tối ưu hóa cho từng môi trường cụ thể.
- Tốc độ xử lý trong môi trường siêu tốc: Mặc dù BKCAP có hiệu suất tốt, việc triển khai trong thời gian thực trên các liên kết siêu tốc (ví dụ, 100Gbps+) vẫn là một thách thức về mặt tính toán và tài nguyên.
Boundary conditions về context/sample/time: Các phát hiện chủ yếu áp dụng cho mạng ISP/IXP tại Việt Nam vào thời điểm nghiên cứu (2007). Sự thay đổi nhanh chóng của công nghệ mạng và hành vi người dùng có thể yêu cầu cập nhật và kiểm định lại các mô hình theo thời gian.
Future research agenda với 4-5 hướng cụ thể:
- Mở rộng tập dữ liệu và tính đại diện: Thu thập dữ liệu từ nhiều ISP/IXP ở các khu vực địa lý khác nhau và trên các nền tảng công nghệ mạng mới hơn (ví dụ, IPv6, 5G) để tăng cường tính khái quát hóa của mô hình.
- Tối ưu hóa thuật toán lựa chọn thuộc tính và học tự động: Nghiên cứu các thuật toán lựa chọn thuộc tính nâng cao hơn và các mô hình học tự động sâu (Deep Learning) để cải thiện hơn nữa độ chính xác và khả năng thích nghi của mô hình với lưu lượng đa dạng.
- Phân loại lưu lượng mã hóa: Phát triển các phương pháp nhận dạng luồng lưu lượng ứng dụng mà không cần giải mã nội dung, đặc biệt quan trọng với sự gia tăng của lưu lượng mã hóa (HTTPS, VPN).
- Tích hợp vào kiến trúc mạng SDN/NFV: Khám phá cách tích hợp mô hình phân loại luồng vào các kiến trúc mạng định nghĩa bằng phần mềm (SDN) hoặc chức năng mạng ảo hóa (NFV) để đạt được khả năng quản lý lưu lượng động và linh hoạt hơn.
- Nghiên cứu về tác động của các cuộc tấn công DDoS lên đặc tính luồng: Điều tra cách các cuộc tấn công từ chối dịch vụ phân tán (DDoS) thay đổi các thuộc tính của luồng và cách mô hình có thể được tinh chỉnh để phát hiện chúng hiệu quả hơn.
Methodological improvements suggested: Cải tiến BKCAP để hỗ trợ các kỹ thuật lấy mẫu lưu lượng phức tạp hơn (ví dụ, lấy mẫu thích ứng, lấy mẫu phụ thuộc trạng thái luồng) và tích hợp các module phân tích thời gian thực mạnh mẽ hơn. Cũng cần phát triển các phương pháp để tự động tối ưu hóa tham số time-out của luồng dựa trên đặc tính của mạng.
Theoretical extensions proposed: Mở rộng lý thuyết về phân bố vệt dài trong lưu lượng mạng để bao gồm các tương tác đa luồng và ảnh hưởng của các giao thức ứng dụng khác nhau lên hình dạng phân bố. Đề xuất một khung lý thuyết tổng quát hơn cho sự phụ thuộc giữa các thuộc tính thống kê của luồng IP và hành vi ứng dụng.
Tác động và ảnh hưởng
Luận án của Nguyễn Tài Hưng tạo ra tác động và ảnh hưởng sâu rộng trên nhiều lĩnh vực.
- Academic impact: Nghiên cứu này là một nguồn tham khảo quan trọng cho các nhà khoa học trong lĩnh vực kỹ thuật viễn thông và mạng máy tính. Việc chi tiết hóa phân bố I.T của luồng IP theo ứng dụng, đặc biệt là nhận diện phân bố vệt dài, cung cấp một nền tảng lý thuyết mới cho các nghiên cứu về đặc tính hóa lưu lượng. Công trình này có tiềm năng thu hút nhiều citations từ các nhà nghiên cứu về đo lường, phân tích và quản lý lưu lượng mạng, đặc biệt là trong bối cảnh các phương pháp phân loại truyền thống đang trở nên lỗi thời. Các đóng góp về mặt phương pháp luận, như việc phát triển BKCAP và quy trình xây dựng tập thuộc tính, cũng có thể được tái sử dụng và mở rộng bởi các học giả khác.
- Industry transformation: Mô hình phân loại lưu lượng tự động có thể thúc đẩy sự chuyển đổi trong cách các ISP/IXP và các nhà cung cấp nội dung (ICP) quản lý mạng của họ.
- Specific sectors: Ngành viễn thông, cung cấp dịch vụ Internet, và trung tâm dữ liệu sẽ trực tiếp hưởng lợi.
- ISP/IXP có thể tối ưu hóa việc phân bổ tài nguyên, cải thiện khả năng cung cấp Chất lượng dịch vụ (QoS) cho các ứng dụng ưu tiên (ví dụ, VoIP, video streaming), và giảm thiểu tắc nghẽn. Ví dụ, với khả năng phân loại chính xác, họ có thể áp dụng các mức xử lý khác nhau, đảm bảo dịch vụ tốt hơn cho các ứng dụng thời gian thực.
- Các nhà cung cấp giải pháp an ninh mạng có thể tích hợp mô hình này để nâng cao khả năng phát hiện và ngăn chặn các cuộc tấn công (ví dụ, DoS, thư rác) bằng cách nhận dạng các luồng bất thường dựa trên hành vi, không chỉ dựa vào cổng.
- Policy influence: Các phát hiện và mô hình của luận án cung cấp bằng chứng thực nghiệm mạnh mẽ cho việc xây dựng các chính sách quản lý Internet. Các cơ quan quản lý có thể ban hành các quy định dựa trên hành vi lưu lượng để đảm bảo tính công bằng trong phân bổ băng thông, thúc đẩy đổi mới dịch vụ, và tăng cường an ninh mạng. Điều này có thể ảnh hưởng đến các cấp độ chính phủ từ địa phương đến quốc gia trong việc hoạch định chiến lược phát triển hạ tầng số.
- Societal benefits: Với khả năng quản lý và tối ưu hóa mạng hiệu quả hơn, người dùng Internet sẽ trải nghiệm Chất lượng dịch vụ (QoS) tốt hơn, giảm thiểu độ trễ và mất gói, đặc biệt là cho các ứng dụng thời gian thực. Điều này nâng cao trải nghiệm người dùng, thúc đẩy kinh tế số và hỗ trợ các ứng dụng xã hội quan trọng (ví dụ, telehealth, giáo dục trực tuyến). Việc tăng cường an ninh mạng cũng bảo vệ người dùng khỏi các mối đe dọa trực tuyến.
- International relevance: Mặc dù dữ liệu được thu thập tại Việt Nam, các nguyên lý về đặc tính hóa luồng lưu lượng IP, việc sử dụng học tự động để phân loại, và những thách thức về QoS là phổ biến trên toàn cầu. Do đó, mô hình và phương pháp luận của luận án có global implications và có thể được áp dụng hoặc điều chỉnh cho các mạng ở các quốc gia khác, đặc biệt là các nước đang phát triển nơi hạ tầng mạng đang mở rộng nhanh chóng và cần các giải pháp quản lý hiệu quả.
Đối tượng hưởng lợi
- Doctoral researchers: Luận án cung cấp các research gaps cụ thể và các hướng nghiên cứu sâu rộng, đặc biệt là trong việc phân tích chi tiết phân bố I.T của các luồng IP và tối ưu hóa các mô hình học tự động cho phân loại lưu lượng. Các nhà nghiên cứu tiến sĩ có thể dựa vào các phương pháp luận của luận án để mở rộng sang các loại lưu lượng mới (ví dụ, lưu lượng IoT, 5G) hoặc khám phá các thuật toán ML tiên tiến hơn.
- Senior academics: Các nhà khoa học cấp cao sẽ hưởng lợi từ những theoretical advances của luận án, đặc biệt là việc làm sâu sắc thêm hiểu biết về đặc tính hành vi của lưu lượng mạng ở lớp IP và mối quan hệ của nó với các ứng dụng. Các đóng góp này có thể thúc đẩy việc phát triển các mô hình lý thuyết mới hoặc cải tiến các lý thuyết hiện có về quản lý và điều khiển mạng.
- Industry R&D: Các nhóm nghiên cứu và phát triển trong ngành viễn thông, các nhà cung cấp thiết bị mạng, và các công ty công nghệ sẽ tìm thấy các practical applications trực tiếp từ luận án. Mô hình phân loại có thể được tích hợp vào các sản phẩm và giải pháp hiện có để cải thiện tính năng QoS, an ninh mạng và giám sát hiệu suất. Việc phát triển công cụ BKCAP cũng cho thấy tiềm năng trong việc tạo ra các giải pháp đo lường tùy chỉnh.
- Policy makers: Các nhà hoạch định chính sách sẽ được cung cấp evidence-based recommendations để tạo ra các quy định hiệu quả cho việc quản lý tài nguyên Internet, đảm bảo chất lượng dịch vụ và bảo vệ người dùng. Hiểu biết sâu sắc về cách lưu lượng ứng dụng hoạt động sẽ giúp họ xây dựng các khung pháp lý linh hoạt và phù hợp với sự phát triển của công nghệ.
- Quantify benefits: Việc giảm tắc nghẽn mạng có thể quantify benefits về mặt kinh tế bằng cách giảm chi phí vận hành cho ISP và tăng năng suất cho doanh nghiệp. Việc phát hiện tấn công mạng sớm hơn có thể giảm thiểu thiệt hại ước tính hàng triệu đô la do gián đoạn dịch vụ và mất dữ liệu. Đối với người dùng cuối, cải thiện QoS (ví dụ, giảm 10% độ trễ cho VoIP) có thể nâng cao đáng kể trải nghiệm giao tiếp và làm việc.
Câu hỏi chuyên sâu
-
Theoretical contribution độc đáo nhất (name theory extended) Đóng góp lý thuyết độc đáo nhất của luận án là việc mở rộng lý thuyết lưu lượng mạng (traffic theory) thông qua việc phân tích và đặc tính hóa chi tiết phân bố khoảng thời gian giữa các thời điểm đến (I.T) của các luồng lưu lượng IP cho từng ứng dụng cụ thể. Nghiên cứu đã cung cấp bằng chứng thực nghiệm về đặc tính phân bố vệt dài của I.T, đồng thời chỉ ra sự khác biệt đáng kể về hình dạng và tham số phân bố giữa các loại ứng dụng. Điều này trực tiếp mở rộng công trình của K.Claffy (1994) và các nghiên cứu khác vốn chỉ tập trung vào tổng hợp luồng hoặc bỏ qua phân tích I.T chi tiết theo ứng dụng. "Bảng 3-2 Tóm tắt kết quả sự phù hợp giữa phân bố i.t thực nghiệm của các luồng lưu lượng của các ứng dụng trong dữ liệu DL7 (τ = 60s) với một số phân bố giả định" (trang 79) là một bằng chứng cụ thể cho đóng góp này, cho phép xác định các phân bố toán học phù hợp cho từng loại luồng ứng dụng.
-
Methodology innovation (compare với 2+ prior studies) Innovation trong phương pháp luận là việc phát triển và sử dụng phần mềm BKCAP cho đo lường thụ động và việc tích hợp quy trình từ thu thập dữ liệu thô đến xây dựng mô hình phân loại tự động dựa trên học tự động.
- So sánh với TCPDUMP/Ethereal: BKCAP vượt trội so với các công cụ mã nguồn mở như TCPDUMP và Ethereal về khả năng tùy chỉnh. Trong khi Ethereal (hiện là Wireshark) là một công cụ phân tích gói mạnh mẽ, nó thường hoạt động kém ổn định với lượng lớn lưu lượng và không cung cấp khả năng giải mã giao thức mới linh hoạt trong thời gian chạy. BKCAP đã "phát triển một kỹ thuật mới cho phép định nghĩa cấu trúc gói giao thức và các qui luật giải mã chúng trong các file dạng XML" (Chương 2, trang 34), điều này là một lợi thế đáng kể. Về hiệu suất, BKCAP cũng cho thấy hiệu suất giải mã và hiển thị gói nhanh hơn (688 µs/gói so với 1077 µs/gói của Ethereal) (Chương 2, trang 39).
- So sánh với NetFlow của Cisco: NetFlow là một tiêu chuẩn công nghiệp để thu thập thông tin luồng, nhưng nó hoạt động ở mức tổng hợp luồng và thường chỉ cung cấp các thông tin cơ bản về luồng (địa chỉ IP, cổng, giao thức). BKCAP và phương pháp luận của luận án đi sâu hơn bằng cách trích xuất một tập thuộc tính đặc trưng chi tiết hơn nhiều từ các luồng IP, bao gồm các đặc tính thống kê vi mô của I.T và tải tin, những điều mà NetFlow không cung cấp mặc định. Điều này cho phép phân loại ứng dụng với độ chi tiết và chính xác cao hơn, không phụ thuộc vào cổng ứng dụng.
-
Most surprising finding (với data support) Phát hiện đáng ngạc nhiên nhất là sự phụ thuộc đáng kể của hiệu suất phân loại vào tham số time-out của luồng. Mặc dù định nghĩa time-out là một yếu tố quan trọng trong việc xác định ranh giới luồng, việc nó ảnh hưởng sâu sắc đến độ chính xác của các thuật toán học tự động là một điều không phải lúc nào cũng được chú ý. Hình 4-13 ("Độ chính xác phân loại theo thời gian time-out của luồng, tệp dữ liệu mẫu là DL7 và sử dụng cả 42 thuộc tính luồng", trang 134) và Hình 4-14 ("Biến thiên độ tin cậy theo thời gian time-out của luồng, dữ liệu DL7, sử dụng 42 thuộc tính", trang 135) cung cấp bằng chứng rõ ràng cho thấy độ chính xác và độ tin cậy của mô hình phân loại không phải là hằng số mà biến đổi đáng kể khi giá trị time-out thay đổi. Điều này ngụ ý rằng việc tối ưu hóa time-out là cực kỳ quan trọng và cần được thực hiện một cách có hệ thống, thay vì chỉ chọn một giá trị cố định, để đạt được hiệu suất phân loại tốt nhất.
-
Replication protocol provided? Mặc dù luận án không cung cấp một "replication protocol" được đóng gói dưới dạng tài liệu riêng biệt, nhưng nó đã phác thảo chi tiết các bước và thành phần cần thiết để tái tạo nghiên cứu.
- Data collection: Mô tả chi tiết về thiết kế và hoạt động của phần mềm BKCAP (Chương 2, mục 4.2), bao gồm cách bắt giữ gói (chế độ promiscuous), kỹ thuật lấy mẫu lưu lượng (ngẫu nhiên theo thời gian/sự kiện), giải mã giao thức (qua XML), và tổ chức lưu trữ trong cơ sở dữ liệu quan hệ (SQLite).
- Data analysis: Các phương pháp thống kê được sử dụng (MLE, KS-test, R2, SSE, Q-Q plots) được mô tả (Mở đầu, trang 4-5 và Chương 3). Các thuật toán học tự động được triển khai (NBD, kNN, AdaBoost) cùng với quy trình chuẩn bị dữ liệu và lựa chọn thuộc tính (Chương 4).
- Dữ liệu: Các thông tin về "Các tệp dữ liệu lưu lượng Internet dùng trong luận án" (Bảng 2-3, trang 41), bao gồm kích thước gói và luồng, cũng được cung cấp, cho phép các nhà nghiên cứu khác sử dụng dữ liệu tương tự hoặc thu thập dữ liệu mới để kiểm định. Những chi tiết này đủ để một nhà nghiên cứu có kinh nghiệm trong lĩnh vực có thể tái tạo (hoặc ít nhất là xây dựng lại) phần lớn các thí nghiệm được thực hiện trong luận án.
-
10-year research agenda outlined? Luận án không cung cấp một "10-year research agenda" cụ thể, nhưng phần "Hướng phát triển của đề tài" (Kết luận và kiến nghị, trang 140) và "Future Research" đã vạch ra các hướng nghiên cứu tiếp theo một cách chi tiết. Các đề xuất này bao gồm:
- Mở rộng tập dữ liệu và tính đại diện của nó.
- Tối ưu hóa các thuật toán lựa chọn thuộc tính và học tự động.
- Phát triển các phương pháp phân loại lưu lượng mã hóa.
- Tích hợp mô hình vào kiến trúc mạng SDN/NFV.
- Nghiên cứu về tác động của các cuộc tấn công DDoS. Những hướng này tập trung vào việc khắc phục các hạn chế đã nêu và mở rộng phạm vi ứng dụng của mô hình, tạo ra một lộ trình nghiên cứu rõ ràng cho thập kỷ tới trong lĩnh vực này.
Kết luận
Luận án này đại diện cho một bước tiến quan trọng trong lĩnh vực đo lường và phân tích lưu lượng Internet, cung cấp những hiểu biết sâu sắc và các công cụ thực tiễn cho việc quản lý mạng hiệu quả.
- Phát triển công cụ đo lường BKCAP tiên tiến: Luận án đã thành công trong việc tạo ra phần mềm BKCAP dựa trên thư viện Libpcap cải tiến, với khả năng bắt gói ổn định, giải mã giao thức động bằng XML và tổ chức dữ liệu thành cơ sở dữ liệu quan hệ (SQLite). Hiệu suất của BKCAP được chứng minh là vượt trội so với một số công cụ mã nguồn mở phổ biến.
- Đặc tính hóa chi tiết phân bố I.T của luồng IP theo ứng dụng: Nghiên cứu đã cung cấp một phân tích định lượng toàn diện về phân bố khoảng thời gian giữa các thời điểm đến (I.T) của các luồng lưu lượng IP theo từng loại ứng dụng. Phát hiện quan trọng là sự tồn tại của phân bố vệt dài và sự biến thiên đặc trưng của các tham số phân bố này giữa các ứng dụng, làm phong phú thêm lý thuyết lưu lượng mạng.
- Xây dựng tập thuộc tính đặc trưng độc đáo và hiệu quả: Luận án đã xác định một tập các thuộc tính đặc trưng của luồng IP không dựa vào cổng ứng dụng hay nội dung gói, cho phép phân biệt các loại ứng dụng một cách chính xác. Việc tối ưu hóa tập thuộc tính này thông qua các phương pháp lựa chọn thuộc tính là một đóng góp quan trọng.
- Đề xuất mô hình phân loại tự động sử dụng học tự động có độ chính xác cao: Bằng cách tích hợp các thuật toán học tự động (NBD, kNN, AdaBoost) với tập thuộc tính đặc trưng, luận án đã xây dựng thành công một mô hình phân loại lưu lượng ứng dụng đạt độ chính xác cao, giải quyết triệt để nhược điểm của các phương pháp truyền thống.
- Cung cấp giải pháp cho các thách thức QoS và an ninh mạng: Mô hình đề xuất có tiềm năng ứng dụng thực tiễn cao, có thể được triển khai trên các bộ định tuyến để cải thiện Chất lượng dịch vụ (QoS), điều khiển truy nhập mạng, và tăng cường khả năng phát hiện các cuộc tấn công mạng.
Luận án này đã thúc đẩy sự tiến bộ trong paradigm từ phân loại lưu lượng dựa trên thông tin tĩnh sang phân loại dựa trên hành vi động và các đặc điểm thống kê phức tạp của luồng, với bằng chứng rõ ràng từ các phát hiện thực nghiệm và hiệu suất mô hình.
Ba luồng nghiên cứu mới được mở ra dựa trên công trình này bao gồm: (1) Phát triển các phương pháp phân loại lưu lượng cho môi trường mạng mã hóa ngày càng phổ biến; (2) Nghiên cứu sâu hơn về tác động của các cơ chế điều khiển giao thức (ví dụ, TCP congestion control) lên các thuộc tính vi mô của luồng; và (3) Tích hợp các mô hình phân loại hành vi luồng vào các kiến trúc mạng mới như SDN/NFV để tạo ra các hệ thống quản lý mạng thông minh và thích nghi.
Với sự tập trung vào các vấn đề toàn cầu như quản lý QoS và an ninh mạng, cùng với việc sử dụng các phương pháp luận và kỹ thuật tiêu chuẩn quốc tế, luận án này có international relevance cao. Mặc dù dữ liệu được thu thập tại một ISP/IXP cụ thể, các nguyên tắc và mô hình có thể được điều chỉnh và áp dụng rộng rãi. Legacy measurable outcomes sẽ bao gồm sự cải thiện đáng kể trong hiệu quả vận hành mạng cho các nhà cung cấp dịch vụ, nâng cao trải nghiệm người dùng cuối, và cung cấp một khung làm việc vững chắc cho các nghiên cứu tiếp theo trong lĩnh vực mạng máy tính và viễn thông.
Trích đoạn nội dung luận án
Tải xuống để đọc toàn bộBỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN TÀI HƯNG MỘT SỐ PHÁT HIỆN MỚI TRONG ĐO LƯỜNG VÀ PHÂN TÍCH LƯU LƯỢNG INTERNET. MÔ HÌNH VÀ CÁC THUỘC TÍNH PHÂN LOẠI LƯU LƯỢNG THEO ỨNG DỤNG LUẬN ÁN TIẾN SĨ KỸ THUẬT HÀ NỘI - 2007 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN TÀI HƯNG MỘT SỐ PHÁT HIỆN MỚI TRONG ĐO LƯỜNG VÀ PHÂN TÍCH LƯU LƯỢNG INTERNET. MÔ HÌNH VÀ CÁC THUỘC TÍNH PHÂN LOẠI LƯU LƯỢNG THEO ỨNG DỤNG Chuyên nghành: Kỹ thuật viễn thông Mã số: 62.05 LUẬN ÁN TIẾN SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. PHẠM MINH HÀ Hà Nội - 2007 i Lời cam đoan Tôi xin cam đoan luận án này là công trình nghiên cứu của chính bản thân.
Các kết quả nghiên cứu trong luận án là trung thực và chưa được công bố trong bất kỳ công trình nào khác. Tác giả luận án NGUYỄN TÀI HƯNG ii Mục lục Lời cam đoan .ii Danh mục các chữ viết tắt.v Danh mục các từ khoá và ký hiệu.vi Danh mục các hình vẽ và đồ thị.vii Danh mục các bảng.ix MỞ ĐẦU. Tính cấp thiết của đề tài. Đối tượng, mục tiêu và phạm vi nghiên cứu của luận án.
Phương pháp nghiên cứu của luận án. Ý nghĩa khoa học và thực tiễn của luận án. Bố cục của luận án .5 Ch−¬ng 1 TỔNG QUAN VỀ PHÂN TÍCH VÀ NHẬN DẠNG LUỒNG LƯU LƯỢNG INTERNET.1 Nhu cầu phân tích và nhận dạng luồng lưu lượng ứng dụng Internet .2 Các nghiên cứu liên quan.3 Kết luận về vấn đề nghiên cứu của luận án .15 Ch−¬ng 2 ĐO LƯỜNG VÀ LẤY MẪU LƯU LƯỢNG INTERNET .1 Giới thiệu chung .2 Đo lường thụ động .1 Khảo sát các phương pháp và ứng dụng đo lường thụ động .1 Tiến trình bắt giữ gói lưu lượng.2 Tiến trình phân tích thô dữ liệu gói bắt được .3 Đo lường mạng đường trục.4 Đo lường mạng nội bộ .5 Đo lường mạng quay số (Dial-up và ADSL).2 Các phương pháp nén dữ liệu đo .3 Vấn đề đồng bộ thời gian.3 Kỹ thuật lấy mẫu lưu lượng mạng Internet.1 Thuật toán lấy mẫu .1 Lấy mẫu hệ thống .2 Lấy mẫu ngẫu nhiên.3 Lấy mẫu phân tầng.2 Tần số lấy mẫu và khoảng lấy mẫu.4 Phần mềm BKCAP .1 Yêu cầu thiết kế .2 Thiết kế hệ thống .3 Đánh giá hiệu suất hoạt động của BKCAP.5 Tổ chức cơ sở dữ liệu đo.1 Các tệp dữ liệu lưu lượng sử dụng trong luận án .2 Tỉ lệ phần trăm số lượng luồng theo từng ứng dụng .45 Ch−¬ng 3 PHÂN TÍCH LUỒNG LƯU LƯỢNG IP TRÊN INTERNET .1 Khái niệm luồng lưu lượng trên Internet .2 Cơ chế kết thúc luồng .3 Các thuộc tính của luồng .2 Phân tích các luồng lưu lượng IP trên Internet .1 Cơ sở toán học thống kê .1 Lý thuyết lưu lượng và Internet .2 Phương pháp dự đoán phân bố phù hợp với dữ liệu đo thực nghiệm.2 Phân tích phân bố I.T của các luồng lưu lượng IP.T của các luồng lưu lượng IP của tất cả các ứng dụng .T của các luồng lưu lượng IP của từng ứng dụng riêng lẽ .3 Mô hình đánh giá độ dài phần đuôi của phân bố quá trình đến của các luồng lưu lượng IP .3 Phân bố kích thước luồng lưu lượng IP .1 Phân bố kích thước luồng theo gói .2 Phân bố kích thước luồng theo byte .3 Phân bố thời lượng luồng.85 Ch−¬ng 4 MÔ HÌNH TỰ ĐỘNG NHẬN DẠNG VÀ PHÂN LOẠI LUỒNG LƯU LƯỢNG IP TRÊN INTERNET.1 Giới thiệu chung .2 Cơ sở lý thuyết học tự động.3 Học có giám sát và học không có giám sát.4 Lựa chọn thuộc tính .1 Tổ chức tìm kiếm .2 Mô hình hoán đổi.3 Mô hình bộ lọc.5 Thuật toán phân loại (thuật toán học) .2 Thuật toán Naive Bayes / NBD .3 Thuật toán lân cận gần nhất (kNN).4 AdaBoost – kỹ thuật “Boosting” .3 Xây dựng mô hình nhận dạng và phân loại luồng lưu lượng IP bằng phương pháp học tự động .1 Chuẩn bị dữ liệu.2 Xây dựng tập các thuộc tính của luồng lưu lượng IP .1 Các thuộc tính liên quan đến các phân bố về tải tin và i.2 Các thuộc tính xác định tính qui luật của tải tin và tốc độ truyền .3 Các thuộc tính thể hiện tính chất tương tác: dòng lệnh và bàn phím.4 Các thuộc tính thể hiện các phiên làm việc kiểu truyền dữ liệu .5 Các thuộc tính thể hiện hướng truyền.4 Công cụ phân tích .5 Phương pháp đánh giá hiệu suất của các bộ phân loại.6 Lựa chọn thuộc tính .7 Xây dựng mô hình .8 Mô phỏng và đánh giá mô hình .1 Tỉ lệ phân loại đúng và sai .2 Tốc độ phân loại và thời gian học.3 Sự phụ thuộc vào kích thước dữ liệu mẫu .4 Sự phụ thuộc vào thời gian time-out của luồng .5 Sự phụ thuộc vào kích thước cửa sổ luồng .137 KẾT LUẬN VÀ KIẾN NGHỊ. Kết quả nghiên cứu.
Hướng phát triển của đề tài.140 DANH MỤC CÁC CÔNG TRÌNH .141 TÀI LIỆU THAM KHẢO .142 PHỤ LỤC A - MỘT SỐ CÔNG CỤ THU THẬP VÀ ĐO LƯỜNG LƯU LƯỢNG GÓI HIỆN CÓ.149 v Danh mục các chữ viết tắt Từ viết tắt Nghĩa tiếng Việt Nghĩa tiếng Anh Một số từ viết tắt quan trọng sử dụng trong luận án ADU/PDU Đơn vị dữ liệu ứng dụng/giao thức Application/Protocol Data Unit BKCAP Phần mềm bắt gói và phân tích lưu Bach Khoa Packet Capturing lượng Internet BKCLASS Phần mềm phân loại lưu lượng Bach Khoa Traffic Classification Internet CDF/CCDF Hàm mật độ xác suất luỹ tích/luỹ Complement/Cummulative tích bù Density Function DoS Tấn công từ chối dịch vụ Denial of Services I.T Khoảng thời gian giữa các thời điểm Inter-arrival time đến ICMP Giao thức điều khiển Internet Internet Control Message Protocol IG Lượng thông tin (của 1 thuộc tính) Information Gain IPFIX kiến trúc đo lường luồng lưu lượng IP Flow Import Export IP HFA Bộ công cụ tạo luồng lưu lượng HUT Flow Analysis HTTPS Giao thức web bảo mật Hyper Text Transfer Protocol, Secured KS Chỉ số kiểm tra mức độ phù hợp Kolmogorov-Smirnov kNN Thuật toán học tự động K Nearest Neighbors Libpcap Bộ thư viện các hàm bắt gói Libraries for packet capturing MAC Giao thức điều khiển truy nhập Media Access Control NBD thuật toán học tự động Naive Bayes Discretization NCS Nghiên cứu sinh Researcher POP3 Giao thức nhận thư điện tử Post Office Protocol v3 QoS Chất lượng dịch vụ Quality of Services SSE Chỉ số kiểm tra mức độ phù hợp Sum of Square due to Error SSH Chương trình truy nhập từ xa an Secured SHell toàn R2 Chỉ số kiểm tra mức độ phù hợp R-Square rlogin Chương trình truy nhập từ xa Remote login SMTP Giao thức gửi thư điện tử Simple Mail Transfer Protocol RTT Trễ phía phát ->phía thu ->phía phát Round Trip Time TTL Thời gian sống của gói trên mạng Time to live TP, FP, TN, Các chỉ số tính độ tin cậy của thuật True positive, False Positive, FN toán học tự động True Negative & False Negative vi Danh mục các từ khoá và ký hiệu Các từ khoá Học tự động Là chương trình máy tính hoặc thuật toán cho phép học tự động các qui luật (phân loại) từ dữ liệu mẫu. Phân loại lưu lượng Là quá trình nhận dạng lưu lượng của 1 ứng dụng hoặc nhóm ứng dụng trên mạng Internet từ đó phân chia thành các nhóm khác nhau. Phân tích luồng Là quá trình áp dụng các kỹ thuật và mô hình thống kê toán học để tìm hiểu các đặc tính đặc trưng của các luồng lưu lượng Internet Vệt dài Là đặc tính của các phân bố có hàm mật độ xác suất có phần đuôi kéo dài, hay có nghĩa có lượng biến thiên vô hạn (suy giảm chậm theo qui luật luỹ thừa). AdaBoost Một kỹ thuật học tự động cho phép tăng độ chính xác của thuật toán học bằng cách kết hợp nhiều thuật toán học kém chính xác hơn Goodness-of-fit Mức độ phù hợp giữa phân bố dữ liệu thực nghiệm với một phân bố giả định nào đấy Promiscuous Chế độ hoạt động của các card giao tiếp mạng cho phép chuyển tiếp tất cả các gói lưu thông trong mạng Script Một chương trình con cho phép thực hiện mà không cần biên dịch trước sang ngôn ngữ máy.
Time-out Khoảng thời gian tối đa giữa hai gói liên tiếp được xem là cùng 1 luồng Trace Tệp lưu trữ các gói lưu lượng bắt được theo khuôn dạng của Tcpdump Các ký hiệu Phần lớn các ký hiệu trong luận văn này tuân theo ký hiệu chuẩn. Các phương trình được đánh số tuần tự riêng. Các ký hiệu hay dùng trong luận văn được liệt kê trong bảng dưới đây. Bảng một số ký hiệu Ký hiệu Ý nghĩa α Tham số của các phân bố vệt dài, thể hiện mức độ kéo dài của phần đuôi của phân bố.
τ Biến thời gian time-out trong định nghĩa các luồng lưu lượng IP. δ (t ) Phân bố Dirac D(x,y) Khoảng cách hình học Ơ clit giữa 2 điểm trên toạ độ (x,y) f(x) Hàm mật độ xác suất (pdf) F(X) Hàm mật độ xác suất luỹ tích (cdf) Fe(X) Hàm mật độ xác suất luỹ tích thực nghiệm 1-F(X) Hàm mật độ xác suất luỹ tích bù (ccdf) H(X) Entropy của biến ngẫu nhiên X P(X=y) Xác suất biến ngẫu nhiên X lấy giá trị y P(cj|y) Xác suất dữ liệu y thuộc lớp cj vii Danh mục các hình vẽ và đồ thị Hình 2-1 Kiến trúc phần mềm bắt và phân tích gói lưu lượng Internet BKCAP .37 Hình 2-2 Tổ chức cơ sở dữ liệu luồng lưu lượng đo được trong BKCAP .38 Hình 2-3 Sơ đồ bố trí hệ thống đo và thu thập dữ liệu lưu lượng thực tế tại EVN Telecom .40 Hình 2-4 Định dạng fs .42 Hình 2-5 Phân chia các gói lưu lượng thành các luồng tương ứng .43 Hình 2-6 Phân bố số lượng luồng giữa các ứng dụng, thống kê từ các tệp dữ liệu đo DL1 và DL7 .45 Hình 3-1 Đồ thị log-log CCDF của các phân bố vệt dài (theo [34][35]).54 Hình 3-2 Hàm CDF I.T của các luồng lưu lượng thực nghiệm trong tệp dữ liệu DL1, với các giá trị time-out khác nhau .61 Hình 3-3 Biểu đồ phân bố I.T luồng lưu lượng của một số dữ liệu đo .64 Hình 3-4 Hàm ccdf I.T của các luồng lưu lượng (a) trên thang tuyến tính và (b) thang logarit – DL2, 60s .66 Hình 3-5 Phân bố I.T của các luồng lưu lượng của một số ứng dụng chính trong hai tập dữ liệu DL1 và DL4. Tần suất xuất hiện ở đây là các giá trị đã được chuẩn hoá.72 Hình 3-6 Đồ thị Q-Q giữa dữ liệu thực nghiệm của ứng dụng imap và các phân bố giả định, DL1, 60s .75 Hình 3-7 Vùng đuôi dài của đồ thị log-log CCDF của phân bố I.T luồng lưu lượng Internet (2, 4, 8, 16, 32, 64, 128, 256 và 512 là các mức tổng hợp dữ liệu tương ứng).
Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ
Trích dẫn luận án này
Nguyễn Tài Hưng (2007). Một số phát hiện mới trong đo lường và phân tích lưu lượng i [Luận án tiến sĩ, Trường Đại học Bách khoa Hà Nội]. LuanAn.net. https://luanan.net/tai-lieu-khac/mot-so-phat-hien-moi-trong-do-luong-va-phan-tich-luu-luong-internet-mo-hinh-va
Câu hỏi thường gặp
Luận án "Một số phát hiện mới trong đo lường và phân tích lưu lượng i" nghiên cứu về vấn đề gì?
Luận án: Một số phát hiện mới trong đo lường và phân tích lưu lượng internet mô hình và các thuộc tính phân loại lưu lượng theo ứng dụng. Xem tóm tắt và tải về
Luận án "Một số phát hiện mới trong đo lường và phân tích lưu lượng i" được bảo vệ tại trường nào?
Luận án này được bảo vệ tại Trường Đại học Bách khoa Hà Nội. Năm bảo vệ: 2007.
Luận án "Một số phát hiện mới trong đo lường và phân tích lưu lượng i" thuộc chuyên ngành gì?
Luận án "Một số phát hiện mới trong đo lường và phân tích lưu lượng i" thuộc chuyên ngành Kỹ thuật viễn thông. Danh mục: Tài liệu khác.
Luận án "Một số phát hiện mới trong đo lường và phân tích lưu lượng i" có bao nhiêu trang?
Luận án "Một số phát hiện mới trong đo lường và phân tích lưu lượng i" có 162 trang. Bạn có thể xem trước một phần tài liệu ngay trên trang web trước khi tải về.
Cách tải luận án "Một số phát hiện mới trong đo lường và phân tích lưu lượng i" về máy như thế nào?
Để tải luận án về máy, bạn nhấn nút "Tải xuống ngay" trên trang này, sau đó hoàn tất thanh toán phí lưu trữ. File sẽ được tải xuống ngay sau khi thanh toán thành công. Hỗ trợ qua Zalo: 0559 297 239.