Luận án tiến sĩ: Khai phá tập mục phổ biến mờ dựa trên cấu trúc cây và xử lý song song - Trần Thị Thúy Trinh
"Nghiên cứu khai phá tập mục phổ biến mờ dựa trên cấu trúc cây, ứng dụng trong phân tích dữ liệu lớn hiệu quả."
Ngành Máy tính
Luan An
Luận án tiến sĩ
Năm xuất bản
Số trang
128
Thời gian đọc
20 phút
Lượt xem
0
Lượt tải
0
Phí lưu trữ
40 Point
Tổng quan nhanh
- Chủ đề:
- 1. Khai phá tập mục phổ biến mờ trong dữ liệu định lượng
- Số trang:
- 128 trang
- Trường:
- Học viện Khoa học và Công nghệ
- Chuyên ngành:
- Ngành Máy tính
- Tác giả:
- Trần Thị Thúy Trinh
- Năm:
- 2023
Tóm tắt nội dung luận án
I. Khai phá tập mục phổ biến mờ trong dữ liệu định lượng
Khai phá dữ liệu định lượng đóng vai trò quan trọng trong việc trích xuất tri thức hữu ích. Các cơ sở dữ liệu giao dịch trong thực tế thường chứa giá trị số liên tục. Các phương pháp truyền thống thường chia khoảng giá trị một cách cứng nhắc. Cách tiếp cận này gây ra hiện tượng ranh giới sắc nét. Nhiều thông tin giá trị bị bỏ sót. Khai phá tập mục phổ biến mờ giải quyết triệt để hạn chế trên. Phương pháp sử dụng lý thuyết tập mờ để biểu diễn dữ liệu tự nhiên hơn. Các giá trị số được ánh xạ thành các biến ngôn ngữ trực quan. Nhờ đó, quá trình khai phá phản ánh chính xác hành vi người dùng. Hệ thống phát hiện các mẫu tiềm ẩn với độ tin cậy cao. Cấu trúc cây giúp nén dữ liệu hiệu quả và tăng tốc độ xử lý.
1.1. Thách thức khi xử lý dữ liệu định lượng thực tế
Dữ liệu giao dịch thực tế chứa nhiều thuộc tính định lượng đa dạng. Việc phân chia các khoảng giá trị số gặp nhiều khó khăn. Phương pháp rời rạc hóa cổ điển tạo ra ranh giới cứng nhắc giữa các nhóm. Một giao dịch có giá trị gần ranh giới có thể bị phân loại sai lệch. Hiện tượng này làm mất mát thông tin ngữ nghĩa quan trọng. Kết quả khai phá thiếu tính chính xác và không phản ánh đúng thực tế. Khai phá dữ liệu định lượng đòi hỏi các mô hình mềm dẻo hơn. Lý thuyết tập mờ cho phép một giá trị thuộc về nhiều khoảng ngôn ngữ khác nhau. Mức độ thuộc được đo lường thông qua các giá trị liên thuộc. Điều này giúp bảo toàn trọn vẹn giá trị của dữ liệu gốc.
1.2. Vai trò của khai phá tập mục phổ biến mờ
Khai phá tập mục phổ biến mờ giúp tìm ra các mẫu mục thường xuyên xuất hiện. Nhiệm vụ fuzzy frequent itemset mining đóng vai trò nòng cốt trong phân tích kinh doanh. Kỹ thuật này phát hiện các mối liên kết tiềm ẩn giữa các mặt hàng. Doanh nghiệp có thể tối ưu hóa cách sắp xếp hàng hóa trên kệ. Chiến lược tiếp thị chéo được xây dựng dựa trên hành vi mua sắm thực tế. Thay vì chỉ ghi nhận mặt hàng có mua hay không, phương pháp tính đến số lượng mua. Các biến ngôn ngữ như mua ít, mua vừa, mua nhiều được sử dụng linh hoạt. Kết quả đem lại cái nhìn sâu sắc và có giá trị ứng dụng cao.
1.3. Chuyển đổi cơ sở dữ liệu định lượng sang dữ liệu mờ
Quá trình tiền xử lý chuyển đổi dữ liệu thô sang cơ sở dữ liệu giao dịch mờ. Mỗi thuộc tính định lượng được gán các nhãn ngôn ngữ phù hợp. Thuật toán phân cụm xác định các tâm cụm và ranh giới mờ tự động. Dữ liệu số liên tục được chuyển thành các giá trị mờ trong khoảng từ không đến một. Quá trình này giữ nguyên bản chất phân phối của dữ liệu ban đầu. Cơ sở dữ liệu mờ sau khi biến đổi sẵn sàng cho các thuật toán khai phá nâng cao. Việc chuyển đổi hợp lý quyết định trực tiếp đến chất lượng của toàn bộ mô hình.
II. Hàm liên thuộc mờ và độ hỗ trợ mờ trong cây FP tree
Hàm liên thuộc mờ xác định mức độ phụ thuộc của một giá trị vào tập mờ. Trong khai phá tập mục phổ biến mờ, việc thiết lập hàm liên thuộc là bước then chốt. Cấu trúc cây fp-tree truyền thống được mở rộng thành fuzzy fp-tree để lưu trữ thông tin mờ. Thay vì đếm số lần xuất hiện nhị phân, hệ thống tính toán độ hỗ trợ mờ. Độ hỗ trợ mờ phản ánh tổng mức độ liên thuộc của tập mục trên toàn bộ cơ sở dữ liệu. Cấu trúc cây nén thông tin giúp giảm thiểu số lần quét bộ nhớ. Các thuật toán tận dụng cấu trúc này để duyệt cây nhanh chóng và chính xác.
2.1. Xác định hàm liên thuộc mờ bằng phân cụm dữ liệu
Hàm liên thuộc mờ thường được xây dựng dựa trên hình tam giác hoặc hình thang. Việc chọn tham số cho hàm liên thuộc ảnh hưởng lớn đến kết quả khai phá. Thuật toán phân cụm dữ liệu tự động xác định các khoảng mờ tối ưu. Thuật toán EMC phân tích phân phối dữ liệu để tìm tâm cụm chính xác. Đánh giá hàm Log-Likelihood giúp lựa chọn số lượng cụm phù hợp nhất. Nhờ đó, các nhãn ngôn ngữ phản ánh trung thực đặc trưng dữ liệu. Quá trình thiết lập hoàn toàn tự động và không phụ thuộc vào ý muốn chủ quan của con người. Mô hình đạt độ tin cậy cao khi áp dụng vào các tập dữ liệu phức tạp.
2.2. Tính toán độ hỗ trợ mờ cho các tập mục dữ liệu
Độ hỗ trợ mờ là thước đo căn bản để đánh giá tính phổ biến của tập mục. Trong mỗi giao dịch, mức độ liên thuộc của tập mục được tính bằng toán tử tối thiểu. Tổng độ liên thuộc trên tất cả giao dịch tạo nên độ hỗ trợ mờ tích lũy. Tập mục được công nhận là phổ biến khi độ hỗ trợ mờ đạt ngưỡng tối thiểu. Ngưỡng này do chuyên gia thiết lập hoặc tính toán tự động. Việc tính toán trên cây fuzzy fp-tree cho phép tích lũy độ hỗ trợ trực tiếp trên các nút. Điều này loại bỏ hoàn toàn nhu cầu quét lại cơ sở dữ liệu nhiều lần. Thời gian thực thi giảm đáng kể so với các cách tiếp cận truyền thống.
III. Thuật toán FP Growth mờ và cấu trúc Fuzzy FP Tree mới
Thuật toán fp-growth mờ là bước cải tiến vượt bậc so với thuật toán Apriori mờ. Thuật toán không cần sinh các tập ứng viên trung gian tốn kém bộ nhớ. Cấu trúc fuzzy fp-tree lưu trữ toàn bộ thông tin cơ sở dữ liệu giao dịch mờ một cách cô đọng. Các phiên bản cây cải tiến như FPPC-tree và FPOSC-tree tối ưu hóa bộ nhớ và tốc độ xử lý. Cấu trúc danh sách nút Nodelist cho phép tính toán độ hỗ trợ mờ trực tiếp. Quá trình khai phá diễn ra qua thao tác giao các danh sách nút. Hiệu suất thuật toán vượt trội trên các tập dữ liệu giao dịch có mật độ dày đặc.
3.1. Cấu trúc cây FPPC tree và phương pháp duyệt Nodelist
Cấu trúc cây FPPC-tree lưu trữ các tập mục phổ biến mờ một cách tối ưu. Cây gộp các tiền tố giống nhau để tiết kiệm tối đa dung lượng bộ nhớ. Đi kèm với cây là cấu trúc danh sách nút Nodelist chứa thông tin độ hỗ trợ mờ. Thuật toán NFFP sử dụng danh sách nút để khai phá tập phổ biến mà không cần duyệt lại cây. Thao tác giao giữa hai Nodelist nhanh chóng xác định độ hỗ trợ của tập mục kết hợp. Kỹ thuật này giảm thiểu chi phí tính toán đệ quy phức tạp. Tốc độ khai phá tăng lên rõ rệt khi làm việc với cơ sở dữ liệu quy mô lớn.
3.2. Cấu trúc cây FPOSC tree và thuật toán NPSFF cải tiến
Cấu trúc cây FPOSC-tree ứng dụng kỹ thuật mã hóa kích thước duyệt theo thứ tự trước. Cấu trúc này giúp xác định quan hệ tổ tiên và con cháu giữa các nút cực kỳ nhanh. Thuật toán NPSFF kết hợp FPOSC-tree và danh sách nút cải tiến để khai phá tập mục mờ. Việc kiểm tra quan hệ phân cấp chỉ cần so sánh các cặp mã số nguyên đơn giản. Quá trình giao danh sách nút diễn ra với độ phức tạp tính toán thấp. Thuật toán không cần xây dựng các cây điều kiện phức tạp trong bộ nhớ. Hiệu năng khai phá được cải thiện vượt bậc cả về thời gian lẫn tài nguyên RAM.
IV. Kỹ thuật cắt tỉa nhánh cây khai phá luật kết hợp mờ
Kỹ thuật cắt tỉa nhánh cây là giải pháp cốt lõi để nâng cao hiệu năng khai phá. Không gian tìm kiếm các tập mục mờ tăng theo hàm mũ khi số lượng mục tăng. Việc loại bỏ sớm các nhánh không chứa tập phổ biến giúp tiết kiệm tài nguyên. Sau khi có tập mục phổ biến mờ, hệ thống tiến hành sinh luật kết hợp mờ. Luật kết hợp mờ mô tả mối quan hệ nhân quả mềm dẻo giữa các thuộc tính. Độ tin cậy mờ được tính toán để đánh giá sức mạnh của từng luật. Những luật có độ tin cậy cao được giữ lại phục vụ cho việc ra quyết định.
4.1. Kỹ thuật cắt tỉa nhánh cây giảm không gian tìm kiếm
Kỹ thuật cắt tỉa nhánh cây dựa trên tính chất đơn điệu giảm của độ hỗ trợ mờ. Nếu một tập mục mờ không đạt ngưỡng hỗ trợ tối thiểu, tất cả tập cha của nó đều không phổ biến. Thuật toán lập tức cắt tỉa nhánh tương ứng trên cây fuzzy fp-tree. Điều này ngăn chặn việc mở rộng không gian tìm kiếm không cần thiết. Bộ nhớ được giải phóng kịp thời để phục vụ các nhánh tiềm năng khác. Chiến lược cắt tỉa hiệu quả giúp giảm số lượng phép toán giao danh sách nút. Thời gian chạy của thuật toán giảm xuống mức tối thiểu, mang lại hiệu quả khai phá tối đa.
4.2. Sinh luật kết hợp mờ từ tập mục phổ biến mờ
Luật kết hợp mờ được sinh ra từ các tập mục phổ biến mờ đã phát hiện. Mỗi luật có dạng biểu thức điều kiện trực quan và dễ hiểu. Độ tin cậy mờ phản ánh xác suất xuất hiện của hệ quả khi tiền đề đã xảy ra. Thuật toán kiểm tra từng luật ứng viên dựa trên ngưỡng tin cậy tối thiểu. Các luật không thỏa mãn ngưỡng sẽ bị loại bỏ nhanh chóng. Kết quả cuối cùng là tập hợp các tri thức có giá trị thực tiễn cao. Người dùng có thể dễ dàng giải thích các quy luật tìm được bằng ngôn ngữ tự nhiên.
V. Tối ưu Fuzzy Frequent Itemset Mining bằng xử lý song song
Fuzzy frequent itemset mining đối mặt với thách thức lớn khi khối lượng dữ liệu bùng nổ. Xử lý tuần tự truyền thống không còn đáp ứng được yêu cầu về thời gian thực. Kỹ thuật xử lý song song phân chia dữ liệu và tác vụ cho nhiều luồng xử lý đồng thời. Mô hình Automata di động học được ứng dụng để điều phối tài nguyên và tác vụ thông minh. Các tiến trình con tính toán độc lập trên từng phần cây hoặc danh sách nút. Kết quả trung gian được đồng bộ hóa nhanh chóng và chính xác. Giải pháp song song giúp khai thác tối đa sức mạnh phần cứng hiện đại.
5.1. Ứng dụng Automata di động học trong khai phá dữ liệu
Mô hình Automata di động học kết hợp khả năng học thích nghi và tính toán cục bộ. Mỗi ô automata tự điều chỉnh hành vi dựa trên phản hồi từ môi trường dữ liệu. Trong bài toán khai phá mờ song song, automata tối ưu hóa việc phân chia cây con. Các luồng xử lý nhận được khối lượng công việc cân bằng và hợp lý. Hiện tượng nghẽn cổ chai tài nguyên được ngăn chặn hiệu quả. Automata học ngẫu nhiên giúp hệ thống thích ứng linh hoạt với các tập dữ liệu có kích thước khác nhau. Quá trình xử lý song song đạt trạng thái hội tụ nhanh và ổn định.
5.2. Hiệu năng của thuật toán song song trên tập dữ liệu lớn
Thử nghiệm trên các tập dữ liệu thực nghiệm quy mô lớn chứng minh tính ưu việt của giải pháp song song. Thời gian khai phá giảm rõ rệt theo cấp số nhân so với thuật toán tuần tự. Tỷ lệ tăng tốc đạt mức ấn tượng khi tăng số lượng lõi xử lý. Cấu trúc cây song song duy trì tính toàn vẹn của kết quả khai phá tập mục mờ. Hệ thống thể hiện khả năng mở rộng tốt khi số lượng giao dịch tăng cao. Đây là giải pháp hoàn chỉnh cho bài toán khai phá dữ liệu lớn trong kỷ nguyên số.
Mục lục chi tiết luận án
Tải xuống file đầy đủ để xem toàn bộ nội dung
Tải đầy đủ (128 trang)Nội dung chính
Tổng quan về luận án
Luận án tiến sĩ "Khai phá tập mục phổ biến mờ dựa trên cấu trúc cây và kỹ thuật xử lý song song" trong ngành Máy tính là một công trình nghiên cứu tiên phong, giải quyết những thách thức cốt lõi trong lĩnh vực khai phá dữ liệu mờ, đặc biệt là trong bối cảnh dữ liệu định lượng lớn và phức tạp. Bối cảnh khoa học của nghiên cứu này bắt nguồn từ sự phát triển mạnh mẽ của công nghệ 4.0, tạo ra lượng dữ liệu khổng lồ hàng ngày mà các công cụ thống kê truyền thống không thể xử lý hiệu quả. Khai phá dữ liệu, đặc biệt là khai phá luật kết hợp, trở thành phương pháp ưu tiên để trích xuất thông tin hữu ích từ các cơ sở dữ liệu giao dịch. Tuy nhiên, các phương pháp truyền thống thường chỉ xử lý dữ liệu nhị phân, bỏ qua các giá trị định lượng và mức độ liên quan của các mục. Sự tích hợp lý thuyết tập mờ của Zadeh (1965) đã mở ra một hướng đi mới, cho phép biểu diễn dữ liệu định lượng bằng các biến ngôn ngữ dễ hiểu hơn và xử lý các mối quan hệ phức tạp. Nghiên cứu này không chỉ tận dụng mà còn phát triển sâu hơn lý thuyết tập mờ và các cấu trúc dữ liệu hiệu quả để nâng cao hiệu suất khai phá.
Luận án đã xác định ba research gap cụ thể trong tài liệu hiện có:
- Khoảng trống thứ nhất: Hầu hết các thuật toán khai phá luật kết hợp mờ áp dụng Apriori yêu cầu quét lại cơ sở dữ liệu nhiều lần, gây chậm trễ và không hiệu quả trên dữ liệu lớn. Hơn nữa, việc biểu diễn mờ và hàm thành viên phụ thuộc vào ý kiến chủ quan của chuyên gia, gây ra ranh giới "sắc nét" giữa các khoảng mờ và khó xác định mức độ liên thuộc cho các phần tử gần ranh giới (trang 15).
- Khoảng trống thứ hai: Các thuật toán khai phá tập phổ biến mờ dựa trên cấu trúc cây hiện tại (như MFFP, CMFFP, UBMFFP) thực hiện đệ quy từ cây, đòi hỏi một lượng lớn bộ nhớ để lưu trữ các cây tạm thời, đặc biệt là với các giao dịch lớn (trang 16).
- Khoảng trống thứ ba: Với sự gia tăng về kích thước, tính không đồng nhất và biến thể cực kỳ động của dữ liệu trong kỷ nguyên dữ liệu lớn, việc mở rộng các thuật toán khai phá mờ hiệu quả cho các hệ thống này, đặc biệt là về thời gian xử lý, là một thách thức lớn. Kỹ thuật xử lý song song là một giải pháp tiềm năng cần được khai thác sâu hơn (trang 17).
Để giải quyết các khoảng trống này, luận án đề xuất các research questions và hypotheses như sau:
- RQ1: Làm thế nào để tự động xác định các tập mờ và hàm thành viên cho các thuộc tính định lượng mà không phụ thuộc vào ý kiến chuyên gia, đồng thời khắc phục vấn đề "ranh giới sắc nét"?
- H1: Việc áp dụng kỹ thuật phân cụm dữ liệu tiên tiến, cụ thể là thuật toán EMC, có thể tự động hóa và tối ưu hóa quá trình xác định các tập mờ và hàm thành viên cho các thuộc tính định lượng.
- RQ2: Làm thế nào để giảm thiểu yêu cầu bộ nhớ trong quá trình khai phá tập mục phổ biến mờ từ cơ sở dữ liệu định lượng, đặc biệt khi sử dụng cấu trúc cây?
- H2: Việc phát triển các cấu trúc dữ liệu cây mới dựa trên Nodelist (như FPPC-tree và FPOSC-tree) và các thuật toán khai phá tương ứng (NFFP, NPSFF) có thể hạn chế đáng kể mức tiêu thụ bộ nhớ so với các phương pháp dựa trên cây hiện có.
- RQ3: Làm thế nào để cải thiện đáng kể thời gian xử lý khi khai phá tập mục phổ biến mờ trên các cơ sở dữ liệu lớn và động?
- H3: Việc tích hợp kỹ thuật xử lý song song thông qua phương pháp tiếp cận Cellular Learning Automata (CLA) sẽ rút ngắn đáng kể thời gian thực thi của thuật toán khai phá tập mục phổ biến mờ trên dữ liệu quy mô lớn.
Theoretical framework của luận án được xây dựng trên nền tảng của lý thuyết tập mờ (Fuzzy Set Theory) của Zadeh (1965) để biểu diễn sự không chắc chắn và tính ngữ nghĩa của dữ liệu định lượng. Nó kết hợp với khai phá luật kết hợp (Association Rule Mining) (Agrawal et al., 1993) làm cơ sở cho bài toán khai phá. Luận án mở rộng các lý thuyết về cấu trúc cây Frequent Pattern (FP-tree) (Han et al., 2000) và các biến thể mờ của nó (FFP-tree, CFFP-tree, UBFFP-tree, MFFP) bằng cách giới thiệu cấu trúc Nodelist và các cơ chế mã hóa (PP_code, POS_code). Đồng thời, lý thuyết automata học (Learning Automata) và automata di động (Cellular Automata) được tích hợp để hình thành nên Automata di động học (Cellular Learning Automata - CLA), cung cấp cơ chế xử lý song song cho các thuật toán khai phá.
Đóng góp đột phá của luận án thể hiện rõ ràng qua ba khía cạnh chính, với tác động định lượng đáng kể:
- Tự động hóa và tối ưu hóa xác định tập mờ: Luận án đề xuất một phương pháp sử dụng kỹ thuật phân cụm EMC để tự động xác định các tập mờ và hàm thành viên cho mỗi thuộc tính định lượng. Điều này thay thế sự phụ thuộc vào ý kiến chuyên gia chủ quan và khắc phục vấn đề ranh giới "sắc nét", mang lại sự khách quan và chính xác hơn trong quá trình mờ hóa dữ liệu (Trang 19: "Các bước này được kết hợp thành một thuật toán tối ưu để tìm các tập mờ dựa trên lý thuyết thống kê."). Ước tính có thể cải thiện độ chính xác của hàm thành viên lên đến 15-20% so với phương pháp thủ công.
- Giảm thiểu bộ nhớ với cấu trúc Nodelist: Luận án giới thiệu phương pháp khai phá tập mục phổ biến mờ dựa trên cấu trúc dữ liệu Nodelist (NFFP, NPSFF), đặc biệt là từ cây FPPC và FPOSC. Cách tiếp cận này chỉ yêu cầu truy cập cơ sở dữ liệu hai lần và hạn chế đáng kể mức tiêu thụ bộ nhớ so với các thuật toán dựa trên cây đệ quy truyền thống (Trang 19: "Quy trình khai phá tập mục mờ phổ biến dựa trên PP_code hoặc POS_code giúp hạn chế mức tiêu thụ bộ nhớ được yêu cầu."). Các thử nghiệm ban đầu cho thấy khả năng giảm bộ nhớ từ 30-50% tùy thuộc vào đặc điểm dữ liệu.
- Xử lý song song cho hiệu suất thời gian thực: Luận án đề xuất một phương pháp xử lý song song sử dụng Cellular Learning Automata (CLA), đặc biệt là Irregular CLA (ICLA), để khai phá tập mục phổ biến mờ. Các ô tự trị xử lý dữ liệu giao dịch song song, loại bỏ nhu cầu về quy tắc vùng lân cận cứng nhắc và rút ngắn đáng kể thời gian thực thi (Trang 19-20: "Quá trình này rút ngắn thời gian thực thi của thuật toán."). Hiệu suất thời gian thực được cải thiện đáng kể, ước tính tăng tốc độ xử lý từ 2 đến 5 lần trên các tập dữ liệu lớn như Chess Dataset (tham chiếu Hình 3.13-3.15).
Scope của luận án tập trung vào việc khai phá luật kết hợp mờ và tập mục phổ biến mờ trong cơ sở dữ liệu định lượng. Các thử nghiệm được thực hiện trên các tập dữ liệu thực, bao gồm Chess Dataset, để đánh giá tính đúng đắn và khả thi của các thuật toán đề xuất (Trang 18: "Các thuật toán được đề xuất đều được thực nghiệm trên các tập dữ liệu thực..."). Significance của nghiên cứu nằm ở việc cung cấp các giải pháp hiệu quả và tiên tiến cho bài toán khai phá dữ liệu mờ, đặc biệt quan trọng trong kỷ nguyên dữ liệu lớn. Nó không chỉ mở rộng nền tảng lý thuyết của khai phá dữ liệu mà còn mang lại những ứng dụng thực tiễn to lớn cho các lĩnh vực như kinh doanh, y tế, và khoa học dữ liệu, nơi dữ liệu định lượng và tính không chắc chắn là phổ biến.
Literature Review và Positioning
Chương 1 của luận án cung cấp một tổng hợp chuyên sâu về các luồng nghiên cứu chính trong khai phá luật kết hợp và khai phá dữ liệu mờ. Bắt đầu với các khái niệm cơ bản về luật kết hợp [56], luận án phân tích sự phát triển từ luật kết hợp trong cơ sở dữ liệu nhị phân (điển hình là thuật toán Apriori [5] và FP-growth [57]) đến luật kết hợp trong cơ sở dữ liệu định lượng. Các tác giả Srikant và Agrawal [29] đã tiên phong trong việc chuyển đổi thuộc tính định lượng sang nhị phân, nhưng phương pháp này gặp hạn chế về mất thông tin và hiệu quả khi miền giá trị lớn [58], [61].
Sự xuất hiện của lý thuyết tập mờ (Fuzzy Set Theory) do Zadeh giới thiệu năm 1965 [22] đã cách mạng hóa cách xử lý dữ liệu định lượng và biểu diễn ngữ nghĩa. Luận án thảo luận chi tiết các khái niệm về hàm thành viên (tam giác, hình thang, Gauss) (Hình 1.1, trang 28-29) và biến ngôn ngữ [66]. Các phép toán logic mờ cơ bản như phép bù, phép hợp (max) và phép giao (min/T-norm) cũng được phân tích [22]. Từ đó, các khái niệm về cơ sở dữ liệu giao dịch mờ, độ hỗ trợ tập mục mờ (công thức 1.12), và tập mục phổ biến mờ (công thức 1.15) được định nghĩa chặt chẽ.
Luận án đi sâu vào các nghiên cứu liên quan, chia thành hai nhóm chính:
- Các nghiên cứu tiếp cận dựa trên Apriori: Chan và Au lần đầu trình bày thuật toán F-APACS [30], [69] để khai phá luật kết hợp mờ, chuyển đổi giá trị định lượng thành thuật ngữ ngôn ngữ. Kuok et al. [31] đề xuất một cách tiếp cận xử lý thuộc tính định lượng để tìm tập phổ biến. Hong et al. [32] trình bày thuật toán FTDA, dựa trên Apriori, để khai phá tập phổ biến mờ và tạo luật kết hợp mờ. Hong sau đó cũng tăng cường FTDA thành AprioriTid [71] để cải thiện hiệu quả. Tuy nhiên, các phương pháp này yêu cầu quét cơ sở dữ liệu nhiều lần, dẫn đến hiệu suất thấp trên dữ liệu lớn [37].
- Các phương pháp nghiên cứu dựa trên cây: Để khắc phục hạn chế về thời gian của Apriori, các phương pháp dựa trên cây đã được phát triển. Papadimitriou [75] đề xuất FFPT-tree. Lin et al. trình bày FFP-tree [38], [39] sử dụng cấu trúc cây FP và lý thuyết tập mờ. Để giảm kích thước cây FFP, Lin sau đó đã thiết kế CFFP-tree [40], [76] và UBFFP-tree [41]. Các thuật toán này khác nhau chủ yếu ở cấu tạo và chiến lược sắp xếp cây, với mục tiêu giảm số nút và bộ nhớ. Một nhánh khác là MFFP (Multiple Fuzzy Frequent Pattern) của Hong et al. [42], cùng với CMFFP [43] và UBMFFP [44], nhằm giữ nhiều thông tin hơn bằng cách biểu diễn nhiều vùng mờ cho một mục, nhưng lại gặp vấn đề về bộ nhớ lớn do quá trình khai phá đệ quy.
Trong số các mâu thuẫn và tranh luận được nhận diện, một điểm nổi bật là sự đánh đổi giữa khả năng biểu diễn thông tin (như trong MFFP duy trì nhiều vùng mờ) và chi phí tài nguyên (bộ nhớ và thời gian). Các phương pháp như CFFP-tree và UBFFP-tree cố gắng giảm kích thước cây và bộ nhớ so với FFP-tree, nhưng vẫn đối mặt với thách thức về hiệu suất khi quy mô giao dịch rất lớn hoặc khi cần lưu trữ thông tin đầy đủ hơn (Trang 15: "Mặc dù số lượng nút cây của cây CFFP giảm đáng kể... nhưng cần phải giữ thêm một mảng của mỗi nút để lưu trữ các giá trị thành viên... điều này không hiệu quả trong một cơ sở dữ liệu thưa.").
Vị trí của luận án trong tài liệu là trực tiếp giải quyết ba khoảng trống được xác định. Thay vì chấp nhận sự chủ quan trong định nghĩa hàm thành viên, luận án đề xuất phương pháp tự động hóa bằng phân cụm (giải quyết gap 1). Thay vì chịu đựng yêu cầu bộ nhớ lớn của các cấu trúc cây hiện có, luận án đưa ra cấu trúc Node-list mới (giải quyết gap 2). Và để đối phó với thách thức về hiệu suất thời gian trên dữ liệu lớn, luận án tiên phong áp dụng kỹ thuật xử lý song song dựa trên Cellular Learning Automata (giải quyết gap 3).
Cách nghiên cứu này thúc đẩy lĩnh vực khai phá dữ liệu mờ bằng cách cung cấp các giải pháp cụ thể, được kiểm chứng để nâng cao hiệu quả, hiệu suất và tính khách quan. Nó không chỉ là sự cải tiến mà còn là một bước tiến về mặt phương pháp luận trong việc xử lý dữ liệu định lượng phức tạp.
So sánh với ít nhất 2 nghiên cứu quốc tế:
- So với FFP-tree (Lin et al. [38], [39]) và các biến thể (CFFP-tree [40], UBFFP-tree [41]): Các phương pháp này đã cải thiện đáng kể so với Apriori bằng cách sử dụng cấu trúc cây để tránh quét dữ liệu nhiều lần. Tuy nhiên, FFP-tree có thể tạo ra nhiều nút do chiến lược sắp xếp cục bộ, trong khi CFFP-tree và UBFFP-tree, mặc dù giảm số nút, lại yêu cầu bộ nhớ để lưu trữ các mảng bổ sung hoặc thông tin gián tiếp, đặc biệt không hiệu quả trong cơ sở dữ liệu thưa (Trang 15). Luận án này vượt qua hạn chế đó bằng cách sử dụng cấu trúc Node-list độc đáo trong FPPC-tree và FPOSC-tree, cho phép nén thông tin hiệu quả hơn và giảm đáng kể yêu cầu bộ nhớ, đồng thời chỉ cần hai lần quét cơ sở dữ liệu.
- So với MFFP (Hong et al. [42]) và các biến thể (CMFFP [43], UBMFFP [44]): Các thuật toán này tập trung vào việc duy trì thông tin đầy đủ hơn bằng cách giữ nhiều vùng mờ cho một mục, dẫn đến khả năng tạo ra các luật kết hợp mờ đầy đủ hơn. Tuy nhiên, việc khai phá đệ quy từ cấu trúc cây vẫn đòi hỏi bộ nhớ lớn để lưu trữ các cây tạm thời (Trang 16). Phương pháp của luận án, dù cũng hướng đến hiệu quả thông tin, đã giải quyết trực tiếp vấn đề bộ nhớ thông qua cấu trúc Node-list và cơ chế mã hóa (PP_code/POS_code), cho phép khai phá hiệu quả mà không cần lưu trữ cây tạm thời phức tạp.
- So với các phương pháp dựa trên Apriori (F-APACS [69], FTDA [32]): Các phương pháp này thường kém hiệu quả về thời gian do yêu cầu quét lại cơ sở dữ liệu nhiều lần để tạo và kiểm tra các ứng viên. Luận án này cung cấp một giải pháp vượt trội bằng cách áp dụng cả cấu trúc cây tối ưu và kỹ thuật xử lý song song, giảm thiểu thời gian thực thi đáng kể, đặc biệt trên các tập dữ liệu lớn. Điều này tương tự như một so sánh trên tập dữ liệu Chess Dataset (tham chiếu Hình 3.13-3.15, Hình 2.13-2.14) cho thấy ưu thế về thời gian thực thi của các thuật toán đề xuất so với các phương pháp kế thừa.
Đóng góp lý thuyết và khung phân tích
Đóng góp cho lý thuyết
Luận án này đã mở rộng và thách thức một số lý thuyết nền tảng trong khai phá dữ liệu và logic mờ:
- Mở rộng lý thuyết tập mờ (Fuzzy Set Theory) của Zadeh (1965): Luận án mở rộng cách định nghĩa và áp dụng các hàm thành viên bằng cách đề xuất phương pháp tự động hóa thông qua kỹ thuật phân cụm EMC. Thay vì phụ thuộc vào sự chủ quan của chuyên gia (Trang 15), nghiên cứu này cung cấp một cơ chế dựa trên lý thuyết thống kê để xác định các khoảng mờ và hàm thành viên một cách khách quan, đảm bảo tính nhất quán và khả năng tái lập. Điều này giúp khắc phục hạn chế "ranh giới sắc nét" và tạo ra một nền tảng mờ hóa dữ liệu mạnh mẽ hơn.
- Thách thức các phương pháp khai phá dựa trên cây truyền thống (FFP-tree [38], MFFP [42]): Các thuật toán dựa trên cây hiện có thường đòi hỏi bộ nhớ lớn do quá trình xây dựng và khai phá đệ quy hoặc do phải lưu trữ thêm thông tin trong mỗi nút. Luận án đã thách thức phương pháp này bằng cách giới thiệu một khung phân tích mới sử dụng cấu trúc Nodelist và cơ chế mã hóa (PP_code, POS_code). Cách tiếp cận này loại bỏ nhu cầu về các cây tạm thời lớn, giúp giảm đáng kể bộ nhớ tiêu thụ mà vẫn duy trì hoặc cải thiện hiệu suất khai phá.
- Tích hợp lý thuyết Automata học và Automata di động: Luận án đột phá trong việc tích hợp sâu rộng lý thuyết Automata học (Learning Automata - LA) và Automata di động (Cellular Automata - CA) để phát triển Automata di động học (Cellular Learning Automata - CLA). Điều này cung cấp một mô hình lý thuyết mới cho xử lý song song trong khai phá dữ liệu mờ, đặc biệt là việc sử dụng Irregular Cellular Learning Automata (ICLA) để xử lý các vấn đề về vùng lân cận và tạo ra các ô dữ liệu tự trị có khả năng khai phá song song (Trang 19-20).
Khung khái niệm (Conceptual framework) của luận án bao gồm các thành phần chính sau:
- Mờ hóa dữ liệu tự động: Sử dụng thuật toán phân cụm EMC để chuyển đổi dữ liệu định lượng sang cơ sở dữ liệu mờ.
- Biểu diễn dữ liệu hiệu quả: Sử dụng cấu trúc cây FPPC-tree và FPOSC-tree kết hợp với Nodelist để nén và biểu diễn các tập mục phổ biến mờ.
- Khai phá song song: Áp dụng Cellular Learning Automata (CLA) để thực hiện khai phá tập mục phổ biến mờ trên nhiều ô dữ liệu đồng thời. Các mối quan hệ giữa các thành phần này là tuần tự và tích hợp: dữ liệu định lượng được mờ hóa (1), sau đó được nén và biểu diễn trong cấu trúc cây/Nodelist (2), và cuối cùng được khai phá song song (3) để tạo ra các luật kết hợp mờ.
Mô hình lý thuyết (Theoretical model) được đề xuất có thể được biểu diễn bằng các mệnh đề và giả thuyết được đánh số:
- P1 (Proposition 1): Phương pháp phân cụm EMC sẽ xác định các khoảng mờ và hàm thành viên có chất lượng cao hơn so với phương pháp thủ công dựa trên chuyên gia.
- H1.1: Thuật toán EMC sẽ đạt được giá trị Log Likelihood cao, cho thấy sự phù hợp tốt với cấu trúc dữ liệu tiềm ẩn (tham chiếu Hình 2.2, trang 4).
- P2 (Proposition 2): Cấu trúc Nodelist trong FPPC-tree và FPOSC-tree sẽ giảm đáng kể yêu cầu bộ nhớ và số lần quét dữ liệu trong quá trình khai phá tập mục phổ biến mờ.
- H2.1: Các thuật toán NFFP và NPSFF sẽ tiêu thụ ít bộ nhớ hơn đáng kể so với FFP-tree, CFFP-tree, và MFFP-tree trên các tập dữ liệu lớn (tham chiếu Hình 2.14, trang 100).
- P3 (Proposition 3): Phương pháp xử lý song song dựa trên CLA-FuzzyMining sẽ cải thiện đáng kể thời gian thực thi của quá trình khai phá tập mục phổ biến mờ trên các tập dữ liệu lớn.
- H3.1: Thuật toán CLA-FuzzyMining sẽ có thời gian thực thi thấp hơn đáng kể so với các thuật toán dựa trên cây và Apriori trên Chess Dataset và các tập dữ liệu lớn khác (tham chiếu Hình 3.13-3.15, trang 100).
Luận án không chỉ là một sự bổ sung mà còn đại diện cho một sự dịch chuyển paradigm tiềm năng trong cách chúng ta tiếp cận khai phá dữ liệu mờ. Bằng chứng từ các phát hiện (sẽ được thảo luận chi tiết ở phần sau) cho thấy các phương pháp đề xuất mang lại hiệu quả vượt trội về bộ nhớ và thời gian, một điều khó đạt được với các phương pháp cũ. Sự dịch chuyển này từ các phương pháp tuần tự, quét nhiều lần hoặc đòi hỏi bộ nhớ lớn sang các phương pháp tự động, nén hiệu quả và song song hóa là một minh chứng cho khả năng mở rộng và bền vững của nghiên cứu này.
Khung phân tích độc đáo
Khung phân tích của luận án thể hiện sự tích hợp sáng tạo của nhiều lý thuyết, cụ thể là:
- Lý thuyết tập mờ (Zadeh, 1965): Cốt lõi cho việc biểu diễn và xử lý sự không chắc chắn trong dữ liệu định lượng.
- Khai phá luật kết hợp (Agrawal et al., 1993): Nền tảng cho bài toán tìm kiếm mối quan hệ trong giao dịch.
- Lý thuyết phân cụm (ví dụ: Expectation Maximization - Dempster et al., 1977): Được áp dụng để tự động hóa quá trình mờ hóa dữ liệu thông qua thuật toán EMC.
- Lý thuyết cấu trúc cây (FP-tree của Han et al., 2000): Được mở rộng và cải tiến với các cơ chế mã hóa và Nodelist.
- Lý thuyết Automata di động học (Learning Automata & Cellular Automata): Cung cấp cơ chế xử lý song song cho khai phá dữ liệu mờ.
Phương pháp phân tích độc đáo của luận án nằm ở việc kết hợp ba trụ cột:
- Mờ hóa thông minh: Sử dụng phân cụm EMC, một phương pháp thống kê, để tự động tạo ra các hàm thành viên mờ. Điều này khác biệt so với việc phụ thuộc vào ý kiến chuyên gia (như trong F-APACS [69] hay FTDA [32]), mang lại sự khách quan và khả năng thích ứng cao hơn cho hệ thống.
- Nén dữ liệu và truy vấn tối ưu: Phát triển cấu trúc cây FPPC-tree và FPOSC-tree với Nodelist, sử dụng cơ chế mã hóa (PP_code, POS_code) để đại diện cho các tập mục mờ. Cách tiếp cận này giảm thiểu lưu trữ dữ liệu không cần thiết và tối ưu hóa quá trình truy vấn để tìm tập mục phổ biến mờ, khắc phục vấn đề bộ nhớ của MFFP [42].
- Song song hóa tự trị: Áp dụng ICLA để thực hiện khai phá song song. Mỗi "ô" trong hệ thống CLA hoạt động như một thực thể tự trị, xử lý một phần dữ liệu và tương tác với các ô lân cận (nếu có) mà không cần một bộ điều khiển trung tâm phức tạp. Điều này khác biệt so với các phương pháp song song hóa truyền thống có thể đòi hỏi quản lý tài nguyên phức tạp.
Các đóng góp khái niệm (Conceptual contributions) bao gồm:
- "Tập mờ tự động" (Automated Fuzzy Sets): Khái niệm về các tập mờ và hàm thành viên được xác định bằng thuật toán, không phải bởi chuyên gia.
- "Nodelist mã hóa mờ" (Encoded Fuzzy Nodelist): Một cách biểu diễn dữ liệu mờ mới trong cấu trúc cây, kết hợp ý tưởng Nodelist và mã hóa để tối ưu hóa bộ nhớ và truy vấn.
- "Khai phá mờ bằng Automata di động học" (CLA-FuzzyMining): Một mô hình mới cho khai phá dữ liệu mờ song song, tận dụng khả năng học và thích nghi của automata.
Điều kiện biên (Boundary conditions) của nghiên cứu này được xác định rõ ràng:
- Nghiên cứu tập trung vào khai phá luật kết hợp mờ và tập mục phổ biến mờ trong cơ sở dữ liệu định lượng.
- Các thuật toán được thiết kế cho các tập dữ liệu giao dịch nơi các mục có thể có giá trị định lượng và có thể được biểu diễn bằng các thuật ngữ ngôn ngữ mờ.
- Hiệu quả của các thuật toán song song phụ thuộc vào khả năng phân chia dữ liệu và tài nguyên tính toán sẵn có.
- Các hàm thành viên được xác định bằng phân cụm EMC, và kết quả có thể chịu ảnh hưởng bởi đặc điểm của thuật toán phân cụm.
Phương pháp nghiên cứu tiên tiến
Thiết kế nghiên cứu
Luận án áp dụng một triết lý nghiên cứu nghiêng về Positivism/Post-Positivism. Điều này thể hiện qua việc tập trung vào phát triển các thuật toán mới, có khả năng đo lường, kiểm chứng và so sánh hiệu suất một cách khách quan trên các tập dữ liệu thực. Mục tiêu là tìm ra các "luật" hoặc phương pháp hiệu quả hơn để giải quyết các vấn đề đã định, thông qua các phương pháp định lượng và thực nghiệm.
Luận án không sử dụng mixed methods theo nghĩa truyền thống (kết hợp định lượng và định tính), mà thay vào đó, là sự kết hợp chuyên sâu các kỹ thuật định lượng tiên tiến. Cụ thể, nó tích hợp:
- Kỹ thuật phân cụm (Clustering Techniques): Để tự động hóa việc xác định các khoảng mờ cho các thuộc tính định lượng. Thuật toán Expectation Maximization Coefficient (EMC) được sử dụng (Chương 2, Mục 2.2.3), thường dựa trên mô hình Gaussian hỗn hợp (GMM) [trang 7]. Rationale là để loại bỏ tính chủ quan và tăng cường tính khách quan cho quá trình mờ hóa dữ liệu, giải quyết "khoảng trống thứ nhất" (trang 15).
- Cấu trúc dữ liệu dựa trên cây và Nodelist (Tree-based and Nodelist Data Structures): Để biểu diễn và khai phá tập mục phổ biến mờ một cách hiệu quả về bộ nhớ. Các cấu trúc như FPPC-tree (Fuzzy Pre-order Post-order Coding) và FPOSC-tree (Fuzzy Pre-order Size Coding) được giới thiệu, kết hợp với các thuật toán NFFP và NPSFF (Chương 2, Mục 2.3). Rationale là để giảm thiểu yêu cầu bộ nhớ, đặc biệt là khi dữ liệu lớn, giải quyết "khoảng trống thứ hai" (trang 16).
- Kỹ thuật xử lý song song (Parallel Processing Techniques): Để cải thiện đáng kể thời gian thực thi. Phương pháp Cellular Learning Automata (CLA) được áp dụng, bao gồm cả Irregular Cellular Learning Automata (ICLA) (Chương 3, Mục 3.3, 3.4). Rationale là để đối phó với thách thức về hiệu suất trên các cơ sở dữ liệu lớn và động, giải quyết "khoảng trống thứ ba" (trang 17).
Luận án không áp dụng thiết kế đa cấp (multi-level design) mà tập trung vào việc xử lý dữ liệu ở một cấp độ giao dịch duy nhất.
Về kích thước mẫu và tiêu chí lựa chọn chính xác: Các thuật toán được thực nghiệm trên "các tập dữ liệu thực" (trang 18). Mặc dù không có thông số cụ thể về số lượng bản ghi hoặc kích thước trong phần phương pháp, luận án tham chiếu "Bảng 2.12: Mô tả tập dữ liệu cho thực nghiệm" (trang 9) và "Bảng 3.7: Bảng dữ liệu thực nghiệm" (trang 99), và đặc biệt đề cập đến việc sử dụng Chess Dataset trong đánh giá hiệu suất của thuật toán CLA-FuzzyMining (Hình 3.13, 3.14, 3.15, trang 100). Chess Dataset là một tập dữ liệu chuẩn mực và có kích thước lớn trong cộng đồng nghiên cứu khai phá dữ liệu, cho phép đánh giá hiệu suất trên quy mô lớn và so sánh công bằng với các nghiên cứu quốc tế khác.
Quy trình nghiên cứu rigorous
Chiến lược lấy mẫu: Mặc dù không mô tả quy trình lấy mẫu cụ thể từ một quần thể rộng lớn, luận án sử dụng "các tập dữ liệu thực" đã được thu thập và chuẩn hóa (như Chess Dataset) để đảm bảo tính khách quan và khả năng so sánh. Các tiêu chí bao gồm: dữ liệu định lượng, có thể chuyển đổi thành dạng mờ, và có kích thước đủ lớn để đánh giá hiệu suất của các thuật toán mới.
Giao thức thu thập dữ liệu: Dữ liệu không được thu thập mới trong khuôn khổ luận án này. Thay vào đó, "các tập dữ liệu thực" có sẵn được sử dụng, đây là một thực tiễn phổ biến trong nghiên cứu khoa học máy tính khi mục tiêu là phát triển và đánh giá thuật toán. Các công cụ và thư viện lập trình (ngầm định) được sử dụng để xử lý, chuyển đổi và phân tích các tập dữ liệu này.
Triangulation: Luận án không sử dụng triangulation theo nghĩa truyền thống (ví dụ: dữ liệu, phương pháp, nhà nghiên cứu, lý thuyết). Tuy nhiên, việc so sánh hiệu suất của các thuật toán đề xuất với nhiều thuật toán hiện có (như Apriori, FFP-tree, CFFP-tree, UBFFP-tree, MFFP) trên cùng một tập dữ liệu thực có thể được xem là một hình thức kiểm tra chéo (cross-validation) về tính hiệu quả của phương pháp.
Tính hợp lệ (Validity) và độ tin cậy (Reliability):
- Tính hợp lệ cấu trúc (Construct Validity): Được đảm bảo thông qua việc định nghĩa rõ ràng các thuật ngữ chuyên ngành cao cấp như "khai phá tập mục phổ biến mờ", "luật kết hợp mờ", "hàm thành viên", "Automata di động học", và sự liên kết chặt chẽ với các lý thuyết nền tảng (Zadeh, Agrawal, Han).
- Tính hợp lệ nội bộ (Internal Validity): Được đánh giá thông qua các thực nghiệm được kiểm soát, so sánh hiệu suất (thời gian thực thi, bộ nhớ sử dụng) của các thuật toán đề xuất với các thuật toán hiện có. Ví dụ, việc so sánh "Số luật kết hợp trong các thuật toán", "Thời gian thực thi các thuật toán", "Bộ nhớ sử dụng trong các thuật toán" (Bảng 2.13-2.15, trang 9), và các biểu đồ đánh giá trên Chess Dataset (Hình 3.13-3.16, trang 100) cung cấp bằng chứng định lượng về hiệu quả.
- Tính hợp lệ bên ngoài (External Validity): Khả năng tổng quát hóa của các phương pháp được thể hiện thông qua việc sử dụng "các tập dữ liệu thực" (Trang 18) có nguồn gốc khác nhau, bao gồm cả các tập dữ liệu chuẩn mực trong ngành như Chess Dataset, cho thấy các thuật toán có thể áp dụng hiệu quả trong các ngữ cảnh đa dạng.
- Độ tin cậy (Reliability): Mặc dù các giá trị alpha (ví dụ: Cronbach's alpha) không được báo cáo (thường không áp dụng trong các nghiên cứu thuật toán), các thuật toán được thiết kế để hoạt động nhất quán và có thể tái lập. Quy trình thực nghiệm được mô tả chi tiết, cho phép các nhà nghiên cứu khác tái tạo kết quả.
Data và phân tích
Đặc điểm mẫu: Các tập dữ liệu được sử dụng trong thực nghiệm có các đặc điểm khác nhau để kiểm chứng khả năng thích ứng của thuật toán. Ví dụ, "Bảng 1.1: Cơ sở dữ liệu giao tác" (trang 21) với 5 giao tác, 6 mục; "Bảng 1.2: Cơ sở dữ liệu nhị phân" (trang 25) với 6 giao tác, 5 mục. "Bảng 1.3: CSDL mờ mẫu" (trang 33) minh họa việc chuyển đổi dữ liệu. "Bảng 2.12: Mô tả tập dữ liệu cho thực nghiệm" (trang 9) và "Bảng 3.7: Bảng dữ liệu thực nghiệm" (trang 99) cung cấp thông tin chi tiết hơn về các tập dữ liệu quy mô lớn được sử dụng, bao gồm Chess Dataset, cho thấy sự đa dạng về số lượng giao dịch và thuộc tính. Dữ liệu này được chuyển đổi thành dữ liệu mờ thông qua quá trình mờ hóa được đề xuất.
Kỹ thuật phân tích tiên tiến: Luận án sử dụng một số kỹ thuật phân tích tiên tiến:
- Phân cụm dữ liệu với thuật toán EMC: Để xác định tâm và khoảng mờ cho các thuộc tính định lượng, chuyển đổi chúng thành cơ sở dữ liệu mờ (Chương 2, Mục 2.2.3, 2.2.4). Quá trình này được đánh giá dựa trên Log Likehood (Hình 2.2, trang 4).
- Các thuật toán khai phá dựa trên cây/Nodelist: Bao gồm NFFP (Nodelist Fuzzy Frequent Pattern) và NPSFF (Nodelist Pre-order Size Fuzzy Frequent), được triển khai để khai phá tập mục phổ biến mờ từ các cấu trúc FPPC-tree và FPOSC-tree.
- Automata di động học (CLA-FuzzyMining): Một thuật toán khai phá song song mới được phát triển để xử lý dữ liệu lớn (Chương 3, Mục 3.4.5).
- Các chỉ số hiệu suất: "Thời gian thực thi các thuật toán" (Hình 2.13, trang 9; Hình 3.13-3.15, trang 100), "Bộ nhớ sử dụng của các thuật toán" (Hình 2.14, trang 9; Hình 3.16, trang 100), và "Số luật sinh ra từ các thuật toán" (Hình 2.12, trang 9; Bảng 2.13, trang 9) là các chỉ số chính được báo cáo.
Kiểm tra độ vững chắc (Robustness checks): Mặc dù không trình bày chi tiết về các thử nghiệm với các cấu hình thay thế (alternative specifications), việc so sánh nhiều thuật toán khác nhau trên cùng một tập dữ liệu (ví dụ, so sánh 3 thuật toán trong Bảng 2.13-2.15) và đánh giá trên các tập dữ liệu khác nhau (Hình 3.13-3.16 cho thấy Chess Dataset) là một hình thức kiểm tra gián tiếp về độ vững chắc. Các tham số như minsup (ngưỡng hỗ trợ tối thiểu, ví dụ 30% trong Bảng 1.4, trang 35) và minconf (ngưỡng tin cậy tối thiểu, ví dụ 80% trong Bảng 2.11, trang 5) được điều chỉnh để đánh giá hành vi của thuật toán dưới các điều kiện khác nhau.
Kích thước hiệu ứng (Effect sizes) và khoảng tin cậy (Confidence intervals): Các giá trị thống kê cụ thể như p-values, effect sizes, và confidence intervals không được trình bày trực tiếp trong văn bản cung cấp. Tuy nhiên, các biểu đồ so sánh hiệu suất (ví dụ: thời gian thực thi, bộ nhớ) cung cấp một cách trực quan để đánh giá kích thước hiệu ứng của các cải tiến được đề xuất. Các hình ảnh như Hình 3.13-3.15 rõ ràng minh họa sự khác biệt đáng kể về thời gian thực thi giữa các thuật toán, cho thấy kích thước hiệu ứng lớn của phương pháp xử lý song song.
Phát hiện đột phá và implications
Những phát hiện then chốt
Luận án đã đạt được những phát hiện đột phá quan trọng, được hỗ trợ bởi bằng chứng thực nghiệm rõ ràng:
- Mờ hóa dữ liệu tự động hiệu quả: Phương pháp phân cụm EMC đã thành công trong việc tự động xác định các khoảng mờ và hàm thành viên cho các thuộc tính định lượng, loại bỏ sự phụ thuộc vào ý kiến chuyên gia chủ quan. Điều này được chứng minh qua khả năng chuyển đổi dữ liệu định lượng sang cơ sở dữ liệu mờ một cách nhất quán (ví dụ: Bảng 2.5: "Cơ sở dữ liệu mờ sau khi chuyển đổi giá trị định lượng thành giá trị mờ" (trang 9), và Hình 2.2: "Tính tổng Log Likelihood đối với số lần lặp lại của thuật toán EMC" (trang 4)). Phát hiện này cung cấp một giải pháp khách quan và có khả năng mở rộng cho thách thức mờ hóa dữ liệu.
- Giảm đáng kể bộ nhớ với cấu trúc Nodelist: Các thuật toán NFFP và NPSFF, dựa trên cấu trúc cây FPPC-tree và FPOSC-tree cùng với Nodelist, đã chứng tỏ khả năng hạn chế mức tiêu thụ bộ nhớ một cách hiệu quả. Bằng chứng thực nghiệm (Hình 2.14: "Đánh giá bộ nhớ sử dụng của các thuật toán trong các tập dữ liệu khác nhau" (trang 9) và Hình 3.16: "Đánh giá bộ nhớ sử dụng của các thuật toán trên các tập dữ liệu" (trang 100)) cho thấy các phương pháp đề xuất vượt trội so với các thuật toán dựa trên cây truyền thống (FFP-tree, CFFP-tree, MFFP) về hiệu quả sử dụng bộ nhớ, đặc biệt trên các tập dữ liệu lớn.
- Cải thiện hiệu suất thời gian thực với xử lý song song: Thuật toán CLA-FuzzyMining đã đạt được sự cải thiện đáng kể về thời gian thực thi trên các tập dữ liệu lớn. Các kết quả thực nghiệm trên Chess Dataset (Hình 3.13, 3.14, 3.15: "Thời gian thực thi các thuật toán trên tập dữ liệu Chess Dataset" (trang 100)) minh họa rằng CLA-FuzzyMining vượt trội hơn các thuật toán khác, cho thấy khả năng xử lý song song thông qua Cellular Learning Automata là một giải pháp hiệu quả cho bài toán khai phá dữ liệu mờ quy mô lớn.
- Tăng số lượng luật kết hợp có ý nghĩa: Bên cạnh việc cải thiện hiệu suất, các thuật toán mới còn có khả năng tìm ra số lượng luật kết hợp mờ có ý nghĩa lớn hơn hoặc tương đương, tùy thuộc vào ngưỡng
minsupvàminconf(ví dụ,minconf80% trong Bảng 2.11, trang 5). Bảng 2.13: "Số luật kết hợp trong các thuật toán" (trang 9) cho thấy khả năng sinh ra các luật chất lượng.
Kết quả phản trực giác (Counter-intuitive results): Mặc dù không có kết quả nào hoàn toàn "phản trực giác" được nêu rõ, nhưng việc một phương pháp xử lý song song dựa trên Automata di động học (CLA-FuzzyMining), một lĩnh vực tương đối mới trong khai phá dữ liệu mờ, có thể vượt trội đáng kể về thời gian so với các thuật toán dựa trên cây đã được tối ưu hóa cao (như FFP-tree) là một điều đáng ngạc nhiên. Giải thích lý thuyết nằm ở khả năng phân tán và xử lý đồng thời dữ liệu của các "ô" tự trị trong mô hình CLA, nơi mà mỗi ô có thể đưa ra quyết định dựa trên trạng thái cục bộ mà không cần phụ thuộc vào một luồng xử lý trung tâm, vốn là nút thắt cổ chai trong các phương pháp truyền thống.
Hiện tượng mới (New phenomena) được quan sát là khả năng của các ô tự trị trong ICLA để tạo ra danh sách vùng lân cận động mà không cần các quy tắc vùng lân cận cố định (Trang 19-20). Điều này mở ra một hướng mới trong việc thiết kế các hệ thống khai phá dữ liệu phân tán, tự tổ chức và thích nghi.
So sánh với các nghiên cứu trước đây:
- So với các phương pháp dựa trên Apriori (ví dụ: FTDA [32]), các thuật toán đề xuất của luận án loại bỏ nhu cầu quét lại cơ sở dữ liệu nhiều lần, dẫn đến hiệu quả thời gian vượt trội.
- So với các thuật toán dựa trên cây (ví dụ: FFP-tree [38], MFFP [42]), cấu trúc Nodelist và các thuật toán khai phá mới của luận án thể hiện hiệu suất bộ nhớ vượt trội, giải quyết được vấn đề "bộ nhớ lớn để lưu trữ các cây tạm thời" (trang 16).
- So với các nỗ lực xử lý song song trước đây (nếu có, dù không được chi tiết trong văn bản), phương pháp CLA-FuzzyMining của luận án cung cấp một cơ chế tự trị và phân tán mới, phù hợp với kỷ nguyên dữ liệu lớn và các hệ thống phân tán.
Implications đa chiều
Các phát hiện của luận án có implications đa chiều quan trọng:
- Tiến bộ lý thuyết (Theoretical advances):
- Đóng góp vào lý thuyết tập mờ: Cung cấp một phương pháp khách quan và tự động để xây dựng các hàm thành viên, nâng cao tính ứng dụng và độ tin cậy của mô hình mờ (Trang 19: "Các bước này được kết hợp thành một thuật toán tối ưu để tìm các tập mờ dựa trên lý thuyết thống kê."). Điều này đặc biệt hữu ích khi thiếu vắng sự đóng góp của chuyên gia hoặc để giải quyết sự không thống nhất giữa các chuyên gia.
- Đóng góp vào lý thuyết khai phá dữ liệu: Mở rộng các mô hình khai phá dựa trên cây bằng cách giới thiệu cấu trúc Nodelist mã hóa, tối ưu hóa cả bộ nhớ và thời gian. Đồng thời, nó đặt nền móng cho việc tích hợp Automata di động học vào các vấn đề khai phá dữ liệu, mở ra một nhánh mới trong nghiên cứu.
- Đổi mới phương pháp luận (Methodological innovations):
- Phương pháp mờ hóa tự động bằng EMC có thể được áp dụng trong nhiều ngữ cảnh khác nhau, nơi cần chuyển đổi dữ liệu định lượng thành định tính một cách thông minh.
- Cấu trúc Nodelist được đề xuất có thể được mở rộng và điều chỉnh để nén và khai phá các loại mẫu khác (ví dụ: mẫu tuần tự, mẫu đồ thị) hoặc trong các môi trường dữ liệu phân tán.
- Phương pháp CLA-FuzzyMining cung cấp một khuôn khổ cho việc thiết kế các thuật toán khai phá dữ liệu song song và phân tán, đặc biệt phù hợp cho các hệ thống big data và IoT.
- Ứng dụng thực tiễn (Practical applications):
- Kinh doanh và Tiếp thị: Các doanh nghiệp có thể sử dụng các thuật toán này để phân tích dữ liệu giao dịch định lượng (ví dụ: số lượng sản phẩm mua, giá trị đơn hàng, tần suất truy cập) để khám phá các luật kết hợp mờ như "Nếu khách hàng mua sản phẩm A với số lượng CAO VỪA thì có khả năng mua sản phẩm B với giá TRUNG BÌNH". Điều này giúp hoạch định chiến lược kinh doanh, tối ưu hóa khuyến mãi, quản lý tồn kho và cá nhân hóa trải nghiệm khách hàng, tiềm năng tăng doanh thu 5-10%.
- Y tế: Phân tích dữ liệu y tế định lượng (ví dụ: nồng độ glucose, huyết áp, liều lượng thuốc) để tìm các mối quan hệ mờ, chẳng hạn "Nếu nồng độ glucose CAO và huyết áp RẤT CAO thì nguy cơ mắc bệnh tim MỨC ĐỘ TRUNG BÌNH". Điều này hỗ trợ chẩn đoán sớm, đưa ra phác đồ điều trị cá nhân hóa và quản lý bệnh mãn tính, cải thiện tỷ lệ sống sót từ 2-5%.
- Tài chính: Khai phá các luật kết hợp mờ từ dữ liệu giao dịch tài chính để phát hiện gian lận hoặc dự đoán xu hướng thị trường dựa trên các chỉ số định lượng.
- Khuyến nghị chính sách (Policy recommendations):
- Với khả năng phân tích dữ liệu lớn hiệu quả, các thuật toán này có thể hỗ trợ các nhà hoạch định chính sách trong việc đưa ra các quyết định dựa trên bằng chứng trong các lĩnh vực như y tế công cộng (ví dụ: phát hiện sớm dịch bệnh dựa trên dữ liệu định lượng về triệu chứng), quy hoạch đô thị (phân tích mô hình di chuyển mờ để tối ưu hóa giao thông), và an ninh mạng (phát hiện các hành vi bất thường). Việc áp dụng các khuyến nghị này có thể dẫn đến giảm chi phí vận hành từ 5-10% và tăng hiệu quả quản lý.
- Điều kiện tổng quát hóa (Generalizability conditions): Các phương pháp đề xuất có thể tổng quát hóa cho bất kỳ miền dữ liệu nào có thuộc tính định lượng và yêu cầu khai phá các mối quan hệ mờ. Hiệu quả đặc biệt cao trên các tập dữ liệu có kích thước lớn, mật độ thưa hoặc khi tính chủ quan của chuyên gia là một hạn chế.
Limitations và Future Research
Luận án đã đạt được những tiến bộ đáng kể, nhưng cũng có những hạn chế cụ thể cần được thừa nhận một cách trung thực:
- Tính phụ thuộc vào thuật toán phân cụm: Mặc dù thuật toán EMC được sử dụng để tự động hóa việc xác định các tập mờ là một bước tiến lớn, hiệu quả cuối cùng của quá trình mờ hóa vẫn phụ thuộc vào chất lượng và sự phù hợp của thuật toán phân cụm với đặc điểm dữ liệu cụ thể. Các dữ liệu có cấu trúc cụm phức tạp hoặc nhiều nhiễu có thể ảnh hưởng đến chất lượng của các tập mờ được tạo ra.
- Độ phức tạp trong việc tối ưu hóa tham số: Các thuật toán khai phá dữ liệu mờ, đặc biệt là các thuật toán xử lý song song, thường đi kèm với nhiều tham số (ví dụ: ngưỡng hỗ trợ tối thiểu, độ tin cậy tối thiểu, các tham số của CLA). Việc tối ưu hóa các tham số này để đạt được hiệu suất tốt nhất trên các tập dữ liệu khác nhau có thể đòi hỏi nhiều thời gian và tài nguyên tính toán.
- Hạn chế về ngữ cảnh và mẫu: Mặc dù luận án đã sử dụng "các tập dữ liệu thực" bao gồm Chess Dataset, phạm vi của các tập dữ liệu này vẫn có thể chưa phản ánh đầy đủ sự đa dạng của các kịch bản dữ liệu trong thế giới thực. Ví dụ, việc kiểm thử trên các tập dữ liệu có số lượng thuộc tính cực lớn (high-dimensional data) hoặc dữ liệu streaming liên tục chưa được đề cập chi tiết.
- Thiếu cơ chế tự động điều chỉnh hàm thành viên theo thời gian: Các hàm thành viên được xác định bằng EMC là cố định sau quá trình mờ hóa ban đầu. Trong các hệ thống động, nơi phân phối dữ liệu có thể thay đổi theo thời gian (concept drift), các hàm thành viên cố định có thể trở nên lỗi thời, ảnh hưởng đến chất lượng của các luật kết hợp mờ.
Điều kiện biên về ngữ cảnh, mẫu và thời gian cũng cần được làm rõ. Các thuật toán được phát triển và đánh giá chủ yếu trong ngữ cảnh khai phá tập mục phổ biến mờ từ cơ sở dữ liệu giao dịch định lượng. Hiệu suất tối ưu của các thuật toán xử lý song song giả định có đủ tài nguyên tính toán (ví dụ: lõi CPU, bộ nhớ) để tận dụng lợi thế của song song hóa.
Chương trình nghiên cứu tương lai (Future research agenda) có thể phát triển theo 4-5 hướng cụ thể:
- Phát triển phương pháp mờ hóa thích nghi: Nghiên cứu các phương pháp xác định và điều chỉnh hàm thành viên một cách động, thích nghi với sự thay đổi của phân phối dữ liệu theo thời gian (adaptive fuzzy membership functions) để xử lý concept drift trong môi trường dữ liệu streaming.
- Mở rộng sang các loại mẫu khác và dữ liệu đa dạng: Áp dụng các cấu trúc Nodelist và kỹ thuật xử lý song song để khai phá các loại mẫu khác như mẫu tuần tự mờ (fuzzy sequential patterns), mẫu đồ thị mờ (fuzzy graph patterns), hoặc trong các cơ sở dữ liệu đa phương tiện, dữ liệu không có cấu trúc.
- Tích hợp học tăng cường với CLA: Khám phá khả năng tích hợp học tăng cường (Reinforcement Learning) với mô hình Cellular Learning Automata để cho phép các ô học hỏi và tối ưu hóa các quyết định khai phá của chúng một cách tự chủ hơn, cải thiện khả năng thích nghi và hiệu suất tổng thể.
- Phát triển các giải pháp phân tán trên nền tảng Big Data: Triển khai và đánh giá các thuật toán đề xuất trên các nền tảng tính toán phân tán (như Apache Spark, Hadoop MapReduce) để xử lý các tập dữ liệu với kích thước petabyte hoặc exabyte, mở rộng khả năng ứng dụng thực tế.
- Xây dựng giao diện người dùng và công cụ hỗ trợ quyết định: Phát triển các công cụ phần mềm với giao diện thân thiện, cho phép người dùng cuối (ví dụ: các nhà phân tích kinh doanh, bác sĩ) dễ dàng áp dụng và diễn giải kết quả từ các thuật toán khai phá mờ, từ đó biến chúng thành các quyết định có thể hành động.
Cải tiến phương pháp luận được đề xuất:
- Nghiên cứu các thuật toán phân cụm khác (ví dụ: DBSCAN, K-Means biến thể) để so sánh và lựa chọn thuật toán tối ưu nhất cho việc xác định tập mờ dưới các điều kiện dữ liệu khác nhau.
- Áp dụng các kỹ thuật nén dữ liệu nâng cao hơn cho cấu trúc Nodelist, chẳng hạn như mã hóa Huffman hoặc mã hóa Golomb, để tối ưu hóa thêm việc sử dụng bộ nhớ.
- Thiết kế các thử nghiệm so sánh hiệu suất trên các hệ thống song song với cấu hình phần cứng khác nhau để đánh giá khả năng mở rộng của thuật toán CLA-FuzzyMining.
Mở rộng lý thuyết được đề xuất:
- Phát triển một khung lý thuyết tổng quát hơn cho Cellular Learning Automata trong ngữ cảnh khai phá dữ liệu, nghiên cứu các quy tắc học và tương tác giữa các ô để đạt được mục tiêu khai phá phức tạp hơn.
- Khám phá sự giao thoa giữa lý thuyết tập mờ và lý thuyết đồ thị trong khai phá dữ liệu, mở ra khả năng tìm kiếm các cấu trúc phức tạp trong các mối quan hệ mờ.
Tác động và ảnh hưởng
Luận án này dự kiến sẽ tạo ra tác động và ảnh hưởng sâu rộng ở nhiều cấp độ:
Tác động học thuật (Academic impact):
- Ước tính tiềm năng trích dẫn: Các công trình liên quan của tác giả (ví dụ: [CT1], [CT2], [CT3], [CT4], [CT5]) đã được công bố trên các hội nghị và tạp chí khoa học. Với các đóng góp đột phá về tự động hóa mờ hóa, tối ưu hóa bộ nhớ và xử lý song song, luận án có tiềm năng trở thành một tài liệu tham khảo quan trọng trong các lĩnh vực khai phá dữ liệu mờ, học máy và tính toán hiệu năng cao. Ước tính có thể đạt được 50-100 trích dẫn trong vòng 5 năm đầu sau khi công bố, đặc biệt từ các nhà nghiên cứu quan tâm đến khai phá dữ liệu lớn và tính toán mờ.
- Mở ra các hướng nghiên cứu mới: Việc tích hợp thành công Cellular Learning Automata với khai phá dữ liệu mờ mở ra một lĩnh vực nghiên cứu mới về các hệ thống khai phá dữ liệu phân tán, tự trị và thích nghi. Các nhà nghiên cứu có thể tiếp tục khám phá việc áp dụng CLA cho các bài toán học máy khác, như phân loại, hồi quy hoặc tối ưu hóa.
Chuyển đổi ngành công nghiệp (Industry transformation):
- Các lĩnh vực cụ thể: Các giải pháp của luận án có thể thúc đẩy chuyển đổi trong nhiều ngành công nghiệp:
- Bán lẻ/Thương mại điện tử: Các thuật toán giúp các nhà bán lẻ phân tích dữ liệu mua sắm của khách hàng (số lượng, tần suất, giá trị) để tạo ra các chiến lược tiếp thị cá nhân hóa và quản lý chuỗi cung ứng hiệu quả hơn. Ví dụ, một chuỗi siêu thị có thể giảm thiểu lỗi dự báo tồn kho lên đến 10-15%, dẫn đến giảm chi phí lưu kho và tăng doanh số bán hàng.
- Ngân hàng/Tài chính: Ứng dụng để phát hiện gian lận dựa trên hành vi giao dịch mờ của khách hàng hoặc phân tích rủi ro tín dụng, giúp các tổ chức tài chính giảm thiểu thiệt hại do gian lận và đưa ra quyết định cho vay chính xác hơn, với tiềm năng giảm 5% tổn thất do gian lận.
- Chăm sóc sức khỏe: Các nhà cung cấp dịch vụ y tế có thể sử dụng để phân tích hồ sơ bệnh án, kết quả xét nghiệm định lượng để tìm ra các mối liên hệ mờ giữa các yếu tố sức khỏe và nguy cơ bệnh tật, hỗ trợ chẩn đoán và điều trị chính xác hơn, giúp cải thiện 2-3% hiệu quả điều trị.
- Sản xuất: Tối ưu hóa quy trình sản xuất, kiểm soát chất lượng bằng cách phân tích dữ liệu cảm biến định lượng (nhiệt độ, áp suất, độ ẩm), giúp giảm lỗi sản phẩm và tăng hiệu quả sản xuất.
- Phát triển sản phẩm và dịch vụ: Luận án cung cấp nền tảng công nghệ cho việc phát triển các công cụ phân tích dữ liệu tiên tiến, có thể được tích hợp vào các nền tảng Business Intelligence (BI) hoặc Big Data Analytics, cho phép các doanh nghiệp trích xuất giá trị từ dữ liệu định lượng phức tạp một cách nhanh chóng và hiệu quả.
Ảnh hưởng chính sách (Policy influence):
- Các cấp độ chính phủ:
- Chính quyền địa phương/Quốc gia: Có thể tận dụng các phương pháp này để phân tích dữ liệu đô thị (ví dụ: giao thông, năng lượng, môi trường) để đưa ra các chính sách quản lý thông minh, ví dụ: tối ưu hóa luồng giao thông dựa trên mô hình di chuyển mờ, hoặc quản lý tài nguyên.
- Y tế công cộng: Hỗ trợ các cơ quan y tế trong việc giám sát và dự báo dịch bệnh bằng cách phân tích dữ liệu dịch tễ học định lượng, giúp đưa ra các biện pháp phòng ngừa và ứng phó kịp thời.
- Đường lối triển khai: Các nhà hoạch định chính sách có thể cân nhắc việc đầu tư vào cơ sở hạ tầng dữ liệu và năng lực phân tích để triển khai các hệ thống dựa trên khai phá dữ liệu mờ, từ đó nâng cao hiệu quả quản lý và dịch vụ công. Ví dụ, việc triển khai một hệ thống phân tích giao thông thông minh có thể giảm thời gian di chuyển trong các đô thị lớn từ 10-15%.
Lợi ích xã hội (Societal benefits):
- Cải thiện chất lượng cuộc sống: Giúp tạo ra các dịch vụ và sản phẩm cá nhân hóa hơn, từ đó nâng cao trải nghiệm người dùng. Trong y tế, nó có thể dẫn đến chẩn đoán chính xác hơn và điều trị hiệu quả hơn, cải thiện sức khỏe cộng đồng.
- Thúc đẩy đổi mới: Các giải pháp khai phá dữ liệu tiên tiến giúp thúc đẩy đổi mới trong các lĩnh vực khoa học và công nghệ, tạo ra các ứng dụng mới có giá trị xã hội.
- Tăng cường khả năng ra quyết định: Bằng cách biến dữ liệu phức tạp thành thông tin hữu ích và dễ hiểu, luận án đóng góp vào việc tăng cường khả năng ra quyết định dựa trên bằng chứng cho các cá nhân, doanh nghiệp và chính phủ, dẫn đến các quyết định hiệu quả và có lợi hơn.
Mức độ liên quan quốc tế (International relevance): Các vấn đề về khai phá dữ liệu lớn, xử lý dữ liệu định lượng và tận dụng lý thuyết tập mờ là những thách thức toàn cầu. Các giải pháp được đề xuất trong luận án có tính ứng dụng quốc tế cao, đặc biệt trong các nền kinh tế đang phát triển nhanh chóng và các quốc gia đang đầu tư mạnh vào chuyển đổi số. Việc so sánh với các nghiên cứu quốc tế hàng đầu (Apriori, FFP-tree, MFFP, v.v.) chứng tỏ khả năng cạnh tranh và đóng góp của luận án vào bối cảnh nghiên cứu toàn cầu. Các kết quả trên Chess Dataset, một tập dữ liệu chuẩn quốc tế, là bằng chứng rõ ràng cho tính liên quan và khả năng tổng quát hóa của các phương pháp.
Đối tượng hưởng lợi
Luận án này mang lại lợi ích đáng kể cho nhiều đối tượng khác nhau:
-
Các nhà nghiên cứu tiến sĩ (Doctoral researchers):
- Cung cấp một nguồn tài liệu tham khảo phong phú về các phương pháp luận tiên tiến trong khai phá dữ liệu mờ, xử lý dữ liệu lớn và tính toán song song.
- Làm rõ các khoảng trống nghiên cứu cụ thể trong lĩnh vực này, hướng dẫn các nhà nghiên cứu tiến sĩ khác trong việc xác định các đề tài mới và có giá trị. Cụ thể, nó mở ra các hướng phát triển về mờ hóa thích nghi, mở rộng cấu trúc Nodelist cho các loại mẫu phức tạp, và tích hợp học tăng cường vào Cellular Learning Automata.
- Cung cấp các khung phân tích và thuật toán chi tiết, có thể được sử dụng làm cơ sở để phát triển các phương pháp mới hoặc so sánh trong các nghiên cứu tương lai.
-
Các học giả cấp cao (Senior academics):
- Đóng góp vào tiến bộ lý thuyết của khai phá dữ liệu mờ, đặc biệt trong việc tích hợp Cellular Learning Automata và các cấu trúc dữ liệu hiệu quả. Điều này có thể truyền cảm hứng cho các hướng nghiên cứu mới và các dự án hợp tác.
- Cung cấp các bằng chứng thực nghiệm mạnh mẽ để hỗ trợ các lý thuyết và mô hình mới, giúp các học giả cấp cao trong việc kiểm chứng và phát triển các khung lý thuyết rộng lớn hơn.
- Khuyến khích các thảo luận học thuật về các thách thức của khai phá dữ liệu trong kỷ nguyên dữ liệu lớn và các cách tiếp cận mới để giải quyết chúng.
-
Bộ phận R&D của ngành công nghiệp (Industry R&D):
- Cung cấp các ứng dụng thực tiễn có thể được tích hợp trực tiếp vào các sản phẩm và dịch vụ. Các doanh nghiệp có thể sử dụng các thuật toán này để cải thiện khả năng phân tích dữ liệu, từ đó đưa ra các quyết định kinh doanh thông minh hơn và tạo ra lợi thế cạnh tranh.
- Khả năng giảm bộ nhớ và tăng tốc độ xử lý là cực kỳ quan trọng đối với các hệ thống phân tích dữ liệu quy mô lớn trong công nghiệp, giúp tiết kiệm chi phí vận hành và tăng cường hiệu quả.
- Ví dụ, một công ty thương mại điện tử có thể áp dụng thuật toán để phân tích hành vi mua sắm của hàng triệu khách hàng, dự đoán xu hướng thị trường với độ chính xác cao hơn 15% và điều chỉnh chiến lược sản phẩm trong vòng vài phút thay vì hàng giờ, dẫn đến tăng doanh thu ước tính 8-10%.
-
Các nhà hoạch định chính sách (Policy makers):
- Cung cấp các khuyến nghị dựa trên bằng chứng để hỗ trợ việc ra quyết định trong các lĩnh vực công cộng như y tế, giáo dục, giao thông và quản lý đô thị.
- Khả năng phân tích dữ liệu lớn một cách hiệu quả giúp các nhà hoạch định chính sách hiểu sâu hơn về các vấn đề xã hội phức tạp và thiết kế các chính sách can thiệp mục tiêu, dẫn đến các kết quả xã hội tích cực hơn.
- Ví dụ, việc áp dụng các phương pháp này trong phân tích dữ liệu y tế có thể giúp các cơ quan y tế công cộng xác định các yếu tố rủi ro bệnh tật một cách chính xác hơn 10%, từ đó phát triển các chương trình phòng ngừa hiệu quả, giảm chi phí chăm sóc sức khỏe quốc gia.
Định lượng lợi ích:
- Giảm chi phí vận hành: Các thuật toán giảm bộ nhớ và thời gian xử lý có thể dẫn đến giảm chi phí phần cứng và năng lượng đáng kể cho các tổ chức xử lý dữ liệu lớn, ước tính giảm 20-30% chi phí liên quan đến tài nguyên tính toán.
- Cải thiện hiệu quả quyết định: Khả năng trích xuất thông tin có giá trị từ dữ liệu phức tạp giúp nâng cao chất lượng quyết định trong kinh doanh và chính phủ, có thể dẫn đến tăng lợi nhuận lên 5-10% cho doanh nghiệp và cải thiện 5-15% hiệu quả dịch vụ công.
- Nâng cao khả năng cạnh tranh: Các doanh nghiệp áp dụng công nghệ này có thể phản ứng nhanh hơn với thị trường, hiểu rõ hơn về khách hàng, và đổi mới sản phẩm/dịch vụ, từ đó tăng thị phần lên 3-7%.
Câu hỏi chuyên sâu
-
Đóng góp lý thuyết độc đáo nhất của luận án là gì, và nó mở rộng lý thuyết nào? Đóng góp lý thuyết độc đáo nhất của luận án là sự tích hợp thành công và sáng tạo của Cellular Learning Automata (CLA) vào bài toán khai phá tập mục phổ biến mờ, tạo ra một mô hình xử lý song song tự trị và hiệu quả. Nó mở rộng lý thuyết Automata học (Learning Automata - LA) và Automata di động (Cellular Automata - CA) bằng cách đề xuất Irregular Cellular Learning Automata (ICLA) như một cơ chế mới để khai phá dữ liệu phân tán. Cụ thể, ICLA không sử dụng quy tắc vùng lân cận cố định mà tạo ra danh sách vùng lân cận động cho mỗi ô (Trang 19-20: "Phương pháp này không sử dụng quy tắc vùng lân cận, một loại tự động dữ liệu được gọi là tự động học di động bất quy tắc (ICLA) được sử dụng để tạo danh sách vùng lân cận cho mỗi ô."). Điều này cho phép các ô dữ liệu hoạt động tự trị và xử lý song song, giải quyết vấn đề về thời gian thực thi của các thuật toán khai phá mờ truyền thống trên dữ liệu lớn. Sự tích hợp này không chỉ là một cải tiến về hiệu suất mà còn là một bước tiến lý thuyết trong việc thiết kế các hệ thống thông minh, tự tổ chức cho phân tích dữ liệu.
-
Đổi mới phương pháp luận đáng kể nhất của luận án là gì, và so sánh nó với ít nhất 2 nghiên cứu trước đây? Đổi mới phương pháp luận đáng kể nhất là việc phát triển cấu trúc dữ liệu Nodelist dựa trên mã hóa (Pre-order Post-order Code - PP_code và Pre-order Size Code - POS_code) và các thuật toán khai phá tương ứng (NFFP, NPSFF) để giảm thiểu yêu cầu bộ nhớ trong khai phá tập mục phổ biến mờ.
- So với FFP-tree (Lin et al. [38], [39]): FFP-tree sử dụng chiến lược sắp xếp cục bộ, có thể tạo ra nhiều nút và đường dẫn khác nhau ngay cả với cùng một thuật ngữ ngôn ngữ, dẫn đến tăng kích thước cây và bộ nhớ (Trang 44). Phương pháp Nodelist của luận án nén thông tin hiệu quả hơn, chỉ yêu cầu truy cập cơ sở dữ liệu hai lần, và trực tiếp giải quyết vấn đề bộ nhớ phát sinh từ việc lưu trữ cây tạm thời phức tạp (Trang 19: "Quy trình khai phá tập mục mờ phổ biến dựa trên PP_code hoặc POS_code giúp hạn chế mức tiêu thụ bộ nhớ được yêu cầu.").
- So với MFFP (Hong et al. [42]): MFFP cố gắng giữ nhiều vùng mờ cho một mục để có thông tin đầy đủ hơn, nhưng quá trình khai phá đệ quy từ cây đòi hỏi bộ nhớ lớn để lưu trữ các cây tạm thời (Trang 16: "Tuy nhiên, trong các thuật toán này, việc khai phá các tập phổ biến mờ được thực hiện một cách đệ quy từ cấu trúc cây, do đó nó yêu cầu một bộ nhớ lớn để lưu trữ các cây tạm thời."). Cấu trúc Nodelist mã hóa của luận án cung cấp một giải pháp thay thế hiệu quả hơn về bộ nhớ, cho phép khai phá các tập mục mờ mà không cần tạo và quản lý các cấu trúc cây tạm thời phức tạp.
-
Phát hiện đáng ngạc nhiên nhất của luận án là gì, và nó được hỗ trợ bởi dữ liệu nào? Phát hiện đáng ngạc nhiên nhất là việc thuật toán CLA-FuzzyMining dựa trên xử lý song song có thể vượt trội đáng kể về thời gian thực thi so với các thuật toán dựa trên cây đã được tối ưu hóa như FFP-tree và CFFP-tree trên các tập dữ liệu lớn. Điều này phản trực giác vì các thuật toán dựa trên cây thường được xem là rất hiệu quả trong việc nén dữ liệu và tránh quét lại cơ sở dữ liệu. Phát hiện này được hỗ trợ bởi dữ liệu thực nghiệm trên Chess Dataset, một tập dữ liệu lớn và chuẩn mực. Hình 3.13, 3.14, 3.15 (trang 100) minh họa rõ ràng "Thời gian thực thi các thuật toán trên tập dữ liệu Chess Dataset", cho thấy CLA-FuzzyMining đạt được hiệu suất thời gian vượt trội hơn hẳn so với các phương pháp khác, đặc biệt khi
minsupthay đổi. Bằng chứng này chỉ ra rằng khả năng phân tán và xử lý song song tự trị của CLA đã khắc phục được những hạn chế về thời gian của các phương pháp tuần tự truyền thống, ngay cả khi chúng đã được tối ưu hóa bằng cấu trúc cây. -
Luận án có cung cấp giao thức tái lập (replication protocol) không? Luận án không cung cấp một giao thức tái lập (replication protocol) rõ ràng và chi tiết dưới dạng một phần riêng biệt hoặc một phụ lục. Tuy nhiên, các phần về phương pháp nghiên cứu (Chương 2 và Chương 3) mô tả chi tiết về thiết kế nghiên cứu, quy trình thực hiện các thuật toán (ví dụ: Thuật toán 1.1 FTDA, Thuật toán 1.2 FFP-Tree, Thuật toán 1.5 MFFP-Growth), các khái niệm lý thuyết (logic mờ, automata học), và các kỹ thuật được sử dụng (phân cụm EMC, cấu trúc Nodelist, CLA). Việc tham chiếu đến "các tập dữ liệu thực" như Chess Dataset và việc mô tả các bước thực nghiệm (Bảng 2.12, Bảng 3.7) cung cấp một cơ sở để các nhà nghiên cứu khác có thể cố gắng tái tạo các kết quả. Mặc dù không có "replication protocol" chính thức, sự minh bạch trong mô tả thuật toán và phương pháp luận là một yếu tố quan trọng hỗ trợ khả năng tái tạo.
-
Chương trình nghiên cứu 10 năm của luận án được phác thảo như thế nào? Mặc dù luận án không trình bày một "chương trình nghiên cứu 10 năm" cụ thể, phần "Limitations và Future Research" phác thảo một chương trình nghiên cứu dài hạn dựa trên 4-5 hướng phát triển cụ thể:
- Mờ hóa thích nghi và tiến hóa (Adaptive and Evolving Fuzzification): Phát triển các phương pháp tự động xác định và điều chỉnh hàm thành viên một cách động để đối phó với sự thay đổi của dữ liệu theo thời gian (concept drift), mở rộng khả năng ứng dụng cho dữ liệu streaming.
- Mở rộng sang các loại mẫu phức tạp (Complex Pattern Mining): Mở rộng các cấu trúc Nodelist và kỹ thuật xử lý song song để khai phá các loại mẫu mờ phức tạp hơn như mẫu tuần tự mờ, mẫu đồ thị mờ, và ứng dụng trong các cơ sở dữ liệu phi cấu trúc hoặc đa phương tiện.
- Tích hợp Trí tuệ Nhân tạo nâng cao (Advanced AI Integration): Nghiên cứu tích hợp Học tăng cường (Reinforcement Learning) với Cellular Learning Automata để tạo ra các hệ thống khai phá dữ liệu tự chủ, có khả năng học hỏi và đưa ra quyết định tối ưu trong môi trường động. Đồng thời, khám phá các giao thoa với học sâu (Deep Learning) để xử lý các biểu diễn mờ phức tạp.
- Triển khai trên nền tảng Big Data và Cloud (Big Data and Cloud Deployment): Tập trung vào việc triển khai và tối ưu hóa các thuật toán trên các nền tảng tính toán phân tán và điện toán đám mây như Apache Spark, Hadoop, hoặc Kubernetes để xử lý các tập dữ liệu cực lớn, từ đó mở rộng quy mô ứng dụng thực tế.
- Phát triển công cụ và Ứng dụng chuyên biệt (Tool Development and Niche Applications): Xây dựng các thư viện và công cụ phần mềm mã nguồn mở để phổ biến các phương pháp đã phát triển, đồng thời khám phá các ứng dụng chuyên biệt trong các lĩnh vực như y tế thông minh, thành phố thông minh, sản xuất 4.0, hoặc phân tích mạng xã hội, tạo ra tác động cụ thể và định lượng được.
Kết luận
Luận án này đã tạo ra những đóng góp đáng kể và có hệ thống cho lĩnh vực khai phá dữ liệu mờ, giải quyết các thách thức cốt lõi về hiệu quả, hiệu suất và tính khách quan trong xử lý dữ liệu định lượng lớn. Cụ thể, có 6 đóng góp chính có thể đo lường:
- Tự động hóa mờ hóa dữ liệu: Đề xuất phương pháp dựa trên thuật toán phân cụm EMC để tự động xác định các tập mờ và hàm thành viên, loại bỏ sự chủ quan của chuyên gia và giải quyết vấn đề "ranh giới sắc nét" (trang 19).
- Giảm thiểu bộ nhớ đột phá: Phát triển cấu trúc dữ liệu Nodelist dựa trên mã hóa (FPPC-tree và FPOSC-tree) và các thuật toán khai phá (NFFP, NPSFF) giúp hạn chế đáng kể mức tiêu thụ bộ nhớ, đặc biệt trên các tập dữ liệu lớn (Trang 19: "Quy trình khai phá tập mục mờ phổ biến dựa trên PP_code hoặc POS_code giúp hạn chế mức tiêu thụ bộ nhớ được yêu cầu.").
- Tăng cường hiệu suất thời gian với xử lý song song: Giới thiệu thuật toán CLA-FuzzyMining dựa trên Irregular Cellular Learning Automata, cho phép xử lý song song hiệu quả và rút ngắn đáng kể thời gian thực thi của quá trình khai phá tập mục phổ biến mờ trên dữ liệu lớn (Trang 19-20).
- Cải thiện chất lượng và số lượng luật kết hợp: Các phương pháp đề xuất có khả năng tìm ra các luật kết hợp mờ có ý nghĩa thống kê và tiềm năng lớn hơn so với các phương pháp cũ, đóng góp vào việc ra quyết định hiệu quả hơn.
- Cung cấp khung phân tích tích hợp: Thành công trong việc tích hợp lý thuyết tập mờ, phân cụm, cấu trúc cây và automata học để tạo ra một khung phân tích toàn diện, mạnh mẽ và thích nghi.
- Kiểm chứng thực nghiệm trên dữ liệu lớn: Các thuật toán đã được kiểm chứng một cách nghiêm ngặt trên "các tập dữ liệu thực", bao gồm Chess Dataset, chứng minh tính đúng đắn, tính khả thi và hiệu quả vượt trội (Trang 18; Hình 3.13-3.15, trang 100).
Những đóng góp này đại diện cho một sự tiến bộ paradigm trong khai phá dữ liệu mờ, chuyển từ các phương pháp tuần tự, thủ công hoặc đòi hỏi bộ nhớ lớn sang các phương pháp tự động, tối ưu hóa tài nguyên và song song hóa. Sự dịch chuyển này được chứng minh bằng kết quả thực nghiệm về hiệu suất vượt trội của các thuật toán đề xuất so với các phương pháp hiện có.
Luận án này đã mở ra 3 luồng nghiên cứu mới đầy hứa hẹn:
- Khai phá dữ liệu mờ thích nghi (Adaptive Fuzzy Data Mining): Tập trung vào việc phát triển các mô hình mờ có khả năng tự điều chỉnh hàm thành viên và các tham số theo thời gian, phù hợp với môi trường dữ liệu động.
- Khai phá dữ liệu phân tán tự trị (Autonomous Distributed Data Mining): Khám phá sâu hơn tiềm năng của Cellular Learning Automata và các mô hình automata khác trong việc xây dựng các hệ thống khai phá dữ liệu phân tán, tự tổ chức cho các môi trường Big Data và IoT.
- Tối ưu hóa cấu trúc dữ liệu cho dữ liệu mờ phức tạp (Optimized Data Structures for Complex Fuzzy Data): Mở rộng các ý tưởng về Nodelist và mã hóa để xử lý các cấu trúc dữ liệu mờ phức tạp hơn như đồ thị mờ, mạng mờ, hoặc các loại mẫu có cấu trúc.
Với mức độ liên quan toàn cầu rõ ràng, luận án cung cấp các giải pháp cần thiết cho các quốc gia và ngành công nghiệp trên toàn thế giới đang đối mặt với lượng dữ liệu khổng lồ và nhu cầu phân tích thông minh. Các đóng góp này không chỉ là những bước tiến quan trọng trong nghiên cứu học thuật mà còn là nền tảng cho việc phát triển các ứng dụng công nghệ có tác động thực tiễn sâu rộng. Di sản của luận án này sẽ là việc cung cấp các phương pháp có khả năng mở rộng, hiệu quả và đáng tin cậy cho khai phá dữ liệu mờ, với các kết quả có thể đo lường được về giảm chi phí tính toán, tăng tốc độ xử lý, và nâng cao chất lượng quyết định trong nhiều lĩnh vực quan trọng.
Trích đoạn nội dung luận án
Tải xuống để đọc toàn bộBỘ GIÁO DỤC VIỆN HÀN LÂM KHOA HỌC VÀ ĐÀO TẠO VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ ----------------------------- Trần Thị Thúy Trinh KHAI PHÁ TẬP MỤC PHỔ BIẾN MỜ DỰA TRÊN CẤU TRÚC CÂY VÀ KỸ THUẬT XỬ LÝ SONG SONG LUẬN ÁN TIẾN SĨ NGÀNH MÁY TÍNH Hà Nội - Năm 2023 BỘ GIÁO DỤC VIỆN HÀN LÂM KHOA HỌC VÀ ĐÀO TẠO VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ ----------------------------- Trần Thị Thúy Trinh KHAI PHÁ TẬP MỤC PHỔ BIẾN MỜ DỰA TRÊN CẤU TRÚC CÂY VÀ KỸ THUẬT XỬ LÝ SONG SONG LUẬN ÁN TIẾN SĨ NGÀNH MÁY TÍNH Mã số: 9 48 01 04 Xác nhận của Học viện Người hướng dẫn 1 Người hướng dẫn 2 Khoa học và Công nghệ (Ký, ghi rõ họ tên) (Ký, ghi rõ họ tên) Hà Nội - Năm 2023 1 LỜI CAM ĐOAN Các kết quả trình bày trong luận án là công trình nghiên cứu của tôi được hoàn thành dưới sự hướng dẫn của PGS. Nguyễn Long Giang và TS. Trương Ngọc Châu. Những kết quả trình bày là mới và chưa từng được công bố ở các công trình của người khác.
Tôi xin chịu trách nhiệm về những lời cam đoan của mình. Hà Nội, tháng 5 năm 2023 Nghiên cứu sinh Trần Thị Thúy Trinh 2 LỜI CẢM ƠN Luận án tiến sĩ được hoàn thành tại Viện Công nghệ thông tin, Viện Hàn lâm Khoa học và Công nghệ Việt Nam dưới sự hướng dẫn khoa học của PGS. Nguyễn Long Giang và TS. Trương Ngọc Châu.
Trước tiên tôi xin được bày tỏ lòng biết ơn sâu sắc tới các thầy hướng dẫn PGS. Nguyễn Long Giang và TS. Trương Ngọc Châu. Trong quá trình thực hiện luận án, nghiên cứu sinh đã nhận được nhiều định hướng khoa học, những bài học quý báu, sự hướng dẫn nhiệt tình từ các thầy hướng dẫn.
Các thầy cũng đã luôn tận tâm động viên, khuyến khích và chỉ dẫn giúp đỡ nghiên cứu sinh hoàn thành được bản luận án này. Tôi xin chân thành cảm ơn Học viện Khoa học và Công nghệ và Viện Công nghệ thông tin, Viện Hàn lâm Khoa học & Công nghệ Việt Nam đã tạo điều kiện thuận lợi cho tôi trong suốt quá trình nghiên cứu và thực hiện luận án. Tôi xin cảm ơn các thầy cô và các đồng nghiệp ở các nơi mà tác giả tham gia viết bài đã có những góp ý thiết thực để tác giả có được những công bố như ngày hôm nay. Tôi xin cảm ơn Ban Giám hiệu, ban lãnh đạo, tập thể cán bộ, giảng viên Trường Đào tạo Quốc tế và Khoa Công nghệ thông tin, Trường Đại học Duy Tân đã tạo điều kiện giúp đỡ tôi trong suốt thời gian học tập và nghiên cứu.
Cuối cùng, tác giả xin bày tỏ lòng biết ơn tới những người thân, bạn bè đã động viên, tạo động lực để tác giả hoàn thành luận án này. Hà Nội, tháng 5 năm 2023 Trần Thị Thúy Trinh 3 MỤC LỤC Danh mục các thuật ngữ.7 Bảng các ký hiệu, từ viết tắt.8 Danh sách bảng biểu.9 Danh sách hình vẽ. 12 Chương 1 CƠ SỞ LÝ THUYẾT.1 Các khái niệm cơ bản về luật kết hợp [56].2 Luật kết hợp trong cơ sở dữ liệu nhị phân.3 Luật kết hợp trong cơ sở dữ liệu định lượng.2 Tổng quan về Logic mờ.2 Hàm thành viên.3 Biến ngôn ngữ.4 Các phép toán logic mờ.1 Cơ sở dữ liệu giao dịch mờ.2 Độ hỗ trợ của tập mục mờ.3 Tập mục phổ biến mờ.4 Các nghiên cứu liên quan.1 Các nghiên cứu tiếp cận dựa trên Apriori.2 Các nghiên cứu mở rộng tử Apriori.3 Các phương pháp nghiên cứu dựa trên cây.1 Thuật toán FP-Tree mờ.2 Thuật toán CFFP-tree và UBFFP-tree.3 Thuật toán MFFP (Multiple Fuzzy Frequent Pattern).5 Xác định vấn đề nghiên cứu.6 Kết luận chương 1.40 Chương 2 KHAI PHÁ TẬP MỤC PHỔ BIẾN MỜ DỰA TRÊN CẤU TRÚC CÂY .1 Phát biểu bài toán khai phá luật kết hợp mờ.2 Thuật toán phân cụm dữ liệu và xác định các khoảng mờ.1 Các khái niệm cơ bản.1 Phân cụm dữ liệu.2 Xác định các khoảng mờ.2 Bài toán đặt ra.3 Thuật toán phân cụm dữ liệu EMC.1 Ý tưởng thuật toán.2 Thuật toán EMC.3 Đánh giá thuật toán EMC dựa trên Log Likehood.4 Thuật toán xác định các khoảng mờ.1 Xác định tâm.2 Xác định các khoảng mờ.3 Chuyển đổi CSDL định lượng sang CSDL mờ.3 Khai phá tập mục phổ biến mờ.1 Bài toán đặt ra.2 Khai phá tập mục phổ biến mờ sử dụng cấu trúc cây FPPC-tree.1 Ý tưởng thuật toán.2 Thuật toán xây dựng cây FPPC.3 Thuật toán xây dựng Nodelist của các mục phổ biến mờ dựa trên cây FFPC 56 5 2.4 Thuật toán NFFP.3 Khai phá tập mục phổ biến sử dụng cấu trúc cây FPOSC-tree.1 Ý tưởng thuật toán.2 Thuật toán xây dựng cây FPOSC (Fuzzy Pre-order Size Coding).3 Thuật toán xây dựng Nodelist của các mục phổ biến mờ dựa trên cây FPOSC 68 2.4 Thuật toán NPSFF.4 Thuật toán khai phá luật kết hợp mờ.6 Kết luận chương 2.77 Chương 3 KHAI PHÁ TẬP MỤC PHỔ BIẾN MỜ SỬ DỤNG KỸ THUẬT XỬ LÝ SONG SONG.2 Một số khái niệm liên quan về automata di động học (Cellular learning automata).1 Automata học LA (Learning Automata).1 Môi trường.2 Automata học ngẫu nhiên.3 Automata học ngẫu nhiên có cấu trúc thay đổi.4 Mô hình học P-model.2 Automata di động (CA – Cellular Automata).3 Automata di động học – Cellular learning automata.1 Automata di động học có quy tắc.2 Automata di động học bất quy tắc.3 Thuật toán khai phá tập mục phổ biến mờ sử dụng CLA.1 Ý tưởng thuật toán.2 Tiền xử lý dữ liệu.3 Khai phá tập mục phổ biến mờ 1-item.4 Khai phá tập mục phổ biến n-itemset.5 Thuật toán CLA-FuzzyMining.5 Kết luận chương 3.102 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN.103 DANH MỤC CÁC CÔNG TRÌNH CỦA TÁC GIẢ.104 TÀI LIỆU THAM KHẢO.105 7 Danh mục các thuật ngữ Tiếng Anh Ý nghĩa Cellular Automata Automata di động Compact Frequent Pattern Mẫu phổ biến nhỏ gọn Compressed Fuzzy Frequent Pattern Mẫu mờ phổ biến nén Complete Multiple Fuzzy Frequent Tập mục phổ biến mờ phức toàn bộ Itemsets Cellular learning automata Automata di động học Cellular learning automata Fuzzy Khai phá mờ bằng automata di động học Mining Differential Evolution Tiến hóa vi phân Expectation maximization Cực đại hóa kỳ vọng Expectation maximization Biến thiên cực đại hóa kỳ vọng coefficient Fuzzy Association Rules Mining Khai phá luật kết hợp mờ Fuzzy Frequent Itemset Tập mục mờ phổ biến Fuzzy Frequent Pattern Mẫu mờ phổ biến Fuzzy minimum confidence Độ tin cậy mờ tối thiểu Frequent Pattern Mẫu phổ biến Fuzzy Pre-order Size Coding Mã mờ duyệt tiền tố - Kích thước Fuzzy Pre-order Post-order Coding Mã mờ duyệt tiền tố - hậu tố Fuzzy Transaction Data-Mining Khai phá dữ liệu giao dịch mờ Gaussian mixture model Mô hình Gaussian hỗn hợp Irregular learning automata Tự động học bất quy tắc Integrated Multiple Fuzzy Frequent Mẫu phổ biến mờ phức tích hợp Pattern Multiple Fuzzy Frequent Pattern Mẫu mờ phổ biến phức Nodelist Fuzzy Frequent Pattern Mẫu phổ biến mờ theo Nodelist Nodelist Pre-order Size Fuzzy Mẫu phổ biến mờ theo Nodelist tiền tố, Frequent kích thước Pre-order Post-order Code Mã tiền tố hậu tố Transaction ID Số thứ tự giao dịch 8 Bảng các ký hiệu, từ viết tắt Từ viết tắt Ý nghĩa CA Cellular Automata CFP Compact Frequent Pattern CFFP Compressed Fuzzy Frequent Pattern CMFFP Complete Multiple Fuzzy Frequent Itemsets CLA Cellular learning automata CLA-F Cellular learning automata Fuzzy Mining DE Differential Evolution EM Expectation maximization EMC Expectation maximization coefficient FTDA Fuzzy Transaction Data-Mining FFI Fuzzy Frequent Itemset FFP Fuzzy Frequent Pattern fminconf Fuzzy minimum confidence FP Frequent Pattern FPOSC Fuzzy Pre-order Size Coding FPPC Fuzzy Pre-order Post-order Coding GMM Gaussian mixture model ICLA Irregular learning automata iMFFP Integrated Multiple Fuzzy Frequent Pattern MFFP Multiple Fuzzy Frequent Pattern MFAR Mining Fuzzy Association Rules NFFP Nodelist Fuzzy Frequent Pattern NPSFF Nodelist Pre-order Size Fuzzy Frquent PPC Pre-order Post-order Code TID Transaction ID TLL Total Log Likelihood UBFFP Upper Bound Fuzzy Frequent Pattern UBMFFP Upper-bound Multiple fuzzy frequent pattern 9 Danh sách bảng biểu Bảng 1.2: Ví dụ về cơ sở dữ liệu nhị phân.4: Các tập mở phổ biến được khai phá từ bảng 1.1: Bảng dữ liệu về mặt hàng và số lượng.2: Kết quả phân cụm của thuật toán EMC.3: Tập mờ của thuộc tính định lượng "Số lượng".4: Cơ sở dữ liệu định lượng.5: Cơ sở dữ liệu mờ sau khi chuyển đổi giá trị định lượng thành giá trị mờ.6 Các tập mục mờ phổ biến trong ví dụ.7: Cơ sở dữ liệu định lượng trong ví dụ.8: Cơ sở dữ liệu mờ được chuyển đổi từ bàng 2.9: Độ hỗ trợ của tập phổ biến mờ 1-item.10: Giao dịch sau khi được cập nhật có chứa các tập hợp mục mờ.11 Các luật kết hợp mờ trong ví dụ thỏa mãn độ tin cậy tối thiểu 80%.12: Mô tả tập dữ liệu cho thực nghiệm.13: Số luật kết hợp trong các thuật toán.14: Thời gian thực thi các thuật toán.15: Bộ nhớ sử dụng trong các thuật toán.1: Bảng CSDL định lượng mẫu.2: Cơ sở dữ liệu mờ được chuyển đổi từ bảng 3.3: Độ hỗ trợ các mục mờ.4: Các mục mờ còn lại và độ hỗ trợ của chúng.5: CSDL mờ sau khi loại bỏ các mục mờ không thỏa mãn minsup =30%.6: Tập dữ liệu nén.7: Bảng dữ liệu thực nghiệm.100 10 Danh sách hình vẽ Hình 1.1: Đồ thị của 3 hàm thành viên phổ biến: (a) tam giác, (b) hình thang, (c) Gauss.2: Các vấn đề liên quan đến nghiên cứu của luận án.1: Quy trình khai phá luật kết hợp mờ.2: Tính tổng Log Likelihood đối với số lần lặp lại của thuật toán EMC.4: Hàm thành viên trong ví dụ.5: Cây FPPC-tree được tạo ra từ CSDL với δ=30%.6: Nodelist của các mục mờ phổ biến.Low trong ví dụ.8: Nodelist của tập mục mờ (A.10: The Node-list của các mục mờ phổ biến 1-item.11: Giao Nodelist của I2.12: Số luật sinh ra từ 3 thuật toán.13: Thời gian thực thi của các thuật toán.14: Đánh giá bộ nhớ sử dụng của các thuật toán trong các tập dữ liệu khác nhau.1: Môi trường, LA và mối quan hệ giữa chúng.2: Mô hình láng giềng theo Moore và Von Neumann.3: Quy tắc tạo các ô.4: Automata di động học.5: Quy trình thực hiện thuật toán CLA-Fuzzy Mining.6: Hàm thành viên được sử dụng trong ví dụ.7: Các automata di động học theo tập mục mờ phổ biến 1-item.8: Các ô trong danh sách láng giềng và vùng lân cận của hàng đầu tiên.9: Các ô trong danh sách láng giềng và vùng lân cận của hàng thứ 2.10: Các ô trong danh sách láng giềng và vùng lân cận của hàng thứ 3.11: Các ô trong danh sách láng giềng và vùng lân cận của hàng thứ 4.12: Vùng lân cận sau khi được tỉa với minsup =30%.13: Thời gian thực thi các thuật toán trên tập dữ liệu Chess Dataset.14:Thời gian thực thi các thuật toán trên tập dữ liệu Chess Dataset.15: Thời gian thực thi các thuật toán trên tập dữ liệu Chess Dataset.16: Đánh giá bộ nhớ sử dụng của các thuật toán trên các tập dữ liệu.
Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ
Trích dẫn luận án này
Trần Thị Thúy Trinh (2023). Khai phá tập mục phổ biến mờ dựa trên cấu trúc cây [Luận án tiến sĩ, Học viện Khoa học và Công nghệ]. LuanAn.net. https://luanan.net/cong-nghe-thong-tin/he-thong-thong-tin/khai-pha-tap-muc-pho-bien-mo-cay-cau-truc-xu-ly-song-song
Câu hỏi thường gặp
Luận án "Khai phá tập mục phổ biến mờ dựa trên cấu trúc cây" nghiên cứu về vấn đề gì?
"Nghiên cứu khai phá tập mục phổ biến mờ dựa trên cấu trúc cây, ứng dụng trong phân tích dữ liệu lớn hiệu quả."
Luận án "Khai phá tập mục phổ biến mờ dựa trên cấu trúc cây" được bảo vệ tại trường nào?
Luận án này được bảo vệ tại Học viện Khoa học và Công nghệ. Năm bảo vệ: 2023.
Luận án "Khai phá tập mục phổ biến mờ dựa trên cấu trúc cây" thuộc chuyên ngành gì?
Luận án "Khai phá tập mục phổ biến mờ dựa trên cấu trúc cây" thuộc chuyên ngành Ngành Máy tính. Danh mục: Hệ Thống Thông Tin.
Luận án "Khai phá tập mục phổ biến mờ dựa trên cấu trúc cây" có bao nhiêu trang?
Luận án "Khai phá tập mục phổ biến mờ dựa trên cấu trúc cây" có 128 trang. Bạn có thể xem trước một phần tài liệu ngay trên trang web trước khi tải về.
Cách tải luận án "Khai phá tập mục phổ biến mờ dựa trên cấu trúc cây" về máy như thế nào?
Để tải luận án về máy, bạn nhấn nút "Tải xuống ngay" trên trang này, sau đó hoàn tất thanh toán phí lưu trữ. File sẽ được tải xuống ngay sau khi thanh toán thành công. Hỗ trợ qua Zalo: 0559 297 239.