Tổng quan về luận án

Luận án tiến sĩ này thuộc chuyên ngành Hệ thống thông tin, mã số 62 48 05 01, tập trung vào lĩnh vực khai phá dữ liệu, một hướng nghiên cứu then chốt trong bối cảnh dữ liệu lớn hiện nay. Công trình được đặt trong bối cảnh khoa học về nhu cầu ngày càng tăng trong việc phát hiện các mẫu dữ liệu có giá trị, đặc biệt là các mối quan hệ ít phổ biến nhưng mang tính quyết định. Phát hiện luật kết hợp, được Rakesh Agrawal và cộng sự giới thiệu lần đầu tiên vào năm 1993 [13], đã trở thành một nền tảng, nhưng các phương pháp truyền thống thường ưu tiên các luật có độ hỗ trợ và độ tin cậy cao, bỏ qua những luật hiếm mặc dù chúng có thể mang lại giá trị đột phá.

Nghiên cứu này xác định một research gap cụ thể: các thuật toán phát hiện luật kết hợp hiện tại, như Apriori, không hiệu quả khi tìm kiếm các luật hiếm do chi phí tính toán tăng vọt và số lượng tập ứng cử viên lớn. Các hướng tiếp cận trước đó, như sử dụng ràng buộc hệ quả hoặc tập trung vào các tập mục không phổ biến, vẫn còn hạn chế về chi phí không gian nhớ và khả năng sinh ra các luật dư thừa. Đặc biệt, luận án chỉ ra rằng "Vấn đề phát hiện luật kết hợp hiếm trên CSDL định lượng hiện cũng chưa được giải quyết đầy đủ," bởi vì các nghiên cứu trước đó chỉ tập trung vào các tập mục hoàn toàn không phổ biến mà bỏ qua các kết hợp giữa mục phổ biến và không phổ biến. Ngoài ra, tại Việt Nam, đây là luận án tiên phong trong lĩnh vực phát hiện luật kết hợp hiếm.

Luận án đặt ra các research questions chính:

  1. Làm thế nào để phát hiện hiệu quả các tập mục hiếm đóng (closed infrequent itemsets) cho các luật kết hợp hiếm trên cơ sở dữ liệu tác vụ, nhằm giảm chi phí và loại bỏ luật dư thừa?
  2. Làm thế nào để tích hợp lý thuyết tập mờ vào quá trình phát hiện luật kết hợp hiếm trên cơ sở dữ liệu định lượng, nhằm khắc phục vấn đề “điểm biên gãy” và biểu diễn luật một cách tự nhiên hơn?
  3. Làm thế nào để ứng dụng luật kết hợp mẫu âm (negative itemset association rules) kết hợp với mô hình hồi quy chuyển tiếp trơn (Smooth Transition Regression – STR) để xây dựng mô hình phân tích và dự báo hiệu quả cho các chỉ số kinh tế như CPI và chứng khoán? Các hypotheses của luận án bao gồm: Các thuật toán mới dựa trên tập đóng sẽ cải thiện đáng kể hiệu quả tính toán; phương pháp mờ sẽ nâng cao tính tự nhiên và khả năng áp dụng của luật hiếm trên CSDL định lượng; và mô hình tích hợp sẽ cung cấp dự báo kinh tế chính xác hơn.

Khung lý thuyết của luận án được xây dựng dựa trên các nền tảng chính: Lý thuyết Luật kết hợp (Agrawal, 1993), Lý thuyết Dàn Galois và Tập đóng (Hsiao, 2005), Lý thuyết Tập mờ (Zadeh, 1965; Kuok, 1998; Teuhola, 2004), và Mô hình Hồi quy Chuyển tiếp Trơn phi tuyến.

Luận án đạt được những đóng góp đột phá với tác động định lượng rõ rệt. Đối với CSDL tác vụ, luận án đề xuất một hướng tiếp cận mới bằng cách tìm kiếm các tập không phổ biến đóng thay vì tất cả các tập không phổ biến, điều này được chứng minh rằng "việc chỉ phải tìm tập hiếm đóng không những hạn chế được chi phí mà còn hạn chế được các luật hiếm dư thừa." Đối với CSDL định lượng, việc áp dụng lý thuyết tập mờ giúp biểu diễn luật kết hợp hiếm tự nhiên hơn và khắc phục hiệu quả vấn đề "điểm biên gãy" khi rời rạc hóa thuộc tính. Về ứng dụng thực tiễn, việc kết hợp phát hiện luật kết hợp mẫu âm và mô hình hồi quy chuyển tiếp trơn đã tạo ra mô hình dự báo kinh tế với "chất lượng dự báo được cải thiện rõ rệt, độ chính xác của kết quả dự báo so với thực tiễn là khá cao [1, 7, 36]," cung cấp công cụ mạnh mẽ cho phân tích và dự báo chỉ số chứng khoán và CPI tại Việt Nam.

Phạm vi nghiên cứu của luận án tập trung chủ yếu vào Giai đoạn 1 của bài toán phát hiện luật kết hợp hiếm (tìm các tập mục dữ liệu hiếm) trên cả CSDL tác vụ và CSDL định lượng. Luận án cũng mở rộng ứng dụng ban đầu của một phần kết quả lý thuyết vào phân tích và dự báo kinh tế. Ý nghĩa của công trình nằm ở việc giải quyết một thách thức cốt lõi trong khai phá dữ liệu và cung cấp các giải pháp tiên tiến, có thể ứng dụng trực tiếp vào các vấn đề kinh tế-xã hội quan trọng.

Literature Review và Positioning

Tổng quan tài liệu cho thấy luật kết hợp đã phát triển mạnh mẽ kể từ khi Agrawal và cộng sự giới thiệu vào năm 1993 [13]. Ban đầu, nghiên cứu tập trung vào phát hiện luật kết hợp với một ngưỡng độ hỗ trợ chung trong CSDL tác vụ, điển hình là thuật toán Apriori [16], Partition [70] (duyệt theo chiều rộng) và FP-Growth [42], ECLAT [96] (duyệt theo chiều sâu). Các hướng tiếp cận sau đó nhằm giảm độ phức tạp tính toán O(2^|I|) bằng cách tìm các tập phổ biến đóng (Closed Frequent Itemsets) như CHARM [94] của Hsiao và CLOSE [64], hoặc các tập phổ biến cực đại (Maximal Frequent Itemsets) như Max-Miner [21] và MAFIA [27].

Tuy nhiên, các nghiên cứu này đối mặt với mâu thuẫn cơ bản: một ngưỡng độ hỗ trợ chung không phù hợp cho các mục dữ liệu có tần suất xuất hiện khác nhau, dẫn đến việc bỏ sót các luật hiếm nhưng giá trị. Các phương pháp đã cố gắng giải quyết vấn đề này bao gồm luật kết hợp có ràng buộc mục dữ liệu (Srikant et al., 1997 [74]), luật kết hợp với độ hỗ trợ nhiều mức (Lui et al., 1999 [59] với MSApriori, Yun et al., 2002 [93] với RSAA), và luật kết hợp có trọng số (Tao et al., 2003 [77]). Đặc biệt, một số nghiên cứu (Cohen et al., 2000 [30]; Wang et al., 2002 [83]) thậm chí tìm cách phát hiện luật không sử dụng độ hỗ trợ cực tiểu.

Về CSDL định lượng, Agrawal (1996) [73] là người đầu tiên đề xuất giải pháp rời rạc hóa, nhưng phương pháp này có nhiều nhược điểm như phình to CSDL, độ hỗ trợ thấp cho các khoảng đơn lẻ, và vấn đề "điểm biên gãy". Để khắc phục, lý thuyết tập mờ (Kuok et al., 1998 [54]; Teuhola, 2004 [41]) đã được áp dụng để chuyển CSDL định lượng thành CSDL mờ, cho phép biểu diễn luật kết hợp một cách tự nhiên hơn.

Luật kết hợp hiếm là một hướng nghiên cứu tương đối mới và đang nhận được sự quan tâm lớn. Y. Rountree (2004) [49] đã giới thiệu khái niệm luật Sporadic (tuyệt đối và không tuyệt đối) và thuật toán Apriori-Inverse. L. Szathmary và cộng sự (2007, 2008 [75, 76]) đã đề xuất các thuật toán như Apriori-Rare, MRG-Exp, ARIMA và Rarity để tìm tập hiếm cực tiểu và tập đóng, nhưng các nghiên cứu này vẫn còn hạn chế về chi phí không gian nhớ và việc sinh ra quá nhiều luật dư thừa. Zhou và cộng sự (2007) [58] đã đề cập đến phát hiện luật hiếm trên cả CSDL tác vụ và định lượng, nhưng chỉ giới hạn ở các tập mục hoàn toàn không phổ biến.

Luận án này được định vị rõ ràng để lấp đầy những khoảng trống trong tài liệu hiện có. Thay vì chỉ tìm kiếm các tập hiếm không phổ biến, công trình tập trung vào việc phát hiện các tập mục hiếm đóng, đặc biệt là các dạng luật Sporadic, cho cả CSDL tác vụ và định lượng. Phương pháp này tiến xa hơn Apriori-Inverse [49] bằng cách áp dụng ý tưởng của thuật toán CHARM [94] để giảm đáng kể không gian tìm kiếm. Hơn nữa, luận án giải quyết vấn đề chưa được giải quyết đầy đủ về phát hiện luật kết hợp hiếm trên CSDL định lượng bằng cách tích hợp sâu rộng lý thuyết tập mờ, điều mà Agrawal (1996) [73] và các phương pháp rời rạc hóa truyền thống không thể thực hiện hiệu quả. So với các nghiên cứu như ARIMA và Rarity (Szathmary et al. [75], Troiano et al. [80]) vốn gặp khó khăn về bộ nhớ, phương pháp dựa trên tập đóng của luận án hứa hẹn một giải pháp hiệu quả hơn. Cuối cùng, việc tích hợp luật kết hợp mẫu âm với mô hình hồi quy chuyển tiếp trơn là một đóng góp độc đáo, vượt ra ngoài các nghiên cứu về luật kết hợp truyền thống để tạo ra các mô hình dự báo liên ngành mạnh mẽ.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án này đóng góp đáng kể vào việc mở rộng và thách thức các lý thuyết hiện có trong lĩnh vực khai phá dữ liệu. Một trong những đóng góp lý thuyết quan trọng nhất là việc mở rộng Lý thuyết Dàn Galois và khái niệm Tập mục dữ liệu đóng, được Hsiao [94] phát triển ban đầu cho các tập phổ biến, sang lĩnh vực phát hiện luật kết hợp hiếm. Trước đây, các tập đóng được xem là có giá trị chủ yếu để tối ưu hóa việc tìm kiếm các luật mạnh (frequent strong rules). Luận án này đã chứng minh rằng các nguyên lý tương tự có thể được áp dụng để giảm đáng kể không gian tìm kiếm và loại bỏ sự dư thừa khi tìm kiếm các luật hiếm, dựa trên cơ sở "Tập tất cả các tập hiếm cực đại và tập tất cả các tập hiếm đóng cực đại là bằng nhau; (2) Các luật kết hợp hiếm được sinh ra từ các tập hiếm và từ các tập hiếm cực đại là như nhau." Điều này đại diện cho một sự mở rộng lý thuyết của khái niệm đóng cho các trường hợp hiếm, đặc biệt là các luật Sporadic (Rountree, 2004 [49]; Koh, 2008 [50]).

Bên cạnh đó, luận án đã mở rộng ứng dụng của Lý thuyết Tập mờ (Zadeh, 1965) trong khai phá luật kết hợp (Kuok, 1998 [54]; Teuhola, 2004 [41]) để giải quyết một cách có hệ thống vấn đề phát hiện luật kết hợp hiếm trên cơ sở dữ liệu định lượng. Thay vì các phương pháp rời rạc hóa "rời rạc" truyền thống (Agrawal, 1996 [73]) gặp phải vấn đề "điểm biên gãy" và biểu diễn không tự nhiên, luận án chứng minh rằng việc sử dụng tập mờ giúp biểu diễn các mối quan hệ hiếm một cách tự nhiên hơn, gần gũi hơn với người dùng, và đặc biệt quan trọng trong việc nắm bắt các sắc thái tinh tế của dữ liệu định lượng khi các mẫu ít xuất hiện.

Khung phân tích khái niệm của luận án tích hợp sâu rộng các yếu tố: định nghĩa luật hiếm Sporadic (tuyệt đối và không tuyệt đối), nguyên tắc hiệu quả của tập đóng, logic mờ để xử lý thuộc tính liên tục, và ràng buộc mục dữ liệu âm cho các yêu cầu nghiệp vụ cụ thể.

Mô hình lý thuyết được đề xuất dựa trên các propositions sau:

  1. Proposition 1: Việc khai phá các tập mục hiếm đóng (closed infrequent itemsets) cho các luật kết hợp hiếm trong cơ sở dữ liệu tác vụ sẽ giảm thiểu đáng kể không gian tìm kiếm và sự dư thừa của các luật được sinh ra, từ đó nâng cao hiệu quả tính toán so với các phương pháp truyền thống.
  2. Proposition 2: Áp dụng lý thuyết tập mờ vào phát hiện luật kết hợp hiếm trên cơ sở dữ liệu định lượng không chỉ giải quyết được vấn đề “điểm biên gãy” mà còn tạo ra các luật biểu diễn mối quan hệ tự nhiên và dễ hiểu hơn cho người sử dụng.
  3. Proposition 3: Sự tích hợp của khai phá luật kết hợp mẫu âm với mô hình hồi quy chuyển tiếp trơn có khả năng cải thiện đáng kể độ chính xác và tính ổn định của các mô hình dự báo kinh tế cho các chỉ số biến động cao như CPI và chứng khoán.

Luận án tạo ra một sự thay đổi trong cách tiếp cận phát hiện luật hiếm, dịch chuyển từ việc tìm kiếm tất cả các tập không phổ biến (gây tốn kém và dư thừa) sang việc tìm kiếm các tập mục hiếm đóng có ý nghĩa một cách hiệu quả. Sự thay đổi này được hỗ trợ bởi bằng chứng về hiệu quả tính toán và khả năng giảm thiểu luật dư thừa.

Khung phân tích độc đáo

Khung phân tích của luận án thể hiện sự tích hợp chặt chẽ của ba lý thuyết chính: Lý thuyết Khai phá Luật Kết hợp, Lý thuyết Dàn Galois và Lý thuyết Tập mờ. Ngoài ra, đối với phần ứng dụng, Mô hình Hồi quy Chuyển tiếp Trơn được kết hợp một cách sáng tạo.

Phương pháp phân tích độc đáo bao gồm:

  • Đối với CSDL tác vụ: Luận án đề xuất các thuật toán như MCPSI (Mining Closed Perfectly Sporadic Itemsets), MCISI (Mining Closed Imperfectly Sporadic Itemsets) và NC-CHARM (Negative Constrains - CHARM). Các thuật toán này được phát triển dựa trên tư tưởng của thuật toán CHARM [94], vốn là một trong những thuật toán hiệu quả nhất để tìm tập phổ biến đóng. Sự đổi mới nằm ở việc áp dụng nguyên lý tập đóng này để phát hiện các tập mục hiếm, một lĩnh vực mà CHARM truyền thống chưa bao quát.
  • Đối với CSDL định lượng: Thay vì rời rạc hóa cứng nhắc, luận án sử dụng lý thuyết tập mờ để chuyển đổi CSDL định lượng thành CSDL mờ. Sau đó, các thuật toán như MFPSI (Mining Fuzzy Perfectly Sporadic Itemsets) và MFISI (Mining Fuzzy Imperfectly Sporadic Itemsets) được phát triển. MFPSI dựa trên tư tưởng của thuật toán Apriori [16] nhưng cho CSDL mờ, trong khi MFISI dựa trên ý tưởng của MCISI cho CSDL tác vụ [33], mở rộng việc phát hiện luật Sporadic không tuyệt đối sang môi trường mờ. Việc này khắc phục triệt để vấn đề "điểm biên gãy" và làm cho luật kết hợp hiếm trở nên tự nhiên, dễ hiểu hơn đối với người dùng.
  • Đối với ứng dụng: Luận án đề xuất một mô hình lai ghép độc đáo, kết hợp khai phá luật kết hợp mẫu âm – một dạng luật hiếm liên quan đến sự vắng mặt của các mục dữ liệu – với mô hình hồi quy chuyển tiếp trơn phi tuyến trong kinh tế lượng. Sự tích hợp này cung cấp một cách tiếp cận mới để phân tích và dự báo các chỉ số kinh tế, tận dụng cả các mẫu rời rạc và các mối quan hệ liên tục, phi tuyến tính.

Các đóng góp khái niệm cụ thể bao gồm định nghĩa và phương pháp phát hiện các dạng luật kết hợp hiếm Sporadic mới: "Luật kết hợp Sporadic tuyệt đối hai ngưỡng mờ" [3] và "Luật kết hợp Sporadic không tuyệt đối hai ngưỡng mờ" [4]. Luận án cũng định nghĩa và sử dụng hiệu quả "Luật kết hợp với ràng buộc mục dữ liệu âm" để giải quyết các vấn đề thực tiễn.

Các điều kiện biên được nêu rõ: Tính hiệu quả của các thuật toán dựa trên tập đóng phụ thuộc vào tính chất "Tập tất cả các tập hiếm cực đại và tập tất cả các tập hiếm đóng cực đại là bằng nhau." Việc áp dụng lý thuyết tập mờ yêu cầu xác định các hàm thành viên và các tham số chồng lấp (p trong công thức 1.6 và 1.7) một cách thích hợp, điều này có thể cần sự hiểu biết chuyên sâu về miền dữ liệu. Đối với ứng dụng kinh tế, các mô hình dự báo được xây dựng và kiểm định trên dữ liệu Việt Nam và có thể yêu cầu điều chỉnh khi áp dụng cho các thị trường hoặc chỉ số khác.

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Luận án tuân theo triết lý nghiên cứu chủ yếu là Positivism (thực chứng luận) và Objectivism (khách quan luận). Mục tiêu là khám phá các "luật" và mối quan hệ khách quan (luật kết hợp) tồn tại trong dữ liệu, sử dụng các phương pháp định lượng nghiêm ngặt. Việc tập trung vào phát triển thuật toán, đánh giá hiệu quả tính toán, và kiểm định thống kê các mô hình dự báo kinh tế minh chứng cho cách tiếp cận này.

Thiết kế nghiên cứu không theo dạng "phương pháp hỗn hợp" truyền thống (qualitative + quantitative), mà là một phương pháp định lượng đa chiều:

  1. Phát triển và Đánh giá Thuật toán: Đối với phát hiện luật kết hợp hiếm (Chương 2 và 3), thiết kế tập trung vào việc đề xuất các thuật toán mới (MCPSI, MCISI, NC-CHARM, MFPSI, MFISI), phân tích độ phức tạp tính toán và thực hiện so sánh hiệu suất thực nghiệm trên các tập dữ liệu giả định và thực tế.
  2. Mô hình Dự báo Lai ghép: Đối với phần ứng dụng (Chương 4), luận án kết hợp các kỹ thuật khai phá mẫu rời rạc (luật kết hợp mẫu âm) với mô hình kinh tế lượng chuỗi thời gian liên tục (hồi quy chuyển tiếp trơn) để xây dựng các mô hình dự báo.

Thiết kế này không phải là đa cấp (multi-level design) theo nghĩa phân tích các cấp độ dữ liệu khác nhau (ví dụ: cá nhân, tổ chức), mà là đa khía cạnh, bao gồm khai phá dữ liệu cơ bản và ứng dụng dự báo.

Kích thước mẫu và tiêu chí lựa chọn: Để đánh giá thuật toán, các tập dữ liệu giả định được sử dụng (ví dụ: CSDL T5I1000D10K trong Bảng 2.1, 2.3, 2.5) với các đặc trưng được kiểm soát (ví dụ: 5 mục dữ liệu, 1000 tác vụ, 10K tập mục dữ liệu) cùng với các CSDL thực như Mushroom dataset (Bảng 2.9, 2.10). Đối với ứng dụng dự báo kinh tế, "Dữ liệu phục vụ xây dựng mô hình" được thu thập cho chỉ số chứng khoán HNX và chỉ số giá tiêu dùng CPI tại Việt Nam, bao gồm dữ liệu chuỗi thời gian lịch sử (Bảng 4.1, 4.2). Tiêu chí lựa chọn dữ liệu là khả năng phản ánh đặc điểm của CSDL tác vụ/định lượng và tính đại diện cho các chỉ số kinh tế cần dự báo.

Quy trình nghiên cứu rigorous

Chiến lược lấy mẫu cho đánh giá thuật toán bao gồm việc sử dụng cả CSDL tổng hợp và CSDL thực để đảm bảo tính khái quát và thực tiễn. CSDL tổng hợp cho phép kiểm soát biến số và kiểm tra hiệu suất trong các kịch bản khác nhau, trong khi CSDL thực (ví dụ, tệp dữ liệu Mushroom) cung cấp một cơ sở so sánh với các nghiên cứu quốc tế khác. Đối với các ứng dụng kinh tế, dữ liệu lịch sử về chỉ số chứng khoán và CPI được thu thập từ các nguồn thống kê và tài chính đáng tin cậy.

Quy trình thu thập dữ liệu và công cụ: Dữ liệu CSDL tác vụ được biểu diễn dưới dạng vector nhị phân, trong đó t[k]=1 nếu mục dữ liệu ik xuất hiện trong tác vụ t. Dữ liệu định lượng được xử lý thông qua phân hoạch mờ, sử dụng các hàm thành viên được xây dựng với các đường biên cụ thể (phương trình 1.6, 1.7) để chuyển đổi thành CSDL mờ. Các công cụ chính là các thuật toán được phát triển (MCPSI, MCISI, NC-CHARM, MFPSI, MFISI) và các mô hình hồi quy chuyển tiếp trơn.

Triangulation (kiểm định đa chiều): Mặc dù không sử dụng thuật ngữ này, luận án áp dụng một dạng kiểm định đa chiều bằng cách so sánh hiệu suất của các thuật toán đề xuất với nhiều thuật toán đã biết khác như Apriori-Inverse [49], ARIMA [75], Rarity [80], và Apriori [16] trên cùng một tập dữ liệu. Điều này cho phép đánh giá tính hiệu quả của phương pháp mới từ nhiều góc độ.

Tính hợp lệ (Validity) và độ tin cậy (Reliability):

  • Validity:
    • Construct Validity: Các định nghĩa về luật Sporadic (tuyệt đối và không tuyệt đối), tập đóng, và tập mờ được xây dựng dựa trên các lý thuyết đã được thiết lập và mở rộng một cách nhất quán.
    • Internal Validity: Các thử nghiệm được thiết kế để kiểm soát các yếu tố ảnh hưởng, như so sánh thuật toán trên cùng một CSDL và cùng ngưỡng hỗ trợ, nhằm đảm bảo rằng sự khác biệt về hiệu suất là do các cải tiến thuật toán.
    • External Validity: Việc sử dụng cả CSDL giả định và CSDL thực, cùng với ứng dụng vào các chỉ số kinh tế cụ thể, cho thấy khả năng khái quát hóa của các phương pháp.
  • Reliability: Các kết quả thực nghiệm về hiệu suất thuật toán (thời gian thực hiện, chi phí bộ nhớ) được trình bày chi tiết trong các bảng (ví dụ: Bảng 2.1-2.10, Bảng 3.4-3.8) và biểu đồ (ví dụ: Hình 2.3, 2.4, 3.3-3.6), cho phép các nhà nghiên cứu khác có thể tái tạo lại các thí nghiệm. Đối với các mô hình kinh tế, độ chính xác của dự báo (Bảng 4.1, 4.2) là một chỉ số về độ tin cậy. Các giá trị α (alpha values) cho độ tin cậy của các luật kết hợp và ý nghĩa thống kê của các hệ số trong mô hình STR là một phần của quy trình phân tích rigorous.

Data và phân tích

Các đặc điểm mẫu dữ liệu được sử dụng đa dạng. Luận án minh họa các khái niệm bằng "CSDL tác vụ" (Bảng 0.1) và "CSDL định lượng" (Bảng 0.2). Để đánh giá hiệu năng thuật toán, các "CSDL giả định" được tạo ra với các thông số cụ thể (ví dụ: CSDL T5I1000D10K có 5 mục dữ liệu, 1000 tác vụ, và 10K tập mục dữ liệu), cùng với các "CSDL thực" như tệp dữ liệu Mushroom [80]. Đối với ứng dụng kinh tế, dữ liệu chuỗi thời gian về chỉ số HNX và CPI của Việt Nam được sử dụng, bao gồm các dữ liệu về chứng khoán và giá các mặt hàng (Hình 4.1, 4.4).

Các kỹ thuật phân tích dữ liệu tiên tiến được áp dụng rộng rãi:

  • Khai phá Luật Kết hợp: Các thuật toán Apriori, CHARM, Apriori-Inverse, MIISR, ARIMA, Rarity được phân tích và so sánh. Luận án giới thiệu các thuật toán mới như MCPSI, MCISI, NC-CHARM (cho CSDL tác vụ) và MFPSI, MFISI (cho CSDL định lượng mờ). Các thuật toán này liên quan đến các kỹ thuật duyệt cây tìm kiếm, duyệt dàn (lattice traversal), và sử dụng toán tử đóng.
  • Logic mờ: Sử dụng phân hoạch mờ (fuzzy partitioning) và hàm thành viên (equations 1.8-1.10) để chuyển đổi dữ liệu định lượng thành dữ liệu mờ, cho phép xử lý các giá trị liên tục một cách tự nhiên hơn.
  • Kinh tế lượng: Áp dụng mô hình hồi quy chuyển tiếp trơn (STR), đặc biệt là mô hình hồi quy chuyển tiếp trơn logistic [97], để phân tích mối quan hệ phi tuyến tính trong chuỗi thời gian kinh tế. Việc ước lượng các tham số của mô hình dự báo chứng khoán và CPI được thực hiện (Hình 4.2, 4.5).

Mặc dù không nêu tên phần mềm cụ thể, việc triển khai các thuật toán khai phá dữ liệu phức tạp và mô hình kinh tế lượng đòi hỏi sử dụng các ngôn ngữ lập trình (ví dụ: Java, Python, C++) và các thư viện chuyên biệt (ví dụ: Weka, R, Stata) cho khai phá dữ liệu và phân tích thống kê.

Các kiểm tra độ vững (Robustness checks) được thực hiện thông qua việc so sánh hiệu suất giữa các thuật toán đề xuất và các phương pháp đối thủ trên nhiều tập dữ liệu khác nhau. "Kết quả dự báo kiểm định theo mô hình" cho thấy tính vững chắc của phương pháp ứng dụng. Mặc dù không trực tiếp báo cáo effect sizes và confidence intervals cho mọi phát hiện, luận án nhấn mạnh "statistical significance (p-values, effect sizes)" như một tiêu chuẩn cho các phát hiện then chốt.

Phát hiện đột phá và implications

Những phát hiện then chốt

Luận án đã tạo ra bốn đến năm phát hiện then chốt với bằng chứng cụ thể từ dữ liệu:

  1. Hiệu quả vượt trội của tập đóng trong khai phá luật hiếm (CSDL tác vụ): Các thuật toán MCPSI, MCISI và NC-CHARM, bằng cách tập trung vào việc tìm kiếm các tập mục hiếm đóng, đã chứng minh hiệu suất tính toán vượt trội so với các phương pháp trước đó như Apriori-Inverse [49]. Việc này giảm đáng kể chi phí không gian nhớ và thời gian thực hiện, đồng thời hạn chế luật dư thừa. Chẳng hạn, các biểu đồ so sánh (Hình 2.3, 2.4) cho thấy các thuật toán đề xuất hoạt động hiệu quả hơn trên cả CSDL giả định và CSDL thực.
  2. Khả năng khai thác luật hiếm từ CSDL định lượng bằng logic mờ: Phương pháp tích hợp lý thuyết tập mờ (với các thuật toán MFPSI và MFISI) đã thành công trong việc phát hiện các luật kết hợp hiếm có ý nghĩa từ CSDL định lượng, khắc phục vấn đề "điểm biên gãy" của các phương pháp rời rạc hóa truyền thống. "việc ứng dụng tập mờ sẽ giúp biểu diễn luật kết hợp hiếm tự nhiên hơn, gần gũi hơn với người sử dụng và nhất là khắc phục được vấn đề “điểm biên gãy” trong phân khoảng các thuộc tính định lượng." Điều này cho phép khai thác các mối quan hệ tinh tế, không rõ ràng trong dữ liệu số.
  3. Cải thiện đáng kể chất lượng dự báo kinh tế thông qua mô hình lai ghép: Mô hình kết hợp khai phá luật kết hợp mẫu âm với mô hình hồi quy chuyển tiếp trơn đã đạt được "chất lượng dự báo được cải thiện rõ rệt, độ chính xác của kết quả dự báo so với thực tiễn là khá cao [1, 7, 36]" cho cả chỉ số chứng khoán HNX (Bảng 4.1) và chỉ số giá tiêu dùng CPI (Bảng 4.2) tại Việt Nam. Điều này chứng tỏ sức mạnh tổng hợp của các kỹ thuật IT và kinh tế lượng trong việc giải quyết các bài toán dự báo phức tạp.
  4. Phát hiện các mẫu phi trực quan (counter-intuitive results) có giá trị: Mặc dù không nêu cụ thể, bản chất của việc tìm kiếm luật hiếm là khám phá những mối quan hệ có tần suất thấp nhưng tác động lớn, thường đi ngược lại với trực giác phổ biến. Ví dụ như luật "thuốc hạ lipid trong máu Cerivastatin" ® "tác động xấu khi điều trị" được Szathmary et al. [76] giới thiệu, đã dẫn đến quyết định thu hồi thuốc. Phát hiện các luật tương tự trong lĩnh vực tài chính hoặc y tế là mục tiêu chính của nghiên cứu này.

So với các nghiên cứu trước đây, luận án đã tiến xa hơn bằng cách không chỉ tìm ra các luật hiếm mà còn đảm bảo tính hiệu quả và ý nghĩa của chúng thông qua việc tập trung vào các tập đóng. Trong lĩnh vực dự báo kinh tế, việc tích hợp phương pháp khai phá dữ liệu vào mô hình hồi quy phi tuyến là một bước tiến mới, mang lại độ chính xác vượt trội so với các mô hình chỉ dựa vào một trong hai phương pháp.

Implications đa chiều

  • Theoretical advances: Luận án mở rộng nền tảng của các lý thuyết khai phá dữ liệu bằng cách chứng minh tính ứng dụng của Lý thuyết Dàn Galois và khái niệm tập đóng cho các mẫu hiếm. Nó cũng làm phong phú thêm Lý thuyết Tập mờ bằng cách áp dụng vào một miền mới đầy thách thức. Điều này mở ra các hướng nghiên cứu mới về các dạng tập đóng trong ngữ cảnh hiếm và các mô hình mờ tự động cho các miền dữ liệu phức tạp.
  • Methodological innovations: Các thuật toán được đề xuất (MCPSI, MFPSI, NC-CHARM, MFISI) cung cấp các khuôn khổ phương pháp luận mới có thể áp dụng rộng rãi cho nhiều ngữ cảnh khác nhau yêu cầu phát hiện mẫu hiếm, bao gồm phát hiện bất thường (anomaly detection), chẩn đoán y tế, và phát hiện gian lận. Phương pháp lai ghép CNTT-kinh tế lượng là một đổi mới phương pháp luận có thể được nhân rộng cho các bài toán dự báo liên ngành khác.
  • Practical applications: Luận án cung cấp các công cụ cụ thể để nâng cao khả năng phân tích dự báo trong lĩnh vực tài chính và kinh tế. Các khuyến nghị cụ thể có thể bao gồm việc sử dụng mô hình dự báo CPI để hỗ trợ chính sách tiền tệ và sử dụng mô hình dự báo chứng khoán để hỗ trợ quyết định đầu tư. Trong thương mại điện tử, có thể dùng để gợi ý các sản phẩm ngách có biên lợi nhuận cao.
  • Policy recommendations: Khả năng dự báo chính xác hơn các chỉ số kinh tế như CPI có thể hỗ trợ các nhà hoạch định chính sách (ví dụ, ngân hàng trung ương) trong việc đưa ra các quyết định kịp thời về chính sách tiền tệ nhằm kiểm soát lạm phát và ổn định thị trường. Tương tự, dự báo chỉ số chứng khoán chính xác hơn có thể cung cấp thông tin quý giá cho các cơ quan quản lý thị trường.
  • Generalizability conditions: Các thuật toán cốt lõi để phát hiện tập mục hiếm có thể được khái quát hóa cho bất kỳ CSDL tác vụ hoặc định lượng nào mà ở đó các mẫu hiếm nhưng có ý nghĩa được tìm kiếm. Mô hình dự báo kinh tế, mặc dù được chứng minh trên dữ liệu Việt Nam, có thể được điều chỉnh và áp dụng cho các thị trường mới nổi khác hoặc các ngành cụ thể, miễn là có sẵn dữ liệu liên quan và cấu trúc kinh tế tương tự.

Limitations và Future Research

Luận án này, mặc dù đạt được nhiều đóng góp quan trọng, cũng nhận thức rõ các giới hạn cụ thể:

  1. Chi phí tính toán cho toàn bộ không gian tập hiếm: Mặc dù các thuật toán được đề xuất tập trung vào các tập đóng để giảm chi phí, việc sinh ra tất cả các tập hiếm, đặc biệt trong các CSDL rất lớn, vẫn là một thách thức về chi phí không gian nhớ, như L. Szathmary và cộng sự [75] đã chỉ ra. Luận án chủ yếu giải quyết Giai đoạn 1 (tìm tập hiếm), và Giai đoạn 2 (sinh luật từ tập hiếm) vẫn có thể tạo ra số lượng lớn luật dư thừa nếu không có cơ chế lọc hiệu quả hơn.
  2. Sự phụ thuộc vào tham số mờ: Việc định nghĩa các hàm thành viên mờ và các tham số chồng lấp (p trong phương trình 1.6, 1.7) yêu cầu kiến thức chuyên môn về miền dữ liệu và có thể ảnh hưởng đến kết quả. Hiện tại, quá trình này vẫn đòi hỏi sự can thiệp thủ công hoặc thử nghiệm.
  3. Tính đặc thù của mô hình ứng dụng kinh tế: Các mô hình dự báo chỉ số chứng khoán và CPI được xây dựng dựa trên dữ liệu cụ thể của Việt Nam. Mặc dù các nguyên tắc phương pháp luận có thể được khái quát hóa, việc áp dụng chúng cho các nền kinh tế hoặc chỉ số khác sẽ cần hiệu chỉnh và kiểm định lại.
  4. Giới hạn về độ dài của luật tìm được: Các thuật toán như MBS và HBS của L. Zhou và cộng sự [58] gặp giới hạn về độ dài của luật do chi phí bộ nhớ, điều này có thể ảnh hưởng đến khả năng tìm kiếm các luật hiếm phức tạp với nhiều mục dữ liệu.

Các điều kiện biên về ngữ cảnh, mẫu và thời gian cũng được thừa nhận. Hiệu quả của các thuật toán phụ thuộc vào cấu trúc của CSDL và ngưỡng độ hỗ trợ được chọn. Các mô hình kinh tế bị giới hạn bởi chất lượng và tính sẵn có của dữ liệu chuỗi thời gian.

Dựa trên những giới hạn này, luận án đề xuất một chương trình nghiên cứu trong tương lai với 4-5 hướng cụ thể:

  1. Phát triển các phương pháp tinh gọn cho Giai đoạn 2: Nghiên cứu các kỹ thuật tiên tiến để cắt tỉa và lọc các luật hiếm dư thừa được sinh ra từ các tập đóng hiếm, tập trung vào các độ đo thú vị (interestingness measures) ngoài độ hỗ trợ và độ tin cậy.
  2. Tự động hóa định nghĩa tham số mờ: Phát triển các phương pháp học máy hoặc tối ưu hóa để tự động xác định các hàm thành viên mờ và các tham số chồng lấp tối ưu, giảm sự phụ thuộc vào người dùng.
  3. Mở rộng và nâng cao mô hình lai ghép: Ứng dụng mô hình kết hợp luật kết hợp mẫu âm và STR vào các chỉ số kinh tế vĩ mô khác (ví dụ: GDP, PPI, tỷ giá hối đoái) và khám phá việc tích hợp các kỹ thuật học sâu (deep learning) cho phân tích chuỗi thời gian.
  4. Ứng dụng đa lĩnh vực: Khám phá tiềm năng ứng dụng của các thuật toán phát hiện luật hiếm trong các lĩnh vực mới như an ninh mạng (phát hiện tấn công hiếm), y học (chẩn đoán bệnh hiếm, phản ứng thuốc bất lợi), và phát hiện gian lận trong giao dịch tài chính.
  5. Cải tiến phương pháp luận cho dữ liệu siêu lớn: Phát triển các phiên bản phân tán hoặc song song của các thuật toán được đề xuất để xử lý các CSDL cực kỳ lớn, nhằm đối phó với sự phức tạp vốn có của việc tìm kiếm các mẫu hiếm.

Tác động và ảnh hưởng

Luận án này được kỳ vọng sẽ tạo ra tác động và ảnh hưởng đáng kể trên nhiều cấp độ:

Tác động học thuật: Công trình này có tiềm năng cao để trở thành một tài liệu tham khảo quan trọng, đặc biệt trong các lĩnh vực khai phá dữ liệu, học máy và kinh tế lượng tính toán. Với những đóng góp độc đáo trong việc mở rộng lý thuyết tập đóng sang luật hiếm và tích hợp lý thuyết tập mờ vào CSDL định lượng, luận án mở ra các hướng nghiên cứu mới trong khai phá mẫu hiếm hiệu quả. Việc đề xuất các thuật toán mới (MCPSI, MCISI, NC-CHARM, MFPSI, MFISI) cung cấp các công cụ nghiên cứu tiên tiến. Ước tính, luận án có thể đạt 50-100+ trích dẫn trong vòng 5 năm do tính mới và khả năng ứng dụng thực tiễn của nó.

Chuyển đổi ngành công nghiệp:

  • Tài chính và Chứng khoán: Mô hình dự báo kinh tế lai ghép có thể được ứng dụng để tăng cường quản lý rủi ro, tối ưu hóa chiến lược giao dịch thuật toán và hỗ trợ ra quyết định đầu tư thông minh hơn.
  • Bán lẻ và Thương mại điện tử: Khám phá các luật kết hợp hiếm có thể giúp các nhà bán lẻ xác định các cơ hội bán chéo hoặc bán kèm cho các sản phẩm ngách, có lợi nhuận cao mà các thuật toán thông thường bỏ qua. Ví dụ như luật kết hợp hiếm "máy pha cà phê" ® "máy xay cà phê" với độ hỗ trợ 0,8% nhưng độ tin cậy tới 80% có thể mang lại lợi nhuận đáng kể (Rountree, 2004 [49]).
  • Y tế: Phát hiện các luật hiếm có thể hỗ trợ chẩn đoán sớm các bệnh hiếm gặp hoặc nhận diện các phản ứng phụ hiếm gặp của thuốc (ví dụ, trường hợp Cerivastatin được Szathmary và cộng sự [76] đề cập), từ đó cải thiện quy trình điều trị và đảm bảo an toàn cho bệnh nhân.
  • An ninh mạng và Phát hiện gian lận: Các kỹ thuật khai phá luật hiếm có thể được sử dụng để phát hiện các hành vi bất thường, gian lận hoặc tấn công mạng có tần suất thấp nhưng gây thiệt hại lớn.

Ảnh hưởng chính sách: Các mô hình dự báo kinh tế cải tiến, đặc biệt là cho CPI và chỉ số chứng khoán, cung cấp thông tin đáng tin cậy hơn cho các nhà hoạch định chính sách. Điều này cho phép chính phủ và các ngân hàng trung ương đưa ra các quyết định dựa trên bằng chứng, như điều chỉnh chính sách tiền tệ để kiểm soát lạm phát hoặc xây dựng các chính sách kinh tế vĩ mô nhằm ổn định thị trường và thúc đẩy tăng trưởng. Luận án cũng có thể giúp nhận diện các mối quan hệ xã hội ẩn chứa, như ví dụ của Agrawal (1993) [13] về "60% số người lao động ở độ tuổi trung niên có thu nhập thấp hơn mức thu nhập bình quân" để điều chỉnh chính sách thu nhập.

Lợi ích xã hội: Góp phần vào sự ổn định kinh tế thông qua dự báo chính xác hơn, cải thiện kết quả y tế công cộng thông qua phát hiện bệnh hiếm, và tăng cường hiệu quả phân bổ nguồn lực. Mặc dù khó định lượng chính xác, nhưng những cải tiến nhỏ trong dự báo kinh tế có thể có tác động kinh tế hàng tỷ USD và cải thiện chất lượng cuộc sống cho hàng triệu người.

Tầm quan trọng quốc tế: Các vấn đề cốt lõi về phát hiện mẫu hiếm trong dữ liệu lớn và dự báo kinh tế phức tạp là những thách thức toàn cầu. Các phương pháp được phát triển trong luận án này có tính ứng dụng quốc tế, đặc biệt là ở các thị trường mới nổi có đặc điểm dữ liệu tương tự như Việt Nam. Việc đóng góp vào các thuật toán khai phá dữ liệu cốt lõi cũng nâng cao vị thế của nghiên cứu Việt Nam trong cộng đồng khoa học quốc tế.

Đối tượng hưởng lợi

Luận án này mang lại lợi ích đa chiều cho nhiều đối tượng khác nhau:

  • Nghiên cứu sinh Tiến sĩ (Doctoral researchers): Cung cấp một nền tảng lý thuyết và phương pháp luận toàn diện, tiên tiến cho các nghiên cứu tiếp theo về khai phá luật kết hợp hiếm, khai phá dữ liệu mờ và phân tích dự báo lai ghép. Luận án chỉ ra "specific research gaps" trong các công trình trước đó và đề xuất các hướng giải quyết, giúp các nghiên cứu sinh tiết kiệm thời gian đáng kể trong việc định hình hướng nghiên cứu và phát triển phương pháp.
  • Giảng viên/Nghiên cứu viên cao cấp (Senior academics): Đóng góp các tiến bộ lý thuyết quan trọng trong việc mở rộng ứng dụng của Lý thuyết Dàn Galois và Lý thuyết Tập mờ vào một lĩnh vực phức tạp như phát hiện mẫu hiếm. Cung cấp một khuôn mẫu phương pháp luận mới cho nghiên cứu liên ngành, kết hợp Công nghệ thông tin và Kinh tế lượng, tạo ra tiền đề cho các dự án nghiên cứu lớn hơn.
  • Đội ngũ R&D trong ngành (Industry R&D teams): Cung cấp các thuật toán hiệu quả và các mô hình ứng dụng thực tiễn có thể được triển khai trực tiếp để giải quyết các vấn đề kinh doanh cụ thể. Các "practical applications" và "specific recommendations" cho việc dự báo chỉ số kinh tế, phát hiện các giao dịch bất thường hay cơ hội thị trường ngách có thể giúp các doanh nghiệp cải thiện quyết định và tăng lợi thế cạnh tranh.
  • Các nhà hoạch định chính sách (Policy makers): Trang bị các công cụ dự báo mạnh mẽ và đáng tin cậy hơn cho việc quản lý kinh tế vĩ mô. Các "evidence-based recommendations" dựa trên mô hình dự báo CPI và chứng khoán có thể hỗ trợ việc đưa ra các quyết định chính sách sáng suốt, góp phần ổn định kinh tế và thúc đẩy tăng trưởng.

Định lượng lợi ích:

  • Đối với nghiên cứu sinh Tiến sĩ: Luận án này có thể giúp giảm hàng trăm giờ tìm kiếm và thử nghiệm phương pháp luận, cho phép họ tập trung vào việc tạo ra các đóng góp mới.
  • Đối với đội ngũ R&D trong ngành: Việc cải thiện độ chính xác dự báo từ 5-10% (giả định) cho các chỉ số thị trường có thể tương đương với hàng triệu đô la trong việc tối ưu hóa danh mục đầu tư hoặc giảm thiểu rủi ro tài chính.
  • Đối với các nhà hoạch định chính sách: Các quyết định dựa trên dự báo chính xác hơn có thể có tác động đến GDP quốc gia hàng tỷ đô la mỗi năm thông qua việc quản lý lạm phát và ổn định thị trường hiệu quả hơn.

Câu hỏi chuyên sâu

  1. Đóng góp lý thuyết độc đáo nhất là gì (kể tên lý thuyết được mở rộng)? Đóng góp lý thuyết độc đáo và có ý nghĩa nhất của luận án là việc mở rộng Lý thuyết Dàn Galois và khái niệm tập đóng (do Hsiao [94] tiên phong cho các mẫu phổ biến) vào miền phát hiện Luật kết hợp hiếm, đặc biệt là cho các luật Sporadic. Điều này giải quyết một vấn đề cố hữu về hiệu quả trong khai phá luật hiếm bằng cách tận dụng tính chất rằng "Tập tất cả các tập hiếm cực đại và tập tất cả các tập hiếm đóng cực đại là bằng nhau," qua đó giảm đáng kể không gian tìm kiếm cho các tập mục không phổ biến đóng.

  2. Đổi mới về phương pháp luận là gì (so sánh với 2+ nghiên cứu trước đây)? Đổi mới phương pháp luận chính của luận án nằm ở việc thích nghi các nguyên tắc hiệu quả của thuật toán CHARM [94] (cho các tập đóng phổ biến) để giải quyết thách thức khai phá tập mục không phổ biến đóng cho các luật Sporadic, dẫn đến việc phát triển các thuật toán MCPSI và MCISI. Điều này khác biệt đáng kể so với các phương pháp duyệt theo chiều rộng trước đây như Apriori-Inverse [49] của Y. Rountree, vốn tìm kiếm tất cả các tập Sporadic và có thể gặp khó khăn về bộ nhớ và sự dư thừa. Hơn nữa, nó cũng vượt trội so với các thuật toán như ARIMA và Rarity [75, 80] của Szathmary và Troiano, những phương pháp này tập trung vào việc tìm kiếm các bộ tạo hiếm cực tiểu hoặc duyệt từ trên xuống, nhưng vẫn phải đối mặt với chi phí bộ nhớ cao hoặc kém hiệu quả trong một số tình huống độ hỗ trợ thấp. Các thuật toán lấy cảm hứng từ CHARM được đề xuất nhắm trực tiếp vào một tập hợp con nhỏ hơn, có ý nghĩa hơn của các mẫu hiếm.

  3. Phát hiện đáng ngạc nhiên nhất là gì (với sự hỗ trợ dữ liệu)? Phát hiện đáng ngạc nhiên nhất là khả năng dự báo vượt trội cho các chỉ số kinh tế biến động cao (như chỉ số chứng khoán HNX và CPI) thông qua sự tích hợp mới lạ giữa các lĩnh vực tưởng chừng như không liên quan: khai phá luật kết hợp mẫu âm rời rạc (từ Công nghệ thông tin) và Mô hình Hồi quy Chuyển tiếp Trơn liên tục (từ Kinh tế lượng). Mặc dù luận án không cung cấp trực tiếp các giá trị p-value hay effect size trong phần tổng quan, nhưng nó khẳng định rõ ràng: "Kết quả dự báo kiểm định theo mô hình được xây dựng theo cách tiếp cận này cho thấy chất lượng dự báo được cải thiện rõ rệt, độ chính xác của kết quả dự báo so với thực tiễn là khá cao [1, 7, 36]." Mức độ cải thiện này từ một mô hình lai ghép, đặc biệt khi xem xét tính phức tạp và phi tuyến của các hiện tượng kinh tế, là một kết quả bất ngờ và có tác động lớn.

  4. Giao thức tái lập có được cung cấp không? Mặc dù không có một tài liệu "giao thức tái lập" tường minh, luận án cung cấp đủ chi tiết thuật toán (ví dụ: mô tả "Thuật toán MCPSI" trong Hình 2.1, "Thuật toán MFPSI" trong Hình 3.1, các công thức cụ thể cho hàm thành viên mờ) và thảo luận về các đặc điểm của "CSDL giả định" được sử dụng cho các thí nghiệm (ví dụ: CSDL T5I1000D10K trong Bảng 2.1). Điều này cho phép các nhà nghiên cứu khác về nguyên tắc có thể triển khai và tái lập các thí nghiệm tính toán. Các nguồn dữ liệu cho các ứng dụng thực tế (dữ liệu thị trường chứng khoán, dữ liệu CPI) cũng thường là các nguồn công khai, tạo điều kiện cho việc tái lập các kết quả ứng dụng.

  5. Chương trình nghiên cứu 10 năm có được phác thảo không? Có, phần "Limitations và Future Research" của luận án phác thảo một chương trình nghiên cứu cụ thể với 4-5 hướng đi rõ ràng. Điều này bao gồm việc phát triển các chiến lược cắt tỉa tinh vi hơn cho Giai đoạn 2 (sinh luật từ tập hiếm), tự động hóa việc học tham số mờ, mở rộng mô hình lai ghép sang các chỉ số/kỹ thuật khác, áp dụng các phương pháp vào các miền mới (an ninh mạng, y học), và khám phá điện toán phân tán để tăng khả năng mở rộng. Những định hướng này tạo nên một nền tảng vững chắc cho lộ trình nghiên cứu trong 10 năm tới.

Kết luận

Luận án này đã đạt được những đóng góp khoa học và thực tiễn đáng kể, mở ra các hướng đi mới trong lĩnh vực khai phá dữ liệu và ứng dụng liên ngành. Các đóng góp chính có thể được tóm tắt như sau:

  1. Phát triển các thuật toán MCPSI, MCISI để khai phá các tập mục Sporadic đóng (tuyệt đối và không tuyệt đối) trên CSDL tác vụ, cải thiện hiệu quả đáng kể thông qua việc giảm không gian tìm kiếm và sự dư thừa.
  2. Giới thiệu thuật toán NC-CHARM để khai phá các tập mục đóng với ràng buộc mục dữ liệu âm, mở rộng khả năng phát hiện các mối quan hệ phức tạp.
  3. Tích hợp thành công lý thuyết tập mờ vào khai phá luật kết hợp hiếm trên CSDL định lượng, dẫn đến các thuật toán MFPSI và MFISI, giúp khắc phục vấn đề "điểm biên gãy" và biểu diễn luật một cách tự nhiên hơn.
  4. Đề xuất một mô hình lai ghép tiên tiến, kết hợp khai phá luật kết hợp mẫu âm với mô hình hồi quy chuyển tiếp trơn phi tuyến tính, mang lại chất lượng dự báo vượt trội cho các chỉ số kinh tế (CPI và chứng khoán) tại Việt Nam.
  5. Thực hiện kiểm định thực nghiệm toàn diện trên nhiều loại CSDL khác nhau (giả định, thực tế và kinh tế), cung cấp bằng chứng vững chắc về hiệu suất và tính khả thi của các giải pháp đề xuất.

Luận án này đã thúc đẩy một sự tiến bộ trong paradigm của việc khám phá các mẫu dữ liệu, dịch chuyển trọng tâm từ chỉ tìm kiếm các mẫu phổ biến sang việc khai thác hiệu quả các mẫu hiếm nhưng có giá trị cao. Bằng chứng về hiệu quả tính toán và độ chính xác dự báo vượt trội là minh chứng rõ ràng cho sự tiến bộ này.

Nghiên cứu này đã mở ra nhiều luồng nghiên cứu mới, bao gồm: (1) Các kỹ thuật khai phá tập đóng tiên tiến cho các dạng mẫu hiếm khác nhau; (2) Phát triển mô hình lai ghép khai phá dữ liệu và kinh tế lượng cho các tác vụ dự báo phức tạp; (3) Thiết kế hệ thống mờ tự động và thích ứng cho khám phá mẫu; và (4) Mở rộng ứng dụng của phát hiện mẫu hiếm vào các lĩnh vực quan trọng như phát hiện bất thường và chẩn đoán y tế.

Với việc xây dựng trên các nghiên cứu quốc tế (Agrawal, Hsiao, Rountree, Szathmary) và đưa ra các giải pháp sáng tạo, luận án này có tầm quan trọng toàn cầu, giải quyết các thách thức chung về khai phá dữ liệu trong một thế giới ngày càng dựa trên dữ liệu. Di sản của luận án sẽ là một bộ thuật toán mới, một khuôn khổ lý thuyết mạnh mẽ cho việc khám phá mẫu hiếm, và một mô hình liên ngành đã được xác thực, có khả năng phục vụ như một nền tảng cho các công cụ phân tích thế hệ tiếp theo, mang lại các kết quả đo lường được trong học thuật, công nghiệp và chính sách.