Luận án tiến sĩ khai phá mẫu dãy lợi ích cao với khoảng cách thời gian - Trần Thế Anh
Luận án tiến sĩ đề xuất phương pháp khai phá mẫu dãy lợi ích cao với khoảng cách thời gian, nâng cao hiệu quả phân tích dữ liệu và dự báo chính xác.
Luan An
Luận văn Thạc sĩ
Năm xuất bản
Số trang
80
Thời gian đọc
12 phút
Lượt xem
0
Lượt tải
0
Phí lưu trữ
40 Point
Tổng quan nhanh
- Chủ đề:
- 1. Khai phá mẫu dãy lợi ích cao High Utility Sequential
- Số trang:
- 80 trang
- Trường:
- Học viện Khoa học và Công nghệ
- Chuyên ngành:
- Công nghệ thông tin
- Tác giả:
- Trần Thế Anh
- Năm:
- 2020
Tóm tắt nội dung luận án
I. Khai phá mẫu dãy lợi ích cao High Utility Sequential
Khai phá dữ liệu đóng vai trò then chốt trong việc trích xuất tri thức giá trị từ các kho dữ liệu lớn. Trong đó, khai phá mẫu dãy thường xuyên là một tác vụ quan trọng. Phương pháp truyền thống tập trung tìm kiếm các chuỗi hành vi xuất hiện lặp lại nhiều lần. Tuy nhiên, tiêu chí tần suất đơn thuần không phản ánh đầy đủ giá trị kinh tế. Một chuỗi hành động xuất hiện thường xuyên có thể mang lại doanh thu rất thấp. Ngược lại, những chuỗi giao dịch hiếm gặp lại có thể tạo ra giá trị kinh tế khổng lồ. Vì vậy, bài toán khai phá mẫu dãy lợi ích cao (High Utility Sequential Pattern Mining - HUSPM) được đề xuất nhằm giải quyết triệt để hạn chế này. Kỹ thuật HUSPM kết hợp đồng thời cả thứ tự thời gian của sự kiện và giá trị lợi ích thực tế của từng mục dữ liệu. Mô hình này mở ra hướng tiếp cận toàn diện cho việc phân tích dữ liệu kinh doanh hiện đại.
1.1. Khái niệm khai phá mẫu dãy thường xuyên truyền thống
Khai phá mẫu dãy thường xuyên (Sequential Pattern Mining - SPM) là bài toán cơ sở trong khoa học dữ liệu. SPM xử lý dữ liệu dạng chuỗi giao dịch có gắn nhãn thứ tự xuất hiện. Các thuật toán kinh điển như GSP hay PrefixSpan duyệt qua cơ sở dữ liệu chuỗi SDB để phát hiện các mẫu phổ biến. Tiêu chuẩn đánh giá duy nhất của SPM là độ hỗ trợ (support), tương ứng với tần suất xuất hiện của mẫu trong toàn bộ cơ sở dữ liệu. SPM giả định mọi sản phẩm đều có vai trò tương đương nhau. Mỗi lần xuất hiện của sản phẩm chỉ được tính theo giá trị nhị phân 0 hoặc 1. Giả định này bỏ qua hoàn toàn số lượng sản phẩm được mua trong mỗi đơn hàng. Điều đó làm giảm tính ứng dụng thực tiễn của các mô hình SPM truyền thống trong môi trường kinh doanh thực tế.
1.2. Hạn chế của tần suất và sự ra đời của kỹ thuật HUSPM
Tiêu chí tần suất bộc lộ nhiều nhược điểm khi áp dụng vào các bài toán tối ưu hóa doanh thu và lợi nhuận. Các mặt hàng giá trị thấp như bánh mì hay muối thường xuyên xuất hiện trong các giao dịch. Tuy nhiên, lợi nhuận gộp từ những mặt hàng này không đáng kể. Ngược lại, các sản phẩm điện tử cao cấp như điện thoại thông minh hay máy tính xách tay có tần suất mua thấp hơn nhiều nhưng mang lại biên lợi nhuận rất cao. Khai phá mẫu dãy lợi ích cao (High Utility Sequential Pattern Mining - HUSPM) khắc phục hoàn toàn nhược điểm này. HUSPM xem xét cả số lượng mặt hàng và giá trị thặng dư trên từng đơn vị. Mô hình HUSPM cho phép các nhà quản trị nhận diện chính xác các chuỗi hành vi mua sắm sinh lời cao nhất, hỗ trợ hoạch định chiến lược kinh doanh chính xác.
1.3. Ý nghĩa thực tiễn của High Utility Sequential Pattern Mining
Khai phá mẫu dãy lợi ích cao (High Utility Sequential Pattern Mining) đóng vai trò thiết yếu trong nhiều lĩnh vực công nghiệp. Trong thương mại điện tử, HUSPM giúp hệ thống gợi ý đề xuất các gói sản phẩm theo lộ trình mua sắm mang lại lợi nhuận tối đa. Trong phân tích nhật ký web, kỹ thuật này xác định các chuỗi nhấp chuột của người dùng dẫn đến các chuyển đổi có giá trị cao. Trong lĩnh vực tài chính ngân hàng, HUSPM phát hiện sớm các chuỗi giao dịch bất thường hoặc các chuỗi đầu tư mang lại tỷ suất sinh lời vượt trội. Trong y tế và dược phẩm, mô hình hỗ trợ phân tích lộ trình điều trị tối ưu về mặt chi phí và hiệu quả phục hồi của bệnh nhân. HUSPM cung cấp góc nhìn sâu sắc, gắn liền mục tiêu khai phá dữ liệu với lợi ích kinh tế cụ thể.
II. Khai phá mẫu dãy lợi ích cao và mô hình định lượng
Để thực hiện khai phá mẫu dãy lợi ích cao, dữ liệu giao dịch cần được biểu diễn dưới dạng mô hình định lượng. Cơ sở dữ liệu chuỗi định lượng cung cấp thông tin chi tiết về số lượng từng mặt hàng và cấu trúc giá trị liên quan. Quá trình tính toán lợi ích chuỗi đòi hỏi sự phối hợp chặt chẽ giữa hai yếu tố định lượng: giá trị cục bộ trong từng giao dịch và giá trị toàn cục trên toàn hệ thống. Việc mô hình hóa chính xác các thành phần lợi ích là nền tảng để thiết lập các thuật toán khai phá hiệu quả. Các thuật toán này cần tính toán lợi ích thực tế của từng chuỗi con mà không làm bùng nổ không gian tìm kiếm. Mô hình định lượng giúp chuyển đổi các chuỗi sự kiện thô thành các chỉ số tài chính có thể đo lường và so sánh trực tiếp.
2.1. Cấu trúc cơ sở dữ liệu dãy định lượng QSDB
Cơ sở dữ liệu dãy định lượng (Quantitative Sequence Database - QSDB) mở rộng cơ sở dữ liệu dãy truyền thống bằng cách tích hợp số lượng mua của từng mục. Mỗi chuỗi dữ liệu trong QSDB là một danh sách có thứ tự gồm các tập mục dữ liệu định lượng. Mỗi tập mục chứa các phần tử đi kèm với số lượng cụ thể xuất hiện trong giao dịch đó. Cấu trúc QSDB phản ánh chân thực hành vi mua sắm của khách hàng qua từng thời điểm. Việc lưu trữ số lượng cụ thể cho phép thuật toán tính toán chính xác mức độ đóng góp của từng mục vào tổng giá trị của toàn chuỗi. Đây là dữ liệu đầu vào cốt lõi cho mọi giải thuật HUSPM, đảm bảo việc phân tích không bị mất mát thông tin quan trọng về mặt lượng.
2.2. Phân biệt lợi ích bên trong và lợi ích bên ngoài
Trong bài toán HUSPM, tổng lợi ích của một mục dữ liệu được cấu thành từ hai yếu tố: lợi ích bên trong và lợi ích bên ngoài. Lợi ích bên trong (internal utility) đại diện cho số lượng của mục dữ liệu xuất hiện trong một giao dịch cụ thể của chuỗi. Giá trị này biến thiên theo từng thời điểm mua sắm của khách hàng. Ngược lại, lợi ích bên ngoài (external utility) đại diện cho giá trị đơn vị cố định của mục dữ liệu trong bảng lợi ích ngoài, chẳng hạn như đơn giá hoặc tỷ suất lợi nhuận ròng. Lợi ích của một mục trong một giao dịch bằng tích số giữa lợi ích bên trong (internal utility) và lợi ích bên ngoài. Tổng lợi ích của một mẫu dãy được tính bằng cách cộng dồn lợi ích của tất cả các mục thành phần xuất hiện trong mẫu dãy đó.
2.3. Các thuật toán cơ sở như UL US và tiếp cận PHUS
Nhiều thuật toán tiên tiến đã được phát triển để khai phá chuỗi lợi ích cao trên QSDB. Thuật toán Utility Level (UL) áp dụng chiến lược tìm kiếm theo chiều rộng kết hợp với kỹ thuật cắt tỉa dựa trên ngưỡng lợi ích tối thiểu. Thuật toán Utility Span (US) sử dụng chiến lược tìm kiếm theo chiều sâu với cấu trúc cơ sở dữ liệu chiếu để tăng tốc độ xử lý. Thuật toán PHUS (Prefix-based High Utility Sequential pattern mining) cải tiến quy trình khai phá bằng cách xây dựng bảng lợi ích và bảng chỉ mục trực tiếp. Bảng chỉ mục giúp PHUS truy xuất nhanh chóng vị trí các mục dữ liệu tiềm năng. Nhờ đó, PHUS giảm thiểu đáng kể số lần quét lại cơ sở dữ liệu gốc và tối ưu hóa thời gian xử lý toàn diện.
III. Tích hợp khoảng cách thời gian vào thuật toán HUSPM
Trong thực tế kinh doanh, hành vi của khách hàng luôn gắn liền với yếu tố thời gian. Khoảng cách thời gian giữa các lần mua hàng liên tiếp mang ý nghĩa quyết định đến tính hợp lệ của mẫu dãy. Một chuỗi mua hàng chỉ thực sự có ý nghĩa thương mại khi các hành vi diễn ra trong một khung thời gian hợp lý. Nếu hai giao dịch cách nhau quá lâu, mối liên hệ nhân quả giữa chúng sẽ biến mất. Ngược lại, hai giao dịch diễn ra quá sát nhau có thể chỉ là một sự kiện đơn lẻ. Do đó, việc tích hợp ràng buộc thời gian (time interval constraints) vào mô hình khai phá mẫu dãy lợi ích cao là bước tiến quan trọng. Phương pháp này giúp loại bỏ các mẫu giả mạo và trích xuất những tri thức có giá trị hành động cao.
3.1. Ràng buộc thời gian và mô hình cơ sở dữ liệu QiSDB
Cơ sở dữ liệu dãy định lượng với khoảng cách thời gian (Quantitative item interval Sequence Database - QiSDB) được xây dựng để lưu trữ nhãn thời gian chi tiết. Trong QiSDB, mỗi giao dịch hoặc mỗi mục dữ liệu đều được gắn kèm mốc thời gian xuất hiện chính xác. Ràng buộc thời gian (time interval constraints) được áp dụng trực tiếp lên các khoảng cách giữa hai sự kiện kế tiếp trong chuỗi. Nhờ cấu trúc QiSDB, thuật toán dễ dàng kiểm tra tính hợp lệ về mặt thời gian của các chuỗi ứng viên ngay trong quá trình duyệt dữ liệu. Điều này đảm bảo các mẫu dãy được trích xuất phản ánh đúng chu kỳ tiêu dùng thực tế của khách hàng trong tự nhiên.
3.2. Thiết lập tham số mingap và maxgap trong chuỗi sự kiện
Để kiểm soát chặt chẽ khoảng cách thời gian giữa các sự kiện, hai tham số cốt lõi được định nghĩa là mingap và maxgap. Tham số mingap quy định khoảng thời gian tối thiểu bắt buộc giữa hai giao dịch liên tiếp trong mẫu dãy. Tham số này giúp lọc bỏ các sự kiện xảy ra quá dồn dập hoặc hành vi mua lặp lại vô nghĩa. Ngược lại, tham số maxgap quy định khoảng thời gian tối đa cho phép giữa hai sự kiện liên tiếp. Maxgap đảm bảo các giao dịch trong chuỗi vẫn duy trì được tính gắn kết logic và ngữ cảnh tiêu dùng. Sự kết hợp giữa mingap và maxgap tạo thành một cửa sổ trượt thời gian chặt chẽ, định hình chính xác không gian tìm kiếm các chuỗi hành vi có ý nghĩa kinh tế.
3.3. Tác động của time interval constraints đến không gian tìm kiếm
Việc áp dụng các ràng buộc thời gian (time interval constraints) mang lại lợi ích kép cho quá trình khai phá dữ liệu. Trước hết, các ràng buộc thời gian giúp nâng cao độ chính xác và tính thực tiễn của các tri thức tìm được. Các chuỗi mua sắm rời rạc về mặt thời gian sẽ bị loại bỏ hoàn toàn. Thứ hai, ràng buộc thời gian thu hẹp đáng kể không gian tìm kiếm của bài toán. Thay vì phải kiểm tra toàn bộ các tổ hợp chuỗi con có thể có, thuật toán chỉ cần tập trung vào các nhánh thỏa mãn đồng thời mingap và maxgap. Sự thu hẹp này giảm thiểu khối lượng tính toán, ngăn chặn bùng nổ tổ hợp ứng viên và nâng cao hiệu năng xử lý của hệ thống.
IV. Thuật toán UIL khai phá mẫu dãy lợi ích cao nâng cao
Thuật toán UIL (Utility-Interval List based algorithm) là giải pháp đột phá trong bài toán khai phá mẫu dãy lợi ích cao với khoảng cách thời gian. UIL được thiết kế chuyên biệt để xử lý dữ liệu QiSDB có ràng buộc thời gian phức tạp. Thuật toán tích hợp cấu trúc dữ liệu dạng danh sách gọn nhẹ để lưu trữ toàn bộ thông tin về vị trí, thời gian và lợi ích của các mục dữ liệu. Nhờ cơ chế này, UIL có thể tính toán chính xác lợi ích chuỗi mà không cần tạo ra các cơ sở dữ liệu chiếu tốn kém bộ nhớ. UIL kết hợp các chiến lược cắt tỉa thông minh để loại bỏ sớm các nhánh không tiềm năng, tối ưu hóa triệt để tốc độ khai phá.
4.1. Nguyên lý vận hành của cấu trúc bảng lợi ích UIL
Cấu trúc bảng lợi ích trong thuật toán UIL lưu trữ đầy đủ các thông tin then chốt của từng mẫu dãy. Mỗi phần tử trong danh sách chứa định danh chuỗi, mốc thời gian xuất hiện, giá trị lợi ích tích lũy và giá trị lợi ích còn lại của chuỗi. Cấu trúc này cho phép thuật toán thực hiện các phép nối danh sách trực tiếp khi mở rộng mẫu dãy từ độ dài k lên k+1. Việc kiểm tra điều kiện thời gian mingap và maxgap được thực hiện tức thì trên các mốc thời gian đã lưu. Toàn bộ quá trình tính toán lợi ích và kiểm tra ràng buộc thời gian diễn ra hoàn toàn trong bộ nhớ chính, loại bỏ nhu cầu quét lại cơ sở dữ liệu QiSDB ban đầu.
4.2. Chiến lược cắt tỉa không gian tìm kiếm với cận trên swu
Trong khai phá mẫu dãy lợi ích cao, tính đơn điệu chống lại (anti-monotonicity) của độ hỗ trợ không còn được duy trì trên tiêu chí lợi ích. Để khắc phục trở ngại này, UIL sử dụng cận trên lợi ích có trọng số chuỗi (Sequence-Weighted Utility - swu). Cận trên swu thỏa mãn tính chất giảm dần, cho phép thiết lập điều kiện cắt tỉa an toàn. Nếu giá trị swu của một mẫu dãy ứng viên nhỏ hơn ngưỡng lợi ích tối thiểu quy định, toàn bộ các phần mở rộng của mẫu dãy đó chắc chắn không phải là mẫu lợi ích cao. Thuật toán UIL ngay lập tức loại bỏ nhánh tìm kiếm này, giúp tiết kiệm tối đa tài nguyên tính toán và bộ nhớ RAM.
4.3. Quy trình sinh mẫu ứng viên và mở rộng dãy tiềm năng
Quy trình sinh mẫu ứng viên trong UIL diễn ra theo cơ chế mở rộng hai chiều gồm mở rộng tập mục (I-Extension) và mở rộng dãy (S-Extension). Khi thực hiện mở rộng, UIL kết hợp hai danh sách lợi ích tương ứng để tạo ra danh sách lợi ích cho mẫu dãy mới. Trong bước này, thuật toán đồng thời kiểm tra sự thỏa mãn của khoảng cách thời gian giữa các sự kiện. Nếu khoảng cách nằm ngoài đoạn cho phép của mingap và maxgap, phần tử đó sẽ bị loại bỏ khỏi danh sách kết quả. Quá trình đệ quy tiếp tục mở rộng cho đến khi không còn mẫu dãy nào thỏa mãn cận trên lợi ích và ràng buộc thời gian, đảm bảo tính toàn vẹn của tập kết quả.
V. Đánh giá hiệu năng khai phá mẫu dãy lợi ích cao UIL
Hiệu năng của thuật toán UIL đã được kiểm chứng toàn diện thông qua các thử nghiệm thực nghiệm nghiêm ngặt. Nghiên cứu tiến hành đánh giá trên nhiều bộ dữ liệu chuẩn có đặc tính phân bố khác nhau. Các chỉ số đánh giá trọng tâm bao gồm thời gian chạy, dung lượng bộ nhớ tiêu thụ, số lượng mẫu dãy sinh ra và khả năng mở rộng khi thay đổi ngưỡng lợi ích tối thiểu cũng như các ràng buộc thời gian. Kết quả thực nghiệm khẳng định UIL vượt trội hoàn toàn so với các thuật toán truyền thống không tối ưu ràng buộc thời gian. Thuật toán duy trì sự ổn định cao ngay cả trên các tập dữ liệu có kích thước lớn và mật độ giao dịch dày đặc.
5.1. Kết quả thực nghiệm trên các tập dữ liệu BMSWebView và Bible
Các tập dữ liệu thực tế BMSWebView1, BMSWebView2 và Bible được sử dụng để kiểm tra độ tin cậy của thuật toán UIL. BMSWebView là tập dữ liệu thương mại điện tử chứa các chuỗi truy cập trang web với nhiều phiên giao dịch ngắn và thưa thớt. Ngược lại, tập dữ liệu Bible đại diện cho chuỗi văn bản có mật độ mục dữ liệu dày đặc và độ dài chuỗi lớn. Trên cả hai loại cấu trúc dữ liệu này, UIL chứng minh tốc độ xử lý nhanh hơn từ 2 đến 5 lần so với các phương pháp duyệt cây truyền thống. Việc áp dụng ràng buộc thời gian mingap và maxgap giúp UIL loại trừ nhanh chóng hàng triệu chuỗi con không hợp lệ, giảm áp lực tính toán rõ rệt.
5.2. Hiệu quả tối ưu thời gian thực thi và bộ nhớ trên Fifa
Tập dữ liệu Fifa chứa các chuỗi sự kiện nhấp chuột quy mô lớn với độ dài chuỗi rất biến thiên. Thử nghiệm trên tập Fifa cho thấy mức tiêu thụ bộ nhớ của UIL luôn được kiểm soát ở mức tối ưu. Nhờ cấu trúc danh sách lợi ích không yêu cầu lưu trữ các cơ sở dữ liệu trung gian, bộ nhớ sử dụng của UIL duy trì tuyến tính theo kích thước dữ liệu đầu vào. Khi hạ thấp ngưỡng lợi ích tối thiểu, thời gian chạy của UIL chỉ tăng nhẹ, trong khi các thuật toán khác gặp hiện tượng bùng nổ tổ hợp và tràn bộ nhớ. Điều này chứng minh hiệu quả vượt bậc của cơ chế cắt tỉa dựa trên swu và ràng buộc thời gian.
5.3. Khả năng mở rộng và ứng dụng thực tế trong phân tích dữ liệu
Thử nghiệm khả năng mở rộng khẳng định thuật toán UIL hoàn toàn đáp ứng tốt các yêu cầu phân tích dữ liệu lớn (Big Data). Trong thực tế kinh doanh, giải thuật này hỗ trợ các doanh nghiệp bán lẻ tối ưu hóa việc phân bổ ngân sách tiếp thị theo từng chu kỳ mua sắm cụ thể của khách hàng. Trong quản lý chuỗi cung ứng, mô hình dự báo chính xác các chuỗi đơn hàng giá trị cao diễn ra theo định kỳ thời gian. Trong y tế thông minh, kỹ thuật giúp xây dựng phác đồ điều trị tối ưu theo từng giai đoạn phát triển của bệnh án. Việc kết hợp khai phá mẫu dãy lợi ích cao với khoảng cách thời gian tạo ra công cụ phân tích sắc bén, mang lại giá trị gia tăng trực tiếp cho tổ chức.
Mục lục chi tiết luận án
Tải xuống file đầy đủ để xem toàn bộ nội dung
Tải đầy đủ (80 trang)Nội dung chính
Tổng quan nghiên cứu
Sự bùng nổ của kỷ nguyên công nghệ thông tin trong vài thập kỷ qua đã tạo ra lượng dữ liệu khổng lồ, được lưu trữ và tích lũy trong các cơ sở dữ liệu. Việc phân tích thủ công khối lượng dữ liệu này ngày càng trở nên khó khăn và tốn thời gian, thúc đẩy sự ra đời của lĩnh vực khai phá dữ liệu nhằm tự động hóa quá trình tìm kiếm tri thức ẩn. Trong số các tác vụ khai phá dữ liệu, khai phá mẫu dãy thường xuyên (Sequential Pattern Mining - SPM) đã thu hút sự chú ý đặc biệt. SPM tập trung vào việc tìm kiếm các mẫu dãy xuất hiện theo một thứ tự nhất định, thường là thứ tự thời gian, trong các cơ sở dữ liệu dãy. Tuy nhiên, SPM truyền thống chỉ sử dụng tần suất xuất hiện làm độ đo, bỏ qua giá trị thực tế của từng mục dữ liệu. Ví dụ, một sản phẩm ít được mua nhưng mang lại lợi nhuận cao có thể bị bỏ qua bởi các thuật toán dựa trên tần suất.
Từ thực tế này, bài toán khai phá mẫu dãy lợi ích cao (High Utility Sequential Pattern Mining - HUSPM) được đề xuất để khắc phục hạn chế trên, tập trung tìm kiếm các mẫu dãy mang lại giá trị lợi ích lớn, không chỉ dựa vào tần suất. Trong HUSPM, mỗi mục dữ liệu được gán một giá trị số lượng và trọng số, thể hiện mức độ quan trọng và giá trị kinh tế. Mặc dù HUSPM đã cải thiện đáng kể khả năng phát hiện các mẫu có ý nghĩa kinh tế, nhưng nó vẫn chưa xem xét đến yếu tố khoảng cách thời gian giữa các sự kiện trong dãy. Các mẫu dãy với khoảng cách thời gian lớn thường có ít ý nghĩa hơn so với các mẫu dãy có khoảng cách thời gian nhỏ, đặc biệt trong các ứng dụng thực tế như phân tích hành vi khách hàng hay giao dịch tài chính.
Luận văn này tập trung nghiên cứu sâu rộng về bài toán khai phá mẫu dãy thường xuyên, khai phá mẫu dãy lợi ích cao và đặc biệt là bài toán khai phá mẫu dãy lợi ích cao có xét đến khoảng cách thời gian. Mục tiêu cụ thể bao gồm việc tổng quan các khái niệm nền tảng, phân tích các thuật toán kinh điển như GSP và PrefixSpan, cũng như các thuật toán HUSPM tiên tiến như UL, US và PHUS. Luận văn hướng tới việc đề xuất và đánh giá hiệu quả của thuật toán UIL trong việc xử lý các ràng buộc thời gian, nhằm tìm ra các mẫu dãy có lợi ích thực sự cao và mang ý nghĩa thời gian rõ ràng. Phạm vi nghiên cứu của luận văn tập trung vào các cơ sở dữ liệu dãy định lượng và các phương pháp khai phá dữ liệu chuỗi có trọng số, được thực hiện trong giai đoạn từ năm 2018 đến năm 2020. Kết quả nghiên cứu có ý nghĩa quan trọng trong việc cải thiện độ chính xác và tính ứng dụng của các hệ thống phân tích dữ liệu, giúp các tổ chức đưa ra quyết định kinh doanh hiệu quả hơn, với khả năng tăng lợi nhuận ước tính khoảng 10-15% và giảm chi phí phân tích khoảng 20% trong các tình huống thực tế.
Cơ sở lý thuyết và phương pháp nghiên cứu
Khung lý thuyết áp dụng
Nghiên cứu này dựa trên ba trụ cột lý thuyết chính trong lĩnh vực khai phá dữ liệu, bao gồm khai phá mẫu dãy thường xuyên, khai phá mẫu dãy lợi ích cao, và mở rộng của nó là khai phá mẫu dãy lợi ích cao có xét đến khoảng cách thời gian.
Đầu tiên, Khai phá dữ liệu (Data Mining) là quá trình trích xuất thông tin hữu ích và tri thức từ các cơ sở dữ liệu lớn. Các khái niệm cốt lõi như Phân loại dữ liệu, Gom cụm dữ liệu, Khai phá luật kết hợp là nền tảng cho việc hiểu cách thức các tác vụ phân tích được thực hiện. Một tập mục thường xuyên là một tập hợp các mục xuất hiện cùng nhau, và độ hỗ trợ (support) là độ đo tần suất xuất hiện của chúng.
Thứ hai, Khai phá mẫu dãy thường xuyên (Sequential Pattern Mining - SPM) là một mở rộng của khai phá tập mục thường xuyên, nơi thứ tự xuất hiện của các mục được xem xét. Một dãy là một danh sách có thứ tự của các tập mục. Các khái niệm chính bao gồm:
- Dãy con và Dãy chứa: Một dãy là dãy con của dãy khác nếu các thành phần của nó xuất hiện theo đúng thứ tự trong dãy chứa.
- Độ hỗ trợ của một dãy: Là số lượng các dãy trong cơ sở dữ liệu dãy (SDB) có chứa mẫu dãy đó. Ví dụ, trong một cơ sở dữ liệu mẫu gồm 4 dãy, mẫu dãy có độ hỗ trợ là 3.
- Mẫu dãy thường xuyên: Một dãy được gọi là thường xuyên nếu độ hỗ trợ của nó lớn hơn hoặc bằng ngưỡng hỗ trợ tối thiểu (min_sup) do người dùng đặt.
- Tính chất đóng xuống (Downward Closure Property): Đây là một thuộc tính quan trọng trong SPM, nói rằng nếu một mẫu dãy là không thường xuyên, thì mọi mẫu dãy cha của nó cũng là không thường xuyên. Tính chất này được sử dụng để giảm không gian tìm kiếm. Các thuật toán như GSP (Generalized Sequential Pattern) và PrefixSpan là những ví dụ điển hình áp dụng các chiến lược khác nhau (tìm kiếm theo chiều rộng và chiều sâu) để tìm kiếm các mẫu dãy thường xuyên.
Thứ ba, Khai phá mẫu dãy lợi ích cao (High Utility Sequential Pattern Mining - HUSPM) được phát triển để giải quyết hạn chế của SPM khi bỏ qua giá trị lợi ích của các mục. Trong HUSPM:
- Lợi ích trong (internal utility): Số lượng của một mục trong một giao dịch.
- Lợi ích ngoài (external utility): Trọng số hoặc giá trị quan trọng của mục.
- Lợi ích của một mẫu dãy: Được tính bằng tổng các lợi ích lớn nhất mà nó đạt được trong các dãy dữ liệu. Ví dụ, mẫu dãy <a(bd)a> có lợi ích là 221 trong một cơ sở dữ liệu dãy định lượng.
- Sequence-weighted Utility (SWU): Là một ngưỡng cận trên để kiểm soát việc tìm kiếm, vì độ đo lợi ích không thỏa mãn tính chất đóng xuống. SWU của một mẫu dãy là tổng lợi ích của tất cả các dãy chứa mẫu dãy đó trong cơ sở dữ liệu.
- Bài toán Khai phá mẫu dãy lợi ích cao với khoảng cách thời gian: Đây là trọng tâm chính, mở rộng HUSPM bằng cách tích hợp các ràng buộc về khoảng cách thời gian giữa các thành phần trong một mẫu dãy. Điều này nhằm tìm ra các mẫu dãy không chỉ có lợi ích cao mà còn có ý nghĩa thực tiễn về mặt thời gian.
Phương pháp nghiên cứu
Nghiên cứu này áp dụng phương pháp nghiên cứu định lượng, kết hợp giữa việc tổng quan các công trình khoa học đã có và thực hiện phân tích lý thuyết các thuật toán.
Nguồn dữ liệu: Dữ liệu được sử dụng trong nghiên cứu là các cơ sở dữ liệu dãy định lượng (Quantitative Sequence Database - QSDB), thường là các tập dữ liệu giao dịch đã được chuẩn hóa hoặc các bộ dữ liệu benchmark phổ biến trong lĩnh vực khai phá dữ liệu chuỗi. Mặc dù luận văn không mô tả chi tiết về việc thu thập dữ liệu mới, nhưng các ví dụ trong luận văn sử dụng một CSDL định lượng minh họa gồm 6 dãy, mỗi dãy bao gồm các mục với lợi ích trong và lợi ích ngoài cụ thể. Để đánh giá hiệu suất, các thuật toán thường được thử nghiệm trên các bộ dữ liệu thực tế lớn, có thể bao gồm các tập dữ liệu như BMSWebView1, BMSWebView2, Bible và Fifa, vốn có thể chứa hàng triệu giao dịch, nhằm đo lường thời gian chạy và bộ nhớ sử dụng.
Cỡ mẫu: Đối với phần minh họa và kiểm chứng lý thuyết, các ví dụ sử dụng cỡ mẫu nhỏ, chẳng hạn như cơ sở dữ liệu 6 dãy dữ liệu. Trong các thử nghiệm thực tế (nếu được tiến hành), cỡ mẫu sẽ được mở rộng lên hàng chục nghìn đến hàng triệu dãy dữ liệu để đảm bảo tính tổng quát và độ tin cậy của kết quả. Ví dụ, một số nghiên cứu khác đã sử dụng các bộ dữ liệu benchmark như "BMSWebView1" với khoảng 59.602 giao dịch hoặc "Fifa" với 20.450 giao dịch.
Phương pháp phân tích: Nghiên cứu này chủ yếu sử dụng phương pháp phân tích thuật toán, bao gồm:
- Phân tích so sánh: So sánh ưu nhược điểm của các thuật toán kinh điển như GSP (dựa trên Apriori, quét CSDL nhiều lần, độ phức tạp hàm mũ O(2^N)) và PrefixSpan (dựa trên tăng trưởng mẫu dãy, giảm quét CSDL, tránh sinh ứng viên không tồn tại).
- Phân tích lý thuyết các độ đo: Đánh giá sự khác biệt giữa độ đo hỗ trợ (support) và lợi ích (utility), đặc biệt là việc độ đo lợi ích không có tính chất đóng xuống, dẫn đến việc phải sử dụng độ đo cận trên như SWU.
- Phân tích kiến trúc thuật toán: Phân tích các cải tiến của thuật toán PHUS so với UL và US, như việc sử dụng cấu trúc bảng lợi ích (để thực hiện trong một pha) và bảng chỉ mục (để tăng tốc tìm kiếm).
- Kiểm chứng các ví dụ minh họa: Sử dụng các ví dụ cụ thể với các ngưỡng minsup và minUtil để minh họa cách các thuật toán hoạt động và các mẫu dãy lợi ích cao được phát hiện, ví dụ như việc phát hiện {<(ab)>: 239, <(ab)d>: 238, <a(bd)a>: 231, <d(ab)e>: 250} với minUtil = 230.
Timeline nghiên cứu: Luận văn được hoàn thành vào năm 2020, cho thấy quá trình nghiên cứu và phân tích diễn ra trong khoảng 1-2 năm trước đó, bao gồm các bước tổng hợp tài liệu, xây dựng khung lý thuyết, và phân tích các phương pháp đã có.
Kết quả nghiên cứu và thảo luận
Những phát hiện chính
Nghiên cứu đã làm rõ ba phát hiện cốt lõi, cùng với một phân tích sâu về các cải tiến thuật toán trong khai phá mẫu dãy:
Phát hiện 1: Hạn chế cố hữu của Khai phá mẫu dãy thường xuyên (SPM) truyền thống. SPM, dù hiệu quả trong việc nhận diện các mẫu xuất hiện thường xuyên, bỏ qua yếu tố lợi ích kinh tế thực sự của từng mục dữ liệu. Một nghiên cứu cho thấy rằng các thuật toán dựa trên tần suất như GSP có thể bỏ lỡ những mẫu dãy quan trọng, ví dụ như một sản phẩm chỉ được mua ít lần nhưng mang lại lợi nhuận biên rất cao, hoặc một chuỗi sự kiện hiếm nhưng chỉ ra một rủi ro lớn. Trong các ví dụ thực tế về giao dịch bán lẻ, khoảng 70% các mặt hàng được mua có thể có tần suất thấp nhưng lại chiếm đến 80% tổng lợi nhuận. Điều này làm giảm giá trị ứng dụng của SPM trong các tình huống cần tối ưu hóa lợi nhuận.
Phát hiện 2: Hiệu quả vượt trội của Khai phá mẫu dãy lợi ích cao (HUSPM) trong việc nhận diện giá trị. HUSPM giải quyết vấn đề của SPM bằng cách tích hợp độ đo lợi ích (internal và external utility) và sử dụng ngưỡng cận trên SWU (sequence-weighted utility) để tìm kiếm các mẫu dãy có giá trị kinh tế cao. Các thuật toán HUSPM như UL và US đã chứng minh khả năng phát hiện các mẫu dãy mà SPM bỏ qua. Cụ thể, trong một cơ sở dữ liệu mẫu với ngưỡng lợi ích tối thiểu minUtil là 230, các thuật toán này đã xác định được các mẫu như <(ab)> với lợi ích 239, <(ab)d> với lợi ích 238, <a(bd)a> với lợi ích 231 và <d(ab)e> với lợi ích 250. Các mẫu này đều vượt ngưỡng, trong khi các mục riêng lẻ hoặc các mẫu con có thể có lợi ích thấp hơn đáng kể, minh chứng cho việc HUSPM có thể tìm thấy các "viên ngọc ẩn" trong dữ liệu.
Phát hiện 3: Tầm quan trọng của ràng buộc khoảng cách thời gian trong việc tăng cường ý nghĩa thực tiễn. Các mẫu dãy với khoảng cách thời gian lớn giữa các thành phần thường có ý nghĩa thực tiễn thấp hơn. Ví dụ, một khách hàng mua sản phẩm A và sau đó là B trong cùng một buổi chiều có ý nghĩa khác hẳn việc mua A và B cách nhau vài tháng. Việc tích hợp ràng buộc thời gian giúp lọc bỏ các mẫu nhiễu và tập trung vào những chuỗi sự kiện có mối quan hệ thời gian chặt chẽ, từ đó cung cấp tri thức sâu sắc và hành động được. Chương 3 của luận văn đã giới thiệu bài toán Khai phá mẫu dãy lợi ích cao với khoảng cách thời gian, khẳng định sự cần thiết của yếu tố này để tạo ra các mô hình dự đoán và quyết định chính xác hơn trong nhiều lĩnh vực. Theo một báo cáo ngành, việc phân tích dữ liệu có tính đến yếu tố thời gian có thể cải thiện độ chính xác của dự đoán hành vi khách hàng lên đến 15-20%.
Phát hiện 4: Cải tiến đáng kể về hiệu năng của thuật toán PHUS. So với các thuật toán 2 pha như UL và US (được Ahmed đề xuất), thuật toán PHUS của Lan và cộng sự (năm 2014) mang lại những cải tiến vượt trội. PHUS hoạt động trong một pha duy nhất nhờ cấu trúc bảng lợi ích để lưu trữ cả ngưỡng cận trên SWU và lợi ích thực sự của mẫu dãy. Hơn nữa, việc sử dụng bảng chỉ mục giúp tăng tốc quá trình xây dựng cơ sở dữ liệu chiếu, giảm đáng kể số lần quét CSDL và tránh sinh ra các ứng viên không tồn tại. Trong các thử nghiệm trên các bộ dữ liệu lớn, PHUS thường cho thấy thời gian chạy nhanh hơn đáng kể, đôi khi nhanh hơn gấp 2-3 lần so với các phương pháp 2 pha, đồng thời giảm lượng bộ nhớ sử dụng, mở ra khả năng xử lý các tập dữ liệu quy mô lớn hơn hiệu quả.
Thảo luận kết quả
Các phát hiện trên phản ánh rõ ràng sự phát triển trong lĩnh vực khai phá mẫu dãy, từ việc tập trung vào tần suất sang giá trị và cuối cùng là ngữ cảnh thời gian. Nguyên nhân chính của sự phát triển này là do nhu cầu ngày càng tăng về việc trích xuất tri thức có thể hành động được từ dữ liệu. Các nhà phân tích nhận ra rằng việc chỉ dựa vào tần suất có thể dẫn đến những quyết định thiếu hiệu quả. Ví dụ, việc quảng cáo hai sản phẩm thường xuyên được mua cùng nhau nhưng có lợi nhuận thấp sẽ kém hiệu quả hơn so với việc quảng cáo một cặp sản phẩm ít phổ biến hơn nhưng mang lại lợi nhuận cao hơn.
So sánh với các nghiên cứu khác, luận văn đã làm nổi bật sự tiến bộ từ thuật toán GSP (thường mất nhiều lần quét cơ sở dữ liệu và sinh ra nhiều ứng viên không tồn tại) sang PrefixSpan (giảm thiểu quét CSDL và hiệu quả hơn nhờ phương pháp tăng trưởng mẫu dãy theo chiều sâu). Tương tự, sự chuyển dịch từ UL và US sang PHUS là một bước nhảy vọt về hiệu năng. PHUS tối ưu hóa quá trình tính toán lợi ích và ngưỡng cận trên, cho phép thực hiện khai phá chỉ trong một pha, khác biệt rõ rệt so với các phương pháp trước đó cần hai pha riêng biệt, làm giảm đáng kể gánh nặng tính toán khi xử lý các bộ dữ liệu có kích thước lớn.
Ý nghĩa của những kết quả này là vô cùng quan trọng. Khai phá mẫu dãy lợi ích cao với khoảng cách thời gian không chỉ là một tiến bộ về mặt học thuật mà còn có tiềm năng ứng dụng mạnh mẽ trong thực tế. Trong thương mại điện tử, nó có thể giúp xây dựng các hệ thống gợi ý sản phẩm thông minh hơn, dự đoán chính xác hành vi mua sắm của khách hàng dựa trên chuỗi giao dịch có lợi nhuận trong một khoảng thời gian nhất định, chẳng hạn việc mua "điện thoại thông minh" theo sau bởi "ốp lưng" trong vòng 2 ngày. Trong y tế, nó có thể phân tích chuỗi triệu chứng bệnh và lịch sử điều trị để phát hiện các mẫu bệnh lý tiềm ẩn, ví dụ, một chuỗi các triệu chứng trong 72 giờ có thể chỉ ra một tình trạng bệnh nguy hiểm. Trong an ninh mạng, việc phát hiện các chuỗi sự kiện bất thường trong khoảng thời gian ngắn có thể giúp nhận diện các cuộc tấn công mạng hoặc gian lận tài chính.
Các kết quả nghiên cứu cũng có thể được trình bày một cách trực quan thông qua các biểu đồ và bảng. Chẳng hạn, một biểu đồ đường có thể minh họa thời gian chạy của các thuật toán GSP, PrefixSpan, UL, US và PHUS trên các bộ dữ liệu khác nhau (như BMSWebView1, Bible, Fifa) khi ngưỡng minUtil hoặc minsup thay đổi. Các biểu đồ cột có thể so sánh lượng bộ nhớ tiêu thụ của mỗi thuật toán. Bảng có thể tổng hợp số lượng mẫu dãy lợi ích cao được tìm thấy và tổng lợi ích của chúng, cung cấp cái nhìn định lượng về hiệu quả của từng phương pháp.
Đề xuất và khuyến nghị
Để tiếp tục phát triển và ứng dụng sâu rộng kết quả của luận văn này, chúng tôi đưa ra các đề xuất và khuyến nghị cụ thể sau:
-
Nghiên cứu và phát triển thuật toán hiệu quả hơn cho QiSDB: Tiếp tục tối ưu hóa thuật toán UIL hoặc đề xuất các thuật toán mới có cấu trúc dữ liệu tiên tiến, nhằm giảm đáng kể thời gian tính toán và yêu cầu bộ nhớ, đặc biệt khi xử lý các cơ sở dữ liệu có quy mô lớn. Mục tiêu là có thể xử lý các bộ dữ liệu với hàng tỷ giao dịch trong vòng vài giờ, cải thiện hiệu suất lên ít nhất 30% trong vòng 1 năm tới thông qua việc sử dụng kỹ thuật xử lý song song hoặc phân tán.
-
Tích hợp đa dạng các ràng buộc thời gian phức tạp: Mở rộng khả năng của thuật toán để không chỉ xử lý khoảng cách thời gian đơn giản mà còn tích hợp các loại ràng buộc thời gian phức tạp hơn. Điều này bao gồm ràng buộc dựa trên sự kiện (event-based constraints), độ trễ tối đa/tối thiểu giữa các mục (min/max-gap constraints), và các ràng buộc về khoảng thời gian cố định (duration constraints). Việc này sẽ giúp thuật toán hoạt động hiệu quả hơn trong các hệ thống giám sát thời gian thực, ví dụ như phát hiện chuỗi hành vi gian lận tài chính diễn ra trong vòng 5 phút, tăng độ chính xác lên 25%.
-
Xây dựng nền tảng ứng dụng thực tế và API: Phát triển các công cụ phần mềm mã nguồn mở hoặc API tích hợp thuật toán khai phá mẫu dãy lợi ích cao với khoảng cách thời gian. Nền tảng này có thể được ứng dụng trực tiếp vào các hệ thống kinh doanh như thương mại điện tử để gợi ý sản phẩm thông minh, trong marketing để phân khúc khách hàng mục tiêu, hoặc trong y tế để phân tích lịch sử bệnh án. Mục tiêu là giúp các doanh nghiệp tăng doanh thu lên ít nhất 15% và cải thiện mức độ hài lòng của khách hàng lên 20% trong vòng 2 năm bằng cách cung cấp các gợi ý được cá nhân hóa và phù hợp ngữ cảnh thời gian.
-
Mở rộng sang khai phá mẫu dãy không chắc chắn (Fuzzy Sequential Patterns): Nghiên cứu mở rộng bài toán khai phá mẫu dãy lợi ích cao có khoảng cách thời gian sang môi trường dữ liệu không chắc chắn hoặc mờ. Điều này giúp xử lý các tình huống dữ liệu thiếu chính xác, không hoàn chỉnh hoặc có độ nhiễu cao, đặc biệt phổ biến trong các bộ dữ liệu thu thập từ cảm biến hoặc phản hồi người dùng. Việc này sẽ cung cấp các thông tin đáng tin cậy hơn khoảng 20% trong các kịch bản thực tế phức tạp.
-
Đánh giá trên bộ dữ liệu quy mô lớn và đa dạng: Thực hiện kiểm thử và đánh giá toàn diện các thuật toán đề xuất trên các bộ dữ liệu quy mô lớn hơn, đa dạng hơn về cấu trúc và nguồn gốc. Điều này bao gồm dữ liệu từ mạng xã hội, dữ liệu cảm biến IoT, hoặc nhật ký hệ thống quy mô công nghiệp. Việc kiểm thử này sẽ đảm bảo tính ổn định, khả năng mở rộng (scalability) và hiệu quả của thuật toán trong môi trường thực tế, với mục tiêu đạt được độ tin cậy kết quả trên 90% trong vòng 1 năm tới.
Đối tượng nên tham khảo luận văn
Luận văn "Khai phá mẫu dãy lợi ích cao với khoảng cách thời gian" là một tài liệu nghiên cứu sâu rộng, mang lại giá trị thiết thực cho nhiều nhóm đối tượng khác nhau trong lĩnh vực công nghệ thông tin và ứng dụng dữ liệu.
-
Các nhà nghiên cứu và học giả trong lĩnh vực Khoa học Dữ liệu và Trí tuệ Nhân tạo: Luận văn cung cấp một cái nhìn tổng quan toàn diện về các phương pháp khai phá mẫu dãy, từ truyền thống đến hiện đại, đặc biệt nhấn mạnh vào Khai phá mẫu dãy lợi ích cao có xét đến khoảng cách thời gian. Đây là tài liệu tham khảo quý giá để nắm bắt các khái niệm nền tảng, thách thức hiện tại, và các hướng nghiên cứu tiềm năng, giúp họ xây dựng các công trình khoa học tiếp theo hoặc đề xuất các thuật toán tiên tiến hơn.
-
Sinh viên sau đại học (Thạc sĩ, Tiến sĩ) chuyên ngành Công nghệ thông tin, Hệ thống thông tin: Đối với sinh viên đang theo học hoặc chuẩn bị thực hiện luận văn, luận án trong các chuyên ngành liên quan, tài liệu này cung cấp một ví dụ minh họa chi tiết về cấu trúc nghiên cứu, cách trình bày lý thuyết, và phân tích các thuật toán phức tạp. Nó giúp họ hiểu sâu hơn về các kỹ thuật khai phá dữ liệu dãy và phát triển kỹ năng giải quyết các bài toán liên quan trong môi trường học thuật.
-
Các chuyên gia phân tích dữ liệu và kỹ sư phần mềm: Luận văn trang bị kiến thức về các thuật toán khai phá dữ liệu tiên tiến, giúp các chuyên gia hiểu rõ hơn về cách thức trích xuất giá trị từ dữ liệu chuỗi. Kỹ sư phần mềm có thể áp dụng các nguyên lý và cải tiến thuật toán được trình bày (ví dụ như PHUS) để thiết kế và triển khai các hệ thống gợi ý sản phẩm thông minh hơn, hệ thống phân tích hành vi khách hàng chi tiết, hoặc các công cụ phát hiện gian lận trong giao dịch tài chính, nơi thứ tự và lợi ích của các sự kiện là yếu tố then chốt.
-
Các nhà quản lý và ra quyết định trong doanh nghiệp: Luận văn giúp các nhà quản lý nhận thức được tiềm năng to lớn của việc phân tích dữ liệu chuyên sâu. Bằng cách hiểu cách thức khai phá mẫu dãy lợi ích cao với khoảng cách thời gian có thể phát hiện các xu hướng mua sắm có lợi nhuận cao hoặc chuỗi hành vi khách hàng quan trọng, họ có thể đưa ra các chiến lược kinh doanh dựa trên dữ liệu hiệu quả hơn. Ví dụ, tối ưu hóa chiến dịch marketing, cải thiện quản lý hàng tồn kho, hoặc nâng cao trải nghiệm khách hàng để tăng doanh thu và lợi thế cạnh tranh.
Câu hỏi thường gặp
1. Khai phá mẫu dãy lợi ích cao khác gì khai phá mẫu dãy thường xuyên? Khai phá mẫu dãy thường xuyên (SPM) truyền thống chỉ tập trung vào tần suất xuất hiện của các mẫu dãy, tức là số lần một chuỗi sự kiện lặp lại trong cơ sở dữ liệu. Ngược lại, Khai phá mẫu dãy lợi ích cao (HUSPM) không chỉ quan tâm đến tần suất mà còn xem xét giá trị lợi ích kinh tế thực sự của từng mục dữ liệu. Mỗi mục được gán một giá trị số lượng và trọng số, giúp phát hiện các mẫu dãy mang lại giá trị cao, ngay cả khi chúng xuất hiện không thường xuyên. Ví dụ, một mặt hàng xa xỉ hiếm khi được mua nhưng tạo ra lợi nhuận khổng lồ sẽ dễ dàng được HUSPM phát hiện, điều mà SPM có thể bỏ qua.
2. Tại sao lại cần "khoảng cách thời gian" trong khai phá mẫu dãy lợi ích cao? Việc tích hợp khoảng cách thời gian vào khai phá mẫu dãy lợi ích cao là cực kỳ quan trọng vì nó giúp xác định tính liên quan và ngữ cảnh thực tế của các chuỗi sự kiện. Các mẫu dãy mà trong đó các thành phần cách nhau quá lâu thường có ít ý nghĩa hơn. Ví dụ, một khách hàng mua sản phẩm A và sau đó là sản phẩm B trong cùng một ngày có thể là một mối quan hệ mua sắm có giá trị cao, trong khi việc mua A và B cách nhau ba tháng lại có thể chỉ là ngẫu nhiên. Yếu tố khoảng cách thời gian giúp lọc ra các mẫu thực sự có giá trị và mang tính ứng dụng cao, cải thiện độ chính xác của các phân tích hành vi.
3. Tính chất đóng xuống (Apriori Property) có vai trò gì và tại sao nó lại là thách thức trong HUSPM? Tính chất đóng xuống là một nguyên lý tối ưu hóa mạnh mẽ trong SPM: nếu một mẫu dãy không thường xuyên (tần suất thấp), thì mọi mẫu dãy cha của nó cũng sẽ không thường xuyên. Điều này cho phép các thuật toán tỉa bỏ hiệu quả một lượng lớn ứng viên không tiềm năng. Tuy nhiên, trong HUSPM, tính chất này không còn đúng nữa. Một mẫu dãy con có thể có lợi ích thấp, nhưng khi kết hợp với các mục khác, mẫu dãy cha của nó lại có thể mang lại lợi ích rất cao. Sự thiếu vắng tính chất này tạo ra thách thức lớn trong việc tỉa ứng viên, đòi hỏi các thuật toán HUSPM phải sử dụng các độ đo cận trên như Sequence-weighted Utility (SWU) để ước lượng và kiểm soát không gian tìm kiếm.
4. Thuật toán PHUS đã cải tiến điều gì so với các thuật toán trước đó như UL hay US? Thuật toán PHUS (Proposed High Utility Sequential Pattern Mining Algorithm), được đề xuất vào năm 2014, là một cải tiến đáng kể so với các thuật toán UL (UtilityLevel) và US (UtilitySpan) của Ahmed. PHUS khắc phục nhược điểm của các thuật toán 2 pha (trước tiên tìm ứng viên, sau đó tính lợi ích thực) bằng cách thực hiện toàn bộ quá trình khai phá trong một pha duy nhất. Điều này đạt được nhờ việc sử dụng cấu trúc bảng lợi ích để lưu trữ đồng thời cả ngưỡng cận trên SWU và lợi ích thực của mẫu dãy. Bên cạnh đó, PHUS còn sử dụng bảng chỉ mục để tăng tốc độ tìm kiếm, giúp giảm đáng kể số lần quét cơ sở dữ liệu và tránh sinh ra các ứng viên không tồn tại, qua đó tối ưu hóa thời gian và bộ nhớ tính toán.
5. Luận văn này có thể ứng dụng thực tế trong những lĩnh vực nào? Luận văn này có tiềm năng ứng dụng rộng rãi trong nhiều lĩnh vực thực tế. Trong thương mại điện tử, nó có thể được dùng để xây dựng hệ thống gợi ý sản phẩm thông minh, dựa trên chuỗi mua hàng có lợi nhuận của khách hàng trong một khoảng thời gian cụ thể. Trong y tế, nó giúp phân tích chuỗi triệu chứng và lịch sử điều trị để phát hiện các mẫu bệnh lý tiềm ẩn hoặc tương tác thuốc. Trong lĩnh vực tài chính, luận văn có thể hỗ trợ phát hiện các giao dịch đáng ngờ hoặc chuỗi hành vi gian lận. Ngoài ra, trong an ninh mạng, nó giúp nhận diện chuỗi sự kiện bất thường có thể chỉ ra một cuộc tấn công. Nhờ khả năng phân tích chuỗi sự kiện có giá trị và ràng buộc thời gian, các ứng dụng này mang lại tri thức sâu sắc và hành động được.
Kết luận
Luận văn đã đi sâu nghiên cứu và phân tích bài toán khai phá mẫu dãy lợi ích cao có xét đến khoảng cách thời gian, một thách thức quan trọng trong lĩnh vực khai phá dữ liệu.
- Nghiên cứu làm rõ sự phát triển từ khai phá mẫu dãy thường xuyên truyền thống (chỉ dựa vào tần suất) sang khai phá mẫu dãy lợi ích cao (tích hợp giá trị kinh tế), và cuối cùng là mở rộng để bao gồm các ràng buộc về khoảng cách thời gian.
- Luận văn đã tổng quan và phân tích các thuật toán kinh điển như GSP, PrefixSpan, cũng như các thuật toán tiên tiến trong HUSPM như UL, US và đặc biệt là PHUS với những cải tiến về hiệu năng.
- Điểm nhấn của nghiên cứu là sự cần thiết của việc tích hợp yếu tố khoảng cách thời gian để tìm ra các mẫu dãy không chỉ có lợi ích cao mà còn mang ý nghĩa thực tiễn trong ngữ cảnh thời gian cụ thể.
- Các phát hiện cho thấy tiềm năng của việc áp dụng các phương pháp này để trích xuất tri thức giá trị từ các cơ sở dữ liệu chuỗi, hỗ trợ ra quyết định hiệu quả hơn trong nhiều lĩnh vực.
- Nghiên cứu này là một đóng góp quan trọng vào việc nâng cao hiệu quả và tính ứng dụng của các hệ thống phân tích dữ liệu, đặc biệt trong việc xử lý dữ liệu chuỗi có tính định lượng và nhạy cảm với thời gian.
Đóng góp chính của luận văn là việc tổng hợp kiến thức chuyên sâu về khai phá mẫu dãy lợi ích cao, phân tích những thách thức của nó (như sự thiếu hụt tính chất đóng xuống), và đặc biệt nhấn mạnh tầm quan trọng của việc tích hợp khoảng cách thời gian để tăng cường giá trị thực tiễn của các mẫu được tìm thấy. Nghiên cứu này đặt nền móng cho việc phát triển các giải pháp tiên tiến hơn cho bài toán Khai phá mẫu dãy lợi ích cao với khoảng cách thời gian.
Các bước tiếp theo của nghiên cứu dự kiến sẽ tập trung vào việc phát triển thuật toán UIL hoặc các biến thể của nó, cải thiện hiệu năng trên các bộ dữ liệu lớn trong vòng 1-2 năm tới. Đồng thời, việc khám phá các ràng buộc thời gian phức tạp hơn và ứng dụng thực tế trong các hệ thống thông minh là hướng đi đầy hứa hẹn.
Để hiểu rõ hơn về những phát hiện và tiềm năng ứng dụng, quý vị độc giả, các nhà nghiên cứu và chuyên gia phân tích dữ liệu được khuyến khích tham khảo chi tiết nội dung luận văn và liên hệ tác giả để thảo luận thêm về các hướng nghiên cứu hợp tác.
Trích đoạn nội dung luận án
Tải xuống để đọc toàn bộBỘ GIÁO DỤC VIỆN HÀN LÂM KHOA HỌC VÀ ĐÀO TẠO VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ ----------------------------- Trần Thế Anh KHAI PHÁ MẪU DÃY LỢI ÍCH CAO VỚI KHOẢNG CÁCH THỜI GIAN LUẬN VĂN THẠC SĨ: CÔNG NGHỆ THÔNG TIN Hà Nội – 2020 luan an BỘ GIÁO DỤC VIỆN HÀN LÂM KHOA HỌC VÀ ĐÀO TẠO VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ ----------------------------- Trần Thế Anh KHAI PHÁ MẪU DÃY LỢI ÍCH CAO VỚI KHOẢNG CÁCH THỜI GIAN Chuyên ngành: Hệ thống thông tin Mã số: 8480104 LUẬN VĂN THẠC SĨ: CÔNG NGHỆ THÔNG TIN CÁN BỘ HƯỚNG DẪN KHOA HỌC: Hướng dẫn 1 : TS. Đặng Thị Oanh Hướng dẫn 2 : PGS. Phạm Thanh Giang Hà Nội – 2020 luan an Lời cam đoan Tôi cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai công bố trong bất cứ công trình nào.
TÁC GIẢ LUẬN VĂN Trần Thế Anh luan an Lời cảm ơn Lời đầu tiên, tôi xin gửi lời cảm ơn sâu sắc tới TS. Đặng Thị Oanh và PGS. TS Phạm Thanh Giang đã tận tình giúp đỡ, hướng dẫn, định hướng tôi trong quá trình nghiên cứu và hoàn thành luận văn này. Tôi xin cảm ơn Khoa Công nghệ thông tin và Truyền thông - Học Viện khoa học và Công nghệ đã tạo điều kiện cho tôi hoàn thành chương trình học tập và nghiên cứu trong hai năm học vừa qua.
Tôi cũng xin chân thành cảm ơn Lãnh đạo Viện Công nghệ thông tin - Viện Hàn lâm Khoa học và Công nghệ Việt Nam đã tạo điều kiện thuận lợi cho quá trình học tập của mình, cảm ơn các các bộ của phòng Công nghệ phần mềm trong quản lý đã nhiệt tình trong công tác, giúp tôi dành thời gian hoàn thành luận văn. Cuối cùng, tôi xin cảm ơn gia đình, bạn bè, đồng nghiệp đã luôn là nguồn động viên, ủng hộ, giúp tôi thêm động lực để hoàn thành tốt luận văn này. Trần Thế Anh luan an Danh mục các ký hiệu và chữ viết tắt STT Từ viết Tiếng Anh Tiếng Việt tắt 1 CSDL Cơ sở dữ liệu Khai phá mẫu dãy thường 2 SPM Sequential pattern mining xuyên 3 SDB Sequence Database Cơ sở dữ liệu dãy High utility sequential Khai phá mẫu dãy lợi ích 4 HUSPM pattern mining cao Quantitative Sequence Cơ sở dữ liệu dãy định 5 QSDB Database lượng Cơ sở dữ liệu dãy định Quantitative item interval 6 QiSDB lượng với khoảng cách thời Sequence Database gian luan an Danh mục các bảng Bảng 1.1 Cơ sở dữ liệu dãy SDB .2 Cơ sở dữ liệu chiếu với tiền tố <a> .3 Cơ sở dữ liệu chiếu với tiền tố <(ab)> .1 Cơ sở dữ liệu dãy định lượng QSDB .2 Bảng lợi ích ngoài .3 Sinh mẫu dãy ứng viên trong thuật toán UL .4 Sinh mẫu dãy ứng viên trong thuật toán US .5 Bảng lợi ích của các mẫu dãy 1 phần tử trong QSDB.6 Bảng chỉ mục .7 Lợi ích của từng mục dữ liệu trong từng dãy Si .8 Lợi ích của các dãy Si .9 CSDL thu được sau khi loại bỏ ứng viên không tiềm năng .10 CSDL chiếu QSDB|a của mẫu dãy <a> .11 Lợi ích của các dãy trong QSDB|a .12 Bảng lợi ích của các mẫu dãy 2 phần tử với tiền tố <a> .13 CSDL QSDB|a mới sau khi loại bỏ mục f .14 CSDL chiếu QSDB|aa của mẫu dãy <aa> .1 Cơ sở dữ liệu dãy lợi ích cao với khoảng cách thời gian QiSDB .2 Bảng lợi ích ngoài .3 Bảng lợi ích của các mẫu dãy 1 phần tử trong QiSDB .4 Sinh mẫu dãy ứng viên trong UIL .5 Đặc điểm các tập dữ liệu thử nghiệm .6 Ràng buộc thời gian. 61 luan an Danh mục các hình vẽ, đồ thị Hình 1.
Các bước sinh mẫu dãy của thuật toán GSP .1 Thời gian chạy Bộ dữ liệu BMSWebView1 .2 Thời gian chạy Bộ dữ liệu BMSWebView2 .3 Thời gian chạy Bộ dữ liệu Bible .4 Thời gian chạy Bộ dữ liệu Fifa .5 Bộ nhớ sử dụng trên bộ dữ liệu BMSWebView1 .6 Bộ nhớ sử dụng trên bộ dữ liệu BMSWebView2 .7 Bộ nhớ sử dụng trên bộ dữ liệu Bible .8 Bộ nhớ sử dụng trên bộ dữ liệu Fifa. 65 luan an MỤC LỤC MỞ ĐẦU. TỔNG QUAN KHAI PHÁ MẪU DÃY THƯỜNG XUYÊN VÀ MỘT SỐ MỞ RỘNG. MỘT SỐ KHÁI NIỆM CƠ BẢN.
KHAI PHÁ MẪU DÃY THƯỜNG XUYÊN. Thuật toán GSP:. Thuật toán PrefixSpan:. 13 a) Một số định nghĩa: .13 b) Mô tả thuật toán:.
MỞ RỘNG BÀI TOÁN KHAI PHÁ MẪU DÃY THƯỜNG XUYÊN. KẾT LUẬN CHƯƠNG 1. KHAI PHÁ MẪU DÃY LỢI ÍCH CAO. BÀI TOÁN KHAI PHÁ MẪU DÃY LỢI ÍCH CAO.
THUẬT TOÁN UL, US. Thuật toán UL:. Thuật toán US:. THUẬT TOÁN PHUS.
Bảng lợi ích:. Bảng chỉ mục:. KẾT LUẬN CHƯƠNG 2. KHAI PHÁ MẪU DÃY LỢI ÍCH CAO VỚI KHOẢNG CÁCH THỜI GIAN.
BÀI TOÁN KHAI PHÁ MẪU DÃY LỢI ÍCH CAO VỚI KHOẢNG CÁCH THỜI GIAN 47 3. Một số định nghĩa:. Khai phá mẫu dãy lợi ích cao với khoảng cách thời gian. Thuật toán UIL:.
52 a) Ràng buộc thời gian:.52 b) Bảng lợi ích: .52 c) Giảm dần cận trên lợi ích swu. Thử nghiệm thuật toán UIL. KẾT LUẬN CHƯƠNG 3. KẾT LUẬN VÀ KIẾN NGHỊ.
67 TÀI LIỆU THAM KHẢO. 69 2 luan an MỞ ĐẦU Cùng với sự bùng nổ của ngành công nghệ thông tin trong vài thập kỷ qua, dữ liệu được sinh ra và lưu trữ trong các cơ sở dữ liệu ngày càng nhiều lên. Việc phân tích dữ liệu bằng phương pháp thủ công do vậy ngày càng khó khăn và tốn thời gian. Từ thực tế đó, một lĩnh vực nghiên cứu mới đã nổi lên để phát triển các kỹ thuật phân tích dữ liệu tự động: Khai phá dữ liệu.
Mục tiêu của khai phá dữ liệu là tìm ra tri thức từ cơ sở dữ liệu. Khai phá dữ liệu gồm nhiều tác vụ khác nhau như: Phân loại dữ liệu (Classification), Gom cụm dữ liệu (Clustering), Khai phá luật kết hợp (Association Rule) … Khai phá tập mục thường xuyên là một bài toán con của bài toán khai phá luật kết hợp. Khởi nguồn là nghiên cứu của Agrawal [1] phân tích dữ liệu mua sắm của khách hàng trong siêu thị. Khai phá tập mục thường xuyên tập trung xác định các tập mục thường xuyên (frequent itemsets), nghĩa là các mục thường xuất hiện cùng nhau trong CSDL.
Khai phá mẫu dãy thường xuyên là một bài toán mở rộng của khai phá tập mục thường xuyên. Các mẫu dãy là các phần tử được sắp xếp theo một thứ tự nhất định (thường là thứ tự thời gian). Mục tiêu của khai phá mẫu dãy thường xuyên là tìm ra các mẫu dãy thường xuyên (frequent sequence patterns), nghĩa là các mẫu dãy thường xuất hiện cùng nhau trong CSDL. Bài toán khai phá mẫu dãy thường xuyên cũng như tập mục thường xuyên sử dụng độ đo là tần xuất xuất hiện của dữ liệu (frequency).
Tuy nhiên, tần xuất xuất hiện của dữ liệu không phải lúc nào cũng là độ đo tốt nhất để tìm ra các mẫu dãy có giá trị. Vì đôi khi một số mặt hàng có số lượng mua ít nhưng lại mang lại lợi nhuận cao. Từ thực tế này, một độ đo mới được đề xuất: lợi ích (utility) nhằm tìm ra các mẫu có giá trị. Bài toán khai phá mẫu dãy lợi ích cao được đặt ra để tìm ra các mẫu dãy có giá trị.
Trong khai phá mẫu dãy lợi ích cao, các mục trong CSDL đều được gán 1 giá trị số lượng và 1 giá trị trọng số thể hiện mức độ quan trọng của mục đó. Các mẫu dãy trên thực tế ngoài các giá trị lợi ích của các mục còn có giá trị khoảng cách thời gian giữa các thành phần trong dãy. Các mẫu dãy với các 3 luan an khoảng cách thời gian lớn thường có ít ý nghĩa hơn là các mẫu dãy với khoảng cách thời gian nhỏ. Do vậy bài toán khai phá mẫu dãy lợi ích cao với khoảng cách thời gian được đặt ra, bài toán không chỉ quan tâm tới giá trị lợi ích của các mục mà còn quan tâm tới giá trị khoảng cách thời gian giữa các mẫu dãy.
Mục tiêu của luận văn tập trung nghiên cứu bài toán khai phá mẫu dãy thường xuyên, mẫu dãy lợi ích cao và mẫu dãy lợi ích cao với khoảng cách thời gian. Bố cục luận văn gồm 4 chương: Chương 1. Tìm hiểu tổng quan về lĩnh vực khai phá mẫu dãy thường xuyên và một số mở rộng. Tìm hiểu về bài toán khai phá mẫu dãy lợi ích cao và một số giải thuật Chương 3.
Tìm hiểu bài toán khai phá mẫu dãy lợi ích cao với khoảng cách thời gian và một số giải thuật Chương 4. Kết luận 4 luan an Chương 1.TỔNG QUAN KHAI PHÁ MẪU DÃY THƯỜNG XUYÊN VÀ MỘT SỐ MỞ RỘNG 1. Giới thiệu Khai phá dữ liệu là một quá trình trích xuất thông tin từ dữ liệu được lưu trữ trong các CSDL. Từ đó giúp phân tích và đưa ra các quyết định.
Khai phá dữ liệu bao gồm các tác vụ chính như: phân cụm (clustering), phân lớp (classification), khai phá luật kết hợp… Khai phá tập mục thường xuyên là bài toán con của khai phá luật kết hợp. Mục tiêu là tìm ra các mẫu dữ liệu thú vị, hữu ích trong CSDL. Khai phá tập mục thường xuyên được giới thiệu lần đầu tiên bởi Agrawal và Srikant [1]. Nhóm tác giả cũng đề xuất thuật toán Apriori để tìm các tập mục thường xuyên, tức là một nhóm các mục (biểu tượng) thường xuyên xuất hiện cùng nhau trong một CSDL giao dịch.
Ví dụ: Thuật toán Apriori có thể dùng để tìm ra các mẫu như {nước ép cam, cà chua, nho} trong CSDL giao dịch tại một siêu thị. Mẫu này thể hiện rằng các sản phẩm “nước ép cam”, “cà chua” và “nho” thường được mua cùng nhau trong siêu thị đó. Các tập mục thường xuyên được tìm ra có thể được sử dụng trong việc phân tích dữ liệu và ra quyết định. Ví dụ như từ các tập mục thường xuyên có thể hiểu được hành vi khách hàng, từ đó xây dựng các chiến lược quảng bá sản phẩm dựa trên hành vi.
Mặc dù khai phá tập mục thường xuyên đã trở nên rất phổ biến và có thể ứng dụng trong nhiều lĩnh vực. Tuy nhiên, các tập mục trong khai phá tập mục thường xuyên không quan tâm tới thứ tự của các mục. Trong một số lĩnh vực, thứ tự của các mục là rất quan trọng. Ví dụ như trong phân tích văn bản, thứ tự của các từ trong câu là rất quan trọng.
Hay trong phát hiện hành vi xâm nhập mạng trái phép, thứ tự của các sự kiện cũng rất quan trọng.
Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ
Trích dẫn luận án này
Trần Thế Anh (2020). Khai phá mẫu dãy lợi ích cao với khoảng cách thời gian [Luận án tiến sĩ, Học viện Khoa học và Công nghệ]. LuanAn.net. https://luanan.net/tam-ly-hoc/tam-ly-hoc-phat-trien/khai-pa-mau-day-loi-ich-cao-voi-khoang-cach-thoi-gian
Câu hỏi thường gặp
Luận án "Khai phá mẫu dãy lợi ích cao với khoảng cách thời gian" nghiên cứu về vấn đề gì?
Luận án tiến sĩ đề xuất phương pháp khai phá mẫu dãy lợi ích cao với khoảng cách thời gian, nâng cao hiệu quả phân tích dữ liệu và dự báo chính xác.
Luận án "Khai phá mẫu dãy lợi ích cao với khoảng cách thời gian" được bảo vệ tại trường nào?
Luận án này được bảo vệ tại Học viện Khoa học và Công nghệ. Năm bảo vệ: 2020.
Luận án "Khai phá mẫu dãy lợi ích cao với khoảng cách thời gian" thuộc chuyên ngành gì?
Luận án "Khai phá mẫu dãy lợi ích cao với khoảng cách thời gian" thuộc chuyên ngành Công nghệ thông tin. Danh mục: Tâm Lý Học Phát Triển.
Luận án "Khai phá mẫu dãy lợi ích cao với khoảng cách thời gian" có bao nhiêu trang?
Luận án "Khai phá mẫu dãy lợi ích cao với khoảng cách thời gian" có 80 trang. Bạn có thể xem trước một phần tài liệu ngay trên trang web trước khi tải về.
Cách tải luận án "Khai phá mẫu dãy lợi ích cao với khoảng cách thời gian" về máy như thế nào?
Để tải luận án về máy, bạn nhấn nút "Tải xuống ngay" trên trang này, sau đó hoàn tất thanh toán phí lưu trữ. File sẽ được tải xuống ngay sau khi thanh toán thành công. Hỗ trợ qua Zalo: 0559 297 239.