Luận án Tiến sĩ: Khai phá luật quyết định trên mô hình dữ liệu dạng khối của Đỗ Thị Lan Anh
"Luận án tiến sĩ khai phá luật quyết định trên mô hình dữ liệu dạng khối, đề xuất phương pháp mới hiệu quả và cải tiến hiệu suất 10% so với mô hình hiện tại."
Luan An
Luận án tiến sĩ
Năm xuất bản
Số trang
129
Thời gian đọc
20 phút
Lượt xem
0
Lượt tải
0
Phí lưu trữ
40 Point
Tổng quan nhanh
- Chủ đề:
- 1. Khai thác luật quyết định trên mô hình dữ liệu khối
- Số trang:
- 129 trang
- Trường:
- Học viện Khoa học và Công nghệ
- Chuyên ngành:
- Khoa học máy tính
- Tác giả:
- Đỗ Thị Lan Anh
- Năm:
- 2020
Tóm tắt nội dung luận án
I. Khai thác luật quyết định trên mô hình dữ liệu khối
Khai phá luật quyết định là một kỹ thuật quan trọng trong lĩnh vực khai thác dữ liệu. Nó giúp trích xuất tri thức hữu ích từ các tập dữ liệu lớn. Tài liệu này tập trung vào việc áp dụng khai phá luật quyết định trên mô hình dữ liệu dạng khối. Mô hình dữ liệu dạng khối cung cấp cách nhìn đa chiều về dữ liệu. Điều này rất phù hợp cho phân tích kinh doanh và ra quyết định. Nghiên cứu giải quyết thách thức khi dữ liệu trong khối thay đổi. Cả giá trị thuộc tính và tập đối tượng đều có thể biến động. Mục tiêu là phát triển các phương pháp hiệu quả. Các phương pháp này giúp cập nhật luật quyết định một cách gia tăng. Tránh việc khai phá lại toàn bộ dữ liệu. Điều này tiết kiệm tài nguyên tính toán đáng kể. Kết quả mang lại khả năng phân tích linh hoạt hơn. Tổ chức có thể phản ứng nhanh hơn với sự thay đổi của thị trường. Nền tảng của nghiên cứu là các khái niệm về kho dữ liệu và OLAP. Các khái niệm này giúp xử lý dữ liệu đa chiều một cách hiệu quả.
1.1. Tầm quan trọng của khai thác dữ liệu
Khai thác dữ liệu là quá trình khám phá các mẫu, quy tắc và tri thức tiềm ẩn. Thông tin này thường nằm trong các tập dữ liệu lớn. Nó đóng vai trò thiết yếu trong nhiều lĩnh vực. Ví dụ như y tế, tài chính, và bán lẻ. Các doanh nghiệp sử dụng khai thác dữ liệu để hiểu hành vi khách hàng. Điều này giúp tối ưu hóa hoạt động và dự đoán xu hướng. Khai thác dữ liệu biến dữ liệu thô thành thông tin có giá trị. Từ đó, hỗ trợ các quyết định chiến lược hiệu quả.
1.2. Khái niệm luật quyết định và ứng dụng
Luật quyết định là một dạng biểu diễn tri thức. Nó có dạng 'NẾU điều kiện THÌ kết quả'. Chúng được dùng để phân loại hoặc dự đoán. Ví dụ, 'NẾU tuổi > 30 VÀ thu nhập CAO THÌ mua sản phẩm X'. Luật quyết định dễ hiểu và giải thích. Điều này làm chúng trở thành công cụ mạnh mẽ. Các ứng dụng bao gồm chẩn đoán bệnh, phát hiện gian lận. Nó cũng giúp phân khúc khách hàng. Khai thác luật quyết định tìm kiếm những quy tắc này. Việc này nhằm hỗ trợ quá trình ra quyết định. Chúng cung cấp cái nhìn sâu sắc về mối quan hệ trong dữ liệu.
1.3. Mô hình dữ liệu dạng khối trong phân tích
Mô hình dữ liệu dạng khối là kiến trúc lưu trữ dữ liệu đa chiều. Nó thường được sử dụng trong kho dữ liệu và hệ thống OLAP. Khối dữ liệu cho phép người dùng xem dữ liệu từ nhiều góc độ. Ví dụ như theo thời gian, địa điểm, và sản phẩm. Điều này giúp phân tích kinh doanh sâu sắc hơn. Mỗi 'ô' trong khối chứa một giá trị tổng hợp. Ví dụ như tổng doanh số hoặc số lượng khách hàng. Dữ liệu đa chiều hỗ trợ các thao tác như drill-down, roll-up. Nó cũng hỗ trợ slice và dice. Các thao tác này giúp khám phá thông tin chi tiết. Mô hình này rất hiệu quả cho việc xử lý các truy vấn phức tạp.
II. Nền tảng kiến thức cơ sở về khối và dữ liệu đa chiều
Nghiên cứu xây dựng trên nền tảng vững chắc của mô hình dữ liệu dạng khối. Khối dữ liệu là cách tổ chức dữ liệu đa chiều hiệu quả. Nó hỗ trợ các hoạt động OLAP. Dữ liệu đa chiều cho phép phân tích từ nhiều khía cạnh. Mỗi chiều đại diện cho một thuộc tính phân tích. Ví dụ như thời gian, sản phẩm, hoặc khu vực. Các phép toán đại số quan hệ trên khối được xem xét. Các phép toán này bao gồm phép chiếu, phép chọn, và phép kết nối. Chúng giúp thao tác và trích xuất dữ liệu từ khối. Khái niệm về khối thông tin và khối quyết định được định nghĩa. Khối thông tin lưu trữ dữ liệu thô. Khối quyết định bổ sung thuộc tính quyết định. Nó hỗ trợ việc khai phá luật phân loại. Việc hiểu rõ các khái niệm này rất quan trọng. Nó đặt nền tảng cho các thuật toán khai phá luật phức tạp hơn. Trích xuất tri thức từ dữ liệu khối đòi hỏi kiến thức sâu rộng về cấu trúc này. Mục tiêu là tận dụng tối đa lợi thế của cấu trúc đa chiều.
2.1. Cấu trúc và lợi ích của dữ liệu đa chiều
Dữ liệu đa chiều được tổ chức dưới dạng khối. Mỗi chiều tương ứng với một thuộc tính. Ví dụ, doanh số bán hàng có thể được xem theo thời gian, sản phẩm, và khu vực. Cấu trúc này giúp người dùng dễ dàng khám phá mối quan hệ. Nó cũng giúp phân tích các xu hướng. Lợi ích chính là khả năng truy vấn nhanh. Nó cũng hỗ trợ các báo cáo tổng hợp. OLAP là công nghệ chủ chốt sử dụng cấu trúc này. Các hệ thống kho dữ liệu thường lưu trữ dữ liệu theo mô hình khối. Điều này giúp nâng cao hiệu suất phân tích kinh doanh.
2.2. Khối thông tin và khối quyết định
Khối thông tin là một tập hợp dữ liệu đa chiều. Nó chứa các thuộc tính mô tả. Đây là nền tảng của kho dữ liệu. Khối thông tin không chứa thuộc tính quyết định. Khối quyết định là phiên bản mở rộng của khối thông tin. Nó bổ sung thêm một thuộc tính quyết định. Thuộc tính này được sử dụng để phân loại hoặc dự đoán. Ví dụ, trong khối quyết định khách hàng, 'tình trạng mua hàng' có thể là thuộc tính quyết định. Việc chuyển đổi từ khối thông tin sang khối quyết định là cần thiết. Điều này giúp cho việc khai phá luật phân loại.
2.3. Vai trò của OLAP trong khai thác tri thức
OLAP (Online Analytical Processing) là công nghệ cho phép phân tích dữ liệu đa chiều. Nó là cốt lõi của các hệ thống kho dữ liệu. OLAP hỗ trợ người dùng thực hiện các thao tác phân tích phức tạp. Các thao tác này bao gồm drill-down (đi sâu vào chi tiết), roll-up (tổng hợp), slice (chọn một lát cắt), và dice (chọn một khối con). Những khả năng này rất quan trọng. Chúng giúp khám phá các mẫu và xu hướng trong dữ liệu. Từ đó, trích xuất tri thức có giá trị. OLAP là cầu nối giữa dữ liệu thô và thông tin kinh doanh. Nó nâng cao hiệu quả của khai thác dữ liệu.
III. Khai thác luật quyết định trên khối với thuộc tính thay đổi
Một trong những thách thức lớn là xử lý sự thay đổi của giá trị thuộc tính. Dữ liệu trong thế giới thực không tĩnh. Giá trị thuộc tính có thể thay đổi liên tục. Nghiên cứu giới thiệu thuật toán MDLB_VAC. Thuật toán này được thiết kế để khai phá luật quyết định. Nó làm việc hiệu quả trên khối dữ liệu có giá trị thuộc tính thay đổi. Các khái niệm về làm mịn (refinement) và làm thô (coarsening) được đề xuất. Các khái niệm này áp dụng cho các lớp tương đương điều kiện. Chúng giúp điều chỉnh các tập dữ liệu khi có sự thay đổi. Việc làm mịn tăng độ chi tiết của dữ liệu. Làm thô giảm độ chi tiết. Điều này giúp thuật toán linh hoạt hơn. Nó có thể thích ứng với các mức độ thay đổi khác nhau. Mục tiêu là duy trì tính chính xác của luật quyết định. Đồng thời, nó tối ưu hóa hiệu suất tính toán. Điều này đặc biệt quan trọng trong môi trường dữ liệu lớn. Việc trích xuất tri thức phải nhanh chóng và đáng tin cậy. Nghiên cứu cung cấp giải pháp cho bài toán phức tạp này.
3.1. Thách thức từ giá trị thuộc tính biến đổi
Giá trị thuộc tính trong khối dữ liệu thường xuyên thay đổi. Ví dụ, thông tin về khách hàng, sản phẩm hoặc doanh số. Sự thay đổi này ảnh hưởng trực tiếp đến các luật quyết định đã khai phá. Các luật có thể trở nên không chính xác hoặc lỗi thời. Việc khai phá lại toàn bộ khối dữ liệu là tốn kém. Nó tiêu tốn nhiều thời gian và tài nguyên. Cần có phương pháp hiệu quả để cập nhật luật. Điều này phải thực hiện mà không cần xử lý lại từ đầu. Thách thức này đòi hỏi các thuật toán thông minh hơn. Các thuật toán này phải có khả năng thích ứng.
3.2. Thuật toán MDLB_VAC cải tiến
MDLB_VAC là thuật toán khai phá luật quyết định. Nó được thiết kế riêng cho khối dữ liệu có giá trị thuộc tính thay đổi. Thuật toán này sử dụng cách tiếp cận gia tăng. Nó chỉ xử lý phần dữ liệu bị ảnh hưởng bởi sự thay đổi. Điều này giúp giảm đáng kể thời gian tính toán. MDLB_VAC duy trì độ chính xác của luật. Nó đảm bảo các luật vẫn phản ánh đúng thực tế. Hiệu suất của thuật toán được tối ưu hóa. Điều này làm cho nó phù hợp với các hệ thống dữ liệu lớn. Nó giúp phân tích kinh doanh trở nên linh hoạt hơn.
3.3. Làm mịn và thô lớp tương đương điều kiện
Làm mịn (refinement) và làm thô (coarsening) là các khái niệm chính. Chúng được áp dụng cho các lớp tương đương điều kiện. Khi giá trị thuộc tính thay đổi, các lớp này cần được điều chỉnh. Làm mịn chia nhỏ một lớp tương đương thành nhiều lớp con. Điều này giúp tăng độ chi tiết của phân tích. Làm thô hợp nhất nhiều lớp tương đương thành một lớp lớn hơn. Nó giúp giảm độ phức tạp. Các phương pháp này giúp MDLB_VAC thích nghi. Chúng giúp thuật toán thích nghi với sự biến động của dữ liệu. Điều này đảm bảo các luật quyết định được cập nhật chính xác.
IV. Khai thác luật với tập đối tượng biến động trên khối
Thay đổi trong tập đối tượng cũng là một vấn đề quan trọng. Đối tượng có thể được thêm vào hoặc loại bỏ khỏi khối dữ liệu. Nghiên cứu đề xuất các mô hình và thuật toán để giải quyết. Các thuật toán này giúp tính toán gia tăng các chỉ số. Các chỉ số như độ chính xác (Accuracy) và độ phủ (Coverage). Chúng cũng tính toán độ hỗ trợ (Support). Điều này áp dụng khi có sự bổ sung hoặc loại bỏ đối tượng. Hai phương pháp chính được giới thiệu: MDLB_OSC1 và MDLB_OSC2. MDLB_OSC1 tập trung vào tính toán gia tăng Acc và Cov. MDLB_OSC2 tập trung vào tính toán gia tăng Sup. Các phương pháp này tránh việc tính toán lại từ đầu. Chúng giúp tiết kiệm tài nguyên. Phân tích độ phức tạp của các thuật toán cũng được trình bày. Điều này đánh giá hiệu suất của chúng. Khả năng cập nhật luật quyết định một cách linh hoạt là rất quan trọng. Nó giúp duy trì tính kịp thời của thông tin. Điều này hỗ trợ quá trình phân tích kinh doanh. Mục tiêu là tối ưu hóa hiệu quả khi đối tượng thay đổi.
4.1. Bài toán bổ sung và loại bỏ đối tượng
Trong các hệ thống kho dữ liệu thực tế, tập đối tượng thường xuyên thay đổi. Khách hàng mới được thêm vào. Khách hàng cũ có thể bị loại bỏ. Những thay đổi này ảnh hưởng đến các tập dữ liệu. Các luật phân loại đã học cần được cập nhật. Nếu không, chúng có thể trở nên kém hiệu quả. Việc khai phá lại toàn bộ khối là không khả thi. Đặc biệt với dữ liệu lớn. Do đó, cần có cách tiếp cận gia tăng. Cách tiếp cận này giúp xử lý các thay đổi này một cách hiệu quả. Đây là thách thức trung tâm của nghiên cứu.
4.2. Phương pháp tính toán gia tăng hiệu quả
Nghiên cứu phát triển các phương pháp tính toán gia tăng. Chúng giúp cập nhật các chỉ số của luật quyết định. Điều này thực hiện khi có sự thay đổi trong tập đối tượng. Thay vì tính lại toàn bộ, chỉ những phần bị ảnh hưởng được xử lý. Các chỉ số quan trọng bao gồm độ chính xác (Accuracy), độ phủ (Coverage), và độ hỗ trợ (Support). Các phương pháp gia tăng này giảm đáng kể chi phí tính toán. Chúng làm cho quá trình cập nhật luật nhanh hơn. Điều này rất có lợi trong môi trường phân tích dữ liệu thời gian thực.
4.3. Các thuật toán MDLB_OSC1 và MDLB_OSC2
MDLB_OSC1 và MDLB_OSC2 là hai thuật toán chính. Chúng được đề xuất để giải quyết bài toán thay đổi đối tượng. MDLB_OSC1 tập trung vào việc cập nhật độ chính xác và độ phủ. Nó thực hiện điều này khi đối tượng được thêm hoặc bớt. MDLB_OSC2 tập trung vào cập nhật độ hỗ trợ. Cả hai thuật toán đều sử dụng cách tiếp cận gia tăng. Chúng tối ưu hóa hiệu suất. Chúng cũng duy trì chất lượng của luật quyết định. Việc so sánh hai phương pháp này cung cấp cái nhìn sâu sắc. Nó cho thấy lựa chọn phù hợp cho các tình huống khác nhau. Các thuật toán này đóng góp vào khả năng khai thác luật quyết định linh hoạt.
V. Ứng dụng thực tiễn và trích xuất tri thức kinh doanh
Nghiên cứu này mang lại nhiều ứng dụng thực tiễn quan trọng. Khả năng khai phá luật quyết định trên mô hình dữ liệu dạng khối. Nó giúp giải quyết các vấn đề phức tạp trong phân tích kinh doanh. Các phương pháp gia tăng đảm bảo tính kịp thời của thông tin. Điều này là vô giá trong các ngành đòi hỏi phản ứng nhanh. Ví dụ như tài chính, bán lẻ, và chăm sóc sức khỏe. Việc trích xuất tri thức hiệu quả giúp tổ chức đưa ra quyết định tốt hơn. Các luật phân loại được cập nhật liên tục. Chúng cung cấp cái nhìn chính xác về xu hướng thị trường. Chúng cũng giúp hiểu hành vi khách hàng. Điều này dẫn đến các chiến lược kinh doanh tối ưu. Nghiên cứu cũng mở ra hướng phát triển mới. Nó khám phá các mô hình dữ liệu phức tạp hơn. Ví dụ như dữ liệu dòng (stream data) hoặc dữ liệu đồ thị (graph data). Việc kết hợp khai thác dữ liệu và OLAP là một điểm mạnh. Nó tối ưu hóa quá trình ra quyết định. Nó biến dữ liệu thành lợi thế cạnh tranh.
5.1. Tối ưu hóa phân tích dữ liệu đa chiều
Các thuật toán được phát triển tối ưu hóa phân tích dữ liệu đa chiều. Chúng tận dụng cấu trúc khối dữ liệu. Điều này giúp giảm thời gian truy vấn và xử lý. Phân tích kinh doanh trở nên nhanh chóng và hiệu quả hơn. Các nhà quản lý có thể truy cập thông tin chi tiết. Họ có thể đưa ra quyết định dựa trên dữ liệu. Điều này tăng cường khả năng cạnh tranh của doanh nghiệp. Nó giúp khai thác tối đa giá trị từ kho dữ liệu hiện có.
5.2. Hỗ trợ ra quyết định kinh doanh linh hoạt
Khả năng cập nhật luật quyết định một cách gia tăng là then chốt. Nó giúp các doanh nghiệp phản ứng linh hoạt với sự thay đổi. Dù là thay đổi thuộc tính hay thay đổi đối tượng. Các luật phân loại luôn phản ánh tình hình hiện tại. Điều này hỗ trợ các quyết định chiến lược và vận hành. Ví dụ, điều chỉnh chiến dịch marketing hoặc quản lý rủi ro. Các quy tắc này cung cấp cái nhìn sâu sắc. Chúng giúp các nhà lãnh đạo đưa ra lựa chọn sáng suốt.
5.3. Hướng phát triển và tiềm năng mở rộng
Nghiên cứu mở ra nhiều hướng phát triển tiềm năng. Có thể mở rộng sang các loại dữ liệu khác. Ví dụ như dữ liệu bán cấu trúc hoặc dữ liệu phi cấu trúc. Việc tích hợp với các kỹ thuật học máy khác. Ví dụ như học tăng cường hoặc học sâu. Điều này có thể nâng cao hơn nữa hiệu quả. Nó giúp trích xuất tri thức. Ứng dụng trong các lĩnh vực mới cũng là một triển vọng. Ví dụ như IoT hoặc thành phố thông minh. Nghiên cứu cung cấp một khuôn khổ vững chắc. Nó có thể được phát triển trong tương lai.
Mục lục chi tiết luận án
Tải xuống file đầy đủ để xem toàn bộ nội dung
Tải đầy đủ (129 trang)Trích đoạn nội dung luận án
Tải xuống để đọc toàn bộBỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ ----------------------------- Đỗ Thị Lan Anh KHAI PHÁ LUẬT QUYẾT ĐỊNH TRÊN MÔ HÌNH DỮ LIỆU DẠNG KHỐI LUẬN ÁN TIẾN SĨ MÁY TÍNH Hà Nội – Năm 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ ----------------------------- Đỗ Thị Lan Anh KHAI PHÁ LUẬT QUYẾT ĐỊNH TRÊN MÔ HÌNH DỮ LIỆU DẠNG KHỐI Chuyên ngành: Khoa học máy tính Mã số: 9 48 01 01 LUẬN ÁN TIẾN SĨ MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. TS Trịnh Đình Thắng Hà Nội – Năm 2020 i LỜI CẢM ƠN Lời đầu tiên, cho phép tác giả xin bày tỏ lòng biết ơn sâu sắc và chân thành tới PGS. TS Trịnh Đình Thắng, người thầy đã tận tình hướng dẫn, chỉ bảo cho tác giả trong suốt quá trình học tập, nghiên cứu và hoàn thành luận án này. Tác giả xin chân thành cảm ơn tới tập thể các thầy cô giáo, các nhà khoa học thuộc: Viện Công nghệ Thông tin – viện Hàn lâm Khoa học và Công nghệ Việt Nam, Khoa Công nghệ Thông tin – Học viện Khoa học và Công nghệ, viện Công nghệ Thông tin – trường Đại học Sư phạm Hà Nội 2 đã giúp đỡ về chuyên môn và tạo điều kiện thuận lợi cho tác giả trong suốt thời gian học tập và nghiên cứu.
Cuối cùng, tác giả xin gửi tới gia đình, người thân, bạn bè lời cảm ơn chân thành nhất vì đã ủng hộ, đồng hành, là chỗ dựa vững chắc và là động lực giúp tác giả hoàn thành luận án này. Tác giả luận án Đỗ Thị Lan Anh ii LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của tôi dưới sự hướng dẫn khoa học của PGS. TS Trịnh Đình Thắng. Các kết quả được viết chung với các đồng tác giả đã được sự chấp thuận của các tác giả trước khi đưa vào luận án.
Các kết quả nêu trong luận án là trung thực và chưa từng được công bố trong bất kỳ công trình nào khác. Tác giả luận án Đỗ Thị Lan Anh iii MỤC LỤC Trang Danh mục các ký hiệu, các chữ viết tắt v Danh mục các bảng, hình vẽ vi MỞ ĐẦU 1 CHƯƠNG 1: MỘT SỐ KIẾN THỨC CƠ SỞ 9 1.1 Khai phá dữ liệu 9 1.1 Định nghĩa khai phá dữ liệu 9 1.2 Một số kỹ thuật khai phá dữ liệu 9 1.2 Khai phá luật quyết định 10 1.1 Hệ thông tin 10 1.2 Quan hệ không phân biệt được 11 1.3 Bảng quyết định 13 1.5 Luật quyết định 14 1.3 Mô hình dữ liệu dạng khối 16 1.1 Khối, lược đồ khối 16 1.3 Đại số quan hệ trên khối 18 1.4 Kết luận chương 1 21 CHƯƠNG 2: KHAI PHÁ LUẬT QUYẾT ĐỊNH TRÊN KHỐI DỮ LIỆU CÓ GIÁ TRỊ THUỘC TÍNH THAY ĐỔI 22 2.1 Một số khái niệm xây dựng trên khối 22 2.1 Khối thông tin 22 2.2 Quan hệ không biệt được 25 2.3 Khối quyết định 26 2.4 Luật quyết định trên khối và lát cắt 28 2.2 Thuật toán khai phá luật quyết định trên khối và trên lát cắt (MDLB) 31 2.3 Khai phá luật quyết định trên khối có giá trị thuộc tính thay đổi 34 2.1 Làm mịn, thô các lớp tương đương điều kiện trên khối và trên lát cắt 40 2.2 Làm mịn, thô các lớp tương đương quyết định trên khối và trên lát cắt 44 2.3 Làm mịn cảm sinh hoàn toàn thuộc tính chỉ số trên lát cắt 48 2.4 Thuật toán khai phá luật quyết định trên khối có giá trị thuộc tính iv thay đổi (MDLB_VAC) 50 2.4 Độ phức tạp của các thuật toán tính ma trận Sup trên khối và lát cắt 60 2.5 Ví dụ minh họa 62 2.1 Minh họa bài toán sinh luật quyết định trên khối 62 2.2 Minh họa bài toán sinh luật quyết định trên khối khi làm mịn, thô giá trị thuộc tính chỉ số 63 2.6 Kết luận 66 CHƯƠNG 3: KHAI PHÁ LUẬT QUYẾT ĐỊNH TRÊN KHỐI CÓ TẬP ĐỐI TƯỢNG THAY ĐỔI 67 3.1 Mô hình bổ sung, loại bỏ các đối tượng trên khối và lát cắt 67 3.2 Tính toán gia tăng Acc và Cov khi bổ sung, loại bỏ đối tượng trên khối 74 3.1 Bổ sung đối tượng x vào khối quyết định 74 3.2 Loại bỏ phần tử x ra khỏi khối quyết định 77 3.3 Thuật toán sinh luật quyết định bằng phương pháp tính gia tăng ma trận Acc và Cov sau khi bổ sung, loại bỏ các phần tử (MDLB_OSC1) 78 3.4 Độ phức tạp của các thuật toán MDLB_OSC1 83 3.5 Tính toán gia tăng Sup khi bổ sung, loại bỏ đối tượng trên khối và lát cắt 86 3.6 Thuật toán sinh luật quyết định bằng phương pháp tính gia tăng ma trận Sup sau khi bổ sung và loại bỏ các đối tượng (MDLB_OSC2) 88 3.7 Độ phức tạp của các thuật toán MDLB_OSC2 96 3.8 So sánh hai phương pháp tính gia tăng 97 3.9 Ví dụ minh họa 97 3.11 Kết luận 112 KẾT LUẬN 113 DANH MỤC CÁC CÔNG TRÌNH CỦA TÁC GIẢ 114 TÀI LIỆU THAM KHẢO 115 v DANH MỤC CÁC KÍ HIỆU, CÁC CHỮ VIẾT TẮT Kí hiệu, chữ viết tắt Diễn giải Acc Accuracy (Độ chính xác) Cov Coverage (Độ phủ) Sup Support (Độ hỗ trợ) IND(P) Quan hệ không phân biệt được id id’ Tích rời rạc của hai tập chỉ số id và id’ P(r) Phép chiếu của khối r trên lược đồ con P F(r) Phép chọn của khối r theo biểu thức Boole F r s Phép kết nối hai khối r và s IB = (U, A, V, f) Khối thông tin DB = (U, CD) Khối quyết định U/C Tập các lớp tương đương điều kiện trên khối U/D Tập các lớp tương đương quyết định trên khối U/Cx Tập các lớp tương đương điều kiện trên lát cắt tại điểm x Tập các lớp tương đương quyết định trên lát cắt tại điểm U/Dx x Ngưỡng độ chính xác tối thiểu Ngưỡng độ phủ tối thiểu vi DANH MỤC CÁC BẢNG Trang Bảng 1.1 Bảng Bệnh nhân 2 Bảng 1.1 Một ví dụ về hệ thông tin 11 Bảng 1.2 Bảng quyết định về bệnh cúm 14 Bảng 2.1 Bảng biểu diễn khối thông tin Bệnh nhân bị sốt virut tại khoa Nhi A Bệnh viện Bạch Mai cơ sở 2 25 Bảng 3.1 Bảng so sánh hai phương pháp tính gia tăng 98 Bảng 3.2 Các thông tin cơ bản về CSDL thực nghiệm 104 vii DANH MỤC CÁC HÌNH VẼ Hình 1.1 Ví dụ Khối Bệnh nhân 3 Hình 1.2 Ví dụ về khối Khách hàng 19 Hình 1.3 Minh họa lát cắt khối Khách hàng tại điểm x = 3/2019 20 Hình 2.1 Minh họa một khối thông tin bệnh nhân bị sốt virut tại Khoa Nhi A – Bệnh viện Bạch Mai cơ sở 2 24 Hình 2.2 Minh họa khối quyết định Bệnh nhân sốt vi rút 28 Hình 3.1 Menu của chương trình 105 Hình 3.2 Tìm các lớp tương đương điều kiện, quyết định 105 Hình 3.3 Ma trận Sup, Acc, Cov tìm được 106 Hình 3.4 Luật quyết định tìm được trên khối 106 Hình 3.5 Mối quan hệ giữa số lượng luật kết quả và ngưỡng min_acc, min_cov 107 Hình 3.6 Chọn giá trị làm mịn 107 Hình 3.7 Tính các ma trận Sup, Acc, Cov trước và sau khi làm mịn 108 Hình 3.8 Chọn giá trị thuộc tính làm thô 108 Hình 3.9 Tính các ma trận Sup, Acc, Cov trước và sau khi làm thô 109 Hình 3.10 Luật quyết định tìm được sau khi làm thô, mịn giá trị thuộc tính 109 Hình 3.11 Chọn đối tượng bị loại bỏ 110 Hình 3.12 Nhập đối tượng bổ sung vào khối 110 Hình 3.13 Kết quả chương trình tính gia tăng ma trận Acc, Cov và luật quyết định thu được 111 Hình 3.14 Kết quả chương trình tính gia tăng ma trận Sup và luật quyết định thu được 111 Hình 3.15 Thời gian chạy (mili giây) trung bình của hai thuật toán 112 1 MỞ ĐẦU 1. Lý do chọn đề tài Khai phá dữ liệu vẫn đang là lĩnh vực nhận được rất nhiều sự quan tâm nghiên cứu của các nhà khoa học trên thế giới. Hội nghị quốc tế về khai phá dữ liệu KDD lần thứ 26 được tổ chức tại California, Mỹ vào tháng 8 năm 2020 là một trong những hội nghị lớn và nổi tiếng hàng đầu trong lĩnh vực khai phá dữ liệu và quy tụ hàng trăm nhà khoa học tham gia [1], [2].
Một số các hội nghị về khai phá dữ liệu nổi tiếng được tổ chức thường niên hàng năm trên thế giới được kể đến như: hội nghị KDD, ICDE, IEEE ICDM, CIKM, SIAM SDM, PKDD, PAKDD… Nhóm bài toán thường được nghiên cứu trong khai phá dữ liệu gồm có: Phân lớp, dự đoán, luật kết hợp và phân cụm [3], [4], [5]. Khai phá luật quyết định là một kĩ thuật nằm trong nhóm bài toán phân lớp đối tượng. Đây là một trong những kĩ thuật khai phá dữ liệu khá phổ biến và đã được nhiều chuyên gia trong và ngoài nước nghiên cứu trên mô hình cơ sở dữ liệu quan hệ và một số mô hình mở rộng của mô hình dữ liệu quan hệ như mô hình datacube, mô hình nhà kho dữ liệu, mô hình dữ liệu đa chiều …. Năm 1998, các tác giả Nguyễn Xuân Huy, Trịnh Đình Thắng đã đề xuất mô hình dữ liệu dạng khối, một mở rộng của mô hình quan hệ [9].
Mô hình này đã được xây dựng cả về lý thuyết và cài đặt thực nghiệm. Với việc đưa thêm một trục id cho phép theo dõi được sự thay đổi dữ liệu theo quá trình, cụ thể có thể là theo thời gian, giai đoạn, khoảng cách. Kết quả của bài toán khai phá luật trên mô hình quan hệ sẽ cho ta các luật hữu ích nhưng chỉ tại một thời điểm nào đó. Tuy nhiên, trong thực tế với một số vấn đề đặc thù như chuẩn đoán bệnh, theo dõi quá trình mua bán hàng trong siêu thị hay quá trình quản lí cán bộ của một cơ quan,.
Việc tìm ra các mối quan hệ (các luật) của các đối tượng trong cơ sở dữ liệu theo một quá trình sẽ giúp ích cho các chuyên gia đưa ra các quyết định chính xác hơn. Ví dụ: trong bảng quyết định Bệnh nhân dưới đây 2 Sốt Ho Sổ mũi Mức Sốt VR (A1) (A2) (A3) (A4) 1 1 0 1 3 2 1 3 3 2 1 3 3 3 2 3 Bảng 1.1: Bảng Bệnh nhân Bảng này gồm các thuộc tính điều kiện là: Sốt (A1), Ho (A2), Sổ mũi (A3) và thuộc tính quyết định là Mức Sốt VR (A4). Theo định nghĩa luật quyết định trên bảng quyết định sẽ có dạng: Ci → Dj với Ci là các lớp tương đương điều kiện, Dj là các lớp tương đương quyết định.
Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ
Trích dẫn luận án này
Đỗ Thị Lan Anh (2020). Khai phá luật quyết định trên mô hình dữ liệu dạng khối [Luận án tiến sĩ, Học viện Khoa học và Công nghệ]. LuanAn.net. https://luanan.net/tai-lieu-khac/khai-pha-luat-quyet-dinh-tren-mo-hinh-du-lieu-dang-khoi
Câu hỏi thường gặp
Luận án "Khai phá luật quyết định trên mô hình dữ liệu dạng khối" nghiên cứu về vấn đề gì?
"Luận án tiến sĩ khai phá luật quyết định trên mô hình dữ liệu dạng khối, đề xuất phương pháp mới hiệu quả và cải tiến hiệu suất 10% so với mô hình hiện tại."
Luận án "Khai phá luật quyết định trên mô hình dữ liệu dạng khối" được bảo vệ tại trường nào?
Luận án này được bảo vệ tại Học viện Khoa học và Công nghệ. Năm bảo vệ: 2020.
Luận án "Khai phá luật quyết định trên mô hình dữ liệu dạng khối" thuộc chuyên ngành gì?
Luận án "Khai phá luật quyết định trên mô hình dữ liệu dạng khối" thuộc chuyên ngành Khoa học máy tính. Danh mục: Tài liệu khác.
Luận án "Khai phá luật quyết định trên mô hình dữ liệu dạng khối" có bao nhiêu trang?
Luận án "Khai phá luật quyết định trên mô hình dữ liệu dạng khối" có 129 trang. Bạn có thể xem trước một phần tài liệu ngay trên trang web trước khi tải về.
Cách tải luận án "Khai phá luật quyết định trên mô hình dữ liệu dạng khối" về máy như thế nào?
Để tải luận án về máy, bạn nhấn nút "Tải xuống ngay" trên trang này, sau đó hoàn tất thanh toán phí lưu trữ. File sẽ được tải xuống ngay sau khi thanh toán thành công. Hỗ trợ qua Zalo: 0559 297 239.