Luận án tiến sĩ kỹ thuật hệ tư vấn dựa trên trường hàm ý thống kê

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN TẤN HOÀNG HỆ TƯ VẤN DỰA TRÊN TRƯỜNG HÀM Ý THỐNG KÊ LUẬN ÁN TIẾN SĨ KỸ THUẬT Đà Nẵng - Năm 2022 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN TẤN HOÀNG HỆ TƯ VẤN DỰA TRÊN TRƯỜNG HÀM Ý THỐNG KÊ Chuyên ngành: Khoa học máy tính Mã số: 9480101 LUẬN ÁN TIẾN SĨ KỸ THUẬT Người hướng dẫn khoa học: 1.TS Huỳnh Xuân Hiệp 2. Huỳnh Hữu Hưng Đà Nẵng - Năm 2022 LỜI CAM Tôi xin cam đoan đây là công trình nghiên cứu do tôi thực hiện, dưới sự hướng dẫn của PGS.TS Huỳnh Xuân Hiệp và TS Huỳnh Hữu Hưng. Tôi cam đoan các kết quả nghiên cứu được trình bày trong luận án là trung thực và không sao chép từ bất kỳ công trình nghiên cứu nào khác. Một số kết quả nghiên cứu là thành quả tập thể và đã được các đồng tác giả đồng ý cho sử dụng trong luận án.

Mọi trích dẫn trong luận án đều có ghi nguồn gốc xuất xứ rõ ràng và đầy đủ. Tác giả Nguyễn Tấn Hoàng LỜI CẢM Để có thể hoàn thành luận án này, trước tiên tôi xin bày tỏ lòng biết ơn chân thành đến PGS.TS Huỳnh Xuân Hiệp và TS Huỳnh Hữu Hưng đã tận tình hướng dẫn, truyền đạt kiến thức và kinh nghiệm quý báu cho tôi trong suốt quá trình học tập và nghiên cứu khoa học. Trong thời gian thực hiện chương trình nghiên cứu sinh tại trường Đại học Bách khoa Đà Nẵng, tôi luôn được đào tạo và nhận được nhiều điều kiện thuận lợi cũng như những hỗ trợ kịp thời từ Phòng Đào tạo và Khoa Công nghệ thông tin mà tôi không thể không ghi nhận nơi đây. Bên cạnh đó, tôi cũng cảm ơn Ban lãnh đạo Sở Thông tin và Truyền thông tỉnh Đồng Tháp đã luôn hỗ trợ và tạo điều kiện tốt nhất về công việc và thời gian để tôi có thể tập trung nghiên cứu.

Ngoài ra, tôi cũng xin chân thành cảm ơn các nhà khoa học đã dành thời gian và công sức đọc và đưa ra các góp ý vô cùng hữu ích để luận án được hoàn chỉnh hơn. Cuối cùng, tôi xin được gửi lời cảm ơn sâu sắc nhất đến gia đình, các bạn nghiên cứu sinh và các đồng nghiệp luôn bên cạnh, giúp đỡ và động viên tôi trong suốt thời gian học tập, nghiên cứu và hoàn thành luận án. Đà Nẵng, ngày 09 tháng 8 năm 2022 NCS. Nguyễn Tấn Hoàng MỤC LỤC LỜI CAM ĐOAN I LỜI CẢM ƠN II MỤC LỤC I DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT V DANH MỤC BẢNG VII DANH MỤC HÌNH VIII 0.

TỔNG QUAN VỀ TRƯỜNG HÀM Ý VÀ HỆ TƯ VẤN 8 1. Phân tích hàm ý thống kê 8 1. Các độ đo hàm ý thống kê 14 1. Chỉ số hàm ý 15 1.

Trường hàm ý 19 1. Biến thiên chỉ số hàm ý 19 1. Trường hàm ý 20 1. Mặt đẳng trị hàm ý 21 1.

Các thành phần của một hệ tư vấn 23 1. Tổ chức dữ liệu đánh giá mô hình hệ tư vấn 24 1. Đánh giá hiệu quả mô hình hệ tư vấn 27 1. Hệ tư vấn dựa trên lọc nội dung 31 1.

Hệ tư vấn dựa trên lọc cộng tác 34 1. Hệ tư vấn lai ghép 42 1. Các hệ tư vấn khác 44 1. Các lĩnh vực ứng dụng của hệ tư vấn 47 1.

Quản lý hành chính nhà nước (e-government) 47 1. Thương mại điện tử (e-commercial) 48 1. Thư viện điện tử (e-library) 48 1. Học tập trực tuyến (e-learning) 49 1.

Du lịch trực tuyến (e-tourism) 49 1. Quản lý tài nguyên (e-resource) 49 1. Một số vấn đề về hệ tư vấn 50 1. Dữ liệu thưa (Sparsity Problem) 50 1.

Thiếu dữ liệu ban đầu (Cold Start) 50 1. Khả năng mở rộng (Scalability) 51 1. Quá chuyên môn (Over Specialization Problem) 51 1. Xu hướng thiên lệch theo sự phổ biến (Popularity bias) 51 1.

Một số vấn đề về hệ tư vấn dựa trên mô hình khai thác luật 53 1. Một số vấn đề về hệ tư vấn dựa trên phân tích hàm ý thống kê 55 1. Đề xuất nghiên cứu 60 1. Kết luận chương 61 2.

MÔ HÌNH HỆ TƯ VẤN DỰA TRÊN TRƯỜNG HÀM Ý 62 2. Mô hình tư vấn lọc cộng tác dựa trên biến thiên hàm ý 63 2. Phân tích các vấn đề của hệ tư vấn dựa trên mô hình khai thác luật kết hợp 63 2. Độ biến thiên hàm ý thống kê và ngưỡng biến thiên hàm ý 67 2.

Độ đo biến thiên hàm ý thống kê 68 2. Ngưỡng biến thiên chỉ số hàm ý 69 2. Ngưỡng biến thiên cường độ hàm ý 71 2. Luật kết hợp và khung khai thác luật 74 2.

Luật kết hợp 74 2. Mô hình hoá luật kết hợp và khung khai thác luật kết hợp 74 2. Mô hình tư vấn và đánh giá mô hình 92 2. Đánh giá mô hình 96 2.

Chọn mô hình tốt nhất 103 2. Tối ưu hoá các thông số của mô hình 105 2. Mô hình tư vấn dựa trên trường hàm ý thống kê 105 2. Các vấn đề của hệ tư vấn dựa trên biến thiên hàm ý thống kê 105 2.

Luật hàm ý và khung khai thác luật hàm ý 106 2. Mô hình hoá luật hàm ý 107 2. Mô hình hoá khung khai thác luật hàm ý 109 2. Thủ tục tư vấn và thuật toán sử dụng 113 2.

Đánh giá mô hình 115 2. Kết luận chương 122 3. THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 124 3. Dữ liệu thực nghiệm 125 3.

Tập dữ liệu Movielens và phân bố dữ liệu của nó 125 3. Tập dữ liệu MSWeb và phân bố dữ liệu của nó 128 3. Công cụ thực nghiệm 131 3. Thực nghiệm mô hình tư vấn lọc cộng tác dựa trên biến thiên hàm ý 132 3.

Mô hình tư vấn lọc cộng tác dựa trên biến thiên hàm ý theo người dùng 133 3. Mô hình tư vấn lọc cộng tác dựa trên biến thiên hàm ý theo mục 138 3. Thực nghiệm mô hình tư vấn dựa trên trường hàm ý thống kê 144 3. Thực nghiệm trên dữ liệu phân hoạch theo số giao dịch của tập dữ liệu 145 3.

Thực nghiệm trên dữ liệu phân hoạch theo mục đánh giá của giao dịch 151 3. Kết luận chương 158 4. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 160 Kết luận 160 Hướng phát triển 161 5. DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ 163 6.

TÀI LIỆU THAM KHẢO 165 PHỤ LỤC I Phụ lục 1: Chứng minh các độ đo hàm ý thống kê là không đối xứng i Phụ lục 2: Chứng minh sự tương đương của các công thức chỉ số hàm ý trong trường hợp dữ liệu nhị phân iii Phụ lục 3: Các Phân phối xác suất quan trọng có liên quan trong luận án iv DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT Thuật Tiếng Viết ngữ Anh tắt Implication/Implicative intensity Cường độ hàm ý IInt Propension intensity Implication intensity variation Biến thiên cường độ hàm ý Implication/Implicative Chỉ số hàm ý index Propesion index IInd Implication index variation Biến thiên chỉ số hàm ý Độ đo hấp dẫn chủ quan Subjective interestingness measure Độ đo hấp dẫn khách quan Objective interestingness measure Độ lợi tích lũy giảm dần Normalized discounted cumulative nDCG gain Độ đo Sai số tuyệt đối trung bình Mean Absolute Error MAE Độ đo sai số bình phương trung bình Mean Square Error MSE Độ đo căn bậc hai của sai số Root Mean Square Error RMSE bình phương trung bình Recommender/Recommendation Hệ tư vấn RS systems Association rule based Hệ tư vấn dựa trên luật kết hợp ARRS recommender system Hệ tư vấn dựa trên nội dung Content-based recommender system CBRS Hệ tư vấn dựa trên tri thức Knowledge-based recommender KBRS system Hệ tư vấn lai ghép Hybrid recommender system HRS Hệ tư vấn dựa trên trường Statistic implication field IFSRS hàm ý thống kê based recommender system Mặt đẳng trị Equipotential plane/surface EP/ES Mô hình tư vấn lọc cộng tác dựa Implication variation based model trên biến thiên hàm ý Mô hình tư vấn theo mức độ quan trọng xếp hạng hàm ý User implicative rating based model UIR thống kê trên người dùng Mục/Mục dữ liệu Item Phân tích hàm ý thống kê Statistical implicative analysis SIA Phản ví dụ Counter-example Sai số bình phương trung bình Root of mean squared error RMS E Sai số tuyệt đối trung bình Mean absolute error MAE Trường hàm ý thống kê Statistical implication field SIF DANH MỤC BẢNG Bảng 1-1 Dữ liệu các giao dịch phim 11 Bảng 1-2 Trình bày dạng nhị phân dữ liệu các giao dịch phim 12 Bảng 1-3 Tập dữ liệu các giao dịch đánh giá các bộ phim 16 Bảng 1-4 Biểu diễn nhị phân của dữ liệu trong Bảng 1-3 17 Bảng 1-5 Biểu diễn phi nhị phân của dữ liệu trong Bảng 1-3 18 Bảng 1-6 Bảng ma trận nhầm lẫn kết quả đánh giá mô hình 29 Bảng 2-1 Các độ đo biến thiên hàm ý thống kê 69 Bảng 2-2 Biến thiên của 𝒏𝑨, 𝒏𝑩, 𝒏𝑨𝑩 và 𝒒 khi thêm hay bỏ một mục của tập dữ liệu 70 Bảng 2-3 Các đại lượng biến thiên khi một phần tử được bổ sung vào (hay loại bỏ ra khỏi) mẫu dữ liệu 72 Bảng 2-4 Bảng tương quan (Contingency table) giữa 𝒂, 𝒃 cho luật 𝒂 → 𝒃 75 Bảng 2-5 Bảng ma trận nhầm lẫn kết quả đánh giá mô hình 102 Bảng 2-6 Bảng ma trận nhầm lẫn kết quả đánh giá mô hình 122 Bảng 3-1 Thống kê dữ liệu đánh giá phim 126 Bảng 3-2 Bảng thống kê tập dữ liệu MSWeb 128 Bảng 3-3 Mật độ của trường hàm ý trên các mặt đẳng trị và chỉ số hàm ý của nó.134 Bảng 3-4 Mặt đẳng trị chỉ số hàm ý thứ 1 trên trường hàm ý 134 Bảng 3-5 Tổng hợp các chỉ số lỗi dự đoán của mô hình ISF 136 Bảng 3-6 Mật độ của trường hàm ý trên các mặt đẳng trị và chỉ số hàm ý theo yếu tố biến thiên byFactor 139 Bảng 3-7 Các luật hàm ý và chỉ số hàm ý trên mặt đẳng trị số 3 139 Bảng 3-8 Chỉ số lỗi dự đoán của mô hình ISF với các mô hình IBCF và UBCF 141 Bảng 3-9 Thực nghiệm độ chính xác hai mô hình trên tập dữ liệu nhị phân 146 Bảng 3-10 Độ chính xác thực nghiệm hai mô hình trên tập dữ liệu định lượng 148 .