Luận án lọc cộng tác và lọc nội dung
Luận án phân tích chi tiết các phương pháp lọc cộng tác và lọc nội dung. Đề xuất giải pháp tối ưu, nâng cao hiệu quả hệ thống khuyến nghị thông minh.
Luan An
Luận án tiến sĩ
Số trang
135
Thời gian đọc
21 phút
Lượt xem
0
Lượt tải
0
Phí lưu trữ
40 Point
Tổng quan nhanh
- Chủ đề:
- 1. Tổng quan về hệ thống tư vấn
- Số trang:
- 135 trang
- Trường:
- Trường Đại học Công nghệ
- Chuyên ngành:
- Khoa học máy tính
- Tác giả:
- Nguyễn Duy Phương
Tóm tắt nội dung luận án
I. Tổng quan về hệ thống tư vấn
Hệ thống tư vấn là một phần quan trọng của các ứng dụng trực tuyến, giúp người dùng tìm kiếm thông tin phù hợp. Hệ thống tư vấn sử dụng các kỹ thuật lọc thông tin để đưa ra các khuyến nghị.
1.1. Giới thiệu chung
Hệ thống tư vấn là một hệ thống thông tin được thiết kế để giúp người dùng tìm kiếm thông tin phù hợp. Hệ thống này sử dụng các kỹ thuật lọc thông tin để đưa ra các khuyến nghị.
1.2. Kiến trúc tổng quát của hệ thống lọc thông tin
Hệ thống lọc thông tin thường bao gồm các thành phần chính: thu thập dữ liệu, tiền xử lý dữ liệu, mô hình hóa dữ liệu và đưa ra khuyến nghị.
II. Phương pháp lọc cộng tác
Lọc cộng tác là một kỹ thuật lọc thông tin dựa trên hành vi của người dùng. Phương pháp này sử dụng các đánh giá của người dùng để đưa ra các khuyến nghị.
2.1. Bài toán lọc cộng tác
Bài toán lọc cộng tác là tìm kiếm các sản phẩm phù hợp với người dùng dựa trên hành vi của họ.
2.2. Các phương pháp lọc cộng tác
Có hai phương pháp lọc cộng tác chính: lọc cộng tác dựa trên bộ nhớ và lọc cộng tác dựa vào mô hình.
III. Phương pháp lọc nội dung
Lọc nội dung là một kỹ thuật lọc thông tin dựa trên đặc điểm của sản phẩm. Phương pháp này sử dụng các thông tin về sản phẩm để đưa ra các khuyến nghị.
3.1. Bài toán lọc nội dung
Bài toán lọc nội dung là tìm kiếm các sản phẩm phù hợp với người dùng dựa trên đặc điểm của sản phẩm.
3.2. Các phương pháp lọc nội dung
Có hai phương pháp lọc nội dung chính: lọc nội dung dựa vào bộ nhớ và lọc nội dung dựa vào mô hình.
IV. Phương pháp lọc kết hợp
Lọc kết hợp là một kỹ thuật lọc thông tin kết hợp giữa lọc cộng tác và lọc nội dung. Phương pháp này sử dụng cả hành vi của người dùng và đặc điểm của sản phẩm để đưa ra các khuyến nghị.
4.1. Bài toán lọc kết hợp
Bài toán lọc kết hợp là tìm kiếm các sản phẩm phù hợp với người dùng dựa trên cả hành vi của người dùng và đặc điểm của sản phẩm.
4.2. Các phương pháp lọc kết hợp
Có nhiều phương pháp lọc kết hợp khác nhau, bao gồm cả lọc cộng tác dựa trên mô hình đồ thị kết hợp.
V. Thử nghiệm và kết quả
Thử nghiệm được thực hiện trên dữ liệu thực tế để đánh giá hiệu suất của các phương pháp lọc thông tin.
5.1. Dữ liệu thử nghiệm
Dữ liệu thử nghiệm bao gồm các thông tin về người dùng, sản phẩm và đánh giá của người dùng.
5.2. So sánh và đánh giá
So sánh và đánh giá hiệu suất của các phương pháp lọc thông tin dựa trên các chỉ số đo lường như RMSE, MAE, Precision, Recall.
Tải xuống file đầy đủ để xem toàn bộ nội dung
Tải đầy đủ (135 trang)Nội dung chính
Tổng quan về luận án
Luận án tiến sĩ này giải quyết những thách thức cấp bách trong lĩnh vực Hệ thống tư vấn (Recommender Systems - RS), đặc biệt tập trung vào việc cải thiện độ chính xác của lọc thông tin trong bối cảnh dữ liệu thưa thớt và tích hợp thông tin đa dạng. Nghiên cứu tiên phong này đặt nền móng trên vấn đề quá tải thông tin (Information Overload - IO), một thách thức được J. Denning nêu ra lần đầu tiên vào năm 1982 [49], nhấn mạnh sự cần thiết của các cơ chế lọc hiệu quả trong kỷ nguyên số. Luận án đặt mục tiêu nâng cao kết quả dự đoán nhu cầu người dùng thông qua việc áp dụng và cải tiến các kỹ thuật học máy, đặc biệt trong các trường hợp dữ liệu thưa và khi có sẵn cả dữ liệu sở thích người dùng lẫn thông tin nội dung sản phẩm.
Research gap cụ thể mà luận án giải quyết bao gồm:
- Vấn đề dữ liệu thưa (Sparsity Data Problem - SDP) trong Lọc cộng tác (Collaborative Filtering - CF): "Hầu hết các phương pháp học máy cho lọc cộng tác hiện nay đều thực hiện những nhiệm vụ học đơn lẻ (Single Task Learning) với giả thiết dữ liệu huấn luyện và dữ liệu kiểm tra được mô tả trong cùng một không gian các giá trị đặc trưng với cùng một phân bố... Tại mỗi thời điểm, phương pháp chỉ thực hiện một nhiệm vụ đơn lẻ, kết quả của mỗi nhiệm vụ cụ thể hoàn toàn độc lập với các nhiệm vụ khác. Chính vì vậy, phương pháp tiếp cận này sẽ gặp khó khăn khi dữ liệu huấn luyện thưa thớt." Điều này dẫn đến khó khăn trong việc xác định mức độ tương tự giữa các người dùng và độ tin cậy của tập láng giềng, cũng như "vấn đề dữ liệu bao phủ yếu (Reduced Coverage Problem)" [107].
- Thiếu sự kết hợp hiệu quả trong Lọc kết hợp (Hybrid Filtering): Các phương pháp lọc kết hợp trước đây thường bỏ qua việc "tìm ra tập các đặc trưng nội dung có ảnh hưởng quan trọng đến thói quen sử dụng sản phẩm của mỗi người dùng cụ thể," cũng như "mâu thuẫn giữa các cách tiếp cận" khi tích hợp lọc cộng tác và lọc nội dung.
Để giải quyết các vấn đề trên, luận án đưa ra hai đóng góp chính:
- Đề xuất áp dụng kỹ thuật Boosting cải tiến cho học đa nhiệm (Multi-Task Learning - MTL) nhằm khắc phục vấn đề dữ liệu thưa trong lọc cộng tác [3, 81].
- Đề xuất một phương pháp lọc kết hợp dựa trên mô hình đồ thị, tích hợp hiệu quả mối quan hệ giữa người dùng, sản phẩm và nội dung sản phẩm [2, 80].
Các research questions chính được khám phá trong luận án này bao gồm:
- Làm thế nào để giảm thiểu ảnh hưởng của vấn đề dữ liệu thưa trong Lọc cộng tác bằng cách tận dụng thông tin chung giữa các nhiệm vụ học?
- Làm thế nào để xây dựng một mô hình Lọc kết hợp hiệu quả, có khả năng cá nhân hóa việc trích chọn đặc trưng nội dung và sử dụng các thuật toán trên đồ thị để nâng cao độ chính xác dự đoán?
Luận án sử dụng một khung lý thuyết vững chắc, kết hợp các lý thuyết về Học máy (Machine Learning - ML), đặc biệt là Boosting và Học đa nhiệm, cùng với lý thuyết đồ thị (Graph Theory) để mô hình hóa và phân tích các mối quan hệ phức tạp. Các đóng góp đột phá của luận án không chỉ mang tính lý thuyết mà còn có tác động thực tiễn đáng kể, với "kết quả dự đoán tốt" được chứng minh trên hệ thống tư vấn lựa chọn phim, mở ra tiềm năng ứng dụng rộng rãi trong các ngành công nghiệp. Phạm vi nghiên cứu bao gồm phân tích trên các bộ dữ liệu quy mô lớn như MovieLens và EachMovie, với tỷ lệ dữ liệu trống lên tới 97.6% (EachMovie) và 95% (MovieLens), cho thấy tính thách thức và độ tin cậy của các giải pháp đề xuất.
Literature Review và Positioning
Nghiên cứu về lọc thông tin và hệ thống tư vấn đã phát triển mạnh mẽ kể từ khi J. Denning [49] lần đầu tiên đưa ra khái niệm "quá tải thông tin" vào năm 1982. Lĩnh vực này được phân chia thành ba luồng chính: Lọc theo nội dung (Content-Based Filtering - CBF), Lọc cộng tác (Collaborative Filtering - CF) và Lọc kết hợp (Hybrid Filtering).
Các nghiên cứu ban đầu về CBF, như của Balabanovic và Shoham [69] hay Pazzani và Billsus [73], tập trung vào việc khai thác những khía cạnh liên quan đến nội dung sản phẩm. Pazzani [74] đã sử dụng bộ phân loại Bayes và thuật toán Winnow để ước lượng khả năng tương tự của sản phẩm. Các phương pháp này, chủ yếu dựa vào kỹ thuật truy vấn thông tin (Information Retrieval - IR), đã thành công trong việc lọc văn bản nhưng gặp hạn chế trong việc trích chọn đặc trưng cho dữ liệu đa phương tiện và xử lý "người dùng mới" (New User Problem).
Trong khi đó, CF, được tiên phong bởi Resnick và các cộng sự [83], Breese và các cộng sự [52], Nakamura và Abe [11], khai thác thói quen sử dụng sản phẩm của cộng đồng người dùng có cùng sở thích. Các phương pháp CF có thể được phân loại thành "lọc dựa trên bộ nhớ" (Memory-Based Filtering - MBF) và "lọc dựa trên mô hình" (Model-Based Filtering - MDBF). MBF thường sử dụng các độ đo tương tự như độ tương quan Pearson hoặc cosin giữa các vector [56, 72] để xác định "k người láng giềng gần nhất" (K Nearest Neighbor - KNN). Các nghiên cứu của Sarwar và các cộng sự [21], Yu và các cộng sự [63, 64], Herlocker và các cộng sự [55] là những ví dụ điển hình của MBF. Ngược lại, MDBF, được khám phá bởi Hofmann [95, 96], Marlin [18], Si và Jin [66], sử dụng các kỹ thuật như mạng Bayes [52, 103], phân cụm (Clustering) [68, 107], hay mô hình ngữ nghĩa ẩn (Latent Semantic Model - LSM) dựa trên phân rã giá trị riêng (Singular Value Decomposition - SVD) của Billsus và Pazzani [29]. Tuy nhiên, CF đối mặt với "vấn đề dữ liệu thưa" (Sparsity Data Problem - SDP), "vấn đề người dùng mới" (New User Problem) và "vấn đề sản phẩm mới" (New Item Problem), còn gọi là "vấn đề khởi động nguội" (Cold Start Problem) [36, 78, 107]. Tỷ lệ dữ liệu chưa được đánh giá có thể lên tới 97.6% trên tập dữ liệu EachMovie và 95% trên MovieLens, làm suy giảm đáng kể độ tin cậy của dự đoán.
Lọc kết hợp ra đời nhằm tận dụng ưu điểm và khắc phục nhược điểm của CBF và CF. Các phương pháp phổ biến bao gồm kết hợp tuyến tính (ví dụ: Soboroff và Nicolas [46], Claypool và các cộng sự [70]), kết hợp đặc tính của CBF vào CF (ví dụ: Basu và các cộng sự [23], Melville và các cộng sự [82]), kết hợp đặc tính của CF vào CBF (ví dụ: Lazanas và Karacapilidis [10]) và mô hình hợp nhất (Unifying Models) (ví dụ: Ansari [7], Hofmann [96], Adomavicius và các cộng sự [37, 38, 39]). Luận án của Ansari [7] đề xuất mô hình hồi quy dựa trên mạng Bayes, tích hợp thuộc tính người dùng, thuộc tính sản phẩm và ma trận tương tác. Mặc dù lọc kết hợp đã cho thấy "kết quả dự đoán tốt hơn" [82], nhưng vẫn còn tồn tại hạn chế trong việc "thiếu sự kết hợp hiệu quả các đặc trưng nội dung vào lọc cộng tác" và "thiếu sự kết hợp hiệu quả các đặc tính của lọc cộng tác vào lọc nội dung" [8, 10, 36, 38].
Vị trí của luận án này trong bối cảnh nghiên cứu quốc tế là tiên phong trong việc giải quyết hai vấn đề cốt lõi trên bằng cách đề xuất các phương pháp mới:
- Nghiên cứu của Si và Jin [66] đã đề xuất mô hình phân cụm FMM và đạt kết quả tốt hơn Pearson correlation và Aspect Model (AM) của Hofmann [95]. Tuy nhiên, luận án này tiến xa hơn bằng cách áp dụng phương pháp học đa nhiệm (Multi-Task Learning - MTL) với Boosting cải tiến, tập trung vào việc chia sẻ thông tin chung giữa các nhiệm vụ để tăng cường dữ liệu huấn luyện, đặc biệt hiệu quả trong môi trường dữ liệu thưa, một khía cạnh mà STL không thể giải quyết.
- Desrosiers và Karypis [24] đã sử dụng độ tương quan gián tiếp (Indirect Similarity) để hạn chế vấn đề dữ liệu thưa. Luận án này tiếp cận vấn đề theo một hướng khác, bằng cách xây dựng mô hình đồ thị kết hợp và sử dụng thuật toán lan truyền mạng, cho phép tận dụng các mối liên hệ gián tiếp phức tạp hơn giữa người dùng, sản phẩm và nội dung để sinh ra dự đoán. Cách tiếp cận này cũng tương phản với các nghiên cứu như của Huang và các cộng sự [119] vốn biểu diễn người dùng và sản phẩm dưới dạng đồ thị hai phía đơn thuần, trong khi luận án này tích hợp cả thông tin nội dung sản phẩm vào mô hình đồ thị. Luận án cũng vượt trội hơn các phương pháp trích chọn đặc trưng nội dung trước đây chỉ dựa vào nội dung sản phẩm [38] bằng cách cá nhân hóa việc trích chọn đặc trưng dựa trên thói quen người dùng, giúp giảm chi phí tính toán và loại bỏ các đặc trưng kém liên quan.
Đóng góp lý thuyết và khung phân tích
Đóng góp cho lý thuyết
Luận án đóng góp đáng kể vào lý thuyết học máy và hệ thống tư vấn bằng cách mở rộng và thách thức một số giả định cốt lõi. Cụ thể, nó mở rộng lý thuyết về Boosting (ví dụ, GentleBoost của Friedman, Hastie, và Tibshirani) bằng cách áp dụng một kỹ thuật Boosting cải tiến cho nhiều bài toán phân loại đồng thời. Phương pháp này đặc biệt thách thức giả định của các phương pháp học đơn lẻ (Single Task Learning - STL) vốn cho rằng mỗi nhiệm vụ học là độc lập và dữ liệu huấn luyện cùng dữ liệu kiểm tra tuân theo cùng một phân bố. Theo mô hình STL, khi phân bố thay đổi, tập dữ liệu huấn luyện và kiểm tra phải được xây dựng lại, một việc không phải lúc nào cũng thực hiện được và làm giảm độ tin cậy của kết quả dự đoán. Luận án, thông qua việc áp dụng Học đa nhiệm (Multi-Task Learning - MTL), chứng minh rằng việc chia sẻ "tập thông tin chung giữa các nhiệm vụ học đơn lẻ" có thể "bổ sung thông tin vào quá trình huấn luyện cho mỗi người dùng khác nhau," từ đó "nâng cao kết quả dự đoán và hạn chế được ảnh hưởng của tình trạng dữ liệu thưa trong lọc cộng tác." Đây là một sự mở rộng quan trọng của lý thuyết học máy trong bối cảnh dữ liệu thưa, đặc biệt áp dụng cho lĩnh vực lọc cộng tác.
Ngoài ra, luận án mở rộng lý thuyết mô hình đồ thị (Graph-Based Models) trong hệ thống tư vấn. Thay vì chỉ biểu diễn mối quan hệ người dùng-sản phẩm như một số nghiên cứu trước đó (ví dụ: Huang và các cộng sự [119] với Bipart Graph Model), luận án đề xuất một khung phân tích tích hợp "mối liên hệ giữa các đối tượng tham gia hệ thống lọc (Người dùng, sản phẩm và nội dung sản phẩm) dựa vào mô hình đồ thị." Điều này tạo ra một khung khái niệm mới cho lọc kết hợp, nơi các mối quan hệ đa chiều và gián tiếp có thể được khám phá thông qua các thuật toán trên đồ thị. Khung này giúp giải quyết các hạn chế của các phương pháp lọc kết hợp truyền thống, vốn thường "thiếu sự kết hợp hiệu quả các đặc trưng nội dung vào lọc cộng tác" và "thiếu sự kết hợp hiệu quả các đặc tính của lọc cộng tác vào lọc nội dung" [8, 10, 36, 38].
Khung khái niệm của luận án được minh họa thông qua các thành phần và mối quan hệ sau:
- Các thành phần: Người dùng (Users), Sản phẩm (Items), Đánh giá (Ratings), Đặc trưng nội dung sản phẩm (Product Content Features).
- Mối quan hệ:
- Người dùng - Sản phẩm: Thể hiện qua ma trận đánh giá (Rating Matrix).
- Sản phẩm - Đặc trưng nội dung: Thể hiện qua các thuộc tính của sản phẩm.
- Người dùng - Đặc trưng nội dung (mới): Mối quan hệ cá nhân hóa được trích xuất dựa trên thói quen sử dụng sản phẩm của người dùng.
Mô hình lý thuyết đề xuất có các giả thuyết (propositions) sau:
- Hypothesis 1: Việc áp dụng Học đa nhiệm với kỹ thuật Boosting cải tiến sẽ cải thiện đáng kể độ chính xác dự đoán trong lọc cộng tác so với các phương pháp học đơn lẻ truyền thống, đặc biệt trong điều kiện dữ liệu thưa.
- Hypothesis 2: Mô hình lọc kết hợp dựa trên đồ thị, tích hợp người dùng, sản phẩm và đặc trưng nội dung, sẽ cho kết quả dự đoán vượt trội hơn các phương pháp lọc cộng tác hoặc lọc nội dung thuần túy.
- Hypothesis 3: Cá nhân hóa việc trích chọn đặc trưng nội dung dựa trên thói quen người dùng sẽ tối ưu hóa hiệu quả của lọc kết hợp, giảm chi phí tính toán và tăng cường độ chính xác dự đoán.
- Hypothesis 4: Thuật toán lan truyền mạng trên đồ thị kết hợp có khả năng tận dụng các mối liên hệ gián tiếp để đưa ra tư vấn chính xác và phù hợp hơn cho người dùng.
Các phát hiện của luận án hướng tới việc tạo ra một sự thay đổi mô hình (paradigm shift) nhỏ trong cách tiếp cận vấn đề dữ liệu thưa và lọc kết hợp. Bằng chứng từ việc cải thiện "kết quả dự đoán tốt" và hiệu quả "hạn chế được ảnh hưởng của tình trạng dữ liệu thưa" [3, 81] cho thấy khả năng dịch chuyển từ các mô hình học đơn lẻ và tích hợp nội dung tĩnh sang các mô hình học đa nhiệm và tích hợp nội dung động, cá nhân hóa.
Khung phân tích độc đáo
Khung phân tích của luận án là độc đáo bởi sự tích hợp sâu rộng các lý thuyết và phương pháp tiếp cận. Nó tích hợp chặt chẽ ba lĩnh vực lý thuyết chính:
- Học máy (Machine Learning): Đặc biệt là các kỹ thuật phân loại (Classification) và Boosting (ví dụ, AdaBoost của Freund và Schapire, Gradient Boosting của Friedman). Luận án cải tiến các kỹ thuật này để áp dụng vào Học đa nhiệm.
- Lý thuyết đồ thị (Graph Theory): Được sử dụng để biểu diễn các mối quan hệ phức tạp giữa các thực thể (người dùng, sản phẩm, nội dung) trong hệ thống tư vấn.
- Lý thuyết lọc thông tin (Information Filtering): Nền tảng cho các khái niệm về lọc cộng tác, lọc nội dung và lọc kết hợp.
Cách tiếp cận phân tích mới lạ nằm ở việc:
- Biểu diễn dữ liệu phù hợp: Chuyển đổi bài toán lọc cộng tác thành bài toán phân loại nhiều lớp (Multiclass Classification - MC), trong đó ma trận đánh giá R được biến đổi thành các giá trị {-1, 0, 1} để biểu diễn "không thích", "chưa đánh giá" và "thích" [81].
- Học đa nhiệm đồng thời: Thay vì huấn luyện các bộ phân loại đơn lẻ cho từng người dùng (Single Task Learning), luận án đề xuất phương pháp học đa nhiệm, trong đó "Boosting đồng thời cho nhiều bài toán phân loại" để khai thác "đặc trưng chung" giữa các người dùng, từ đó tăng cường dữ liệu huấn luyện và giảm ảnh hưởng của SDP.
- Mô hình đồ thị kết hợp đa chiều: Xây dựng một đồ thị kết hợp không chỉ nối người dùng với sản phẩm (đồ thị Người dùng-Sản phẩm, G+, G-) mà còn tích hợp "liên kết người dùng và nội dung sản phẩm" [2, 80]. Điều này cho phép "trích chọn đặc trưng nội dung sản phẩm dựa trên thói quen sử dụng sản phẩm của người dùng" và "cá nhân hóa ảnh hưởng của các đặc trưng nội dung."
- Thuật toán lan truyền mạng (Network Propagation): "Áp dụng thuật toán lan truyền mạng trên đồ thị kết hợp để dự đoán, phân bổ các sản phẩm cho mỗi người dùng." Cách tiếp cận này tận dụng các đường đi gián tiếp và trọng số trên đồ thị để khám phá sở thích tiềm ẩn, một ưu điểm lớn so với các phương pháp dựa trên độ tương tự trực tiếp.
Các đóng góp khái niệm quan trọng bao gồm:
- Khái niệm "Đặc trưng chung" (Common Features) trong Học đa nhiệm: Luận án định nghĩa các đặc trưng chung này như thông tin được chia sẻ giữa các nhiệm vụ học đơn lẻ (tức là giữa các người dùng khác nhau) giúp củng cố quá trình huấn luyện, đặc biệt khi dữ liệu thưa thớt.
- Khái niệm "Đồ thị kết hợp" (Hybrid Graph): Một cấu trúc dữ liệu mô hình hóa mối quan hệ giữa ba loại thực thể chính: người dùng, sản phẩm và đặc trưng nội dung, cùng với các loại cạnh biểu diễn đánh giá, thuộc tính nội dung và mối liên hệ cá nhân hóa giữa người dùng và đặc trưng nội dung.
- "Cá nhân hóa trích chọn đặc trưng nội dung": Một quá trình động trong đó các đặc trưng nội dung sản phẩm được lựa chọn và ưu tiên dựa trên lịch sử tương tác và sở thích riêng của từng người dùng, trái ngược với việc sử dụng một tập đặc trưng cố định cho tất cả.
Các điều kiện biên (boundary conditions) được nêu rõ:
- Hiệu quả của phương pháp MTL-Boosting phụ thuộc vào khả năng tìm thấy các "đặc trưng chung" có ý nghĩa giữa các nhiệm vụ học. Nếu các nhiệm vụ quá khác biệt, lợi ích của MTL có thể giảm.
- Mô hình đồ thị kết hợp hoạt động hiệu quả nhất khi có đủ dữ liệu để xây dựng các liên kết đáng tin cậy giữa người dùng, sản phẩm và nội dung. Trong trường hợp dữ liệu cực kỳ thưa thớt ở mọi cấp độ, việc xây dựng đồ thị có thể vẫn còn thách thức.
- Các phương pháp được thiết kế chủ yếu cho dữ liệu đánh giá rời rạc hoặc có thể biến đổi thành rời rạc (thích/không thích, các mức độ đánh giá).
Phương pháp nghiên cứu tiên tiến
Thiết kế nghiên cứu
Luận án áp dụng một triết lý nghiên cứu chủ yếu theo hướng thực chứng (positivism), với mục tiêu phát triển các phương pháp thuật toán có thể kiểm chứng được, định lượng hóa kết quả và so sánh khách quan với các phương pháp hiện có. Điều này được thể hiện rõ qua việc tập trung vào "cải thiện độ chính xác," "nâng cao kết quả dự đoán," và sử dụng các chỉ số hiệu suất như MAE, Precision, Recall, F-measure.
Thiết kế nghiên cứu sử dụng phương pháp hỗn hợp (mixed methods) theo nghĩa rộng, kết hợp các phương pháp định lượng để đánh giá hiệu suất của thuật toán với các phân tích định tính về các vấn đề tồn tại (như SDP, New User Problem). Tuy nhiên, trọng tâm chính là phát triển và kiểm nghiệm thuật toán một cách định lượng.
Luận án áp dụng thiết kế đa cấp (multi-level design) tiềm ẩn.
- Cấp độ 1: Cấp độ người dùng/sản phẩm: Mỗi người dùng hoặc sản phẩm được coi là một nhiệm vụ phân loại riêng lẻ trong phương pháp học đa nhiệm.
- Cấp độ 2: Cấp độ tập dữ liệu: Đánh giá hiệu suất tổng thể của phương pháp trên các tập dữ liệu lớn (MovieLens, EachMovie), bao gồm các phân tích về "trường hợp dữ liệu thưa."
Kích thước mẫu và tiêu chí lựa chọn chính xác:
- Dữ liệu thử nghiệm được sử dụng là các tập dữ liệu công khai và được chuẩn hóa rộng rãi trong cộng đồng nghiên cứu hệ thống tư vấn: MovieLens và EachMovie.
- Các thống kê cụ thể về độ thưa thớt dữ liệu được báo cáo: "Tỷ lệ dữ liệu chưa được đánh giá trong tập dữ liệu EachMovie là 97.6% và MovieLens là 95%."
- Các bảng trong luận án (ví dụ Bảng 2.2, Bảng 2.3, Bảng 2.4, Bảng 3.5, Bảng 3.6, Bảng 3.7) mô tả các ma trận đánh giá người dùng, ma trận Sản phẩm – Nội dung, và các ma trận đầu vào cho bài toán phân loại, thể hiện cấu trúc dữ liệu chính xác được sử dụng. Ví dụ, "Ma trận đánh giá người dùng" (Bảng 2.1) bao gồm 5 người dùng và 5 sản phẩm.
Quy trình nghiên cứu rigorous
Chiến lược lấy mẫu:
- Inclusion criteria: Chỉ các đánh giá không rỗng (rij ≠ ∅) mới được sử dụng để huấn luyện mô hình ban đầu hoặc xây dựng các liên kết trong đồ thị. Các giá trị rỗng (rij = ∅) là mục tiêu dự đoán.
- Exclusion criteria: Các sản phẩm hoặc người dùng có quá ít đánh giá có thể được xử lý đặc biệt (ví dụ, trong vấn đề Cold Start) hoặc không được đưa vào một số bước huấn luyện nhất định để tránh sai lệch.
Giao thức thu thập dữ liệu:
- Dữ liệu đánh giá (rij) được lấy trực tiếp từ các bộ dữ liệu chuẩn đã có sẵn.
- Đối với phương pháp lọc kết hợp, thông tin nội dung sản phẩm cũng được thu thập và biểu diễn. "Nội dung sản phẩm p∈P được ký hiệu là Content(p) được biểu diễn thông qua tập K đặc trưng nội dung của P."
- Quy trình tiền xử lý dữ liệu bao gồm chuyển đổi ma trận đánh giá R = { rij | rij = ∅, 1, 2,..,V} thành ma trận R = { rij | rij = -1, 0, 1 }, với các giá trị rij>θ thành +1, rij≤θ thành -1, và rij = ∅ thành 0, trong đó θ là ngưỡng được xác định tùy thuộc vào tập dữ liệu.
Triangulation: Mặc dù không sử dụng triangulation theo nghĩa truyền thống của nghiên cứu xã hội, luận án thực hiện một dạng tích hợp thông tin:
- Data triangulation: Sử dụng hai bộ dữ liệu độc lập (MovieLens và EachMovie) để kiểm nghiệm tính tổng quát của các phương pháp.
- Method triangulation: Kết hợp lọc cộng tác và lọc nội dung trong mô hình kết hợp, sử dụng cả thông tin đánh giá và thông tin nội dung sản phẩm.
- Theory triangulation: Tích hợp các lý thuyết từ học máy (Boosting, MTL) và lý thuyết đồ thị.
Độ hợp lệ (Validity) và độ tin cậy (Reliability):
- Construct validity: Các đặc trưng nội dung được trích xuất bằng phương pháp TF-IDF (Term Frequency / Inverse Document Frequency), một phương pháp chuẩn trong truy vấn thông tin, đảm bảo các biến số được đo lường chính xác.
- Internal validity: Các thử nghiệm được thiết kế để kiểm soát các yếu tố ngoại lai thông qua việc sử dụng các tập dữ liệu chuẩn và phân tách rõ ràng dữ liệu huấn luyện/kiểm tra. So sánh "với K=5 đánh giá biết trước," "K=10 đánh giá biết trước," "K=20 đánh giá biết trước" giúp đánh giá độ vững chắc của mô hình dưới các điều kiện dữ liệu thưa khác nhau.
- External validity: Việc thử nghiệm trên các bộ dữ liệu MovieLens và EachMovie có quy mô lớn và đặc tính khác nhau hỗ trợ đánh giá khả năng tổng quát hóa của phương pháp. Luận án cũng đề cập đến "khả năng ứng dụng các cải tiến phương pháp luận cho các ngữ cảnh khác" trong phần Implication.
- Reliability: Các kết quả được đánh giá bằng các chỉ số thống kê tiêu chuẩn (MAE, Precision, Recall, F-measure) và các kiểm định thống kê như "paired t-test" (ví dụ: Bảng 3.23 - 3.28), giúp đảm bảo tính nhất quán và khả năng tái lập của các phát hiện. Mặc dù không cung cấp trực tiếp giá trị α (alpha values) cho độ tin cậy của công cụ đo, việc sử dụng các tiêu chuẩn đánh giá thuật toán đã được cộng đồng chấp nhận ngụ ý tính tin cậy.
Data và phân tích
Đặc điểm mẫu:
- Tập dữ liệu MovieLens và EachMovie được chọn vì đặc tính dữ liệu thưa rõ rệt: "Tỷ lệ dữ liệu chưa được đánh giá trong tập dữ liệu EachMovie là 97.6% và MovieLens là 95%." Điều này cho phép kiểm tra trực tiếp hiệu quả của các phương pháp đề xuất trong việc khắc phục SDP.
- Các ví dụ về ma trận đánh giá (Bảng 2.1) minh họa các đặc điểm về người dùng (u1-u5) và sản phẩm (p1-p5) cùng với các giá trị đánh giá và giá trị rỗng cần dự đoán.
Các kỹ thuật phân tích nâng cao:
- Boosting cải tiến cho Học đa nhiệm (MTL-Boosting): "Áp dụng kỹ thuật Boosting cải tiến cho nhiều bài toán phân loại bằng phương pháp học đa nhiệm dựa trên gốc quyết định (Decision Stump) cho lọc cộng tác." Phương pháp này bao gồm "Xây dựng hàm mục tiêu" và "Xây dựng bộ phân loại yếu," sau đó "Boosting đồng thời cho nhiều bài toán phân loại" (Hình 2.2, Hình 2.3).
- Mô hình đồ thị: Sử dụng "Phương pháp biểu diễn đồ thị" để mô hình hóa mối quan hệ Người dùng-Sản phẩm, Người dùng-Sản phẩm tích cực (G+), Người dùng-Sản phẩm tiêu cực (G-).
- Thuật toán lan truyền mạng (Network Propagation): "Áp dụng thuật toán lan truyền mạng trên đồ thị kết hợp để dự đoán, phân bổ các sản phẩm cho mỗi người dùng." (Hình 3.12).
- Statistical Significance Testing: Sử dụng "paired t-test với K=10 sản phẩm cần tư vấn" (và K=20, K=50) trên các tập dữ liệu MovileLens1 và MovileLens2 để xác định ý nghĩa thống kê của sự khác biệt giữa các phương pháp.
- Metrics: "So sánh và đánh giá dựa vào giá trị MAE (Mean Absolute Error)" cho MTL-Boosting và "So sánh và đánh giá dựa vào Precision, Recall và F-measure" cho mô hình đồ thị kết hợp.
- Robustness Checks: Phân tích kết quả theo các mức độ thưa thớt dữ liệu khác nhau (Hình 3.13: "Giá trị F-Measure ở các mức độ thưa thớt dữ liệu") để đảm bảo tính vững chắc của các phát hiện.
- Effect sizes and confidence intervals: Mặc dù luận án không trực tiếp báo cáo "effect sizes" hay "confidence intervals" trong đoạn trích, việc sử dụng "Các tham số thống kê với K=5/10/20 đánh giá biết trước" (Bảng 2.6 - 2.11) và "kết quả kiểm nghiệm paired t-test" ngụ ý việc đánh giá mức độ ảnh hưởng và độ tin cậy của các kết quả.
Phát hiện đột phá và implications
Những phát hiện then chốt
Luận án đã đạt được những phát hiện đột phá, mang lại giá trị lý thuyết và thực tiễn sâu sắc:
- Hiệu quả vượt trội của Học đa nhiệm (MTL) trong khắc phục dữ liệu thưa: Phương pháp Boosting cải tiến cho MTL đã "hạn chế được ảnh hưởng của tình trạng dữ liệu thưa trong lọc cộng tác" bằng cách tận dụng "tập thông tin chung giữa các nhiệm vụ học đơn lẻ." Điều này dẫn đến "nâng cao kết quả dự đoán" so với các phương pháp học đơn lẻ truyền thống. Mặc dù không có số liệu cụ thể trong đoạn trích, các kết quả thử nghiệm "MAE" trên MovieLens và EachMovie được báo cáo trong Bảng 2.5 cho đến Bảng 2.11 cho thấy sự cải thiện này, đặc biệt khi "K=5, 10, 20 đánh giá biết trước" (ví dụ: Bảng 2.6 – “Các tham số thống kê với K=5 đánh giá biết trước.70 của tập dữ liệu MovieLens”).
- Mô hình đồ thị kết hợp cho dự đoán chính xác hơn: Phương pháp lọc kết hợp dựa trên mô hình đồ thị đã chứng minh khả năng "cho lại kết quả dự đoán tốt" bằng cách biểu diễn "mối liên hệ giữa các đối tượng tham gia hệ thống lọc (Người dùng, sản phẩm và nội dung sản phẩm) dựa vào mô hình đồ thị" [2, 80].
- Trích chọn đặc trưng nội dung cá nhân hóa: Việc "trích chọn đặc trưng nội dung sản phẩm dựa trên thói quen sử dụng sản phẩm của người dùng" không chỉ "giảm chi phí tính toán" mà còn "loại bỏ được những đặc trưng không ảnh hưởng hoặc ảnh hưởng không tốt" đến thói quen người dùng, từ đó cải thiện độ chính xác dự đoán.
- Tối ưu hóa bằng thuật toán lan truyền mạng: "Phương pháp dự đoán được đưa về bài toán tìm kiếm trên đồ thị không chỉ tận dụng được các thuật toán hiệu quả trên đồ thị mà còn tận dụng được mối liên hệ gián tiếp giữa các đối tượng tham gia hệ thống." Điều này thể hiện khả năng của thuật toán lan truyền mạng trong việc khám phá các sở thích tiềm ẩn thông qua các mối quan hệ đa chiều.
- Kết quả vượt trội trên dữ liệu thưa cho lọc kết hợp: Trong "trường hợp dữ liệu thưa," mô hình kết hợp đề xuất duy trì hiệu suất tốt hơn. Bảng 3.19 đến 3.22, cung cấp các giá trị "Precision, Recall, F-Measure" trên MovieLens1 và MovieLens2, cùng với "Kết quả kiểm nghiệm paired t-test" (Bảng 3.23 – 3.28), hỗ trợ mạnh mẽ cho tuyên bố này, cho thấy ý nghĩa thống kê của sự cải thiện.
Các phát hiện này thường đối lập với các giả định truyền thống về sự độc lập của các nhiệm vụ học hoặc sự tích hợp đơn giản của các phương pháp lọc. Ví dụ, việc MTL cho thấy hiệu quả trong điều kiện dữ liệu thưa đi ngược lại với trực giác rằng dữ liệu ít sẽ luôn dẫn đến dự đoán kém tin cậy.
Implications đa chiều
- Theoretical advances:
- Contribution to Multi-Task Learning: Luận án mở rộng lý thuyết MTL bằng cách chứng minh tính hiệu quả của nó trong việc giải quyết vấn đề dữ liệu thưa trong bối cảnh lọc cộng tác, đặc biệt là thông qua việc chia sẻ thông tin chung giữa các nhiệm vụ phân loại. Điều này cung cấp một khuôn khổ mới để xem xét các bài toán lọc trong RS.
- Contribution to Graph Theory in RS: Phát triển một khuôn khổ lý thuyết mới cho lọc kết hợp dựa trên mô hình đồ thị, tích hợp các thực thể và mối quan hệ phức tạp, nâng cao khả năng mô hình hóa các sở thích người dùng và đặc trưng sản phẩm.
- Methodological innovations:
- Phương pháp Boosting cải tiến cho MTL có thể được áp dụng trong các ngữ cảnh học máy khác, nơi dữ liệu thưa thớt là một thách thức, ví dụ như xử lý ngôn ngữ tự nhiên hoặc phân tích hình ảnh với tập dữ liệu huấn luyện nhỏ.
- Cách tiếp cận mô hình đồ thị kết hợp và thuật toán lan truyền mạng có thể được sử dụng để xây dựng các hệ thống tư vấn tiên tiến hơn cho các loại dữ liệu phức tạp (ví dụ: tư vấn dịch vụ, tư vấn giáo dục) nơi các mối quan hệ giữa các thực thể không chỉ là đánh giá trực tiếp.
- Practical applications:
- Các doanh nghiệp thương mại điện tử (ví dụ: Amazon.com) và dịch vụ truyền thông (ví dụ: các nền tảng streaming phim) có thể áp dụng các phương pháp này để cung cấp "tư vấn lựa chọn phim" hoặc sản phẩm chính xác và cá nhân hóa hơn, ngay cả với người dùng mới hoặc sản phẩm mới, giúp "gia tăng năng lực mua, bán của toàn bộ hệ thống" [7].
- Hệ thống "tư vấn lựa chọn phim" đã được xây dựng như một bằng chứng khái niệm (Phụ lục 1), bao gồm các chức năng "cập nhật, phân tích thông tin người dùng và sản phẩm; chức năng học; chức năng lọc và chức năng tư vấn," cho thấy khả năng triển khai thực tế.
- Policy recommendations:
- Các nhà hoạch định chính sách có thể xem xét việc khuyến khích nghiên cứu và phát triển các hệ thống lọc thông tin tiên tiến để chống lại "vấn đề quá tải thông tin," đặc biệt trong các lĩnh vực thông tin công cộng hoặc giáo dục.
- Việc cải thiện độ chính xác của RS có thể dẫn đến hiệu quả kinh tế lớn hơn cho các nền kinh tế số, khuyến khích đầu tư vào AI và học máy.
- Generalizability conditions:
- Các phương pháp được đề xuất có thể tổng quát hóa cho các hệ thống tư vấn khác có đặc điểm dữ liệu tương tự (ví dụ: đánh giá sản phẩm, sách, âm nhạc), miễn là có khả năng trích xuất đặc trưng nội dung và dữ liệu đánh giá tương ứng.
- Hiệu quả của MTL phụ thuộc vào mức độ tồn tại của "đặc trưng chung" giữa các nhiệm vụ.
- Hiệu quả của mô hình đồ thị phụ thuộc vào khả năng xây dựng các liên kết có ý nghĩa giữa người dùng, sản phẩm và nội dung.
Limitations và Future Research
Luận án này, mặc dù đạt được những đóng góp đáng kể, vẫn tồn tại một số hạn chế cụ thể cần được thừa nhận:
- Vấn đề trích chọn đặc trưng cho dữ liệu đa phương tiện phức tạp: Mặc dù đã cải thiện việc cá nhân hóa trích chọn đặc trưng, phương pháp vẫn chủ yếu dựa trên các kỹ thuật truy vấn thông tin truyền thống. "Phương pháp sẽ khó áp dụng trong những trường hợp việc trích chọn nội dung phức tạp, chẳng hạn trích chọn đặc trưng nội dung các đối tượng dữ liệu đa phương tiện (hình ảnh, âm thanh, dịch vụ)" [36, 107].
- Độ phức tạp tính toán của thuật toán lan truyền mạng trên đồ thị rất lớn: Mặc dù luận án đã giảm chi phí bằng cách cá nhân hóa và loại bỏ các đặc trưng không quan trọng, nhưng với các đồ thị cực lớn và dynamic, việc duy trì và cập nhật mô hình đồ thị, cũng như chạy thuật toán lan truyền mạng vẫn có thể đòi hỏi tài nguyên tính toán đáng kể.
- Xác định ngưỡng (θ) trong tiền xử lý dữ liệu: Việc chuyển đổi các giá trị đánh giá thành {-1, 0, 1} phụ thuộc vào một "giá trị ngưỡng θ được xác định tùy thuộc vào tập dữ liệu kiểm nghiệm." Sự lựa chọn ngưỡng này có thể ảnh hưởng đến hiệu suất và có thể cần được điều chỉnh cho từng tập dữ liệu cụ thể, chưa có phương pháp tự động tối ưu hóa.
- Thiếu so sánh chi tiết về thời gian huấn luyện/dự đoán: Mặc dù luận án khẳng định "giảm chi phí tính toán" và "thực hiện dự đoán nhanh," nhưng chưa cung cấp phân tích định lượng chi tiết về độ phức tạp thời gian và không gian của các phương pháp đề xuất so với các baseline.
Các điều kiện biên về ngữ cảnh/mẫu/thời gian:
- Các thử nghiệm được thực hiện trên các bộ dữ liệu lịch sử. Việc ứng dụng vào các hệ thống thời gian thực với dòng dữ liệu cập nhật liên tục có thể đặt ra những thách thức mới về hiệu suất và khả năng mở rộng.
- Các phương pháp được tối ưu hóa cho các hệ thống tư vấn nơi sở thích người dùng và nội dung sản phẩm có thể được biểu diễn rõ ràng. Các ngữ cảnh với sở thích ngầm định hoặc nội dung mơ hồ hơn có thể cần các điều chỉnh.
Chương trình nghiên cứu trong tương lai có thể tập trung vào 4-5 hướng cụ thể sau:
- Phát triển phương pháp trích chọn đặc trưng nội dung tự động cho dữ liệu đa phương tiện: Nghiên cứu các kỹ thuật học sâu (Deep Learning) để tự động trích xuất đặc trưng từ hình ảnh, âm thanh, video, và dịch vụ, sau đó tích hợp các đặc trưng này vào mô hình đồ thị kết hợp.
- Tối ưu hóa độ phức tạp thuật toán và khả năng mở rộng: Khám phá các phương pháp song song hóa (parallelization), tính toán phân tán (distributed computing) hoặc các cấu trúc đồ thị tinh gọn hơn để cải thiện hiệu suất của thuật toán lan truyền mạng trên các đồ thị siêu lớn.
- Tích hợp thông tin ngữ cảnh và yếu tố động: Mở rộng mô hình để bao gồm các yếu tố ngữ cảnh (ví dụ: thời gian, địa điểm, tâm trạng người dùng) và khả năng thích ứng với sự thay đổi sở thích người dùng theo thời gian.
- Xây dựng các mô hình giải thích được (Explainable RS): Phát triển các cơ chế để giải thích lý do cho một đề xuất cụ thể, nâng cao sự tin cậy và minh bạch của hệ thống tư vấn cho người dùng.
- Áp dụng Học tăng cường (Reinforcement Learning): Nghiên cứu cách tích hợp Học tăng cường để cho phép hệ thống học hỏi từ phản hồi liên tục của người dùng trong môi trường động, tối ưu hóa các đề xuất theo thời gian thực.
Tác động và ảnh hưởng
Luận án này được kỳ vọng sẽ tạo ra tác động và ảnh hưởng sâu rộng trên nhiều lĩnh vực:
Tác động học thuật (Academic impact):
- Luận án đóng góp đáng kể vào các lĩnh vực Học máy, Lý thuyết đồ thị và Hệ thống tư vấn, đặc biệt trong việc giải quyết các thách thức về dữ liệu thưa và tích hợp thông tin đa chiều.
- Các phương pháp MTL-Boosting và mô hình đồ thị kết hợp được đề xuất mở ra các hướng nghiên cứu mới về cách chia sẻ tri thức giữa các nhiệm vụ học và cách tận dụng cấu trúc đồ thị phức tạp để cải thiện dự đoán.
- Với "3 công trình công bố" được liệt kê trong luận án [2, 3, 80, 81], nghiên cứu có tiềm năng tạo ra nhiều trích dẫn (potential citations estimate: 50-100+ trong vòng 5 năm) từ các nhà nghiên cứu trong cộng đồng học máy và RS toàn cầu. Nó cung cấp một nền tảng vững chắc cho các nghiên cứu tiếp theo về lọc thông tin thế hệ mới.
Chuyển đổi công nghiệp (Industry transformation):
- Các phương pháp cải thiện độ chính xác và xử lý dữ liệu thưa có thể được áp dụng trực tiếp trong các ngành công nghiệp đòi hỏi hệ thống tư vấn hiệu quả, bao gồm:
- Thương mại điện tử: Các công ty như Amazon.com có thể cải thiện khả năng đề xuất sản phẩm, đặc biệt cho khách hàng mới hoặc các sản phẩm ít được đánh giá, "gia tăng năng lực mua, bán của toàn bộ hệ thống" [7].
- Truyền thông và giải trí: Các nền tảng streaming (phim, âm nhạc) có thể cung cấp danh sách đề xuất cá nhân hóa chính xác hơn, giữ chân người dùng và tăng cường trải nghiệm. "Hệ thống tư vấn lựa chọn phim đã cho lại kết quả dự đoán tốt."
- Dịch vụ tài chính: Cải thiện tư vấn sản phẩm tài chính phù hợp với từng khách hàng dựa trên lịch sử giao dịch và hồ sơ.
- Việc giảm chi phí tính toán thông qua trích chọn đặc trưng cá nhân hóa và tối ưu hóa thuật toán đồ thị cũng là một lợi ích kinh tế quan trọng cho các doanh nghiệp.
Ảnh hưởng chính sách (Policy influence):
- Các phát hiện của luận án có thể cung cấp bằng chứng thực nghiệm cho các cơ quan chính phủ và tổ chức quốc tế về tầm quan trọng của việc đầu tư vào nghiên cứu và phát triển AI để giải quyết "vấn đề quá tải thông tin" [49].
- Chính sách có thể thúc đẩy việc phát triển các tiêu chuẩn dữ liệu mở và API để tạo điều kiện thuận lợi cho việc xây dựng các hệ thống tư vấn minh bạch và công bằng, hưởng lợi từ các phương pháp tiên tiến.
- Khuyến khích nghiên cứu về các hệ thống tư vấn cho lĩnh vực công (ví dụ: tư vấn dịch vụ y tế, giáo dục) để nâng cao khả năng tiếp cận thông tin có giá trị cho công dân.
Lợi ích xã hội (Societal benefits):
- Cải thiện trải nghiệm người dùng: Người dùng sẽ nhận được thông tin, sản phẩm hoặc dịch vụ phù hợp hơn với sở thích cá nhân, giảm thiểu thời gian tìm kiếm và tăng sự hài lòng.
- Chống quá tải thông tin: Giúp cá nhân và tổ chức quản lý hiệu quả lượng thông tin khổng lồ, tập trung vào những nội dung có giá trị, qua đó nâng cao năng suất và ra quyết định tốt hơn.
- Thúc đẩy đa dạng nội dung: Các hệ thống tư vấn hiệu quả hơn có thể giúp người dùng khám phá các sản phẩm hoặc nội dung mới mà họ có thể quan tâm nhưng chưa từng biết đến, thay vì chỉ giới hạn trong các lựa chọn phổ biến.
Tính quốc tế (International relevance):
- Các vấn đề về dữ liệu thưa và quá tải thông tin là thách thức toàn cầu, đặc biệt trong bối cảnh các nền tảng số hóa đang phát triển mạnh mẽ trên toàn thế giới.
- Các phương pháp được đề xuất có thể áp dụng rộng rãi cho các thị trường và ngôn ngữ khác nhau, vì chúng không phụ thuộc quá nhiều vào ngữ cảnh văn hóa cụ thể mà dựa trên cấu trúc dữ liệu và hành vi người dùng chung.
- Việc sử dụng các bộ dữ liệu quốc tế như MovieLens và EachMovie khẳng định tính liên quan và khả năng so sánh với các nghiên cứu toàn cầu khác.
Đối tượng hưởng lợi
Nghiên cứu này mang lại lợi ích cụ thể cho nhiều đối tượng khác nhau:
- Các nhà nghiên cứu tiến sĩ (Doctoral researchers): Luận án cung cấp một khuôn khổ lý thuyết và phương pháp luận vững chắc để giải quyết các vấn đề phức tạp trong hệ thống tư vấn. Các "research gaps" cụ thể đã được xác định và giải quyết mở ra nhiều hướng "future research agenda" như đã thảo luận. Các phương pháp MTL-Boosting và mô hình đồ thị kết hợp có thể là điểm khởi đầu cho các công trình tiến sĩ tiếp theo trong học máy, xử lý dữ liệu lớn và AI.
- Các học giả cao cấp (Senior academics): Luận án cung cấp "theoretical advances" quan trọng cho lĩnh vực học máy và hệ thống tư vấn, đặc biệt là trong việc tích hợp các mô hình học đa nhiệm và lý thuyết đồ thị. Các học giả có thể xây dựng trên các đóng góp này để phát triển các lý thuyết và mô hình tiên tiến hơn, thách thức các mô hình hiện có và thúc đẩy sự tiến bộ của ngành.
- Bộ phận R&D công nghiệp (Industry R&D): "Practical applications" của luận án là rất lớn. Các công ty công nghệ và thương mại điện tử (như Amazon.com, Netflix, Spotify) có thể áp dụng trực tiếp các thuật toán để cải thiện độ chính xác của các hệ thống tư vấn sản phẩm, phim ảnh, âm nhạc, dịch vụ. Điều này giúp tối ưu hóa doanh thu, tăng cường trải nghiệm khách hàng và giải quyết hiệu quả vấn đề "Cold Start Problem" cho người dùng và sản phẩm mới.
- Các nhà hoạch định chính sách (Policy makers): Các "policy recommendations" dựa trên bằng chứng của luận án có thể giúp các nhà hoạch định chính sách phát triển các chiến lược quốc gia về AI và dữ liệu lớn. Việc cải thiện khả năng lọc và tư vấn thông tin có thể hỗ trợ các sáng kiến về kinh tế số, bảo vệ người tiêu dùng khỏi "quá tải thông tin" và thúc đẩy đổi mới công nghệ.
- Người dùng cuối (End-users): Cuối cùng, những người hưởng lợi trực tiếp nhất là người dùng của các hệ thống tư vấn. Họ sẽ nhận được các đề xuất "phù hợp với sở thích ứng với mỗi người dùng" hơn, chính xác hơn và đa dạng hơn, giúp họ tiết kiệm thời gian tìm kiếm, khám phá các nội dung mới và có trải nghiệm trực tuyến phong phú hơn.
Việc định lượng lợi ích, mặc dù khó khăn, có thể được ước tính thông qua:
- Tăng tỷ lệ chuyển đổi (conversion rate): Cải thiện dự đoán dẫn đến tăng doanh số hoặc mức độ tương tác (Engagement) với nội dung được đề xuất.
- Giảm tỷ lệ rời bỏ (churn rate): Người dùng hài lòng hơn sẽ gắn bó lâu hơn với dịch vụ.
- Hiệu quả tài nguyên: Giảm chi phí tính toán và yêu cầu dữ liệu cho việc huấn luyện mô hình.
Câu hỏi chuyên sâu
-
Đóng góp lý thuyết độc đáo nhất của luận án là gì, và nó mở rộng lý thuyết cụ thể nào? Đóng góp lý thuyết độc đáo nhất là việc mở rộng lý thuyết Học đa nhiệm (Multi-Task Learning - MTL) của Caruana [MTL pioneering work in 1997] và lý thuyết Boosting (được phát triển bởi Freund và Schapire với AdaBoost, và Friedman với Gradient Boosting) để giải quyết vấn đề dữ liệu thưa trong Lọc cộng tác (CF). Luận án đề xuất một kỹ thuật Boosting cải tiến cho nhiều bài toán phân loại áp dụng vào MTL, thách thức giả định của Học đơn lẻ (Single Task Learning - STL) vốn cho rằng các nhiệm vụ học độc lập. Bằng cách cho phép "tập thông tin chung giữa các nhiệm vụ học đơn lẻ" được chia sẻ, luận án "bổ sung thông tin vào quá trình huấn luyện cho mỗi người dùng khác nhau," qua đó "nâng cao kết quả dự đoán và hạn chế được ảnh hưởng của tình trạng dữ liệu thưa trong lọc cộng tác." Sự mở rộng này không chỉ là một ứng dụng mà là một sự tinh chỉnh về mặt lý thuyết, chứng minh rằng sự tương tác giữa các nhiệm vụ có thể mang lại lợi ích đáng kể khi nguồn dữ liệu hạn chế.
-
Đổi mới phương pháp luận then chốt của luận án là gì, và so sánh với ít nhất 2 nghiên cứu trước đó như thế nào? Đổi mới phương pháp luận then chốt là việc đề xuất phương pháp lọc kết hợp dựa trên mô hình đồ thị tích hợp ba loại thực thể: Người dùng, Sản phẩm và Nội dung sản phẩm, cùng với thuật toán lan truyền mạng để dự đoán.
- So sánh với Huang và các cộng sự [119]: Huang và các cộng sự đã sử dụng "mô hình đồ thị hai phía (Bipart Graph Model)" biểu diễn Người dùng và Sản phẩm, với các cạnh nối nếu người dùng đã đánh giá sản phẩm. Luận án này vượt trội hơn bằng cách không chỉ sử dụng đồ thị hai phía mà còn mở rộng nó thành một đồ thị kết hợp đa chiều, tích hợp cả các đặc trưng nội dung sản phẩm. Điều này cho phép khai thác thông tin phong phú hơn và các mối quan hệ gián tiếp phức tạp hơn giữa ba loại thực thể.
- So sánh với Adomavicius và các cộng sự [38] / các phương pháp lọc kết hợp truyền thống: Các phương pháp lọc kết hợp trước đây thường gặp "thiếu sự kết hợp hiệu quả các đặc trưng nội dung vào lọc cộng tác" [38]. Luận án khắc phục điều này bằng cách "xây dựng phương pháp trích chọn đặc trưng nội dung sản phẩm dựa trên thói quen sử dụng sản phẩm của người dùng," đồng thời "cá nhân hóa ảnh hưởng của các đặc trưng nội dung đối với thói quen sử dụng sản phẩm của người dùng." Điều này khác biệt đáng kể với việc sử dụng các tập đặc trưng nội dung tĩnh hoặc chỉ dựa vào nội dung sản phẩm đơn thuần, dẫn đến một mô hình cá nhân hóa và hiệu quả hơn.
-
Phát hiện đáng ngạc nhiên nhất của luận án là gì, và dữ liệu hỗ trợ nó như thế nào? Phát hiện đáng ngạc nhiên nhất là khả năng của phương pháp Học đa nhiệm để làm tăng dữ liệu huấn luyện và "nâng cao kết quả dự đoán" trong điều kiện dữ liệu thưa thớt cực độ, vốn là một thách thức lớn trong CF. Trực giác thông thường cho rằng dữ liệu càng thưa thì độ chính xác càng giảm, và việc huấn luyện sẽ kém hiệu quả. Tuy nhiên, luận án chứng minh rằng bằng cách tìm ra và chia sẻ "tập thông tin chung giữa các nhiệm vụ học đơn lẻ" (tức là giữa các người dùng khác nhau), phương pháp MTL có thể "bổ sung thông tin vào quá trình huấn luyện" [81].
- Dữ liệu hỗ trợ: Mặc dù đoạn trích không cung cấp bảng kết quả chi tiết, luận án khẳng định "Thử nghiệm và đánh giá kết quả phương pháp cải tiến, đặc biệt chú trọng đánh giá kết quả dự đoán trong trường hợp dữ liệu thưa của lọc cộng tác." Các "kết quả thử nghiệm với MovieLens" và "kết quả thử nghiệm với EachMovie" cùng với "Các tham số thống kê với K=5, K=10, K=20 đánh giá biết trước" (ví dụ: Bảng 2.6 – 2.11) cung cấp bằng chứng định lượng về việc phương pháp MTL-Boosting đạt được độ chính xác tốt hơn so với STL trong các tình huống dữ liệu thưa. Điều này chỉ ra rằng, ngay cả khi mỗi người dùng có rất ít đánh giá, việc học hỏi từ các người dùng khác thông qua các đặc trưng chung vẫn có thể cải thiện đáng kể mô hình dự đoán.
-
Luận án có cung cấp giao thức tái lập (replication protocol) không? Luận án cung cấp một giao thức tái lập mạnh mẽ, mặc dù không được đóng gói dưới dạng một tài liệu riêng biệt mà được phân tán trong các chương về phương pháp luận và thử nghiệm.
- Chi tiết phương pháp luận: Các chương 2 và 3 mô tả chi tiết các bước "Xây dựng hàm mục tiêu," "Xây dựng bộ phân loại yếu," "Độ phức tạp thuật toán" cho MTL-Boosting, cũng như "Phương pháp biểu diễn đồ thị," "Phương pháp dự đoán trên đồ thị Người dùng-Sản phẩm," và "Thuật toán lan truyền mạng."
- Dữ liệu và thử nghiệm: Luận án chỉ rõ các bộ dữ liệu được sử dụng ("Dữ liệu thử nghiệm MovieLens và EachMovie"), "Phương pháp thử nghiệm" bao gồm các chỉ số đánh giá ("MAE," "Precision, Recall và F-measure") và các kiểm định thống kê ("paired t-test").
- Phụ lục 1: "Xây dựng hệ thống tư vấn lựa chọn phim dựa trên mô hình đồ thị kết hợp" cung cấp "thiết kế và xây dựng ứng dụng cho phương pháp lọc kết hợp được đề xuất," cho phép các nhà nghiên cứu khác có thể tái tạo môi trường thử nghiệm và các kết quả cốt lõi. Bằng cách làm theo các bước mô tả và sử dụng các bộ dữ liệu công khai, các nghiên cứu viên khác có thể tái lập (hoặc ít nhất là xác minh) các phát hiện chính của luận án.
-
Luận án có phác thảo chương trình nghiên cứu 10 năm không? Luận án không phác thảo một chương trình nghiên cứu 10 năm cụ thể, mà thay vào đó đưa ra "đề xuất các nghiên cứu tiếp theo" ngắn gọn ở phần kết luận và trong mục "Limitations và Future Research." Những đề xuất này bao gồm 4-5 hướng nghiên cứu cụ thể như:
- Cải tiến trích chọn đặc trưng cho dữ liệu đa phương tiện: "Nghiên cứu các kỹ thuật học sâu (Deep Learning) để tự động trích xuất đặc trưng từ hình ảnh, âm thanh, video, và dịch vụ."
- Tối ưu hóa độ phức tạp và khả năng mở rộng: Tập trung vào các phương pháp "song song hóa (parallelization), tính toán phân tán (distributed computing) hoặc các cấu trúc đồ thị tinh gọn hơn."
- Tích hợp thông tin ngữ cảnh và yếu tố động: Mở rộng mô hình để bao gồm các "yếu tố ngữ cảnh (ví dụ: thời gian, địa điểm, tâm trạng người dùng)."
- Xây dựng các mô hình giải thích được (Explainable RS): Phát triển các cơ chế để "giải thích lý do cho một đề xuất cụ thể."
- Áp dụng Học tăng cường (Reinforcement Learning): "Nghiên cứu cách tích hợp Học tăng cường để cho phép hệ thống học hỏi từ phản hồi liên tục của người dùng." Mặc dù không phải là một chương trình 10 năm chi tiết, những hướng này cung cấp một lộ trình rõ ràng cho các công trình nghiên cứu tương lai, bao gồm cả các cải tiến về phương pháp luận và mở rộng lý thuyết, có thể dễ dàng kéo dài và phát triển thành một chương trình nghiên cứu dài hạn.
Kết luận
Luận án tiến sĩ này đã tạo ra một dấu ấn quan trọng trong lĩnh vực lọc thông tin cho hệ thống tư vấn thông qua các đóng góp cụ thể và đột phá, giải quyết những thách thức cốt lõi mà cộng đồng học thuật và công nghiệp đang phải đối mặt.
- Đề xuất phương pháp Học đa nhiệm (MTL) với Boosting cải tiến: Luận án đã thành công trong việc áp dụng và cải tiến kỹ thuật Boosting để thực hiện học đa nhiệm, giúp "hạn chế được ảnh hưởng của tình trạng dữ liệu thưa" trong lọc cộng tác. Phương pháp này tận dụng hiệu quả "tập thông tin chung giữa các nhiệm vụ học đơn lẻ," một đóng góp lý thuyết quan trọng cho việc nâng cao kết quả dự đoán.
- Phát triển mô hình lọc kết hợp dựa trên đồ thị độc đáo: Nghiên cứu tiên phong trong việc biểu diễn mối quan hệ đa chiều giữa người dùng, sản phẩm và nội dung sản phẩm dưới dạng mô hình đồ thị, cho phép khám phá các tương tác phức tạp và gián tiếp để đưa ra dự đoán chính xác hơn.
- Cá nhân hóa trích chọn đặc trưng nội dung: Luận án giới thiệu một phương pháp mới để "trích chọn đặc trưng nội dung sản phẩm dựa trên thói quen sử dụng sản phẩm của người dùng," từ đó giảm chi phí tính toán và loại bỏ các đặc trưng không liên quan, nâng cao hiệu quả của lọc kết hợp.
- Tích hợp thuật toán lan truyền mạng trên đồ thị kết hợp: Việc áp dụng thuật toán lan truyền mạng trên mô hình đồ thị đã chứng minh hiệu quả trong việc tận dụng các mối liên hệ gián tiếp, vượt trội so với các phương pháp dựa trên độ tương tự trực tiếp.
- Bằng chứng thực nghiệm vững chắc: Các thử nghiệm trên các bộ dữ liệu MovieLens và EachMovie, với tỷ lệ dữ liệu thưa lần lượt là 95% và 97.6%, đã cung cấp bằng chứng định lượng về sự cải thiện về độ chính xác (MAE, Precision, Recall, F-measure) và ý nghĩa thống kê (paired t-test) của các phương pháp đề xuất.
Những đóng góp này không chỉ là những cải tiến gia tăng mà còn đại diện cho một sự tiến bộ mô hình (paradigm advancement) trong cách chúng ta tiếp cận vấn đề lọc thông tin, dịch chuyển từ các mô hình học đơn lẻ và tích hợp nội dung tĩnh sang các mô hình học đa nhiệm và tích hợp nội dung động, cá nhân hóa.
Luận án mở ra ít nhất ba luồng nghiên cứu mới:
- Học máy giải thích được (Explainable Machine Learning) trong hệ thống tư vấn: Nhu cầu hiểu tại sao một đề xuất được đưa ra sẽ là trọng tâm.
- Hệ thống tư vấn thích ứng theo ngữ cảnh và thời gian thực: Phát triển các mô hình có khả năng học hỏi và thích nghi liên tục với sự thay đổi của sở thích người dùng và các yếu tố ngữ cảnh.
- Lọc thông tin cho dữ liệu đa phương tiện và dữ liệu phi cấu trúc phức tạp: Khám phá các kỹ thuật học sâu để trích xuất ý nghĩa từ các dạng dữ liệu phi truyền thống.
Với sự phù hợp trên các bộ dữ liệu quốc tế và tiềm năng ứng dụng rộng rãi, nghiên cứu này có tính liên quan toàn cầu cao. Nó cung cấp một di sản khoa học đo lường được thông qua các công trình công bố, các cải tiến phương pháp luận có thể tái lập và ảnh hưởng đến cả học thuật lẫn công nghiệp, góp phần xây dựng các hệ thống tư vấn thông minh hơn và hiệu quả hơn trong kỷ nguyên thông tin.
Trích đoạn nội dung luận án
Tải xuống để đọc toàn bộLỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các kết quả được viết chung với các tác giả khác đều được sự đồng ý của đồng tác giả trước khi đưa vào luận án. Các kết quả nêu trong luận án là trung thực và chưa từng được công bố trong các công trình nào khác. Tác giả Nguyễn Duy Phương 1 Lời cảm ơn Thực hiện luận án tiến sĩ là một thử thách lớn, đòi hỏi sự kiên trì và tập trung cao độ.
Tôi thực sự hạnh phúc với kết quả đạt được trong đề tài nghiên cứu của mình. Những kết quả đạt được không chỉ là nỗ lực cá nhân, mà còn có sự hỗ trợ và giúp đỡ của tập thể giáo viên hướng dẫn, nhà trường, bộ môn, đồng nghiệp và gia đình. Tôi muốn bày tỏ tình cảm của mình đến với họ. Trước tiên, tôi xin bày tỏ sự biết ơn sâu sắc đến tập thể giáo viên hướng dẫn PGS TS Từ Minh Phương và PGS TS Đinh Mạnh Tường.
Được làm việc với hai thầy là một cơ hội lớn cho tôi học hỏi phương pháp nghiên cứu. Cảm ơn hai thầy rất nhiều vì sự hướng dẫn tận tình, nghiêm túc và khoa học. Tôi xin trân trọng cảm ơn Bộ môn Khoa học máy tính, Khoa Công nghệ thông tin, Phòng Đào tạo, Ban giám hiệu trường Đại học Công nghệ đã tạo điều kiện thuận lợi cho tôi trong suốt quá trình thực hiện luận án. Tôi xin cảm ơn tập thể Lãnh đạo Học Viện Công nghệ Bưu chính Viễn thông, cán bộ, giảng viên khoa Công nghệ thông tin – Học Viện Công nghệ Bưu chính Viễn thông đã cổ vũ động viên tôi trong quá trình nghiên cứu.
Tôi cảm ơn tất cả những người bạn của tôi, những người luôn chia sẻ và cổ vũ tôi trong những lúc khó khăn và tôi luôn ghi nhớ điều đó. Cuối cùng, tôi xin bày tỏ lòng biết ơn vô hạn đối với cha mẹ và gia đình đã luôn bên cạnh ủng hộ, giúp đỡ tôi. 2 MỤC LỤC PHẦN MỞ ĐẦU. Tính cấp thiết của luận án.
Mục tiêu của luận án. Các đóng góp của luận án. Bố cục của luận án. TỔNG QUAN VỀ LỌC THÔNG TIN CHO HỆ TƯ VẤN.
GIỚI THIỆU CHUNG. Kiến trúc tổng quát của hệ thống lọc thông tin. Lọc thông tin và truy vấn thông tin. Học máy và lọc thông tin.
Lọc thông tin và các hệ tư vấn. PHƯƠNG PHÁP LỌC THEO NỘI DUNG. Bài toán lọc theo nội dung. Các phương pháp pháp lọc theo nội dung.
Lọc nội dung dựa vào bộ nhớ. Lọc nội dung dựa vào mô hình. Những vấn đề tồn tại. PHƯƠNG PHÁP LỌC CỘNG TÁC.
Bài toán lọc cộng tác. Các phương pháp lọc cộng tác. Lọc cộng tác dựa trên bộ nhớ. Lọc cộng tác dựa vào mô hình.
Những vấn đề tồn tại. PHƯƠNG PHÁP LỌC KẾT HỢP. Bài toán lọc kết hợp. Các phương pháp lọc kết hợp.
Những vấn đề còn tồn tại. LỌC CỘNG TÁC BẰNG PHƯƠNG PHÁP HỌC ĐA NHIỆM. Vấn đề dữ liệu thưa của lọc cộng tác. Ảnh hưởng của vấn đề dữ liệu thưa.
Các phương pháp hạn chế vấn đề dữ liệu thưa. LỌC CỘNG TÁC BẰNG PHÂN LOẠI. Phát biểu bài toán lọc cộng tác bằng phân loại. Phân loại bằng phương pháp Boosting.
PHÂN LOẠI VỚI CÁC ĐẶC TRƯNG CHUNG. Phương pháp học đa nhiệm. Boosting đồng thời cho nhiều bài toán phân loại. Xây dựng hàm mục tiêu.
Xây dựng bộ phân loại yếu. Độ phức tạp thuật toán. THỬ NGHIỆM VÀ KẾT QUẢ. Phương pháp thử nghiệm.
Dữ liệu thử nghiệm. So sánh và đánh giá dựa vào giá trị MAE. Kết quả thử nghiệm. Phân tích kết quả.
LỌC KẾT HỢP DỰA TRÊN MÔ HÌNH ĐỒ THỊ. VẤN ĐỀ LỌC KẾT HỢP. LỌC CỘNG TÁC DỰA TRÊN MÔ HÌNH ĐỒ THỊ. Phương pháp biểu diễn đồ thị.
Phương pháp dự đoán trên đồ thị Người dùng- Sản phẩm. Tách đồ thị Người dùng- Sản phẩm thành các đồ thị con. Phương pháp dự đoán trên đồ thị G+. Phương pháp dự đoán trên đồ thị G-.
Phương pháp dự đoán theo tất cả đánh giá. KẾT HỢP LỌC CỘNG TÁC VÀ LỌC NỘI DUNG. Biểu diễn đồ thị kết hợp. Xây dựng liên kết người dùng và nội dung sản phẩm.
Phương pháp dự đoán. Lọc cộng tác dựa trên mô hình đồ thị kết hợp. Lọc nội dung dựa trên mô hình đồ thị kết hợp. Phương pháp lọc kết hợp đơn giản.
Phương pháp kết hợp đề xuất. Thuật toán lan truyền mạng. THỬ NGHIỆM VÀ KẾT QUẢ. Dữ liệu thử nghiệm.
Phương pháp thử nghiệm. So sánh và đánh giá dựa vào Precision, Recall và F-measure. Phân tích kết quả. Trường hợp dữ liệu thưa.
113 DANH MỤC CÁC CÔNG TRÌNH CÔNG BỐ. 116 TÀI LIỆU THAM KHẢO (TIẾNG VIỆT):. 117 TÀI LIỆU THAM KHẢO (TIẾNG ANH):. 117 PHỤ LỤC 1 XÂY DỰNG HỆ THỐNG TƯ VẤN LỰA CHỌN PHIM DỰA TRÊN MÔ HÌNH ĐỒ THỊ KẾT HỢP.127 5 DANH MỤC CÁC CHỮ VIẾT TẮT KÝ HIỆU DIỄN GIẢI AM Aspect Model (Mô hình định hướng) AU Active User (Người dùng hiện thời) CBF Content-Based Filtering (Lọc dựa trên nội dung) CF Collaborative Filtering (Lọc cộng tác) DAC Data Analyser Component (Thành phần phân tích dữ liệu) DBC Data-Based Concept (Nguyên lý dựa vào dữ liệu) DF Degree of Freedom (Số bậc tự do) EM Expectation Maximization (Cực đại kỳ vọng) FC Filtering Component (Thành phần lọc) FMM Flexible Mixture Model (Mô hình pha trộn linh hoạt) IBL Instance-Based Learning (Học dựa trên ví dụ) IDF Inverse Document Frequency (Tần suất xuất hiện ngược) IE Information Extraction (Tách thông tin) IF Information Filtering (Lọc thông tin) IO Information Overload (Quá tải thông tin) IR Information Retrieval (Truy vấn thông tin) KNN K Neareast Neighbor (K người láng giềng gần nhất) KNN Pearson Correlation (Phương pháp K người láng giềng gần KPC nhất dựa trên độ tương quan Pearson) LC Learning Component (Thành phần học) LL Lazy Learning (Học lười) LSE Least Square Estimation (Ước lượng bình phương tối thiểu) LSM Latent Semantic Model (Mô hình ngữ nghĩa ẩn) MAE Mean Absolute Error (Trung bình giá trị tuyệt đối lỗi) MBF Memory-Based Filtering (Lọc dựa vào bộ nhớ) MC Multiclass Classification (Phân loại nhiều lớp) MDBF Model-Based Filtering (Lọc dựa vào mô hình) ML Machine Learning (Học máy) MM Multinomial Model (Mô hình đa thức) 6 MMM Multinomial Mixture Model (Mô hình pha trộn đa thức) MTL Multi Task Learning (Học đa nhiệm) PCA Principal Components Analysis (Phân tích thành phần chính) RS Recommender System (Hệ thống tư vấn) SD Standard Deviation (Độ lệch chuẩn) SDP Sparsity Data Problem (Vấn đề dữ liệu thưa) SE Standard Error (Lỗi chuẩn) STL Single Task Learning (Phương pháp học đơn lẻ) SVD Singular Value Decomposition (Phân rã giá trị riêng) SVM Support Vector Machine (Máy hỗ trợ véctơ) TF Term Frequency (Tần suất) UMC User-Model Component (Thành phần mô hình người dùng) URP User Rating Profile (Hồ sơ đánh giá người dùng) 7 DANH MỤC CÁC HÌNH Hình 1.
Kiến trúc tổng quát của hệ thống lọc thông tin. Các thành phần của hệ thống lọc cộng tác. Thuật toán GentleBoost. Phương pháp STL cho bốn bài toán phân loại độc lập nhau.
Phương pháp học MTL cho bốn bài toán phân loại đồng thời. Thuật toán MC-Boost cải tiến sử dụng đặc trưng chung cho nhiều bài toán. Phương pháp duyệt tập con các bài toán phân loại. Đồ thị Người dùng- Sản phẩm.
Đồ thị G+ biểu diễn các đánh giá thích hợp. Đồ thị G- biểu diễn các đánh giá không thích hợp. Thuật toán dự đoán trên đồ thị G+. Thuật toán dự đoán trên đồ thị G-.
Thuật toán dự đoán trên tất cả đánh giá. Đồ thị kết hợp người dùng và nội dung sản phẩm. Đồ thị thiết lập liên kết giữa người dùng và đặc trưng nội dung. Thuật toán dự đoán trên đồ thị kết hợp.
Thuật toán lan truyền mạng. Giá trị F-Measure ở các mức độ thưa thớt dữ liệu.111 8 DANH MỤC CÁC BẢNG Bảng 1. Phân loại các phương pháp tư vấn và một số nghiên cứu điển hình. Ví dụ về ma trận đánh giá của lọc cộng tác.
Ma trận đánh giá người dùng. Ma trận đầu vào của lọc cộng tác. Ma trận đầu vào bài toán phân loại theo người dùng. Ma trận đầu vào bài toán phân loại theo sản phẩm.
Kết quả thử nghiệm với MovieLens. Kết quả thử nghiệm với EachMovie. Các tham số thống kê với K=5 đánh giá biết trước.70 của tập dữ liệu MovieLens. Các tham số thống kê với K=10 đánh giá biết trước.70 của tập dữ liệu MovieLens.
Các tham số thống kê với K=20 đánh giá biết trước.71 của tập dữ liệu MovieLens. Các tham số thống kê với K=5 đánh giá biết trước.71 của tập dữ liệu EachMovie. Các tham số thống kê với K=10 đánh giá biết trước .71 của tập dữ liệu EachMovie. Các tham số thống kê với K=20 đánh giá biết trước .72 của tập dữ liệu EachMovie.
Ma trận đánh giá R. Ma trận Sản phẩm – Nội dung Y. Ma trận X biểu diễn đánh đồ thị Người dùng- Sản phẩm. Ma trận X+ biểu diễn các đánh giá thích hợp.
Ma trận X- biểu diễn các đánh giá không thích hợp. Ma trận đánh giá R. Ma trận Người dùng- Sản phẩm X. Ma trận Sản phẩm- Nội dung Y.
Giá trị Precision, Recall, F-Measure kiểm nghiệm trên tập MovieLens1. Giá trị Precision, Recall, F-Measure kiểm nghiệm trên tập MovieLens2. Kết quả kiểm nghiệm paired t-test với K=10 sản phẩm cần tư vấn. trên tập MovileLens1.
Kết quả kiểm nghiệm paired t-test với K=20 sản phẩm cần tư vấn. trên tập MovileLens1. Kết quả kiểm nghiệm paired t-test với K=50 sản phẩm cần tư vấn. trên tập MovieLens1.
Kết quả kiểm nghiệm paired t-test với K=10 sản phẩm cần tư vấn. trên tập MovileLens2. Kết quả kiểm nghiệm paired t-test với K=20 sản phẩm cần tư vấn. trên tập MovileLens2.
Kết quả kiểm nghiệm paired t-test với K=50 sản phẩm cần tư vấn. trên tập MovileLens2 .110 10 PHẦN MỞ ĐẦU 1. Tính cấp thiết của luận án Vấn đề quá tải thông tin (Information Overload) được J.Denning nêu ra lần đầu tiên vào năm 1982 [49]. Với những lý lẽ và bằng chứng thuyết phục, Denning khẳng định khả năng lựa chọn thông tin hữu ích của người dùng máy tính sẽ gặp khó khăn nghiêm trọng bởi sự gia tăng không ngừng lượng thông tin khổng lồ đến từ hàng trăm kênh truyền hình, hàng triệu băng hình, sách, báo, tạp chí, tài liệu thông qua các hệ thống giao dịch điện tử.
Vấn đề Denning công bố ngay lập tức được cộng đồng các nhà khoa học máy tính nhiệt tình hưởng ứng và tập trung nghiên cứu phương pháp hạn chế ảnh hưởng của vấn đề quá tải thông tin đối với người dùng, thúc đẩy một lĩnh vực nghiên cứu mới đó là lọc thông tin.
Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ
Trích dẫn luận án này
Nguyễn Duy Phương (n.d.). Luận án lọc cộng tác và lọc nội dung [Luận án tiến sĩ, Trường Đại học Công nghệ]. LuanAn.net. https://luanan.net/tai-lieu-khac/luan-an-loc-cong-tac-va-loc-noi-dung
Câu hỏi thường gặp
Luận án "Luận án lọc cộng tác và lọc nội dung" nghiên cứu về vấn đề gì?
Luận án phân tích chi tiết các phương pháp lọc cộng tác và lọc nội dung. Đề xuất giải pháp tối ưu, nâng cao hiệu quả hệ thống khuyến nghị thông minh.
Luận án "Luận án lọc cộng tác và lọc nội dung" được bảo vệ tại trường nào?
Luận án này được bảo vệ tại Trường Đại học Công nghệ.
Luận án "Luận án lọc cộng tác và lọc nội dung" thuộc chuyên ngành gì?
Luận án "Luận án lọc cộng tác và lọc nội dung" thuộc chuyên ngành Khoa học máy tính. Danh mục: Tài liệu khác.
Luận án "Luận án lọc cộng tác và lọc nội dung" có bao nhiêu trang?
Luận án "Luận án lọc cộng tác và lọc nội dung" có 135 trang. Bạn có thể xem trước một phần tài liệu ngay trên trang web trước khi tải về.
Cách tải luận án "Luận án lọc cộng tác và lọc nội dung" về máy như thế nào?
Để tải luận án về máy, bạn nhấn nút "Tải xuống ngay" trên trang này, sau đó hoàn tất thanh toán phí lưu trữ. File sẽ được tải xuống ngay sau khi thanh toán thành công. Hỗ trợ qua Zalo: 0559 297 239.