Nghiên cứu phương pháp xử lý dữ liệu cho hệ thống gợi ý và triển khai trên các t

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI DƯƠNG TẤN NGHĨA NGHIÊN CỨU PHƯƠNG PHÁP XỬ LÝ DỮ LIỆU CHO HỆ THỐNG GỢI Ý VÀ TRIỂN KHAI TRÊN CÁC THIẾT BỊ CÓ TÀI NGUYÊN HẠN CHẾ LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ HÀ NỘI - 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI DƯƠNG TẤN NGHĨA NGHIÊN CỨU PHƯƠNG PHÁP XỬ LÝ DỮ LIỆU CHO HỆ THỐNG GỢI Ý VÀ TRIỂN KHAI TRÊN CÁC THIẾT BỊ CÓ TÀI NGUYÊN HẠN CHẾ LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ Ngành: KỸ THUẬT ĐIỆN TỬ Mã số: 9520203 NGƯỜI HƯỚNG DẪN KHOA HỌC: TS ĐẶNG QUANG HIẾU PGS. NGUYỄN ĐỨC MINH HÀ NỘI - 2023 LỜI CAM ĐOAN Tôi xin cam đoan các kết quả khoa học được trình bày trong luận án này là công trình nghiên cứu của tôi dưới sự hướng dẫn của các cán bộ hướng dẫn. Các số liệu, các kết quả trình bày trong luận án có nguồn gốc rõ ràng, hoàn toàn trung thực và chưa được các tác giả khác công bố trong các công trình trước đây. Các dữ liệu tham khảo được trích dẫn đầy đủ.

Hà Nội, ngày 14 tháng 8 năm 2023 Tập thể hướng dẫn Tác giả luận án TS. Đặng Quang Hiếu Dương Tấn Nghĩa PGS. Nguyễn Đức Minh LỜI CẢM ƠN Trong quá trình nghiên cứu và hoàn thành Luận án, nghiên cứu sinh đã nhận được sự định hướng, giúp đỡ, các ý kiến đóng góp quý báu và những lời động viên của các nhà khoa học, các thầy cô giáo, đồng nghiệp và gia đình. Trước hết, nghiên cứu sinh xin bày tỏ lời cảm ơn tới các thầy TS.

Đặng Quang Hiếu, PGS. Nguyễn Đức Minh đã tận tình hướng dẫn và giúp đỡ trong quá trình nghiên cứu. Nghiên cứu sinh xin chân thành cảm ơn các thầy cô giáo, các nhà khoa học của Khoa Điện Tử, Trường Điện- Điện Tử, Đại Học Bách Khoa Hà Nội đã có các góp ý quý báu cho Nghiên cứu sinh trong quá trình thực hiện Luận án này. Cuối cùng nghiên cứu sinh bày tỏ lời cảm ơn sâu sắc tới gia đình hai bên và người vợ của nghiên cứu sinh đã luôn động viên, chia sẻ, ủng hộ và giúp đỡ nghiên cứu sinh vượt qua khó khăn để đạt được những kết quả nghiên cứu trong Luận án này.

NCS Dương Tấn Nghĩa MỤC LỤC MỤC LỤC. DANH MỤC CÁC TỪ VIẾT TẮT. v DANH MỤC KÝ HIỆU TOÁN HỌC. vii DANH MỤC HÌNH VẼ.

ix DANH MỤC BẢNG BIỂU. xi MỞ ĐẦU. Giới thiệu chung về hệ thống gợi ý. Tính cần thiết của luận án và những vấn đề sẽ giải quyết.

Mục tiêu, đối tượng, phạm vi và phương pháp nghiên cứu. Các đóng góp mới của luận án. Cấu trúc nội dung của luận án. TỔNG QUAN VỀ HỆ THỐNG GỢI Ý.

Ma trận lịch sử tương tác trong hệ thống gợi ý. Các phương án triển khai hệ thống gợi ý. Hệ thống gợi ý dựa trên nội dung. Lọc cộng tác dựa trên ghi nhớ.

Lọc cộng tác dựa trên mô hình. Thiết lập thực nghiệm. Tập dữ liệu MovieLens 20M. Tập dữ liệu MovieLens 25M.

Phương pháp đánh giá. 28 i ii CHƯƠNG 2. CẢI THIỆN THUẬT TOÁN ĐO ĐỘ TƯƠNG ĐỒNG GIỮA HAI SẢN PHẨM TRONG LỌC CỘNG TÁC DỰA TRÊN GHI NHỚ. Hạn chế của các phép đo độ tương đồng truyền thống trong hệ thống gợi ý.

Hạn chế trong phân bố thống kê độ tương đồng. Hạn chế của dữ liệu lịch sử đánh giá trong tính toán ma trận tương đồng. Phương pháp tính độ tương đồng mới cải thiện hạn chế trong phân bố thống kê. Phương pháp Lọc cộng tác dựa theo ghi nhớ tích hợp nội dung sản phẩm 35 2.

Dữ liệu Tag Genome trong tập dữ liệu MovieLens 20M và 25M. Phương pháp tích hợp nội dung của sản phẩm vào hệ thống lọc cộng tác dựa theo ghi nhớ. Xây dựng ma trận tương đồng kết hợp trong hệ thống gợi ý dựa trên ghi nhớ. Kết quả thực nghiệm.

Các mô hình tham chiếu. Kết quả các phương pháp giúp cải thiện phân bố thống kê của ma trận tương đồng. Kết quả tích hợp nội dung của sản phẩm vào hệ thống lọc cộng tác dựa theo ghi nhớ. Kết quả tích hợp ma trận tương đồng kết hợp trong hệ thống gợi ý dựa trên ghi nhớ.

Kết quả triển khai các mô hình trên thiết bị máy tính Jetson Nano. HỆ THỐNG GỢI Ý ÁP DỤNG CÁCH THỨC BIỂU DIỄN SẢN PHẨM SỬ DỤNG CÁC KỸ THUẬT HỌC SÂU. Phương pháp nhóm các thẻ tương đồng trong dữ liệu Tag Genome bằng kỹ thuật xử lý ngôn ngữ tự nhiên. Phương pháp học cách biểu diễn mới cho các sản phẩm qua Bộ tự mã hóa.

Kiến trúc Bộ tự mã hóa. Áp dụng Bộ tự mã hoá nhằm biểu diễn sản phẩm. Học cách biểu diễn mới cho mỗi bộ phim với Bộ tự mã hóa bán chập 58 3. Cơ sở áp dụng CNN cho dữ liệu bảng.

Sơ lược về kiến trúc mạng nơ-ron chập một chiều. Sơ lược về Bộ tự mã hóa chập - CAE. Thiết kế Bộ tự mã hóa bán chập. Kết quả thực nghiệm.

Các mô hình tham chiếu. Kết quả mô hình sử dụng phương pháp nhóm các thẻ tương đồng trong dữ liệu Tag Genome bằng kỹ thuật xử lý ngôn ngữ tự nhiên. Kết quả mô hình sử dụng cách biểu diễn mới cho các sản phẩm qua Bộ tự mã hóa. Kết quả áp dụng biểu diễn mới cho mỗi bộ phim với Bộ tự mã hóa bán chập.

Kết quả triển khai các mô hình trên thiết bị máy tính Jetson Nano. PHƯƠNG PHÁP SINH DỮ LIỆU NGƯỜI DÙNG NHÂN TẠO ỨNG DỤNG TRONG LỌC CỘNG TÁC. Biểu diễn người dùng qua nội dung sản phẩm và thông tin đánh giá 82 4. Tích hợp độ tương quan người dùng - sản phẩm vào ước lượng cơ sở 86 4.

Áp dụng nội dung sản phẩm vào bài toán khởi tạo cho mô hình phân rã ma trận. Kết quả thí nghiệm. Tích hợp độ tương quan người dùng - sản phẩm vào ước lượng cơ sở 90 4. Áp dụng nội dung sản phẩm vào bài toán khởi tạo cho mô hình MF 94 iv 4.

Kết quả triển khai các mô hình trên thiết bị máy tính Jetson Nano. 100 Những kết quả đạt được. 100 Hướng nghiên cứu tiếp theo. 100 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ.

102 DANH MỤC CÁC TỪ VIẾT TẮT Viết tắt Tên tiếng Anh Tên tiếng Việt AE Autoencoder Mạng Tự Mã hoá ANN Artificial Neural Network Mạng Nơ-ron Nhân tạo CAE Convolutional Autoencoder Mạng Tự Mã hoá Chập CNN Convolutional Neural Network Mạng Nơ-ron Chập 1D-CNN 1 Dimension Convolutional Neur- Mạng Nơ-ron Chập 1 chiều ral Network 2D-CNN 2 Dimension Convolutional Neur- Mạng Nơ-ron Chập 2 chiều ral Network CF Collaborative Filtering Lọc Cộng tác CV Coefficient of Variation Hệ số Biến thiên Cos Cosine Hàm Cosine DL Deep Learning Học Sâu FM Factorization Machine Máy Nhân tử hóa I-Autorec Item-based Autorec Mô hình Autorec hướng sản phẩm ii-CF item-item Collaborative Filtering Lọc Cộng tác hướng sản phẩm HCAE Half Convolutional Autoencoder Mạng Tự Mã hóa Bán Chập kNN k-Nearest Neighbor Thuật toán k Láng giềng Gần nhất MAE Mean Absolute Error Trung bình Sai số Tuyệt đối MF Matrix Factorization Phân rã Ma trận ML Machine Learning Học Máy NLP Natural Language Processing Xử lý Ngôn ngữ Tự nhiên NMF Non-negative Matrix Factoriza- Phân rã Ma trận Không âm tion PCC Pearson Correlation Coefficient Hệ số Tương quan Pearson RBM Restricted Boltzmann Machine Máy Boltzmann bị Hạn chế v vi RS Recommendation System Hệ thống gợi ý RMSE Root Mean Squared Error Căn bậc hai của Trung bình Bình phương Sai số SGD Stochastic Gradient Descent Hạ Gradient Ngẫu nhiên SVD Singular Value Decomposition Phân tích Giá trị Suy biến DANH MỤC KÝ HIỆU TOÁN HỌC Ký hiệu Ý nghĩa u, v Người dùng u, v i, j Sản phẩm i, j rui Đánh giá thực tế của người dùng u cho sản phẩm i r̃ui rui được chuẩn hóa về đoạn [0, 1] r̂ui Đánh giá dự đoán của người dùng u cho sản phẩm i sij Độ tương đồng của hai sản phẩm i và j Tập k sản phẩm tương đồng nhất với sản phẩm i S k (i, u) mà cũng được đánh giá bởi người dùng u Ui Tập các người dùng đã đánh giá sản phẩm i Uij Tập các người dùng đã đánh giá cả hai sản phẩm i và j R(u) Tập các sản phẩm đã được đánh giá bởi người dùng u K Tập các cặp (u, i) thỏa mãn rui đã biết R ∈ Rm×n Ma trận đánh giá, m là số người dùng, n là số sản phẩm P ∈ Rm×k Ma trận mô tả m người dùng trong không gian ẩn k chiều p u ∈ Rk Vector mô tả người dùng u Q ∈ Rn×k Ma trận mô tả n sản phẩm trong không gian ẩn k chiều vii viii qi ∈ R k Vector mô tả sản phẩm i bui Ước lượng cơ sở μ Giá trị trung bình của toàn bộ đánh giá đã biết bu Độ chệch (bias) cụ thể của người dùng u bi Độ chệch (bias) cụ thể của sản phẩm i α Tốc độ học chung của mô hình λ Hệ số điều chuẩn L2 DANH MỤC HÌNH VẼ Hình 1 Mô hình miêu tả hệ thống gợi ý. 2 Hình 2 Sơ đồ mô tả hệ thống EdgeRec. 4 Hình 3 Phân loại hệ thống gợi ý. 5 Hình 4 Số lượt tương tác của từng sản phẩm trong tập dữ liệu MovieLens 20M.

9 Hình 5 Vấn đề khởi động nguội trong hệ thống gợi ý.1 Minh họa ma trận lịch sử đánh giá trong tập dữ liệu MovieLens.2 Xây dựng vector đặc trưng ba chiều cho từng bộ phim trên ma trận lịch sử đánh giá.3 Minh hoạ thuật toán SVD trong RS.1 Biểu đồ tần suất và số liệu thống kê độ tương đồng được đo bằng các phép đo độ tương đồng .2 Biểu đồ tần suất và số liệu thống kê độ tương đồng được đo bằng các phép đo độ tương đồng mới .3 Biểu đồ nhiệt của 10 bộ phim tương ứng với 10 thẻ genome đầu tiên trong dữ liệu Tag Genome.4 Sơ đồ thuật toán mô hình kNNContent.5 Sơ đồ thuật toán hệ thống xây dựng ma trận tương đồng kết hợp.6 Hiệu quả của mô hình CF dựa trên ghi nhớ với số lượng láng giềng k khác nhau.7 Tỷ lệ lỗi của các mô hình kNNBaseline khi kết hợp các ma trận độ tương đồng kết hợp.8 Kết quả thực hiện gợi ý của hệ thống sử dụng mô hình SVD.1 Độ tương đồng về mặt ý nghĩa giữa một số thẻ genome.2 Minh họa kiến trúc AE với 1 lớp ẩn.3 Tín hiệu rung động ngẫu nhiên của 5 bộ phim trong tập dữ liệu MovieLens 20M được tạo thành bởi dữ liệu Tag Genome.4 Kiến trúc của một CAE đầy đủ.