Luận án: Xây dựng mô hình tìm kiếm, gợi ý tài nguyên học tập với kỹ thuật học sâu

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CẦN THƠ TRẦN THANH ĐIỆN XÂY DỰNG MÔ HÌNH TÌM KIẾM VÀ GỢI Ý TÀI NGUYÊN HỌC TẬP LUẬN ÁN TIẾN SĨ CHUYÊN NGÀNH HỆ THỐNG THÔNG TIN MÃ SỐ 62 48 01 04 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CẦN THƠ TRẦN THANH ĐIỆN MÃ SỐ NCS: P1617001 XÂY DỰNG MÔ HÌNH TÌM KIẾM VÀ GỢI Ý TÀI NGUYÊN HỌC TẬP LUẬN ÁN TIẾN SĨ CHUYÊN NGÀNH HỆ THỐNG THÔNG TIN MÃ SỐ 62 48 01 04 NGƯỜI HƯỚNG DẪN PGS. NGUYỄN THÁI NGHE 2022 LỜI CẢM TẠ Để hoàn thành được luận án này, tôi đã nhận được sự quan tâm, giúp đỡ và hướng dẫn nhiệt tình từ quý Thầy Cô thuộc Khoa Công nghệ Thông tin và Truyền thông, Trường Đại học Cần Thơ và sự hỗ trợ tích cực của đồng nghiệp. Đặc biệt, tôi xin gửi lời cảm ơn chân thành và sâu sắc nhất đến PGS. Nguyễn Thái Nghe đã tận tình chỉ dẫn, động viên và tạo mọi điều kiện thuận lợi nhất cho tôi trong suốt quá trình học tập và nghiên cứu.

Tôi cũng xin gửi lời cảm ơn đến TS. Nguyễn Thanh Hải đã hỗ trợ tôi trong quá trình triển khai các thực nghiệm của nghiên cứu. Xin chân thành cảm ơn quý Thầy Cô đã truyền đạt thêm nhiều kiến thức, quan tâm, hỗ trợ và tạo mọi điều kiện cho tôi trong quá trình học tập tại Khoa Công nghệ Thông tin và Truyền thông thân yêu, nơi tôi theo học đại học giai đoạn 1993-1998. Xin gửi lời cảm ơn chân thành đến Lãnh đạo Nhà trường, Ban Giám đốc Trung tâm Thông tin và Quản trị mạng, Nhà xuất bản Đại học Cần Thơ và đồng nghiệp đã tạo điều kiện để tôi được học tập nâng cao trình độ chuyên môn và giúp đỡ tôi trong suốt thời gian học tập.

Sau cùng tôi xin chân thành cảm ơn đến gia đình và người thân đã chia sẻ, động viên và tạo điều kiện tốt nhất để tôi có thể hoàn thành luận án này. 1 TÓM TẮT Trong thời gian qua, cùng với sự phát triển rất nhanh của công nghệ thông tin và công nghệ hỗ trợ giáo dục trực tuyến, nhu cầu học tập mở ngày càng gia tăng, trong đó có học tập trực tuyến nhằm ứng phó với những thay đổi của thực tế, đặc biệt trong bối cảnh hạn chế tiếp xúc trực tiếp giữa người dạy và người học do tình hình dịch bệnh và nhiều lý do khác. Trong luận án này, các giải pháp mới được đề xuất nhằm cung cấp tài nguyên học tập đáp ứng tốt hơn nhu cầu và năng lực của người học. Các nghiên cứu được thực hiện với các đóng góp được trình bày sau đây.

Đầu tiên, cách tiếp cận dựa trên kỹ thuật học sâu với mạng nơ-ron truyền thẳng đa tầng MLP được đề xuất đùng để phân loại tài nguyên học tập, phục vụ cho quá trình tìm kiếm tài nguyên. Trong thực nghiệm, mô hình phân loại với kỹ thuật MLP cũng được so sánh với các kỹ thuật học máy khác; kết quả cho thấy cách tiếp cận này cho kết quả phân loại khả thi và hiệu quả hơn các kỹ thuật truyền thống trên cùng tập dữ liệu, đặc biệt là dữ liệu mất cân bằng. Thứ hai, hai cách tiếp cận tìm kiếm tài nguyên học tập có quan tâm vấn đề ngữ nghĩa được đề xuất, đó là tìm kiếm dựa trên sự tương đồng về nội dung văn bản và dựa trên mạng ngữ nghĩa ontology. Ở mỗi cách tiếp cận, truy vấn được phân loại để xác định lĩnh vực nhằm thu hẹp không gian tìm kiếm trước khi tìm trên lĩnh vực tương ứng của tài nguyên học tập được xây dựng sẵn.

Kết quả thực nghiệm cho thấy, các cách tiếp cận này khả thi để xây dựng mô hình tìm kiếm tài nguyên học tập, đặc biệt là tìm kiếm có quan tâm vấn đề ngữ nghĩa. Thứ ba, các mô hình dự đoán kết quả học tập đề xuất với ba cách tiếp cận dựa trên các kỹ thuật học sâu, gồm xây dựng mô hình dự đoán cho toàn bộ sinh viên sử dụng mạng nơ-ron tích chập CNN, mô hình dự đoán theo nhóm năng lực học tập sử dụng mạng nơ- ron đa tầng MLP và kỹ thuật học máy rừng ngẫu nhiên RF, và mô hình dự đoán theo từng sinh viên sử dụng bộ nhớ ngắn dài hạn LSTM. Các kết quả thực nghiệm cho thấy các mô hình được đề xuất cho kết quả dự đoán khá tốt, đặc biệt khi sử dụng kỹ thuật tiền xử lý dữ liệu trước khi đưa vào mô hình học dự đoán. Cuối cùng, mô hình gợi ý tài nguyên học tập sử dụng kỹ thuật phân rã ma trận sâu DMF, được mở rộng từ kỹ thuật phân rã ma trận chuẩn MF, được đề xuất.

Mô hình được kiểm chứng trên nhiều tập dữ liệu về tài nguyên học tập và kết quả học tập của sinh viên, cũng như so sánh với các kỹ thuật khác của hệ thống gợi ý. Kết quả cho thấy mô hình DMF có hiệu suất dự đoán xếp hạng khá tốt so với các kỹ thuật khác, từ đó có thể sử dụng để gợi ý tài nguyên học tập phù hợp với năng lực người học. Từ khóa: Tài nguyên học tập, phân loại tài nguyên học tập, tìm kiếm tài nguyên học tập, dự đoán kết quả học tập, gợi ý tài nguyên học tập, kỹ thuật học máy và học sâu. 2 ABSTRACT In recent years, along with the rapid development of information technology, there are various technologies that support for online education to effectively exploit available learning resources to meet the needs of online learning, especially in the context of limited face-to-face classes due to the epidemic situation as well as many other reasons.

With the continuous increase of those resources, it is a challenge for learners to be able to search for suitable learning resources. In this dissertation, we propose state-of-the-art approaches to help learners search learning resources meeting their needs and capacities. The contributions of the thesis are presented as follows. Firstly, an approach to use deep learning with Multilayer Perceptron (MLP) for the classification tasks of learning resources is proposed.

The experimental results show that by using this approach, the results get even better than using other traditional machine learning algorithms, especially on imbalanced datasets. Secondly, approaches for searching learning resources based on document similarity and based on semantics are proposed. For similarity-based searching, cosine similarity and word-order similarity of the documents are combined. For semantic-based searching, searching learning resources using ontologies is proposed.

In both of the approaches, the query is classified to determine the topic to aim narrowing the search topics before searching on the corresponding one of the built-in learning resources. The experimental results show that these approaches are feasible to build models for searching learning resources related semantics. Thirdly, student performance prediction models which are proposed based on three approaches using deep learning techniques include a prediction model for all students using a convolutional neural network (CNN), a group-based prediction model for students who have similar learning performance using multilayer perceptron (MLP) and machine learning technique of RF, and a prediction model for each student using long short-term memory (LSTM). The experimental results show that the proposed methods provides good prediction results.

The results are feasible for applying to practical cases, especially when the data are preprocessed before fetching them into the predictive learning model. Finally, a deep matrix factorization (DMF) model extended from the standard matrix factorization (MF) is proposed for learning resources recommendation. Two dataset groups including datasets of learning resources and datasets of learning performance are used to validate the model, and the model is also compared with other techniques of the recommender system. The experimental results show that the proposed DMF model can perform well on various datasets, especially large-scale datasets.

It can be used for recommending suitable learning resources for students. Keywords: Learning resources, topic classification, learning resources searching, performance prediction, learning resources recommendation, deep learning and machine learning. 3 LỜI CAM ĐOAN Tôi tên Trần Thanh Điện, là nghiên cứu sinh ngành Hệ thống thông tin, khóa 2017. Tôi xin cam đoan luận án này là công trình nghiên cứu khoa học thực sự của bản thân tôi dưới sự hướng dẫn của PGS.

Nguyễn Thái Nghe. Các thông tin được sử dụng tham khảo trong luận án được thu thập từ các nguồn đáng tin cậy, đã được kiểm chứng, được công bố rộng rãi và được tôi trích dẫn nguồn gốc rõ ràng ở phần danh mục tài liệu tham khảo. Các kết quả nghiên cứu được trình bày trong luận án này là do chính tôi thực hiện một cách nghiêm túc, trung thực và không trùng lắp với các đề tài khác đã được công bố trước đây. Tôi xin lấy danh dự và uy tín của bản thân để đảm bảo cho lời cam đoan này.

Cần Thơ, ngày tháng 01 năm 2022 Người hướng dẫn Nghiên cứu sinh Nguyễn Thái Nghe Trần Thanh Điện 4 MỤC LỤC CHƯƠNG 1. Tính cấp thiết của nghiên cứu. Mục tiêu, đối tượng, phạm vi và phương pháp nghiên cứu. Nội dung nghiên cứu và hướng tiếp cận của luận án.

Xây dựng mô hình phân loại tài nguyên học tập. Xây dựng mô hình tìm kiếm tài nguyên học tập. Xây dựng mô hình dự đoán kết quả học tập. Xây dựng mô hình gợi ý tài nguyên học tập.

Các đóng góp của luận án. Bố cục của luận án. CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN. Khái quát về hệ thống quản lý tài nguyên học tập.

Tài nguyên học tập và hệ thống quản lý tài nguyên học tập. Hệ thống quản lý tài nguyên học tập có quan tâm ngữ nghĩa. Hệ thống gợi ý tài nguyên học tập. Một số kỹ thuật phân loại văn bản.

Phân loại với máy véc-tơ hỗ trợ SVM. Phân loại sử dụng giải thuật cây quyết định và rừng ngẫu nhiên. Phân loại với các kỹ thuật học sâu. Các kỹ thuật tính toán độ tương đồng văn bản.

Một số phương pháp tính độ tương đồng văn bản. Các kỹ thuật xây dựng mạng ngữ nghĩa phục vụ tìm kiếm. Khái quát về web ngữ nghĩa. Mô hình dữ liệu biểu diễn về lĩnh vực (ontology).

Hệ thống gợi ý và các kỹ thuật trong hệ thống gợi ý. Tổng quan về hệ thống gợi ý. Các nhóm giải thuật của hệ thống gợi ý. Một số kỹ thuật trong hệ thống gợi ý.

Các nghiên cứu liên quan. Nghiên cứu về phân loại văn bản. Nghiên cứu về tìm kiếm tài liệu. Nghiên cứu về dự đoán xếp hạng và gợi ý.

Thảo luận và đề xuất các nghiên cứu của luận án. MÔ HÌNH PHÂN LOẠI TÀI NGUYÊN HỌC TẬP. Mô hình phân loại tài nguyên học tập. Phân loại tài nguyên học tập.

Tiền xử lý dữ liệu. Mô hình phân loại tài nguyên học tập. Mô tả tập dữ liệu và độ đo đánh giá mô hình. Cài đặt các siêu tham số và môi trường thực nghiệm.

Kết quả thực nghiệm. Tổng kết chương. MÔ HÌNH TÌM KIẾM TÀI NGUYÊN HỌC TẬP. Tìm kiếm tài nguyên học tập dựa trên độ tương đồng văn bản.

Mô hình đề xuất. Mô tả dữ liệu và phương pháp đánh giá. Kết quả thực nghiệm.