Luận án tiến sĩ kỹ thuật: Khai phá quan điểm với kỹ thuật học sâu - Trần Uyên Trang, Đại học Đà Nẵng

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN UYÊN TRANG KHAI PHÁ QUAN ĐIỂM VỚI KỸ THUẬT HỌC SÂU (Opinion mining with deep learning) LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐÀ NẴNG – 2023 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN UYÊN TRANG KHAI PHÁ QUAN ĐIỂM VỚI KỸ THUẬT HỌC SÂU (Opinion mining with deep learning) Ngành: Khoa học máy tính Mã số: 9.01 LUẬN ÁN TIẾN SĨ KỸ THUẬT Cán bộ hướng dẫn: 1. Hoàng Thị Thanh Hà 2. Đặng Hoài Phương ĐÀ NẴNG – 2023 i LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu do tôi thực hiện, dưới sự hướng dẫn của TS. Hoàng Thị Thanh Hà và TS.

Đặng Hoài Phương. Tôi cam đoan các kết quả nghiên cứu được trình bày trong luận án là trung thực và không sao chép từ bất kỳ công trình nghiên cứu nào khác. Mọi trích dẫn trong luận án đều đề cập đến nguồn gốc xuất xứ rõ ràng và đầy đủ. Tác giả Trần Uyên Trang iii MỤC LỤC LỜI CAM ĐOAN.III MỤC LỤC.IV DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT.VII DANH MỤC BẢNG.

IX DANH MỤC HÌNH.X PHẦN MỞ ĐẦU. TÍNH CẤP THIẾT CỦA LUẬN ÁN. MỤC TIÊU, ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU CỦA LUẬN ÁN 4 3. CÁC ĐÓNG GÓP CỦA LUẬN ÁN.

BỐ CỤC CỦA LUẬN ÁN.6 CHƯƠNG 1- TỔNG QUAN VỀ KHAI PHÁ QUAN ĐIỂM VÀ KỸ THUẬT HỌC SÂU. KHAI PHÁ QUAN ĐIỂM. CÁC CẤP ĐỘ KHAI PHÁ QUAN ĐIỂM. Khai phá quan điểm mức tài liệu.

Khai phá quan điểm mức câu. Khai phá quan điểm mức khía cạnh hay mức đặc trưng. CÁC HƯỚNG NGHIÊN CỨU KHAI PHÁ QUAN ĐIỂM. Hướng tiếp cận dựa trên ngữ liệu.

Hướng tiếp cận máy học. Các nghiên cứu liên quan. MỘT SỐ HẠN CHẾ CỦA CÁC TIẾP CẬN KHAI PHÁ QUAN ĐIỂM HIỆN NAY. HỌC SÂU VÀ NHÓM KỸ THUẬT HỌC SÂU ĐƯỢC SỬ DỤNG TRONG CÁC MÔ HÌNH KHAI PHÁ QUAN ĐIỂM ĐỀ XUẤT.

Các kỹ thuật học sâu phổ biến dùng trong xử lý ngôn ngữ tự nhiên và khai phá quan điểm. ĐỀ XUẤT NGHIÊN CỨU: KHAI PHÁ QUAN ĐIỂM VỚI KỸ THUẬT HỌC SÂU. KẾT LUẬN CHƯƠNG 1.47 CHƯƠNG 2-TRÍCH RÚT KHÍA CẠNH TRONG KHAI PHÁ QUAN ĐIỂM VỚI HƯỚNG TIẾP CẬN HỌC SÂU. TRÍCH RÚT KHÍA CẠNH VỚI HƯỚNG TIẾP CẬN HỌC SÂU.

MÔ HÌNH TRÍCH RÚT KHÍA CẠNH VỚI TIẾP CẬN HỌC SÂU ĐỀ XUẤT. Mô hình tích hợp BiGRU-CRF cho trích rút khía cạnh. Mô hình tích hợp Bi-IndyLSTM-CRF cho trích rút khía cạnh. KẾT QUẢ THỰC NGHIỆM.

Tập dữ liệu và công cụ sử dụng trong thực nghiệm. Kết quả thực nghiệm và đánh giá hiệu quả trích rút khía cạnh. KẾT LUẬN CHƯƠNG 2. 67 CHƯƠNG 3-KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ VỚI HƯỚNG TIẾP CẬN HỌC SÂU.

KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ. MÔ HÌNH KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ VỚI TIẾP CẬN HỌC SÂU ĐỀ XUẤT. Mô hình CNN-BiGRU cho trích rút khía cạnh và quan điểm. Mô hình CNN-IOB2 cho trích rút từ mục tiêu.

Mô hình MABSA cho trích rút và phân loại ba tác vụ tiếp theo: khía cạnh, thực thể và quan điểm. KẾT QUẢ THỰC NGHIỆM CÁC MÔ HÌNH. Tập dữ liệu và công cụ sử dụng trong thực nghiệm. Kết quả thực nghiệm, đánh giá hiệu quả khai phá quan điểm đa tác vụ 91 3.

KẾT LUẬN CHƯƠNG 3. 97 v CHƯƠNG 4-KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ, ĐA MIỀN VỚI HƯỚNG TIẾP CẬN HỌC SÂU. KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA MIỀN. MÔ HÌNH KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ ĐA MIỀN ĐỀ XUẤT.

Mô hình khai phá quan điểm mức khía cạnh đa miền CNN-BiLSTM. Mô hình khai phá quan điểm mức khía cạnh đa tác vụ, đa miền CNN- BiIndyLSTM-Attention. KẾT QUẢ THỰC NGHIỆM. Tập dữ liệu và công cụ sử dụng trong thực nghiệm.

Kết quả thực nghiệm và đánh giá hiệu quả khai phá quan điểm đa tác vụ trên đơn miền và đa miền. KẾT LUẬN CHƯƠNG 4. 124 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN. 126 HƯỚNG PHÁT TRIỂN.132 DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ.133 TÀI LIỆU THAM KHẢO.135 vi DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT STT Thuật ngữ Tiếng Anh Viết tắt 1 Đơn vị tuyến tính được chỉnh Rectified Linear Unit ReLU lưu 2 Học máy Machine learning ML 3 Học sâu Deep learning DL 4 Khai phá quan điểm/Phân tích Opinion mining/Sentiment analysis OM/SA cảm xúc 5 Khai phá quan điểm mức tài Document_based sentiment analysis DBSA liệu 6 Khai phá quan điểm mức câu Sentence_based sentiment analysis SBSA 7 Khai phá quan điểm mức khía Aspect/Feature_based sentiment ABSA cạnh/đặc trưng analysis 8 Khai phá quan điểm mức khía Multitask aspect/feature_based MABSA cạnh/đặc trưng đa tác vụ sentiment analysis 9 Khai phá quan điểm mức khía Multidomain aspect/feature_based cạnh/đặc trưng đa miền sentiment analysis 10 Ma trận đồng xuất hiện Co-occurrence matrix 11 Mạng neural hồi quy Recurrent Neural Network RNN 12 Mạng neural hồi quy hai Bidirectional Recurrent Neural BiRNN chiều Network 13 Mạng bộ nhớ ngắn dài Long_Short Term Memory LSTM 14 Mạng bộ nhớ ngắn dài hai Bidirectional Long_Short Term BiLSTM chiều Memory 15 Mạng bộ nhớ ngắn dài độc lập Independently Long_Short Term IndyLSTM Memory 16 Mạng bộ nhớ ngắn dài độc lập Bidirectional Independently BiIndyLSTM hai chiều Long_Short Term Memory 17 Mạng đơn vị hồi quy có cổng Gated Recurrent Unit GRU 18 Mạng đơn vị hồi quy có cổng Bidirectional Gated Recurrent Unit BiGRU hai chiều 19 Mạng neural đệ quy Recursive Neural Network 20 Mạng neural tích chập Convolutional Neural Network CNN 21 Máy vector hỗ trợ Support Vector Machine SVM 22 Mô hình Markov ẩn Hidden Markov Models HMM 23 Phân bổ Dirichlet tiềm ẩn Latent Dirichlet Allocation LDA 24 Phân loại miền Domain classification 25 Phân loại quan điểm Sentiment classification 26 Phân rã đạo hàm Gradient decay 27 Phân tích ngữ nghĩa tiềm ẩn Latent Semantic Analysis LSA 28 Phân tích ngữ nghĩa tiềm ẩn Probabilistic Latent Semantic pLSA xác suất Analysis 29 Quan điểm Opinion 30 Quan điểm tích cực Positive opinion 31 Quan điểm tiêu cực Negative opinion 32 Quan điểm trung lập Neutral opinion vi 33 Quá khớp Overfitting 34 Trích rút khía cạnh Aspect extraction 35 Trích rút từ mục tiêu quan Opinion target extraction điểm 36 Trích rút thực thể Entity extraction 37 Trường ngẫu nhiên có điều Conditional Random Field CRF kiện 38 Triệt tiêu/bùng nổ đạo hàm Vanishing/exploding gradient 39 Vector toàn cục Global Vector GloVe vi DANH MỤC BẢNG Bảng 1.

Các mô hình khai phá quan điểm dựa trên hướng tiếp cận ngữ liệu nổi bật và hiệu suất của các mô hình. Các mô hình khai phá quan điểm dựa trên hướng tiếp cận máy học nổi bật và hiệu suất của các mô hình. Tập dữ liệu SemEval 2014. So sánh độ đo F1 trên mô hình BiGRU-CRF và Bi-IndyLSTM-CRF với các mô hình hiện có.

Sử dụng miền Restaurant trong tập dữ liệu SemEval 2016 cho thực nghiệm. Kết quả thực nghiệm mô hình hiện có so với các mô hình đề xuất của luận án trong Chương 2 và Chương 3 trên miền Laptop của tập dữ liệu SemEval 2014. Kết quả thực nghiệm mô hình hiện có so với các mô hình đề xuất của luận án trong Chương 2 và Chương 3 trên miền Restaurant của tập dữ liệu SemEval 2014. Kết quả thực nghiệm xét trên độ đo F1 và Accuracy của các mô hình hiện có và mô hình CNN-IOB2 trên miền Restaurant của SemEval 2016.

Kết quả thực nghiệm mô hình MABSA đề xuất xét trên các độ đo Precision, Recall, F1 và Accuracy trên miền Restaurant của tập SemEval 2016. Tập dữ liệu huấn luyện gồm các đơn miền Restaurant, Laptop của tập SemEval 2016, đa miền Laptop_Restaurant, và đa miền Laptop_Restaurant_Hotel. Trích rút khía cạnh xét trên độ đo Precision, Recall và F1 của hai mô hình đề xuất so với các mô hình hiện có trên miền Laptop và Restaurant. Kết quả thực nghiệm mô hình CNN-BiLSTM trên đa miền Laptop_Restaurant.

Kết quả thực nghiệm mô hình CNN-BiIndyLSTM-Attention trên đa miền Laptop_Restaurant_Hotel. Trích rút khía cạnh xét trên độ đo Precision, Recall và F1 của hai mô hình đề xuất so với các mô hình hiện có trên đơn miền Restaurant, đa miền Laptop_Restaurant và đa miền Laptop_Restaurant_Hotel. Bảng tổng hợp đặc điểm của các mô hình khai phá quan điểm đề xuất.128 ix DANH MỤC HÌNH Hình 1. Các cấp độ cụ thể trong khai phá quan điểm.

Mô hình mạng neural đơn giản gồm 1 lớp ẩn. Mô hình mạng học sâu gồm 3 lớp ẩn. Mạng neural tích chập. Tính toán với MaxPooling.

Mô hình CNN trong xử lý văn bản. Mô hình mạng RNN và các tính toán bên trong RNN. Cấu trúc của mô-đun trong RNN. Cấu trúc của mô-đun trong LSTM.

Cấu trúc chi tiết của một mô-đun LSTM. Cấu trúc mạng BiLSTM. Cấu trúc cơ bản của GRU. Cấu trúc mạng BiGRU.

Cấu trúc mạng Bidirectional IndyLSTM. Quy trình trích rút khía cạnh của mô hình BiGRU-CRF. Cấu trúc mô hình BiGRU-CRF cho trích rút khía cạnh trong câu quan điểm 58 Hình 2. Quy trình trích rút khía cạnh của mô hình Bi-IndyLSTM-CRF.

Cấu trúc mô hình Bi-IndyLSTM-CRF cho trích rút khía cạnh trong câu quan điểm. Biểu đồ so sánh độ chính xác F1 của hai mô hình đề xuất với các mô hình đã được đánh giá cao trước đây. Quy trình trích rút, phân loại khía cạnh và quan điểm của mô hình CNN-BiGRU. Cấu trúc mô hình CNN-BiGRU cho khai phá quan điểm mức khía cạnh trích rút đồng thời khía cạnh và quan điểm.

Quy trình trích rút từ mục tiêu của mô hình CNN-IOB2. Cấu trúc mô hình CNN-IOB2 cho trích rút từ mục tiêu. Quy trình trích rút, phân loại khía cạnh, thực thể và quan điểm của mô hình MABSA. Cấu trúc mô hình khai phá quan điểm mức khía cạnh đa tác vụ MABSA cho phân loại khía cạnh, thực thể và quan điểm.

So sánh độ chính xác của tác vụ trích rút khía cạnh xét trên độ đo F1 của các mô hình hiện có so với mô hình CNN-BiGRU đề xuất. So sánh độ chính xác của tác vụ phân loại quan điểm xét trên độ đo Accuracy của mô hình hiện có so với mô hình CNN-BiGRU đề xuất. Biểu đồ so sánh độ chính xác của mô hình đề xuất với các mô hình hiện có xét trên độ đo F1 và Accuracy. Biểu đồ biểu diễn độ đo Precision, Recall, F1 và Accuracy của mô hình MABSA đề xuất.

Quy trình thực hiện của mô hình khai phá quan điểm mức khía cạnh đa miền CNN- BiLSTM. Cấu trúc mô hình khai phá quan điểm mức khía cạnh đa miền CNN-BiLSTM. Quy trình thực hiện của mô hình CNN-BiIndyLSTM-Attention. Cấu trúc mô hình khai phá quan điểm mức khía cạnh đa tác vụ đa miền.

Biểu đồ so sánh độ chính xác thực thi tác vụ trích rút khía cạnh của mô hình CNN- BiLSTM đề xuất với các mô hình hiện có trên miền Restaurant. Biểu đồ so sánh độ chính xác thực thi tác vụ trích rút khía cạnh của mô hình CNN- BiIndyLSTM-Attention đề xuất với các mô hình hiện có trên miền Restaurant. Kết quả thực thi mô hình đa tác vụ CNN-BiIndyLSTM-Attention đề xuất với các độ đo Precision, Recall, F1 và Accuracy trên đa miền Laptop_Restaurant_Hotel.