Luận án tiến sĩ khoa học máy tính phân tích cảm xúc trên cơ sở trị cảm xúc chuyể

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN KHẢI THIỆN PHÂN TÍCH CẢM XÚC TRÊN CƠ SỞ TRỊ CẢM XÚC CHUYỂN DỊCH THEO NGỮ CẢNH CHO TIẾNG VIỆT LUẬN ÁN TIẾN SĨ TP. HỒ CHÍ MINH - NĂM 2021 ĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN KHẢI THIỆN PHÂN TÍCH CẢM XÚC TRÊN CƠ SỞ TRỊ CẢM XÚC CHUYỂN DỊCH THEO NGỮ CẢNH CHO TIẾNG VIỆT Chuyên ngành: Khoa học máy tính Mã số chuyên ngành: 62.01 Phản biện độc lập: PGS.

Lê Hoàng Thái Phản biện độc lập: PGS. Nguyễn Tuấn Đăng Phản biện: PGS. Đinh Điền Phản biện: PGS. Đỗ Văn Nhơn Phản biện: PGS.

Phạm Trần Vũ NGƯỜI HƯỚNG DẪN: 1. Phan Thị Tươi LỜI CAM ĐOAN Tác giả xin cam đoan đây là công trình nghiên cứu của bản thân tác giả. Các kết quả nghiên cứu và các kết luận trong luận án này là trung thực, và không sao chép từ bất kỳ một nguồn nào và dưới bất kỳ hình thức nào. Việc tham khảo các nguồn tài liệu (nếu có) đã được thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng quy định.

Tác giả luận án Trần Khải Thiện i TÓM TẮT LUẬN ÁN Nhiều công trình, công cụ và ứng dụng phân tích cảm xúc đã được phát triển để khai thác các ý kiến trong nội dung do người dùng tạo trên các trang mạng. Tuy nhiên, hiệu năng của các hệ thống này chưa cao do tự bản chất phân tích cảm xúc là bài toán xử lý ngôn ngữ tự nhiên phức tạp. Các công trình này vẫn chưa hiệu quả trong việc xử lý một số hiện tượng ngôn ngữ, chẳng hạn như các hiện tượng dịch chuyển cảm xúc và văn bản mang ý kiến hỗn hợp. Luận án khai thác các trường hợp gây hiện tượng dịch chuyển cảm xúc trong văn bản tiếng Việt nhằm thực hiện hai mục tiêu chính: 1) Thứ nhất, xây dựng kho từ vựng cảm xúc cho tiếng Việt phục vụ phân tích cảm xúc mức từ - cụm từ và mức khía cạnh.

2) Thứ hai, tiếp cận phương pháp định hướng ngữ nghĩa kết hợp với các kỹ thuật học máy, mô hình học sâu vào học tổ hợp nhằm xử lý bài toán phân lớp cảm xúc mức văn bản. Thực nghiệm cho thấy việc quan tâm đến dịch chuyển cảm xúc và việc sử dụng kết hợp nhiều phương pháp là chìa khóa để hệ thống có được kết quả chính xác hơn. ii ABSTRACT Various sentiment analysis works, tools, and applications have been developed to exploit opinions in user-generated content on social media. However, the performance of these systems is not great because sentiment analysis itself is a complex natural language processing problem.

These works are still ineffective in dealing with some linguistic phenomena, such as context valence shifting and mixed opinion text. The dissertation explores cases of contextual valence shifting in Vietnamese text to accomplish two objectives: 1) to build a sentiment vocabulary database in Vietnamese and 2) to combine the semantic-oriented approach with machine-learning techniques, and deep-learning methodology to handle the sentiment classification challenge. Experiments show that paying attention to contextual valence shifting and using a combination of various methods are key for the system to yield more accurate results. iii LỜI CÁM ƠN Tôi xin bày tỏ lòng biết ơn sâu sắc nhất đến Cô GS.

Phan Thị Tươi đã tận tình hướng dẫn, động viên, chỉ bảo, và đóng góp ý kiến để tôi có thể nghiên cứu và hoàn thành luận án Tiến sĩ. Tôi xin gửi lời cám ơn đến các Thầy, Cô trong Khoa Khoa học và Kỹ thuật Máy tính trường Đại học Bách Khoa TP. Hồ Chí Minh, các anh chị nghiên cứu sinh đã đóng góp nhiều ý kiến quý báu cho tôi. Tôi xin chân thành cám ơn Ban giám hiệu, Phòng đào tạo Sau đại học trường Đại học Bách Khoa TP.

Hồ Chí Minh đã hỗ trợ kinh phí và tạo điều kiện thuận lợi để tôi có thể hoàn thành chương trình nghiên cứu sinh. Tôi xin cám ơn các đồng nghiệp ở Khoa Công nghệ thông tin trường Đại học Ngoại ngữ - Tin học TP. Hồ Chí Minh đã luôn động viên, khích lệ, và tạo điều kiện thuận lợi cho tôi hoàn thành Luận án. Tôi cũng xin chân thành cám ơn Hội đồng quản trị, Ban giám hiệu trường Đại học Ngoại ngữ - Tin học TP.

Hồ Chí Minh đã hỗ trợ kinh phí và tạo điều kiện công tác thuận lợi để tôi có thể hoàn thành chương trình nghiên cứu sinh. Cuối cùng tôi xin bày tỏ lòng biết ơn sâu sắc và muôn vàn tình yêu đến người cha vừa qua đời và người mẹ quá cố của tôi, đến vợ, con, những người luôn bên cạnh và hỗ trợ tôi trong suốt thời gian qua. Hồ Chí Minh, tháng 04 năm 2021 Nghiên cứu sinh Trần Khải Thiện iv MỤC LỤC DANH MỤC CÁC HÌNH ẢNH. viii DANH MỤC BẢNG BIỂU .ix DANH MỤC CÁC TỪ VIẾT TẮT .xi CHƯƠNG 1 GIỚI THIỆU .1 Đề xuất nghiên cứu.

2 Mục đích và phạm vi nghiên cứu .4 Các đóng góp của luận án .5 Cấu trúc của luận án. 6 CHƯƠNG 2 PHÂN TÍCH CẢM XÚC VÀ SỰ DỊCH CHUYỂN CẢM XÚC .7 Phân tích cảm xúc. 7 Một số hướng tiếp cận cho phân tích cảm xúc .1 Tiếp cận hướng đến ngữ nghĩa .2 Tiếp cận theo học máy .3 Sự dịch chuyển cảm xúc và những vấn đề cần nghiên cứu .1 Hiện tượng dịch chuyển cảm xúc .2 Khoảng trống trong nghiên cứu .4 Tổng kết chương 2. 28 CHƯƠNG 3 XÁC ĐỊNH SỰ DỊCH CHUYỂN TRỊ CẢM XÚC CỦA TỪ VÀ CỤM TỪ 29 Động cơ nghiên cứu.

29 Mô hình tính toán trị cảm xúc và sự dịch chuyển cảm xúc của từ, cụm từ trong các nhận xét tiếng Việt .1 Xác định trị cảm xúc cho từ .2 Xác định trị cảm xúc cho cụm từ .3 Phân tích đánh giá. 45 Tổng kết chương 3. 50 CHƯƠNG 4 PHÁT HIỆN KHÍA CẠNH VÀ TRỊ CẢM XÚC TRONG CÁC NHẬN XÉT TIẾNG VIỆT. 52 Giới thiệu bài toán phân tích cảm xúc mức khía cạnh .1 Xác định và rút trích khía cạnh .2 Xác định cảm xúc của khía cạnh .3 Khai thác mối quan hệ phụ thuộc của các từ để rút trích đồng thời khía cạnh và từ cảm xúc tương ứng .54 Mô hình phát hiện khía cạnh và trị cảm xúc .1 Tập luật rút trích khía cạnh và từ mang cảm xúc tươmg ứng .2 Xây dựng ontology để gom nhóm các khía cạnh .1 Hệ thống tra cứu thông tin khách sạn.2 Xây dựng cơ sở trí thức khách sạn .3 Xây dựng bộ xử lý ngôn ngữ tiếng Việt.4 Nhận xét đánh giá.

70 Tổng kết chương 4. 71 CHƯƠNG 5 ĐỀ XUẤT PHƯƠNG PHÁP HỌC TỔ HỢP CHO PHÂN LỚP CẢM XÚC CÁC NHẬN XÉT TIẾNG VIỆT .73 Động cơ nghiên cứu. 74 Mô hình học tổ hợp cho phân lớp cảm xúc.1 Học tổ hợp .2 Phát hiện đặc trưng gây dịch chuyển trị cảm xúc và đặc trưng tiềm ẩn .3 Các bộ học thành phần và bộ học tổ hợp .4 Mô hình học tổ hợp đề xuất .6 Phân tích đánh giá. 93 Mô hình học tổ hợp hướng đến ngữ cảnh cho phân lớp cảm xúc .1 Bộ học thành phần sử dụng cơ chế attention (attention classifier).

99 Tổng kết chương 5 .107 CHƯƠNG 6 KẾT LUẬN .108 CÁC CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ .111 TÀI LIỆU THAM KHẢO. SƠ LƯỢC ĐẶC TRƯNG NGÔN NGỮ TIẾNG VIỆT. Tính từ trong tiếng Việt. Động từ trong tiếng Việt.

Phó từ trong tiếng Việt. iii PHỤ LỤC 2. DANH SÁCH MỘT SỐ CỤM TỪ CẢM XÚC. vii PHỤ LỤC 3.

VĂN PHẠM PHỤ THUỘC. Văn phạm phụ thuộc. Mối quan hệ phụ thuộc của một số từ loại trong tiếng Việt .1 Quan hệ phụ thuộc giữa danh từ và động từ .2 Quan hệ phụ thuộc giữa danh từ và tính từ .3 Quan hệ phụ thuộc giữa động từ và tính từ .4 Quan hệ phụ thuộc giữa động từ và động từ.xiv vii DANH MỤC CÁC HÌNH ẢNH Hình 2.1: Kiến trúc chung của một hệ thống phân tích cảm xúc.1: Quá trình xác định và tính toán trị cảm xúc của từ và cụm từ mang cảm xúc.2: Đường hồi quy tuyến tính phù hợp với tập dữ liệu (theo Wikipedia).3: Đường Hồi quy Logistic phù hợp với tập dữ liệu (theo medium.1: ABSA - mô hình rút trích khía cạnh và từ mang cảm xúc dựa vào từ điển cảm xúc, ontology và luật rút trích.2: Ontology trường đại học, tổ chức các khái niệm thành một cấu trúc cây phân cấp, mỗi nút đại diện cho một khái niệm là các khía cạnh của trường.3: So sánh kết quả hai phương pháp biểu thức chính quy và quan hệ ngữ nghĩa.4: Kiến trúc hệ thống tra cứu thông tin nhận xét khách sạn.5: Ontology khách sạn, tổ chức các khái niệm thành một cấu trúc cây phân cấp, mỗi nút đại diện cho một khái niệm là các khía cạnh của khách sạn.6: Màn hình của ứng dụng: Tra cứu thông tin nhận xét về khách sạn bằng ngôn ngữ tự nhiên tiếng Việt.7: Màn hình chụp từ web agoda.com của nhận xét “Phòng hơi nhỏ, ngột ngạt” với điểm số tích cực (6/10).1: Sơ đồ huấn luyện và kiểm thử trong học máy có giám sát.2: Quá trình rút trích các đặc trưng bề mặt [120].3: Biểu diễn vector của các từ King, Queen, Woman, và Princess .4: Quá trình rút trích các đặc trưng sâu tiềm ẩn [120].5: Bộ học tổ hợp sử dụng mô hình Meta Classifier [126].6: Kiến trúc mô hình phân lớp cảm xúc dựa trên phương pháp học tổ hợp [127].7: Kết quả thực nghiệm trên tập dữ liệu UIT-VSFC.8: Kết quả thực nghiệm trên tập dữ liệu HOTEL-Review.9: Kết quả thực nghiệm trên tập dữ liệu Electronics.10: Kết quả thực nghiệm trên tập dữ liệu DVD.11: Kết quả thực nghiệm trên tập ngữ liệu Books.12: Kết quả thực nghiệm trên tập ngữ liệu Kitchen.13: Độ chính xác trung bình theo phương pháp của Xia và cộng sự [44].14: Độ chính xác trung bình của mô hình đề xuất CEM(6C-WLLR) [127].15: Mô hình học tổ hợp quan tâm hướng đến ngữ cảnh [126].16: Kiến trúc mô hình phân lớp sử dụng mạng BiLSTM với cơ chế attention [136].17: Kết quả thực nghiệm trên tập dữ liệu HOTEL-Reviews.18: Kết quả thực nghiệm trên tập dữ liệu UIT-VSFC.19: Kết quả thực nghiệm trên tập dữ liệu FOODY-Reviews.105 DANH MỤC BẢNG BIỂU Bảng 2.1: Ví dụ về định nghĩa quan điểm, cảm xúc.2: Mẫu nhãn từ loại rút trích cụm 2 từ (Turney, 2001) [1].3: A-Labels và một số synsets tương ứng [24].4: Lựa chọn đặc trưng cho học máy theo Lee và Pang [3].5: Một số công trình sử dụng phương pháp kết hợp giữa tiếp cận ngữ nghĩa, theo luật và tiếp cận theo học máy.1: Một số synsets trong SentiWordNet 3.2: Một số phó từ mang thang độ trong tiếng Việt.3: Một số phó từ loại khác với mức chia thang độ tương ứng.4: Một số phó từ tiếng Việt với thang độ “Tag” tương ứng.