Luận án tiến sĩ khoa học máy tính phân giải đồng tham chiếu đối tượng cho phân t

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA LÊ THỊ THỦY PHÂN GIẢI ĐỒNG THAM CHIẾU ĐỐI TƯỢNG CHO PHÂN TÍCH CẢM XÚC LUẬN ÁN TIẾN SĨ KĨ THUẬT TP. HỒ CHÍ MINH - NĂM 2022 ĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA LÊ THỊ THỦY PHÂN GIẢI ĐỒNG THAM CHIẾU ĐỐI TƯỢNG CHO PHÂN TÍCH CẢM XÚC Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số chuyên ngành: 62.01 Phản biện độc lập: PGS.

TS Nguyễn Tuấn Đăng Phản biện độc lập: PGS. TS Lê Hoàng Thái Phản biện: PGS. TS Đinh Điền Phản biện: PGS. TS Đỗ Văn Nhơn Phản biện: PGS.

TS Phạm Trần Vũ NGƯỜI HƯỚNG DẪN: 1. PHAN THỊ TƯƠI LỜI CAM ĐOAN Tác giả xin cam đoan đây là công trình nghiên cứu của bản thân tác giả. Các kết quả nghiên cứu và các kết luận trong luận án này là trung thực, và không sao chép từ bất kỳ một nguồn nào và dưới bất kỳ hình thức nào. Việc tham khảo các nguồn tài liệu (nếu có) đã được thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng quy định.

Tác giả luận án Chữ ký Lê Thị Thủy i TÓM TẮT LUẬN ÁN Phân giải đồng tham chiếu và phân tích cảm xúc là hai bài toán khá phổ biến trong xử lý ngôn ngữ tự nhiên, được rất nhiều nhà nghiên cứu quan tâm với các cách tiếp cận khác nhau. Đến nay đã có nhiều công trình kết hợp bài toán phân giải đồng tham chiếu với bài toán phân tích cảm xúc nhằm nâng cao độ chính xác. Để bài toán phân tích cảm xúc có được kết quả đầy đủ, chi tiết mang lại lợi ích thực tiễn, luận án đề xuất giải quyết bài toán phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc. Đây chính là mục tiêu của luận án.

Kết quả của bài toán đề xuất là các bộ ba đối tượng, khía cạnh và cảm xúc của các sản phẩm hay dịch vụ trên một miền chuyên biệt. Giới hạn của luận án được áp dụng trên các văn bản cảm xúc tiếng Anh. Để giải quyết bài toán phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc, luận án đề xuất xây dựng hệ thống với cách tiếp cận trên cơ sở tri thức - ontology cảm xúc, kết hợp các giải thuật xử lý ngôn ngữ tự nhiên và các phương pháp học máy, học sâu trên kho ngữ liệu văn bản có cảm xúc, có ngữ cảnh. Dựa trên đặc điểm của văn bản cảm xúc và mục tiêu của bài toán, luận án cần giải quyết các vấn đề chính sau đây.

Thứ nhất, đề xuất ontology cảm xúc và đồ thị đồng tham chiếu hỗ trợ giải quyết bài toán của luận án. Thứ hai, đề xuất mô hình phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc có một đối tượng. Thứ ba, đề xuất mô hình làm giàu ontology cảm xúc cho miền chuyên biệt. Thứ tư, đề xuất mô hình xác định khía cạnh ẩn trong văn bản cảm xúc.

Thứ năm, đề xuất mô hình phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc có nhiều đối tượng. Phần thực nghiệm của luận án được thực hiện trên kho ngữ liệu các văn bản cảm xúc bình luận về các sản phẩm, dịch vụ trên trang web của Amazon và YouNetMedia. Các kết quả thực nghiệm phản ánh tính khả thi của các giải thuật, mô hình đề xuất trong luận án. ii ABSTRACT Coreference resolution and aspect-based sentiment analysis are popular problems in natural language processing (NLP) and are going under research by the NLP community with different approaches.

Up to now, many works combine co-referencing resolution into the sentiment analysis problem to improve accuracy. In order for the sentiment analysis problem to have complete and detailed results that bring practical benefits, the thesis proposes to solve the object coreference resolution problem for sentiment analysis. This is the aim of the thesis. Results of the problem are triplets of object-aspect-sentiment, which belong to special products or services on a domain.

The limit of the thesis is applied to English sentiment texts. To build object coreference resolution in sentiment analysis, the thesis proposes a fairly popular knowledge-based approach, sentiment ontology, combining natural language processing algorithms, machine learning, and deep learning on contextual sentiment corpus. Based on the characteristics of the sentiment text and the goal of the problem, the thesis must solve the following problems. Firstly, the thesis proposes sentiment ontology and the coreference graph to support the problem of object coreference resolution in sentiment analysis.

Secondly, the thesis proposes the model of object coreference resolution on texts with one object. Thirdly, the thesis proposes the instance-based enrichment of the sentiment ontology model depending on the special domain. Fourthly, the thesis proposes the implicit aspect identification model in sentiment texts. Finally, the thesis proposes object coreference resolution in sentiment analysis with more than one object.

The experiments of the thesis are carried out on the corpus of sentiment texts commenting on products and services on the Amazon website and the YouNetMedia Company. The experimental results reflect the feasibility of the proposed algorithms and models in the thesis. iii LỜI CẢM ƠN Trong quá trình hoàn thành luận án, tôi đã được các Thầy Cô nơi cơ sở đào tạo giúp đỡ tận tình, cơ quan nơi công tác tạo mọi điều kiện thuận lợi và gia đình cùng bạn bè thường xuyên động viên khích lệ. Luận án này đã được hoàn thành với sự hướng dẫn tận tình, giúp đỡ và sự động viên quý báu rất nhiều từ GS.

Phan Thị Tươi, cán bộ hướng dẫn mà tôi tôn trọng và bày tỏ lòng biết ơn sâu sắc nhất. Qua đây, tôi bày tỏ lòng biết ơn các thầy cô trong khoa Khoa học và Kỹ thuật Máy tính trường Đại học Bách Khoa Tp.Hồ Chí Minh đã tạo điều kiện thuận lợi cho tôi trong quá trình học tập và nghiên cứu tại Khoa. Lời cảm ơn của tôi xin được gửi đến Phòng Quản lý Sau Đại học về sự hỗ trợ các thủ tục trong quá trình hoàn thành luận án. Đồng thời, tôi muốn cảm ơn Ban Giám Hiệu trường Đại học Bách Khoa Tp.HCM, Phòng Khoa học Công nghệ & Dự án, Phòng Quản lý Sau Đại học đã tài trợ cho tôi thực hiện đề tài cấp trường năm 2016.

Cuối cùng tôi cảm ơn tất cả bạn bè và người thân đã góp nhiều ý kiến và những lời động viên khích lệ quí báu giúp tôi vượt qua khó khăn để hoàn thành tốt luận án. Tác giả luận án __________________________________ Lê Thị Thủy iv MỤC LỤC DANH MỤC CÁC HÌNH ẢNH. vii DANH MỤC BẢNG BIỂU. ix DANH MỤC CÁC TỪ VIẾT TẮT.

x CHƯƠNG 1 GIỚI THIỆU .1 Động cơ nghiên cứu .2 Mục tiêu và phạm vi nghiên cứu.3 Mô hình đề xuất .4 Đóng góp chính của luận án.5 Cấu trúc của luận án. 13 CHƯƠNG 2 CÁC NGHIÊN CỨU LIÊN QUAN VÀ CÁC KIẾN THỨC NỀN TẢNG .1 Phân giải đồng tham chiếu .2 Phân tích cảm xúc .3 Phân giải đồng tham chiếu đối tượng và khía cạnh cho phân tích cảm xúc .4 Xác định khía cạnh ẩn .5 Ontology cảm xúc và làm giàu ontology .6 Các kiến thức nền tảng .1 Mạng nơ-ron nhân tạo – ANN .2 Mô hình ngôn ngữ - Tiền huấn luyện. 38 CHƯƠNG 3 PHÂN GIẢI ĐỒNG THAM CHIẾU ĐỐI TƯỢNG CHO PHÂN TÍCH CẢM XÚC CÓ MỘT ĐỐI TƯỢNG .1 Mô hình xác định khía cạnh ẩn - IAI .2 Tiền xử lý dữ liệu .3 Mô hình xác định khía cạnh ẩn .2 Mô hình phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc có một đối tượng .1 Parse – Phân tích cú pháp.2 Anaphora & Entity CR - Phân giải đồng tham chiếu đại từ và thực thể .3 Aspect-based sentiment analysis - Phân tích cảm xúc mức khía cạnh .5 Đồ thị đồng tham chiếu (CoReference Graph – CRG) .6 Mô-đun OBASCore .7 Kết quả thực nghiệm .8 Đánh giá thực nghiệm. 66 CHƯƠNG 4 LÀM GIÀU ONTOLOGY CẢM XÚC HỖ TRỢ PHÂN GIẢI ĐỒNG THAM CHIẾU CHO PHÂN TÍCH CẢM XÚC .2 Mô hình làm giàu ontology cảm xúc ESO (Enriched Sentiment Ontology) .3 Thực nghiệm và đánh giá.

79 CHƯƠNG 5 PHÂN GIẢI ĐỒNG THAM CHIẾU ĐỐI TƯỢNG CHO PHÂN TÍCH CẢM XÚC CÓ NHIỀU ĐỐI TƯỢNG .2 Mô hình phân giải đồng tham chiếu cho phân tích cảm xúc có nhiều đối tượng - CROAS .1 Giai đoạn huấn luyện .2 Giai đoạn thử nghiệm .3 Đánh giá thực nghiệm. 97 CHƯƠNG 6 KẾT LUẬN .1 Kết quả đạt được .2 Hướng phát triển. 102 CÁC TÀI LIỆU CÔNG BỐ CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN. 103 TÀI LIỆU THAM KHẢO.

118 vi DANH MỤC CÁC HÌNH ẢNH Hình 1.1 Mô hình phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc.1 Kiến trúc mô hình OAC2 hướng tri thức [87].2 Ví dụ ontology tổng quát [8].3 T-Box của ontology công nghiệp [8].4 A-Box của ontology công nghiệp [8].5 Tổng quan OntoSenticNet [104].6 Kiến trúc làm giàu ontology [113].7 Một nơ-ron nhân tạo – Perceptron.8 Kiến trúc mạng nơ-ron nhân tạo ANN.9 Word embedding của từ “king” và “queen”.10 Word embeddings của từ “bank” không ngữ cảnh.11 Biểu diễn đầu vào của mô hình BERT [92].1 Kho ngữ liệu có chứa các dấu hiệu xác định khía cạnh ẩn của “beautiful”.2 Kiến trúc mô hình xác định khía cạnh ẩn IAI.3 Kiến trúc mạng nơ ron nhân tạo 2 tầng ẩn - mô-đun Training. 45 Mô-đun Training có 69.905 mẫu dữ liệu được trích xuất từ Corpus12 với 389.103 văn bản cảm xúc về điện thoại thông minh (smartphone), trong đó: dữ liệu huấn luyện có 64.374 mẫu và dữ liệu thử nghiệm có 5.598 mẫu và độ chính xác 0,82. Định dạng của Corpus12 được mô tả chi tiết như Hình 3.5 Minh họa định dạng dữ liệu của Corpus12.6 So sánh mô hình IAI với phương pháp ML-KB*.7 Mô hình phân giải đồng tham chiếu cho phân tích cảm xúc có một đối tượng.8 Kiến trúc Ontology cảm xúc.9 Đồ thị CRG của Ví dụ 3.10 Giải thuật của mô-đun OBASCore.11 Đồ thị CRG của Ví dụ 3.8 sau bước 5 của giải thuật Hình 3.12 CRG của Ví dụ 3.8 được thực hiện bởi giải thuật Hình 3.1 Mô hình đề xuất ESO làm giàu ontology cảm xúc.2 Quan hệ văn phạm “compound” [146].3 Tập từ đồng nghĩa của danh từ “quality” trong WordNet.4 Cấu trúc phân cấp của từ “quality” với nghĩa đầu tiên.5 Cấu trúc phân cấp của WordNet.6 Cấu trúc phân cấp của WordNet.7 Cấu trúc của Opinion Lexicon (OL) [138].8 Hiệu quả mô hình ESO trên 614 câu.1 Kiến trúc của mô hình CROAS.2 Mô-đun Training của mô hình CROAS.3 Mạng nơ-ron xác định bộ trọng số W2.4 Kết quả phân lớp của Ví dụ 5.5 CRG của Ví dụ 5.6 Mối quan hệ giữa khoảng cách Euclid trung bình và số bước lặp của mô-đun huấn luyện với 300.000 bước tiền huấn luyện.7 Kết quả mô-đun phân lớp trên D1 và D2 với (a) 300.000 bước tiền huấn luyện.8 Kết quả mô-đun phân lớp trên ví dụ 4 với (a) 300.000 bước tiền huấn luyện.9 Đánh giá kết quả CROAS trên 1. 97 viii DANH MỤC BẢNG BIỂU Bảng 2.1 Danh sách các đặc trưng được sử dụng trong [6] .