Phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc

DAI HOC QUOC GIA TP. HO CHI MINH TRUONG DAI HOC BACH KHOA LE THI THUY PHAN GIAI DONG THAM CHIEU DOI TUQNG CHO PHAN TICH CAM xUC LUAN AN TIEN Si KI THUAT TP. HO CHi MINH - NAM 2022 ĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA LÊ THỊ THỦY PHAN GIAI DONG THAM CHIEU DOI TƯỢNG CHO PHAN TICH CAM xUC Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số chuyên ngành: 62.01 Phản biện độc lập: PGS.

TS Nguyễn Tuần Đăng Phản biện độc lập: PGS. TS Lê Hoàng Thái Phản biện: PGS. TS Đinh Điền Phản biện: PGS. TS Đỗ Văn Nhơn Phản biện: PGS.

TS Phạm Trần Vũ NGƯỜI HƯỚNG DẪN: 1. PHAN THỊ TƯƠI LỜI CAM ĐOAN Tác giả xin cam đoan đây là công trình nghiên cứu của bản thân tác giả. Các kết quả nghiên cứu và các kết luận trong luận án này là trung thực, và không sao chép từ bất kỳ một nguồn nào và dưới bất kỳ hình thức nào. Việc tham khảo các nguồn tài liệu (nếu có) đã được thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng quy định.

Tác giả luận án Chữ ký Lê Thị Thủy TÓM TẮT LUẬN ÁN Phân giải đồng tham chiếu và phân tích cảm xúc là hai bài toán khá phô biến trong xử lý ngôn ngữ tự nhiên, được rất nhiều nhà nghiên cứu quan tâm với các cách tiếp cận khác nhau. Đến nay đã có nhiều công trình kết hợp bài toán phân giải đồng tham chiếu với bài toán phân tích cảm xúc nhằm nâng cao độ chính xác. Để bài toán phân tích cảm xúc có được kết quả đầy đủ, chỉ tiết mang lại lợi ích thực tiễn, luận án đề xuất giải quyết bài toán phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc. Đây chính là mục tiêu của luận án.

Kết quả của bải toán đề xuất là các bộ ba đối tượng, khía cạnh và cảm xúc của các sản phẩm hay dịch vụ trên một miền chuyên biệt. Giới hạn của luận án được áp dụng trên các văn bản cảm xúc tiếng Anh. Để giải quyết bài toán phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc, luận án đề xuất xây dựng hệ thống với cách tiếp cận trên cơ sở tri thức - ontology cảm xúc, kết hợp các giải thuật xử lý ngôn ngữ tự nhiên và các phương pháp học máy, học sâu trên kho ngữ liệu văn bản có cảm xúc, có ngữ cảnh. Dựa trên đặc điểm của văn bản cảm xúc và mục tiêu của bài toán, luận án cần giải quyết các van đề chính sau đây.

Thứ nhất, đề xuất ontology cảm xúc và đồ thị đồng tham chiếu hỗ trợ giải quyết bài toán của luận án. Thứ hai, đề xuất mô hình phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc có một đối tượng. Thứ ba, đề xuất mô hình làm giàu ontology cảm xúc cho miền chuyên biệt. Thứ ứ, đề xuất mô hình xác định khía cạnh ân trong văn bản cảm xúc.

Thứ năm, đề xuất mô hình phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc có nhiều đối tượng. Phần thực nghiệm của luận án được thực hiện trên kho ngữ liệu các văn bản cảm xúc bình luận về các sản phẩm, dịch vụ trên trang web của Amazon và YouNetMedia. Các kết quả thực nghiệm phản ánh tính khả thi của các giải thuật, mô hình đề xuất trong luận án. 1 ABSTRACT Coreference resolution and aspect-based sentiment analysis are popular problems in natural language processing (NLP) and are going under research by the NLP community with different approaches.

Up to now, many works combine co-referencing resolution into the sentiment analysis problem to improve accuracy. In order for the sentiment analysis problem to have complete and detailed results that bring practical benefits, the thesis proposes to solve the object coreference resolution problem for sentiment analysis. This is the aim of the thesis. Results of the problem are triplets of object-aspect-sentiment, which belong to special products or services on a domain.

The limit of the thesis is applied to English sentiment texts. To build object coreference resolution in sentiment analysis, the thesis proposes a fairly popular knowledge-based approach, sentiment ontology, combining natural language processing algorithms, machine learning, and deep learning on contextual sentiment corpus. Based on the characteristics of the sentiment text and the goal of the problem, the thesis must solve the following problems. Firstly, the thesis proposes sentiment ontology and the coreference graph to support the problem of object coreference resolution in sentiment analysis.

Secondly, the thesis proposes the model of object coreference resolution on texts with one object. Thirdly, the thesis proposes the instance-based enrichment of the sentiment ontology model depending on the special domain. Fourthly, the thesis proposes the implicit aspect identification model in sentiment texts. Finally, the thesis proposes object coreference resolution in sentiment analysis with more than one object.

The experiments of the thesis are carried out on the corpus of sentiment texts commenting on products and services on the Amazon website and the YouNetMedia Company. The experimental results reflect the feasibility of the proposed algorithms and models in the thesis. 11 LỜI CẢM ƠN Trong quá trình hoàn thành luận án, tôi đã được các Thầy Cô nơi cơ sé dao tạo giúp đỡ tận tình, cơ quan nơi công tác tạo mọi điều kiện thuận lợi và gia đình cùng bạn bè thường xuyên động viên khích lệ. Luận án này đã được hoàn thành với sự hướng dẫn tận tình, giúp đỡ và sự động viên quý báu rất nhiều từ GS.

Phan Thị Tươi, cán bộ hướng dẫn mà tôi tôn trọng và bảy tỏ lòng biết ơn sâu sắc nhất. Qua đây, tôi bày tỏ lòng biết ơn các thầy cô trong khoa Khoa học và Kỹ thuật Máy tính trường Đại học Bách Khoa Tp.Hồ Chí Minh đã tạo điều kiện thuận lợi cho tôi trong quá trình học tập và nghiên cứu tại Khoa. Lời cảm ơn của tôi xin được gửi đến Phòng Quản lý Sau Đại học về sự hỗ trợ các thủ tục trong quá trình hoàn thành luận án. Đồng thời, tôi muốn cảm ơn Ban Giám Hiệu trường Đại học Bách Khoa Tp.HCM, Phòng Khoa học Công nghệ & Dự án, Phòng Quản lý Sau Đại học đã tài trợ cho tôi thực hiện đề tài cấp trường năm 2016.

Cuối cùng tôi cảm ơn tất cả bạn bè và người thân đã góp nhiều ý kiến và những lời động viên khích lệ quí báu giúp tôi vượt qua khó khăn dé hoàn thành tốt luận án. Tác giả luận án Lê Thị Thủy iv MỤC LỤC IBM. vii DANH MUC BANG BIEU .eesecsesssssessessessessesseesecnesncenecnssecsecaecuecucsueaessessessesuecueeneateaseaes ix DANH MỤC CÁC TỪ VIẾT TẮTT. - 6c St+kSkEEEEEEEEEEEEEEESEESEEEEEEEEEEEEEEEkEEkrrerkrrkrri xX CHUONG 1) GIOT THIEU o0.eccceeseeseesessessessessesseeseeneenesnssncsecsecuceuceneeeesessessesseeneeneeteeneaees 1 II Ni co nghién ôn .2 Mục tiêu và phạm vi nghiÊn CỨU.- - -¿- 6 6xx EvE+EEEekrekekeekrrkrrkrerre 3 1.4 Đóng góp chính của luận án.- --- - + 6+ k 1k2 * 9E vn nh ng nh re 10 1.5 Câu trúc của luận án.- tk kEEkEEKEEKEEEEEESEEEEEEEEEEEEkEEkEEkrrerkrrkrre 13 CHƯƠNG 2_ CÁC NGHIÊN CỨU LIÊN QUAN VÀ CÁC KIEN THUC NEN TANG KH HH HH TT TT TT TH HH TT TT TT TT TT TT TH HH ng rèt 14 2.1 Phân giải đồng tham chiễu.----2-©+£+2E+2EE2EE2EE22122212221221 22122 xe, 14 2.2 Phân tích cảm xúc 2.3 Phân giải đông tham chiêu đôi tượng và khía cạnh cho phân tích cảm xúc.4 Xac dinh khia canh 4.5 Ontology cam xtic va lam giàu OntolOgy oo.6 Các kiến thức nên tảng.1 Mạng nơ-ron nhân tao — ANN — 33 2.2 Mô hình ngôn ngữ - Tiên huân luyện.

35 mm ra a ag 38 CHUONG 3. PHAN GIAI DONG THAM CHIEU DOI TUONG CHO PHAN TICH CÁM XÚC CÓ MỘT ĐÔI TƯỢNG. Mô hình xác định khía cạnh ân - [AI.- -- c s x+EE+EE+E++EtEEeExerkereerxereee 39 Ea to nh .2 Tiên xử lý dữ liệu.-- SG S+ St S 911111111111 111111 1k rrkrek 41 3. Mô hình xác định khía cạnh ân.

Mô hình phân giải đông tham chiêu đôi tượng cho phân tích cảm xúc có một 3.1 Parse — Phan tich cu pháp. Anaphora & Entity CR - Phan giai dong tham chiêu đại từ và thực thê. Aspect-based sentiment analysis - Phân tích cảm xúc mức khía cạnh .4 Ontology CAM hố.5 Đô thị đông tham chiêu (CoReference Graph — CRG).6 Mô-đun OBASCOTe. kh T TH TH TH TH ngư, 60 3.7 Ket qua ca 2n 6.8 Đánh giá thực nghiỆm.

HH HH HH TT ưệt 66 CHƯƠNG4_ LÀM GIÀU ONTOLOGY CAM XUC HO TRO PHAN GIAI DONG THAM CHIEU CHO PHÁN TÍCH CẢM XÚC.2 Mô hình làm giàu ontology cảm xúc ESO (Enriched Sentiment Ontology). Thur nghiém va anh 214. 79 CHUONG 5 PHAN GIAI DONG THAM CHIEU ĐÔI TƯỢNG CHO PHAN TICH CẢM XÚC CÓ NHIÊU ĐÓI TƯỢNG.2 Mô hình phân giải đông tham chiêu cho phân tích cảm xúc có nhiêu đôi tượng - 90:19.1 Giai doan budnn Wyn oo.2 Giai doan tht nghiém oo. 97 CHƯƠNG 6_ KẾT LUẬN.

102 CAC TAI LIEU CONG BO CUA TAC GIA LIEN QUAN ĐÈN LUẬN ÁN. 103 TAI LIEU THAM KHẢO.- - 5s k+SE+EE+EESEEEEEEEEEEEEEEEEEESEEEEEEEEEEEELEEkErkerkerksree 104 I3:i08555S%1MA. 118 vi DANH MỤC CÁC HÌNH ẢNH Hình 1.1 Mô hình phân giải đông tham chiêu đôi tượng cho phân tích cảm xúc.1 Kiên trúc mô hình OAC2 hướng tri thức [§7].- --s «+ ++<+ec++sxzx+ 22 Hình 2.2 Ví dụ ontology tông quát [8 ]. --- - ¿- + + 1111k v ng rệt 28 Hình 2.3 T-Box của ontology công nghiệp [§].4 A-Box của ontology công nghiệp [8].

--- ¿c5 sex sssvsersrreserers 29 Hình 2.5 Tông quan OntoSenticNet [1Ú4].6 Kiên trúc làm giàu ontology [ Ï Ï 3].7 Một nơ-ron nhân tạo — PerC€ptTOH.- --- «1x nh ngư 34 Hình 2.8 Kiên trúc mạng nơ-ron nhân tạo AlNN. --- Sex srsereerrrsrrre 34 Hình 2.9 Word embedding của từ “king”” và ““QU€€Ti””.10 Word embeddings của từ “bank” không ngữ cảnh.11 Biểu diễn đâu vào của mô hình BERT [92].1 Kho ngữ liệu có chứa các dâu hiệu xác định khía cạnh ân của “beautiful”.2 Kiên trúc mô hình xác định khía cạnh ân TIAI.3 Kiên trúc mạng nơ ron nhân tạo 2 tâng ân - mô-đun Training.-- 45 Mô-đun Training có 69.905 mẫu đữ liệu được trích xuất từ Corpus12 với 389.103 văn bản cảm xúc về điện thoại thông minh (smartphone), trong đó: dữ liệu huân luyện có 64.374 mau va dữ liệu thử nghiệm có 5.598 mẫu và độ chính xác 0,82. Định dạng của Corpusl2 được mô tả chỉ tiệt như Hình 3.5 Minh họa định dạng dữ liệu của Corpus |2.6 So sánh mô hình IAI với phương pháp ML-KB*.7 Mô hình phân giải đông tham chiêu cho phân tích cảm xúc có một đôi tượng. k4 TT TT TT TT TT TH TT TT TT TT TT TT TT TT TT HT TT TT TH TT Hàn 55 Hình 3.8 Kién tric Ontology cảm XÚC.

c2 19 91 91 912 111 1g ng nếp 58 Hình 3.9 Đô thị CRG của Ví dụ 3. «LH HH HH HH, 62 Hình 3.10 Giải thuật của mô-đun OBASCore Hình 3.12 CRG của Ví dụ 3.8 được thực hiện bởi giải thuật Hình 3.1 Mô hình đê xuât ESO làm giàu ontology cảm XÚC.2 Quan hé van pham “compound” [1446 ]. --- «5s ++s£+e£+vxsx+eeeersersezrs 69 Hình 4.3 Tập từ đông nghĩa của danh từ “quality” trong Wordet.4 Câu trúc phân câp của từ “quality” với nghĩa đâu tiên.5 Câu trúc phân cap của WOrdÏNe(.