Luận án tiến sĩ: Nghiên cứu một số bài toán trong hỏi đáp cộng đồng - Hệ thống thông tin - Hà Nội - 2021

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI HÀ THỊ THANH NGHIÊN CỨU MỘT SỐ BÀI TOÁN TRONG HỎI ĐÁP CỘNG ĐỒNG LUẬN ÁN TIẾN SĨ HỆ THỐNG THÔNG TIN HÀ NỘI−2021 luan an BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI HÀ THỊ THANH NGHIÊN CỨU MỘT SỐ BÀI TOÁN TRONG HỎI ĐÁP CỘNG ĐỒNG Ngành: Hệ thống thông tin Mã số: 9480104 LUẬN ÁN TIẾN SĨ HỆ THỐNG THÔNG TIN TẬP THỂ HƯỚNG DẪN KHOA HỌC: 1. NGUYỄN THỊ KIM ANH 2. NGUYỄN KIÊM HIẾU HÀ NỘI−2021 luan an LỜI CAM ĐOAN Tôi xin cam đoan các kết quả trình bày trong luận án là công trình nghiên cứu của bản thân nghiên cứu sinh trong thời gian học tập và nghiên cứu tại Đại học Bách khoa Hà Nội dưới sự hướng dẫn của tập thể hướng dẫn khoa học. Các số liệu, kết quả trình bày trong luận án là hoàn toàn trung thực.

Các kết quả sử dụng tham khảo đều đã được trích dẫn đầy đủ và theo đúng quy định. Hà Nội, ngày tháng năm 2021 Nghiên cứu sinh Hà Thị Thanh TẬP THỂ HƯỚNG DẪN KHOA HỌC PGS. Nguyễn Thị Kim Anh TS. Nguyễn Kiêm Hiếu luan an LỜI CẢM ƠN Trong quá trình nghiên cứu và hoàn thành luận án này, nghiên cứu sinh đã nhận được rất nhiều sự giúp đỡ và đóng góp quý báu.

Đầu tiên, nghiên cứu sinh xin được bày tỏ lòng biết ơn sâu sắc tới tập thể hướng dẫn: PGS. Nguyễn Thị Kim Anh và TS. Nguyễn Kiêm Hiếu. Các thầy cô luôn luôn tận tình hướng dẫn, chỉ bảo, giúp đỡ và động viên nghiên cứu sinh trong suốt quá trình nghiên cứu.

Nghiên cứu sinh xin chân thành cảm ơn các thầy cô trong Bộ môn Hệ thống thông tin và Phòng thí nghiệm Khoa học dữ liệu, Viện Công nghệ thông tin và truyền thông - Trường Đại học Bách khoa Hà Nội, nơi nghiên cứu sinh học tập đã tạo điều kiện cho nghiên cứu sinh có thể tham gia nghiên cứu trong suốt thời gian học tập. Trong thời gian này, nghiên cứu sinh đã nhận được rất nhiều kiến thức và kinh nghiệm từ các thầy cô và các bạn sinh viên trong lab và đặc biệt là trong nhóm nghiên cứu. Nghiên cứu sinh xin chân thành cảm ơn Phòng Đào tạo - Trường Đại học Bách Khoa Hà Nội đã tạo điều kiện để nghiên cứu sinh có thể hoàn thành các thủ tục bảo vệ luận án tiến sĩ. Nghiên cứu sinh cảm ơn trường ĐH CNTT&TT Thái Nguyên - nơi NCS đang làm việc, đã tạo điều kiện về thời gian và hỗ trợ học phí cho nghiên cứu sinh tham gia học tập và nghiên cứu tại trường ĐH Bách Khoa Hà Nội.

Nghiên cứu sinh xin cảm ơn chương trình 911 và Công ty TNHH Đầu tư và Phát triển đô thị Gia Lâm thuộc Tập đoàn Vingroup và hỗ trợ bởi Quỹ Đổi mới sáng tạo Vingroup (VINIF) trong Dự án mã số VINIF.DA18 đã tài trợ cho NCS trong thời gian nghiên cứu và thực hiện luận án. Cuối cùng, nghiên cứu sinh xin gửi lời cảm ơn sâu sắc tới gia đình, bạn bè đồng nghiệp đã luôn động viên, giúp đỡ nghiên cứu sinh, giúp nghiên cứu sinh yên tâm nghiên cứu và vượt qua khó khăn để hoàn thành luận án. luan an MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT VÀ THUẬT NGỮ. iv DANH MỤC HÌNH VẼ.

vi DANH MỤC BẢNG. viii DANH MỤC KÝ HIỆU TOÁN HỌC. TỔNG QUAN VỀ HỆ THỐNG HỎI ĐÁP VÀ CÁC KIẾN THỨC NỀN TẢNG. Hệ thống hỏi đáp.

Định nghĩa hệ thống hỏi đáp. Kiến trúc của hệ thống QA. Các cách tiếp cận tới các hệ thống QA. Thách thức của hệ thống QA.

Hỏi đáp cộng đồng. Kiến trúc của hệ thống CQA. So sánh hệ thống QA và CQA. Các bài toán trong hệ thống hỏi đáp cộng đồng CQA.

Xác định chất lượng của câu trả lời. Bài toán tìm câu hỏi tương đồng. Thách thức của hệ thống hỏi đáp CQA. Tập dữ liệu hỏi đáp.

Kiến thức nền tảng về học sâu. Mô hình mạng truy hồi. Mô hình LSTM. Mô hình mạng tích chập.

Mô hình Transformer. Học biểu diễn từ nhúng. Kết luận chương 1. 34 i luan an CHƯƠNG 2.

BÀI TOÁN LỰA CHỌN CÂU TRẢ LỜI ĐÚNG TRONG HỆ THỐNG HỎI ĐÁP CỘNG ĐỒNG. Các công trình liên quan. Các nghiên cứu về bài toán lựa chọn câu trả lời. Các nghiên cứu dựa vào cơ chế chú ý trong NLP.

Các nghiên cứu về cơ chế chú ý có giám sát trong bài toán NLP 44 2. Mô hình đề xuất. Mô hình match-LSTM. Mở rộng mô hình.

Cơ chế chú ý có giám sát. Các thử nghiệm và kết quả. Tập dữ liệu. Chọn các tham số trong các mô hình.

Kết quả và các thảo luận. Trực quan hóa các trọng số chú ý. Kết luận chương 2. BÀI TOÁN TÓM TẮT CÂU TRẢ LỜI TRONG HỆ THỐNG HỎI ĐÁP CỘNG ĐỒNG.

Các công trình liên quan. Mô hình tóm tắt câu trả lời cho các câu hỏi non-factoid. Biểu diễn câu. Trích rút tóm tắt.

Đánh giá mô hình. Tập dữ liệu. Thiết lập thử nghiệm. Kết quả thực nghiệm.

Kết luận chương 3. BÀI TOÁN TÌM CÂU HỎI TƯƠNG ĐỒNG TRONG HỆ THỐNG HỎI ĐÁP CỘNG ĐỒNG. 72 ii luan an 4. Các công trình liên quan.

Tập dữ liệu. Mô hình BERT cho bài toán tìm kiếm câu hỏi tương đồng. Mô hình BERT. BERT cho bài toán tìm kiếm câu hỏi tương đồng.

Các kết quả thực nghiệm và thảo luận. Mô hình SBERT. Mô hình SBERT cho bài toán tìm câu hỏi tương đồng. Các thử nghiệm và kết quả.

Kết luận chương 4. 94 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ. 97 TÀI LIỆU THAM KHẢO. 98 iii luan an DANH MỤC CÁC TỪ VIẾT TẮT VÀ THUẬT NGỮ Viết tắt Tiếng Anh Tiếng Việt CQA Community Question Answering Hỏi đáp cộng đồng AQ Question Answering Hệ thống hỏi đáp MMR Maximal Marginal Relevance Thuật toán MMR MAP Mean Average Presision Độ đo MAP MRR Mean Reciprocal Rank Độ đo MRR LSTM Long Short - Term Memory Mô hình LSTM RNN Recurent Neural Network Mô hình mạng truy hồi RNN AE Auto Encoder Mô hình AE BERT Bidirectional Encoder Represen- Mô hình biểu diễn mã hóa hai chiều tation from Transformers từ Transformer - Mô hình BERT SBERT Sentence BERT Mô hình SBERT NLP Natural Language Processing Xử lý ngôn ngữ tự nhiên tf.idf Term Frequency – Inverse Docu- Trọng số tf.idf ment Frequency BM25 Best Match25 Mô hình BM25 IR Information Retrieval Tìm kiếm thông tin WE Word Embedding Từ nhúng PE Position Embedding Nhúng vị trí POS Part of Speech Gán nhãn từ loại NER Named Entity Recognition Nhận dạng thực thể có tên OOV Out Of Vocabulary Ngoài tập từ vựng LCS Longest Common Subsequence Dãy con chung lớn nhất ILP Interger Linear Programming Thuật toán ILP SemEval International workshop on Se- Hội thảo về đánh giá ngữ nghĩa mantic Evaluation SNLI Stanford Natural Language Infer- Tập dữ liệu về suy diễn ngôn ngữ ence SVM Support Vector Machine Mô hình máy véc tơ hỗ trợ SVM LDA Latent Dirichlet allocation Mô hình chủ đề ẩn LDA CNN Covolutional Neural Network Mô hình mạng tích chập CNN iv luan an ROUGE Recall-Oriented Understudy for Độ đo ROUGE Gisting Evaluation ROC Receiver Operating Characteris- Đường cong ROC tic AUC Area Under the Curve Diện tích dưới đường cong AUC ABCNN Attention-Based Convolutional Mô hình mạng tích chập dựa vào cơ Neural Network chế sự chú ý - ABCNN v luan an DANH MỤC HÌNH VẼ 1.1 Kiến trúc chung của hệ thống QA .2 Ví dụ hỏi đáp trên Yahoo!answer.3 Kiến trúc của hệ thống CQA[1] .4 Mô hình RNN .5 Mô hình LSTM .6 Mô hình CNN .7 Mô hình attention trong bài toán dịch máy của Bahdanau .8 Mô hình Transformer[2] .9 Quá trình tính sự chú ý .10 Mô hình CBOW và Skip-gram [3] .1 Ví dụ về câu hỏi và các câu trả lời của nó trong tập dữ liệu SemEval 2017 .2 Một ví dụ về cơ chế chú ý theo từng từ được học bởi mô hình match-LSTM.

Các từ chứa nội dung của của câu hỏi và câu trả lời có trọng số thấp. Trong khi đó, tại hình (a), chú ý lại tập trung vào các từ dừng như từ ’not’ và từ ’anyone’ trong câu hỏi lại là từ quan trọng với câu trả lời tương ứng. Hình (b) chú ý của một số từ trong câu hỏi lại tập trung vào phần chào hỏi của câu trả lời .3 Mô hình match-LSTM [4] cho bài toán lựa chọn câu trả lời .4 Mô hình mở rộng từ mô hình match-LSTM cho bài toán lựa chọn câu trả lời .5 Một ví dụ minh họa trọng số chú ý được học bởi mô hình match- LSTM kết hợp với cơ chế chú ý có giám sát với cặp câu hỏi và câu trả lời tốt của nó.6 Một ví dụ về trọng số chú ý được học bởi mô hình match-LSTM kết hợp với cơ chế chú ý có giám sát với cặp câu hỏi và câu trả lời không tốt của nó.1 Ví dụ về câu hỏi, các câu trả lời và đoạn tóm tắt câu trả lời theo kiểu trích rút trên tập dữ liệu Yahoo!Answer. 58 vi luan an 3.2 Mô hình tóm tắt câu trả lời cho các câu hỏi non-factoid trong hệ thống CQA .3 Mô hình Auto-Encoder, h (khối màu đỏ) được dùng làm véc tơ biểu diễn câu .4 Mô hình Long-short-term-memory Auto-Encoder: Lớp mã hóa LSTM cuối cùng (nút màu đỏ) được dùng làm véc tơ biểu diễn câu.5 Độ đo ROUGE trên các tham số κ khác nhau trong thuật toán MMR.1 Ví dụ về các cặp câu hỏi tương đồng với cùng ý hỏi nhưng cách diễn đạt khác nhau trên tập dữ liệu tiếng Việt .2 Mô hình BERT [5] cho bài toán tìm câu hỏi tương đồng .3 Đường cong ROC của các mô hình dự đoán.4 Các mô hình học sâu LSTM/CNN trong bài toán tìm kiếm câu hỏi .5 Trực quan hóa ma trận trọng số chú ý của các mô hình BERT với mô hình ABCNN .6 Mô hình SBERT với kiến trúc bộ ba để học ra biểu diễn câu trong không gian có số chiều thấp cố định.

89 vii luan an DANH MỤC BẢNG 1.1 Thống kê một số tập dữ liệu CQA được các nhà khoa học dùng để đánh giá các mô hình đề xuất.2 Bảng kết quả MAP và MRR của một số mô hình được đề xuất và công bố trên tập TREC QA cho bài toán xếp hạng các câu trả lời ứng viên [6, 7] .3 Bảng kết quả của một số mô hình được đề xuất và công bố trên tập Quora trên bài toán tìm câu hỏi tương đồng .4 Bảng kết quả của một số mô hình được đề xuất và công bố trên tập Yahoo!answer cho bài toán lựa chọn câu trả lời .