Luận án tiến sĩ khoa học máy tính nghiên cứu các mô hình sinh chuỗi từ chuỗi sử

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYÊN NGỌC KHƯƠNG NGHIÊN CỨU CÁC MÔ HÌNH SINH CHUOI TỪ CHUỖI SỬ DUNG HOC SAU VÀ ỨNG DỤNG TRONG XỬ LÝ NGÔN NGỮ TỰ NHIÊN LUẬN ÁN TIÊN SĨ KHOA HỌC MÁY TÍNH Hà Nội - 2024 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYÊN NGỌC KHƯƠNG NGHIÊN CỨU CÁC MÔ HÌNH SINH CHUỖI TỪ CHUỖI SỬ DỤNG HỌC SÂU VÀ UNG DỤNG TRONG XU LÝ NGÔN NGU TỰ NHIÊN Chuyên ngành: Khoa học máy tính Mã số: 9480101.01 LUẬN ÁN TIÊN SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. Nguyễn Việt Hà 2. Lê Anh Cường Hà Nội - 2024 Lời cam đoan Tôi xin cam đoan luận án này là kết quả nghiên cứu của tôi, được thực hiện dưới sự hướng dẫn của PGS. Nguyễn Việt Hà và PGS.

Lê Anh Cường. Các nội dung trích dẫn từ các nghiên cứu của các tác giả khác trình bày trong luận án này được ghi rõ nguồn trong phần tài liệu tham khảo. Nguyễn Ngọc Khương TOM TAT Hoc sau (Deep Learning) là cách tiếp cận hoc máy đã và đang phát triển mạnh mẽ gần đây cả trong nghiên cứu và ứng dụng. Nhờ các phương pháp học sâu mà nhiều ứng dụng khác nhau của lĩnh vực trí tuệ nhân tạo đã trở nên hiện thực, trải khắp các bài toán của xử lý ngôn ngữ tự nhiên (NLP: natural language processing), thị giác máy tính (computer vision), xử lý tiếng nói (speech processing).

Trong các lĩnh vực đó, một loạt các vấn đề cần giải quyết được quy về lớp các bài toán học máy và được mô hình hoá ở dạng bài toán sinh chuỗi từ chuỗi (Sequence to Sequence, viết tắt là Seq2Seq), tức đầu vào là thông tin dưới dạng chuỗi và đầu ra cũng là chuỗi thông tin được sinh ra, như bài toán dịch máy (machine translation), bài toán tóm tắt văn bản (text summarization), bài toán diễn đạt lại văn bản (paraphrasing), bài toán nhận dạng tiếng nói (speech to text/speech recognition), bài toán nhận dang chữ viết (OCR: optical character recognition). Các mô hình học sâu cho bài toán Seq2Seq vì vậy đang thu hút rất nhiều nghiên cứu trong lĩnh vực học máy cũng như trong các lĩnh vực dữ liệu chuyên sâu như xử lý ngôn ngữ tự nhiên (NLP: natural language processing), xử lý tiếng nói (speech processing), hay thị giác máy tính (computer vision). Trong phạm vi nghiên cứu của luận án này, chúng tôi tập trung vào nghiên cứu phát triển các mô hình hoc sâu Seq2Seq trong ngữ cảnh ứng dụng cho bài toán diễn đạt lại văn bản và bài toán tóm tắt văn bản. M6 hình hoc máy Seq2Seq ở dạng tổng quát bao gồm hai cấu phần là bộ mã hóa (Encoder) và bộ giải mã (Decoder).

Cả hai thành phần này đều được cấu tạo từ các mạng nơ ron. Bộ mã hoá có nhiệm vụ chuyển đổi dữ liệu từ chuỗi đầu vào thành một véc-tơ biểu diễn chứa toàn bộ thông tin đầu vào, còn bộ giải mã có nhiệm vụ sinh ra chuỗi đầu ra từ véc-tơ biểu diễn của chuỗi đầu vào. Đối với các bài toán xử lý ngôn ngữ tự nhiên, một văn bản đầu vào chứa các mức độ ngữ nghĩa khác nhau như mức từ, mức câu, mức đoạn, mức toàn bộ văn bản. Hơn nữa các thành phần này trong văn bản có quan hệ với nhau rất đa nghĩa, ví dụ mỗi từ sẽ có ngữ nghĩa khác nhau khi ở trong các ngữ cảnh khác nhau.

Vì vậy phát triển các mô hình học máy cho nhiệm vụ mã hoá một văn bản sao cho véc-tơ biểu diễn của nó phản ánh đầy đủ và chính xác văn ban đầu vào luôn là bài toán thách thức trong lĩnh vực nghiên cứu NLP. Đối với bộ giải mã, nhiệm vụ là sinh ra chuỗi đầu ra cho một mục tiêu nhất định, ví dụ như sinh câu trả lời trong bài toán hội thoại sẽ khác trong bài toán tóm tắt văn bản. Một mô hình học máy tốt sẽ phải giải quyết vấn đề sử dụng một cách phù hợp thông tin đầu vào để sinh nội dung đầu ra thoả mãn yêu cầu, vì vậy đây cũng luôn là vấn đề thách thức đối với bộ giải mã. Trong luận án này, chúng tôi tập trung nghiên cứu phát triển các mô hình Seq2Seq để góp phần giải quyết các vấn đề nêu trên.

Với mục tiêu đó, luận án tập trung nghiên cứu đề xuất các phương pháp nhằm tối ưu hoá việc mã hoá thông tin văn bản đầu vào, dựa trên việc mã hoá cấu trúc ngữ nghĩa phân cấp của văn bản. Chúng tôi cũng đồng thời phát triển mô hình sinh văn bản dựa trên việc sử dụng cơ chế chú ý (attention) kết hợp với mô hình hoá các ràng buộc của chuỗi đầu ra. Nội dung nghiên cứu tập trung phát triển các mô hình học sâu Seq2Seq cho hai bài toán: bài toán thứ nhất là bài toán diễn đạt lại (text paraphasing) một văn bản đầu vào theo một cách diễn đạt mới; bài toán thứ hai là tóm tắt văn bản theo tiếp cận tóm lược (abstractive text summarization). Đối với bài toán sinh văn bản, luận án đề xuất mô hình cải tiến để mô hình hoá vai trò và mối quan hệ có tính cấu trúc của các thành phần trong văn bản đầu vào và vì vậy đã cải thiện chất lượng pha mã hoá.

Kết quả thực nghiệm cho bài toán diễn đạt lại văn bản trên hai kho dữ liệu phổ biến đã cho thấy mô hình cơ chế chú ý phân cấp cho kết quả tốt hơn đối với mô hình chỉ sử dụng thông tin cấu trúc mức từ. Bên cạnh đó, thực nghiệm trên đề xuất biểu diễn ngữ cảnh hai phía của từ theo các mức ngữ nghĩa khác nhau cũng đã chứng minh được tính hiệu quả cho bài toán diễn đạt lại văn bản. Đối với bài toán tóm tắt tóm lược, luận án đề xuất mô hình biểu diễn ngữ cảnh hai phía của từ, câu và mối quan mối quan hệ mức từ với mức câu trong văn bản đầu vào tại pha mã hoá để cải thiện chất lượng sinh tóm tắt tóm lược. Hiểu bản chất của văn bản đầu vào là yếu tố quan trọng quyết định đến chất lượng đầu ra của văn bản tóm tắt, cơ chế chú ý toàn cục chú trọng đến vai trò của từng thành phần trong văn bản đầu vào trên toàn bộ ngữ cảnh, trong khi đó cơ chế chú ý cục bộ đề cập đến vai trò của từng thành phần trong từng ngữ cảnh cụ thể.

Luận án cũng đề xuất mô hình kết hợp hai cơ chế chú ý trên để cải thiện chất lượng sinh tóm tắt tóm lược của mô hình. Trong tóm tắt nói chung và tóm tắt tóm lược nói riêng, độ dài của bản đầu ra cũng là một trong những yêu cầu quan trọng trong phương diện nghiên cứu và ứng dụng. Chúng tôi nghiên cứu đề xuất mô hình tích hợp ràng buộc độ dài trong pha mã hoá và pha giải mã trong mô hình Seq2Seq thích hợp cho bài toán sinh tóm tắt tóm lược có giới hạn độ dài. Mục lục og ï cảm ơn 8 Danh mục viết tắt và thuật ngữ 9 Danh sách hình vẽ 10 Danh sách bản ỨS 11 13 13 15 17 18 1.5 Mục tiêu của luận án va phương pháp nghiên cứu 20 15.1 Mục tiêu nghiên cỨu.ẶẶ ẶSỒ Ặ So 20 ¬ 1 ` 22 Ộaaa 22 Ta eee 28 Ha.

23 2 Kiến thức cơ sở 25 2.1 Mạng nơ-ron hồi quy|.1 Biểu diễn và huấn luyện mạng hồi quy 25 2.2 Mạng thang du (Residual Networks)) .2 Mô hình ngôn ngữ dựa trên kỹ thuật học sâu 2.21 Biểu diễn từ Word Embedding|.2_ Biểu diễn từ Word2Vecl.3 Mô hình BBRII.3_ Mô hình sinh chuỗi từ chuỗi.2 Kién trúc mã hoá - giải mã chuẩn 2.4 Hạn chế của kiến trúc mã hoá - giải mã cøơbản|.5 Cơ chế chú yf).6 Mô hình lransiormer].4 Diễn đạt lại văn bẳn|.1 Các khái niệm và phương pháp điển hình 2.6 Các độ do cho đánh giá chất lượng sinh văn ban giá nội dung 2.2_ Đánh giá nội dung tóm tắt văn bản 2.7 Dữ liệu thực nghiệm|.1 Bài toán diễn đạt lại văn bản 2.2 Bài toán tóm tắt tóm lược văn ban 3 Mô hình sinh chuỗi từ chuỗi cho bài toán diễn đạt lại văn ban 3.1 Cơ chế chú ý toàn cục cho bài toán diễn đạt lại văn ban 3.1 Mô hình đề xuất. Tóm tắt chương 3).000 0000000 SẺva 4 Mô hình sinh chuỗi từ chuỗi cho bài toán sinh tóm tắt tóm lược 101 101 101 105 108 108 114 118 119 123 128 132 134 138 139 LỜI CẢM ƠN Tôi xin gửi lời cảm ơn sâu sắc đến PGS. Nguyễn Việt Hà và PGS. Lê Anh Cường, hai Thay đã trực tiếp hướng dan, chỉ bảo tận tình, luôn hỗ trợ và tạo những điều kiện tốt nhất cho tôi trong quá trình học tập và nghiên cứu.

Tôi xin chân thành cảm ơn các thầy/cô giáo ở Khoa Công nghệ thông tin, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, đặc biệt là các thầy/cô giáo ở Bộ môn Khoa học máy tính, những người đã trực tiếp giảng dạy và giúp đỡ tôi trong quá trình học tập và nghiên cứu ở trường. Tôi xin chân trọng gửi lời cảm ơn đến PGS. Nguyễn Phương Thái, TS. Trần Quốc Long, TS.

Nguyễn Văn Vinh, TS. Bùi Ngọc Thăng, PGS. Phan Xuân Hiếu, PGS. Lê Thanh Hà, TS.

Lê Đức Trọng, TS. Ma Thị Châu, TS. Tạ Việt Cường (Trường Dại học Công nghệ, Dại học Quốc gia Hà Nội), TS. Nguyễn Thị Minh Huyền (Trường Dai học Khoa hoc Tự nhiên, Dai học Quốc gia Hà Nội), TS.

Trần Hồng Việt (Trường Dại học FPT), TS. Phạm Dức Hồng (Trường Dai học Điện lực), TS. Hồ Thi Xuân Hương (Trường Dai học Quản lý kinh doanh và Công nghệ), các thầy/cô đã có những góp ý hữu ích để tôi chỉnh sửa, hoàn thiện luận án. Tôi xin cảm ơn đến tất cả anh, chị, em đồng nghiệp ở Bộ môn Khoa học máy tính, Khoa Công nghệ thông tin, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội đã giúp đỡ tôi trong thời gian làm nghiên cứu sinh.

Tôi xin trân trọng cảm ơn Đảng ủy, Ban giấm hiệu Trường Đại học Hải Phòng, Lãnh đạo Khoa Công nghệ thông tin, Lãnh đạo Phòng Đào tạo và các bạn đồng nghiệp tại Trường Dại học Hải Phòng đã quan tâm, giúp đỡ và tạo điều kiện cho tôi trong suốt thời gian làm nghiên cứu sinh. Cuối cùng, tôi xin bay tổ lòng biết ơn đến tất cả các thành viên trong gia đình cùng toàn thể bạn bè đã luôn ủng hộ, chia sẻ, động viên và khích lệ tôi học tập, nghiên cứu.