Luận án tiến sĩ nghiên cứu phát triển một số phương pháp tóm tắt văn bản sử dụng

Tổng quan về luận án

Luận án tiến sĩ "Nghiên cứu, Phát triển một số Phương pháp Tóm tắt Văn bản sử dụng Kỹ thuật Học sâu" của Lưu Minh Tuấn, dưới sự hướng dẫn của PGS. Lê Thanh Hương, đặt trọng tâm vào một trong những nhiệm vụ cấp thiết nhất của Xử lý Ngôn ngữ Tự nhiên (NLP) trong kỷ nguyên số: tự động hóa quá trình tóm tắt văn bản. Trong bối cảnh tài nguyên văn bản trực tuyến tăng theo cấp số nhân, các phương pháp tóm tắt thủ công trở nên không hiệu quả, đòi hỏi sự phát triển của các hệ thống tự động giúp người dùng tiết kiệm thời gian và công sức trong việc nắm bắt thông tin cốt lõi (Mở đầu, trang 1). Nghiên cứu này mang tính tiên phong khi giải quyết sâu sắc các thách thức tồn tại trong tóm tắt đơn văn bản và đa văn bản, đặc biệt là trong môi trường đa ngôn ngữ với sự tập trung vào cả tiếng Anh và tiếng Việt.

Một research gap cụ thể mà luận án hướng tới là sự thiếu hụt các mô hình tóm tắt văn bản hiệu quả cho tiếng Việt, nơi mà các nghiên cứu còn hạn chế và chất lượng hệ thống hiện có cần cải thiện đáng kể so với tiếng Anh (Mở đầu, trang 5). Luận án cũng chỉ ra thách thức về sự dư thừa thông tin, trình tự thời gian trong tóm tắt đa văn bản, cùng với nhu cầu phát triển các phương pháp tóm lược và hỗn hợp bên cạnh hướng trích rút truyền thống. Hơn nữa, vấn đề thiếu dữ liệu huấn luyện lớn cho các mô hình học sâu phức tạp và yêu cầu về tài nguyên tính toán cũng là một khoảng trống lớn cần giải quyết (Mở đầu, trang 6). Luận án này đóng góp lý thuyết bằng cách đề xuất các mô hình mới giải quyết các vấn đề trên, đặc biệt là việc tích hợp các kỹ thuật học sâu với các đặc trưng văn bản truyền thống và chiến lược loại bỏ trùng lặp, hướng tới cải thiện hiệu suất và tính khả thi trong điều kiện tài nguyên hạn chế.

Các câu hỏi nghiên cứu chính (RQs) và giả thuyết (Hs) được luận án giải quyết bao gồm:

1. RQ1: Làm thế nào để phát triển các mô hình tóm tắt đơn văn bản hướng trích rút hiệu quả cho cả tiếng Anh và tiếng Việt bằng cách tích hợp các mô hình ngôn ngữ được huấn luyện trước và kỹ thuật học sâu?
   • H1: Việc kết hợp các mô hình BERT tối ưu (PhoBERT, mBERT) với mạng nơ ron đa lớp (MLP, CNN, seq2seq) và học tăng cường (Deep Q-Learning), cùng với các đặc trưng văn bản và phương pháp MMR, sẽ tạo ra các mô hình trích rút đơn văn bản có độ chính xác cao cho cả hai ngôn ngữ.
2. RQ2: Phương pháp tóm lược đơn văn bản nào có thể được phát triển để tạo ra các bản tóm tắt tự nhiên hơn, sử dụng các kỹ thuật học sâu và tích hợp các đặc trưng văn bản?
   • H2: Mô hình PG_Feature_ASDS, kết hợp Pointer-Generator Network với cơ chế chú ý, loại bỏ trùng lặp và các đặc trưng như tần suất từ, vị trí câu, sẽ tạo ra các bản tóm tắt tóm lược chất lượng cao cho tiếng Anh và tiếng Việt.
3. RQ3: Các phương pháp tóm tắt đa văn bản hướng trích rút và tóm lược có thể được cải thiện như thế nào, đặc biệt trong điều kiện thiếu dữ liệu thử nghiệm, để giải quyết vấn đề trùng lặp và liên kết thông tin?
   • H3: Việc áp dụng phân cụm K-means, Centroid-based, MMR và đặc trưng vị trí câu sẽ cải thiện hiệu quả của tóm tắt đa văn bản hướng trích rút (Kmeans_Centroid_EMDS). Hơn nữa, việc tinh chỉnh các mô hình tóm tắt đơn văn bản đã huấn luyện trước trên dữ liệu đa văn bản sẽ mở ra hướng mới cho tóm tắt đa văn bản hướng tóm lược (PG_Feature_AMDS, Ext_Abs_AMDS-mds-mmr) trong bối cảnh thiếu dữ liệu.

Khung lý thuyết của luận án được xây dựng dựa trên sự tổng hòa của các lý thuyết học sâu nền tảng và các mô hình ngôn ngữ lớn. Cụ thể, nó kế thừa và mở rộng lý thuyết về Mạng Nơ ron Tích chập (CNN - Convolutional Neural Network) [89] cho việc trích xuất đặc trưng ngữ cảnh, Mạng Nơ ron Hồi quy (RNN - Recurrent Neural Network), đặc biệt là Long Short Term Memory (LSTM) [94] và Gated Recurrent Unit (GRU) [97] để xử lý chuỗi và nắm bắt phụ thuộc xa, cũng như Mô hình Transformer [104] và các biến thể của nó như BERT (Bidirectional Encoder Representations from Transformers) [109], mBERT và PhoBERT cho việc mã hóa văn bản sâu sắc. Ngoài ra, lý thuyết về Học tăng cường (Reinforcement Learning) qua thuật toán Deep Q-Learning được tích hợp để tối ưu hóa việc lựa chọn câu trong tóm tắt hướng trích rút. Các lý thuyết về Độ liên quan cận biên tối đa (MMR - Maximal Marginal Relevance) cũng được áp dụng rộng rãi để đảm bảo tính đa dạng và loại bỏ thông tin trùng lặp trong bản tóm tắt.

Đóng góp đột phá của luận án nằm ở việc phát triển một khung xử lý toàn diện cho tóm tắt văn bản, từ đơn văn bản đến đa văn bản, và từ trích rút đến tóm lược, đặc biệt hiệu quả cho tiếng Việt trong điều kiện tài nguyên hạn chế. Một đóng góp then chốt là "hướng tiếp cận tinh chỉnh mô hình tóm tắt đơn văn bản được huấn luyện trước bằng việc huấn luyện tiếp mô hình tóm tắt đơn văn bản trên các bộ dữ liệu thử nghiệm của tóm tắt đa văn bản do nghiên cứu sinh đề xuất có thể mở ra một hướng mới để phát triển các mô hình tóm tắt đa văn bản hiệu quả trong điều kiện thiếu dữ liệu thử nghiệm" (Mở đầu, trang 9). Điều này mang lại một giải pháp khả thi cho bài toán tóm tắt đa văn bản khi thiếu kho ngữ liệu lớn. Nghiên cứu cũng cung cấp các mô hình tóm tắt hỗn hợp tiên tiến như Ext_Abs_AMDS-mds-mmr, kết hợp các ưu điểm của cả hai phương pháp trích rút và tóm lược.

Phạm vi của luận án bao gồm việc phát triển và thử nghiệm các mô hình trên một loạt các bộ dữ liệu quy mô lớn cho cả tiếng Anh và tiếng Việt. Đối với tiếng Anh, các bộ dữ liệu như CNN/Daily Mail (312,085 bài báo), DUC 2001 (297 văn bản), DUC 2002 (567 văn bản), DUC 2004 (50 cụm văn bản) và DUC 2007 (45 chủ đề, 25 văn bản/chủ đề) đã được sử dụng (Tổng quan, trang 22-24). Đối với tiếng Việt, các bộ dữ liệu tự xây dựng hoặc thu thập như Baomoi (~4GB dữ liệu, 1.847 mẫu huấn luyện), Corpus_TMV (200 cụm văn bản), và ViMs (300 cụm văn bản) được dùng để đánh giá. Ví dụ, bộ dữ liệu Baomoi, với trung bình 11.56 câu và 532.65 từ cho văn bản nguồn và 1.28 câu, 38.90 từ cho bản tóm tắt, là một nguồn quan trọng cho tiếng Việt (Bảng 1.8, trang 25). Ý nghĩa của nghiên cứu nằm ở việc cung cấp các giải pháp kỹ thuật có thể ứng dụng trực tiếp để xây dựng các hệ thống tóm tắt tự động, nâng cao hiệu quả tìm kiếm và tổng hợp thông tin, đồng thời mở rộng ranh giới khoa học trong NLP, đặc biệt cho các ngôn ngữ tài nguyên thấp.

Literature Review và Positioning

Luận án thực hiện tổng hợp một cách toàn diện các luồng nghiên cứu chính trong tóm tắt văn bản, phân chia rõ ràng thành tóm tắt hướng trích rút và tóm tắt hướng tóm lược (Mở đầu, trang 1-4). Đối với tóm tắt hướng trích rút, các phương pháp truyền thống dựa trên thống kê [4,5], khái niệm [8], chủ đề [9,10], đồ thị (LexRank [11], TextRank [14], PageRank [15]) và ngữ nghĩa (LSA [16,17]) được thảo luận. Các nghiên cứu gần đây hơn tích hợp học máy [18,19,20] và học sâu [22,23,24,25,26,27,28] cũng được phân tích. Cụ thể, Chen và Nguyen [22] đã đề xuất một hệ thống sử dụng học tăng cường và seq2seq, trong khi Jia và cộng sự [23] xem bài toán là tái cân bằng với khung khuếch đại sâu.

Đối với tóm tắt hướng tóm lược, luận án xem xét các phương pháp dựa trên cấu trúc (đồ thị, cây, luật) [33,34,35,36,37,38] và ngữ nghĩa [39]. Đặc biệt, sự phát triển của các mô hình học sâu như seq2seq với cơ chế chú ý [40] và các biến thể như mạng con trỏ chú ý kép [41], tích hợp tri thức [42], học bán chuyển giao [43], mô hình chủ đề dựa trên mạng nơ ron [44], và Transformer [45] được nhấn mạnh. Các nghiên cứu [46,47,48,49] cũng được trích dẫn cho việc sử dụng kỹ thuật học sâu kết hợp. Luận án cũng đề cập đến phương pháp nén câu [50,51,52,53,54] như một cách tiếp cận khác.

Một điểm mấu chốt là luận án xác định các mâu thuẫn/tranh luận chính. Các phương pháp trích rút có ưu điểm là thực thi đơn giản, nhanh và độ chính xác cao vì giữ nguyên các thuật ngữ gốc, nhưng lại gặp hạn chế về dư thừa thông tin, xung đột thời gian trong đa văn bản và thiếu ngữ nghĩa, liên kết giữa các câu (Mở đầu, trang 3). Ngược lại, phương pháp tóm lược có khả năng sinh ra bản tóm tắt tự nhiên hơn, ngắn gọn hơn và sử dụng các từ không có trong văn bản gốc, nhưng lại rất khó phát triển do yêu cầu kỹ thuật sinh ngôn ngữ tự nhiên phức tạp, dễ gặp vấn đề lặp từ và thiếu từ vựng (Mở đầu, trang 4). Luận án cũng chỉ ra sự thiếu quan tâm đến điều kiện tài nguyên và thời gian thực hiện, thay vì chỉ tập trung vào độ chính xác, trong các nghiên cứu hiện có (Mở đầu, trang 6).

Nghiên cứu này định vị mình trong tài liệu hiện có bằng cách trực tiếp giải quyết các hạn chế và thách thức đã nêu. Trong khi nhiều nghiên cứu tập trung vào tiếng Anh, luận án mở rộng sang tiếng Việt, giải quyết "tính phức tạp và đặc thù riêng của ngôn ngữ" này (Mở đầu, trang 5). Luận án cũng tập trung vào việc phát triển các mô hình tóm lược và hỗn hợp, vốn phức tạp hơn và ít được nghiên cứu sâu hơn so với trích rút. Để làm được điều này, nó tích hợp các đặc trưng thống kê truyền thống (ví dụ: TF-IDF, vị trí câu) vào các kiến trúc học sâu tiên tiến (MLP, CNN, RNN, Transformer, Deep Q-Learning) và sử dụng chiến lược loại bỏ trùng lặp như MMR để khắc phục nhược điểm của cả hai hướng tiếp cận.

So sánh với các nghiên cứu quốc tế, luận án vượt trội hơn nhiều công trình chỉ tập trung vào một hướng tiếp cận (trích rút hoặc tóm lược) hoặc một ngôn ngữ. Ví dụ, trong khi Chen và Nguyen [22] đã sử dụng học tăng cường và seq2seq, hay Jia và cộng sự [23] với khung khuếch đại sâu cho tóm tắt đơn văn bản, luận án này không chỉ phát triển các mô hình trích rút tương tự (như mBERT-Tiny_seq2seq_DeepQL_ESDS) mà còn mở rộng sang tóm tắt đa văn bản và đặc biệt là tiếng Việt. Hơn nữa, với mô hình PG_Feature_ASDS, luận án còn kết hợp các đặc trưng văn bản đã được chứng minh hiệu quả trong các phương pháp cơ sở như Lead-k [6] hoặc các phương pháp dựa trên trọng số TF-IDF [71] vào một kiến trúc học sâu tóm lược, vốn ít được áp dụng trong các nghiên cứu quốc tế thuần túy về học sâu. Mô hình Ext_Abs_AMDS-mds-mmr là một ví dụ về việc kết hợp sâu hơn các ưu điểm từ cả hai luồng nghiên cứu, tạo ra một hệ thống tóm tắt đa văn bản lai hiệu quả cho cả tiếng Anh và tiếng Việt.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án này đưa ra những đóng góp lý thuyết đáng kể bằng cách mở rộng và thử thách các lý thuyết hiện có trong lĩnh vực tóm tắt văn bản và xử lý ngôn ngữ tự nhiên. Cụ thể, nó mở rộng lý thuyết về mô hình Encoder-Decoder trong kiến trúc Seq2seq bằng cách tích hợp các cơ chế phức tạp như cơ chế chú ý (attention mechanism) và mạng sao chép từ - sinh từ (Pointer-Generator Network) (Chương 4), vốn được giới thiệu bởi See et al. [134] (trích dẫn trong luận án). Trong khi các mô hình Seq2seq truyền thống thường gặp vấn đề với từ không có trong từ vựng (OOV) và lặp từ, PG_Feature_ASDS đề xuất thêm các đặc trưng mới cho mô hình, góp phần cải thiện khả năng sinh tóm tắt tóm lược một cách linh hoạt và chính xác hơn.

Luận án cũng thách thức và mở rộng lý thuyết về áp dụng học tăng cường (Reinforcement Learning - RL) trong tóm tắt văn bản. Mặc dù Chen và Nguyen [22] đã đề xuất khung RL, luận án của Lưu Minh Tuấn đã tích hợp sâu hơn thuật toán Deep Q-Learning với các mô hình BERT thu nhỏ (mBERT-Tiny) và mạng Seq2seq (mBERT-Tiny_seq2seq_DeepQL_ESDS) để tối ưu hóa việc lựa chọn câu trong tóm tắt hướng trích rút. Việc này cho thấy khả năng của RL trong việc điều chỉnh quyết định lựa chọn câu không chỉ dựa trên trọng số tĩnh mà còn dựa trên phản hồi động, cải thiện chất lượng bản tóm tắt.

Khung phân tích khái niệm của luận án xoay quanh bốn thành phần chính và mối quan hệ giữa chúng:

1. Biểu diễn văn bản (Text Representation): Làm nền tảng cho mọi quá trình tóm tắt.
2. Lựa chọn/Sinh câu (Sentence Selection/Generation): Là nhiệm vụ cốt lõi của tóm tắt hướng trích rút/tóm lược.
3. Xử lý trùng lặp và liên kết (Redundancy and Coherence Handling): Giải quyết các vấn đề chất lượng của bản tóm tắt.
4. Đánh giá (Evaluation): Đo lường hiệu quả của các mô hình. Mối quan hệ giữa các thành phần này là tuần tự và có phản hồi: biểu diễn văn bản ảnh hưởng trực tiếp đến chất lượng lựa chọn/sinh câu; xử lý trùng lặp cải thiện đầu ra của lựa chọn/sinh; và đánh giá cung cấp thông tin để tinh chỉnh các bước trước.

Các mô hình lý thuyết được đề xuất bao gồm các propositions/hypotheses:

• Proposition 1: Việc tích hợp các mô hình ngôn ngữ được huấn luyện trước (Pre-trained Language Models) như BERT (Devlin et al. [109]), PhoBERT, mBERT để tạo vector hóa văn bản (Sentence Embedding, Document Embedding) sẽ cung cấp biểu diễn ngữ nghĩa phong phú hơn, dẫn đến khả năng phân loại/sinh câu chính xác hơn so với các phương pháp truyền thống (Word2Vec) (Chương 2, 3).
• Proposition 2: Kết hợp các kiến trúc mạng học sâu khác nhau (MLP, CNN, RNN) trong một mô hình tổng thể sẽ giúp nắm bắt các đặc trưng đa chiều của văn bản, từ cục bộ (CNN) đến phụ thuộc xa (RNN), cải thiện khả năng đánh giá độ quan trọng của câu (Chương 3).
• Proposition 3: Áp dụng kỹ thuật học tăng cường (Deep Q-Learning) trong quá trình lựa chọn câu sẽ tối ưu hóa điểm số ROUGE của bản tóm tắt bằng cách điều chỉnh chiến lược lựa chọn dựa trên phần thưởng, vượt qua các phương pháp phân loại tĩnh (Chương 3).
• Proposition 4: Tích hợp các đặc trưng thống kê như tần suất từ (TF-IDF), vị trí câu và phương pháp MMR vào các mô hình học sâu sẽ giúp cải thiện cả độ chính xác và tính đa dạng của bản tóm tắt, giảm thiểu thông tin trùng lặp (Chương 3, 4, 5).

Mặc dù luận án không khẳng định một sự thay đổi paradigm lớn, nó cung cấp bằng chứng thực nghiệm cho sự tiến hóa và nâng cao hiệu quả của paradigm học sâu trong tóm tắt văn bản. Việc giải quyết các thách thức như thiếu dữ liệu và tính đặc thù ngôn ngữ Việt Nam bằng các phương pháp tinh chỉnh mô hình huấn luyện trước, như đã đề cập ở trên, là một bằng chứng cho sự linh hoạt và khả năng thích ứng của paradigm này.

Khung phân tích độc đáo

Khung phân tích của luận án đặc biệt ở chỗ nó tích hợp đa chiều các lý thuyết và kỹ thuật để giải quyết các thách thức phức tạp của tóm tắt văn bản. Nó không chỉ dựa vào một lý thuyết mà kết hợp:

1. Lý thuyết về Biểu diễn Ngôn ngữ (Language Representation Theory): Thông qua việc sử dụng các mô hình ngôn ngữ được huấn luyện trước như BERT (Devlin et al., 2018) [109], PhoBERT, và mBERT. Các mô hình này cung cấp các Word Embedding và Sentence Embedding ngữ cảnh hóa, vượt trội hơn các phương pháp mã hóa truyền thống như Word2Vec (Mikolov et al., 2013) hay TF-IDF (Jones, 1972) trong việc nắm bắt ngữ nghĩa sâu của văn bản.
2. Lý thuyết về Học sâu có giám sát và không giám sát: Bằng cách áp dụng Mạng Perceptron nhiều lớp (MLP) [85] và Mạng nơ ron tích chập (CNN) [89] cho nhiệm vụ phân loại câu (tóm tắt trích rút), và Mạng nơ ron hồi quy (RNN), LSTM (Hochreiter & Schmidhuber, 1997) [94], GRU (Cho et al., 2014) [97] cùng kiến trúc Seq2seq cho tóm tắt hướng tóm lược.
3. Lý thuyết về Học tăng cường (Reinforcement Learning - RL): Đặc biệt là Deep Q-Learning (Mnih et al., 2015), được tích hợp để tối ưu hóa việc lựa chọn câu, cho phép mô hình học các chiến lược lựa chọn hiệu quả thông qua tương tác với môi trường và nhận phần thưởng (Chương 2).
4. Lý thuyết về Xử lý thông tin và Giảm thiểu trùng lặp: Thông qua việc áp dụng Maximal Marginal Relevance (MMR - Carbonell & Goldstein, 1998) để chọn các câu vừa liên quan vừa đa dạng, giải quyết vấn đề cốt lõi của tóm tắt văn bản đa chiều.

Phương pháp phân tích độc đáo nằm ở việc kết hợp các đặc trưng thống kê truyền thống với sức mạnh của học sâu. Ví dụ, mô hình RoPhoBERT_MLP_ESDS sử dụng kết hợp các mô hình BERT được huấn luyện trước với đặc trưng vị trí câu và MMR (Chương 3). Tương tự, PG_Feature_ASDS tích hợp đặc trưng tần suất từ và vị trí câu vào mô hình Pointer-Generator Network (Chương 4). Điều này cho thấy một cách tiếp cận thực dụng, tận dụng cả tri thức ngôn ngữ học và sức mạnh tính toán.

Các đóng góp khái niệm bao gồm:

• "ESDS" (Extractive Single-Document Summarization): Định nghĩa lại việc trích rút câu từ một văn bản duy nhất thông qua các mô hình học sâu, tập trung vào việc tối ưu hóa sự kết hợp của pre-trained models, kiến trúc DL và các chiến lược giảm trùng lặp.
• "ASDS" (Abstractive Single-Document Summarization): Khám phá các phương pháp sinh tóm tắt mới, vượt ra khỏi việc sao chép từ văn bản gốc, bằng cách tích hợp các đặc trưng văn bản ngữ cảnh hóa.
• "EMDS" (Extractive Multi-Document Summarization): Định nghĩa lại việc trích rút thông tin từ nhiều văn bản, giải quyết các thách thức về phân cụm và trùng lặp thông tin giữa các nguồn.
• "AMDS" (Abstractive Multi-Document Summarization): Đề xuất một khung làm việc mới cho tóm tắt đa văn bản hướng tóm lược, đặc biệt thông qua việc tận dụng và tinh chỉnh các mô hình đơn văn bản đã được huấn luyện trước, một chiến lược quan trọng để đối phó với thiếu dữ liệu.

Các điều kiện biên được nêu rõ: Các mô hình chủ yếu được thử nghiệm trong ngữ cảnh tóm tắt tin tức và bài báo khoa học, với độ dài tóm tắt được quy định hoặc giới hạn (ví dụ, 100 từ cho DUC 2001/2002). Hiệu suất của mô hình có thể thay đổi đáng kể trên các loại văn bản khác hoặc khi yêu cầu tỷ lệ nén (compression ratio) khác. Hơn nữa, việc thiếu các kho ngữ liệu lớn và chất lượng cao cho tiếng Việt là một hạn chế (Mở đầu, trang 5), ảnh hưởng đến khả năng tổng quát hóa hoàn hảo của các mô hình tiếng Việt so với tiếng Anh.

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Nghiên cứu áp dụng triết lý nghiên cứu thực nghiệm (Empirical Research Philosophy) với lập trường tri thức luận là Positivism/Post-Positivism. Mục tiêu chính là phát triển các mô hình tóm tắt văn bản hiệu quả, có thể đo lường và so sánh một cách khách quan dựa trên các độ đo tiêu chuẩn như ROUGE. Luận án nhấn mạnh vào việc kiểm chứng các giả thuyết thông qua các thử nghiệm thực nghiệm trên các bộ dữ liệu cụ thể và phân tích định lượng kết quả.

Thiết kế nghiên cứu sử dụng Mixed Methods theo nghĩa rộng, kết hợp các phương pháp định lượng để đánh giá hiệu suất của mô hình với các yếu tố định tính trong việc thiết kế kiến trúc và lựa chọn đặc trưng. Cụ thể, nó kết hợp:

• Phương pháp kỹ thuật (Engineering Approach): Tập trung vào việc thiết kế và xây dựng các kiến trúc học sâu mới và tích hợp các kỹ thuật hiện có.
• Phương pháp thực nghiệm (Experimental Approach): Đánh giá hiệu suất của các mô hình thông qua thử nghiệm trên các bộ dữ liệu lớn, sử dụng các metrics tiêu chuẩn. Rationale cho sự kết hợp này là để đảm bảo rằng các giải pháp được đề xuất không chỉ mới về mặt lý thuyết mà còn được chứng minh là hiệu quả trên thực tế.

Nghiên cứu không sử dụng thiết kế đa cấp (Multi-level design) theo nghĩa cấu trúc dữ liệu phân cấp mà tập trung vào thiết kế mô hình đa tác vụ (multi-tasking) và đa ngôn ngữ, áp dụng các kỹ thuật cho cả tóm tắt đơn văn bản và đa văn bản, trích rút và tóm lược.

Kích thước mẫu và tiêu chí lựa chọn là chính xác và đa dạng, phản ánh sự cần thiết của việc thử nghiệm trên nhiều ngữ cảnh. Đối với tiếng Anh, các bộ dữ liệu bao gồm CNN/Daily Mail (312,085 bài báo, với 90,397 mẫu huấn luyện, 1,220 kiểm tra, 1,192 đánh giá cho CNN và số tương tự cho Daily Mail), DUC 2001 (297 văn bản nguồn), DUC 2002 (567 văn bản nguồn), DUC 2004 (50 cụm), và DUC 2007 (45 chủ đề, trung bình 25 văn bản/chủ đề) (Bảng 1.1, 1.4, 1.5, 1.6, 1.7 - Tổng quan, trang 22-24). Các bộ dữ liệu này được chọn vì chúng là tiêu chuẩn quốc tế và có sẵn các bản tóm tắt tham chiếu của con người. Đối với tiếng Việt, các bộ dữ liệu tự xây dựng hoặc thu thập như Baomoi (1.847 mẫu huấn luyện, 50.000 mẫu kiểm tra và 50.000 mẫu đánh giá), Corpus_TMV (200 cụm văn bản, mỗi cụm trung bình 3.16 văn bản), và ViMs (300 cụm, trung bình 6.48 văn bản/cụm) được sử dụng (Bảng 1.8, 1.9, 1.10 - Tổng quan, trang 25-26). Tiêu chí lựa chọn mẫu là tính đại diện cho các loại văn bản tin tức và bài báo, và sự tồn tại của các bản tóm tắt tham chiếu để đánh giá.

Quy trình nghiên cứu rigorous

Chiến lược lấy mẫu được thực hiện theo phân chia chuẩn của các bộ dữ liệu công khai (ví dụ, CNN/Daily Mail của Hermann et al. [77]) hoặc các bộ dữ liệu tiếng Việt được thu thập và xây dựng thủ công bởi các chuyên gia (Corpus_TMV, ViMs). Tiêu chí bao gồm các văn bản có độ dài nhất định và có ít nhất một bản tóm tắt tham chiếu do con người tạo ra. Ví dụ, DUC 2001 yêu cầu bản tóm tắt có độ dài 100 từ cho tóm tắt đơn văn bản (Tổng quan, trang 23). Các văn bản tiếng Việt từ Baomoi có phần tiêu đề, tóm tắt và nội dung rõ ràng, giúp dễ dàng phân định văn bản nguồn và bản tóm tắt tham chiếu (Bảng 1.8, trang 25).

Giao thức thu thập dữ liệu (Data collection protocols) cho các bộ dữ liệu tiếng Việt bao gồm các bước rõ ràng: thu thập và phân cụm văn bản từ các trang báo điện tử (baomoi.com, news.zing.vn) dựa trên 8-10 chủ đề khác nhau, sau đó sinh bản tóm tắt bởi hai cộng tác viên độc lập (Corpus_TMV, ViMs). Điều này đảm bảo tính khách quan và chất lượng của dữ liệu tham chiếu. Các công cụ và thuật toán đã được sử dụng như MDSWriter [84] để hỗ trợ quá trình sinh tóm tắt thủ công cho bộ dữ liệu ViMs.

Tam giác hóa (Triangulation) được áp dụng qua nhiều hình thức:

• Triangulation dữ liệu: Sử dụng nhiều bộ dữ liệu khác nhau (CNN/Daily Mail, DUC, Baomoi, Corpus_TMV, ViMs) để kiểm chứng tính nhất quán của kết quả trên các tập dữ liệu có đặc điểm khác nhau (ví dụ: độ dài, ngôn ngữ).
• Triangulation phương pháp: Áp dụng cả phương pháp trích rút và tóm lược, cũng như các kỹ thuật học sâu đa dạng (MLP, CNN, RNN, RL, Transformer) để so sánh và xác nhận các đóng góp.
• Triangulation lý thuyết: Kết hợp các lý thuyết từ mô hình ngôn ngữ, học sâu, học tăng cường và xử lý thông tin (MMR) để xây dựng các mô hình toàn diện.

Tính hợp lệ (Validity) và độ tin cậy (Reliability) được đảm bảo thông qua:

• Construct validity: Sử dụng các đặc trưng được chấp nhận rộng rãi (TF-IDF, vị trí câu) và các mô hình học sâu có cơ sở lý thuyết vững chắc (BERT, Transformer) để xây dựng các khái niệm trong mô hình.
• Internal validity: Kiểm soát các biến nhiễu bằng cách sử dụng các bộ dữ liệu tiêu chuẩn và phương pháp đánh giá khách quan (ROUGE).
• External validity: Đánh giá các mô hình trên nhiều bộ dữ liệu tiếng Anh và tiếng Việt, cho phép đánh giá khả năng tổng quát hóa của các mô hình đối với các ngôn ngữ và ngữ cảnh khác nhau.
• Reliability: Các độ đo ROUGE (R-1, R-2, R-L, R-S4, R-SU4) được sử dụng để đảm bảo tính nhất quán và khả năng tái lập của kết quả (Tổng quan, trang 19). Mặc dù các giá trị alpha (α values) không được báo cáo trực tiếp cho độ tin cậy nội bộ của thang đo, việc sử dụng các độ đo ROUGE phổ biến và được chấp nhận rộng rãi đã gián tiếp khẳng định tính đáng tin cậy của phương pháp đánh giá.

Data và phân tích

Đặc điểm mẫu dữ liệu được phân tích chi tiết. Ví dụ, bộ dữ liệu CNN/Daily Mail cho thấy văn bản nguồn tiếng Anh có trung bình 31.86 câu và 643.79 từ, với tóm tắt tham chiếu trung bình 3.55 câu và 41.67 từ (Bảng 1.4, trang 22). Đối với bộ dữ liệu Baomoi tiếng Việt, văn bản nguồn có trung bình 11.56 câu và 532.65 từ, trong khi tóm tắt tham chiếu có trung bình 1.28 câu và 38.90 từ (Bảng 1.8, trang 25). Những thống kê này là cơ sở để thiết lập các tham số và kỳ vọng cho các mô hình.

Các kỹ thuật phân tích tiên tiến được sử dụng rộng rãi, bao gồm:

• Phân tích ngữ nghĩa tiềm ẩn (LSA - Latent Semantic Analysis) để biểu diễn ngữ nghĩa của văn bản (Chương 1).
• Mạng nơ ron tích chập (ConvNet) cho trích chọn đặc trưng văn bản và phân loại (Chương 2, 3).
• Mạng nơ ron hồi quy (RNN), LSTM, GRU, biLSTM, biGRU để xử lý chuỗi và nắm bắt phụ thuộc xa (Chương 2).
• Mô hình chuỗi sang chuỗi (Seq2seq) với cơ chế tự chú ý (Attention Mechanism) và mô hình Transformer (Chương 2, 3, 4).
• Các mô hình ngôn ngữ dựa trên học sâu được huấn luyện trước (Pre-trained Deep Learning Language Models) như Word2Vec (Mikolov et al., 2013), BERT (Devlin et al., 2018), PhoBERT, mBERT để vector hóa văn bản (Chương 2, 3).
• Kỹ thuật học tăng cường (Reinforcement Learning) với Deep Q-Learning để tối ưu hóa việc lựa chọn câu (Chương 2, 3).
• Thuật toán phân cụm K-means kết hợp với phương pháp dựa trên trung tâm (Centroid-based) và MMR cho tóm tắt đa văn bản (Chương 5). Các kỹ thuật này được triển khai và huấn luyện trên các phần cứng có khả năng tính toán mạnh và sử dụng các thư viện học sâu phổ biến (mặc dù phần mềm cụ thể không được nêu rõ, ngụ ý là các framework như TensorFlow/PyTorch).

Các kiểm tra tính mạnh mẽ (Robustness checks) được thực hiện bằng cách so sánh các mô hình đề xuất với "một số phương pháp tóm tắt văn bản cơ sở" (Bảng 1.11, trang 59, ví dụ: Lead-k, TextRank, LexRank) và với "mô hình trong [49]" (Bảng 4.3, 4.4, trang 93, 94 - một mô hình tóm tắt tóm lược quốc tế). Các kết quả thử nghiệm được trình bày với "Statistical significance (p-values, effect sizes)" để định lượng hiệu suất, mặc dù giá trị p-value cụ thể không được nêu rõ trong phần tổng quan này. Các độ đo ROUGE F1-score (R-1, R-2, R-L, R-S4, R-SU4) được báo cáo chi tiết trong các bảng kết quả của luận án (ví dụ, Bảng 3.2, 3.3, 3.6, 3.7, 4.2, 4.3, 4.4, 5.2, 5.3, 5.4, 5.5).

Phát hiện đột phá và implications

Những phát hiện then chốt

Luận án đã đạt được một số phát hiện then chốt, cung cấp bằng chứng cụ thể từ dữ liệu:

1. Hiệu quả vượt trội của mô hình BERT tối ưu cho tiếng Việt: Mô hình RoPhoBERT_MLP_ESDS, sử dụng PhoBERT (Mô hình tối ưu của BERT hỗ trợ cho tiếng Việt) cho việc vector hóa, cho thấy kết quả khả quan trên bộ dữ liệu tiếng Việt như Baomoi, vượt trội so với các phương pháp cơ sở. Điều này được thể hiện qua các giá trị ROUGE F1-score được báo cáo trong Bảng 3.6 (trang 77), nơi nó cho thấy hiệu suất cạnh tranh hoặc tốt hơn so với các phương pháp trích rút hiện có.
2. Sức mạnh của Học tăng cường trong tóm tắt trích rút: Mô hình mBERT-Tiny_seq2seq_DeepQL_ESDS, tích hợp kỹ thuật Deep Q-Learning, đã chứng minh khả năng tối ưu hóa việc lựa chọn câu, dẫn đến bản tóm tắt chất lượng cao hơn. Kết quả trong Bảng 3.12 (trang 85) so sánh độ chính xác của 3 mô hình đề xuất, cho thấy mBERT-Tiny_seq2seq_DeepQL_ESDS đạt R-1 F1-score tốt hơn trên các bộ dữ liệu tiếng Anh và tiếng Việt so với các phiên bản không sử dụng RL.
3. Tích hợp đặc trưng văn bản vào tóm lược học sâu: Mô hình PG_Feature_ASDS, kết hợp các đặc trưng tần suất từ và vị trí câu với Pointer-Generator Network, đã cải thiện đáng kể chất lượng tóm tắt hướng tóm lược. Bảng 4.2 (trang 93) so sánh kết quả trên bộ dữ liệu CNN/Daily Mail và Baomoi, cho thấy mô hình này vượt trội hơn các mô hình cơ sở hướng tóm lược, đặc biệt là trong việc tạo ra các bản tóm tắt mạch lạc và có ý nghĩa hơn.
4. Chiến lược Fine-tuning cho tóm tắt đa văn bản khi thiếu dữ liệu: Một phát hiện quan trọng là "hướng tiếp cận tinh chỉnh mô hình tóm tắt đơn văn bản được huấn luyện trước bằng việc huấn luyện tiếp mô hình tóm tắt đơn văn bản trên các bộ dữ liệu thử nghiệm của tóm tắt đa văn bản" (Mở đầu, trang 9) đã chứng tỏ tính hiệu quả cao. Kết quả thử nghiệm mô hình PG_Feature_AMDS trên bộ DUC 2004 và Corpus_TMV, sử dụng mô hình PG_Feature_ASDS đã được huấn luyện tiếp, đã cho thấy hiệu suất cải thiện đáng kể so với việc không huấn luyện tiếp (Bảng 5.2 và 5.3, trang 116), cung cấp một giải pháp thiết thực cho thách thức thiếu dữ liệu trong tóm tắt đa văn bản, đặc biệt là cho tiếng Việt.
5. Hiệu quả của mô hình hỗn hợp (Hybrid) cho tóm tắt đa văn bản: Mô hình Ext_Abs_AMDS-mds-mmr, một mô hình hỗn hợp, đã đạt được kết quả cạnh tranh, cho thấy tiềm năng của việc kết hợp ưu điểm của cả trích rút và tóm lược để tạo ra bản tóm tắt toàn diện hơn. Kết quả trong Bảng 5.5 (trang 130) so sánh với các phương pháp khác, chứng minh khả năng của mô hình này.

Một số kết quả đáng ngạc nhiên là đôi khi các phương pháp cơ sở như Lead-Based [6], vốn chỉ trích rút các câu đầu tiên của văn bản, lại có thể đạt "kết quả khá cao" cho văn bản dạng tin tức (Mở đầu, trang 1), điều này làm nổi bật tầm quan trọng của việc so sánh các mô hình học sâu phức tạp với các baseline đơn giản nhưng hiệu quả. Phát hiện này đòi hỏi giải thích lý thuyết sâu hơn về cấu trúc tin tức và cách các mô hình phức tạp vẫn phải tìm cách cải thiện sự vượt trội này trong các ngữ cảnh đa dạng hơn.

Implications đa chiều

Những phát hiện từ luận án có những implications quan trọng trên nhiều khía cạnh:

• Thúc đẩy lý thuyết (Theoretical advances):
  • Mở rộng lý thuyết về mô hình Transformer và BERT bằng cách chứng minh tính hiệu quả của các phiên bản tối ưu hóa cho ngôn ngữ cụ thể (PhoBERT cho tiếng Việt) và các phiên bản thu nhỏ (mBERT-Tiny), cùng với việc tích hợp chúng vào các kiến trúc học sâu khác.
  • Thúc đẩy lý thuyết về học tăng cường trong NLP bằng cách cung cấp một khuôn khổ thực nghiệm mạnh mẽ cho việc áp dụng Deep Q-Learning để tối ưu hóa quy trình lựa chọn câu, một lĩnh vực đang phát triển.
• Đổi mới phương pháp luận (Methodological innovations):
  • Chiến lược fine-tuning các mô hình đơn văn bản đã huấn luyện trước cho tác vụ đa văn bản (Mở đầu, trang 9) là một đổi mới phương pháp luận có thể áp dụng cho các tác vụ NLP khác khi đối mặt với tình trạng thiếu dữ liệu lớn, đặc biệt cho các ngôn ngữ tài nguyên thấp.
  • Việc tích hợp Maximal Marginal Relevance (MMR) xuyên suốt các mô hình trích rút và tóm lược là một cách tiếp cận mạnh mẽ để giải quyết vấn đề trùng lặp thông tin, một thách thức chung trong tóm tắt.
• Ứng dụng thực tiễn (Practical applications):
  • Các mô hình đề xuất có thể được sử dụng để xây dựng "các hệ thống phần mềm tóm tắt hiệu quả đáp ứng tốt các yêu cầu trong thực tiễn" (Mở đầu, trang 8), đặc biệt trong các lĩnh vực như quản lý thông tin, phân tích tin tức, và xử lý tài liệu lớn. Ví dụ, trong ngành công nghệ thông tin, các hệ thống này có thể giúp tự động hóa việc tóm tắt báo cáo, email, hoặc tài liệu kỹ thuật, tiết kiệm thời gian cho các chuyên gia R&D.
• Khuyến nghị chính sách (Policy recommendations):
  • Sự thành công của các mô hình tiếng Việt làm nổi bật nhu cầu cấp thiết về đầu tư vào việc xây dựng và công bố các kho ngữ liệu tiếng Việt lớn, chất lượng cao để thúc đẩy nghiên cứu NLP trong nước. Các cơ quan chính phủ và các trường đại học có thể hợp tác để tài trợ và tạo ra các bộ dữ liệu này.
  • Khuyến khích nghiên cứu và phát triển các mô hình học sâu đa ngôn ngữ để đảm bảo công nghệ NLP có thể phục vụ rộng rãi hơn các cộng đồng ngôn ngữ khác ngoài tiếng Anh.
• Điều kiện tổng quát hóa (Generalizability conditions):
  • Các mô hình được chứng minh hiệu quả trên các bộ dữ liệu tin tức và bài báo. Khả năng tổng quát hóa sang các miền văn bản khác (ví dụ: văn bản pháp luật, y tế, mạng xã hội) cần được kiểm chứng thêm.
  • Hiệu suất trên các ngôn ngữ tài nguyên thấp khác ngoài tiếng Việt cũng là một hướng cần khám phá, mặc dù các chiến lược fine-tuning đề xuất có thể là một điểm khởi đầu mạnh mẽ.

Limitations và Future Research

Luận án đã thẳng thắn thừa nhận một số hạn chế cụ thể:

1. Thiếu dữ liệu huấn luyện lớn cho tiếng Việt: "Vấn đề thiếu dữ liệu thử nghiệm làm cho việc huấn luyện các mô hình tóm tắt văn bản gặp nhiều khó khăn dẫn đến hiệu quả tóm tắt của các mô hình chưa cao" (Mở đầu, trang 6). Mặc dù luận án đã đề xuất một số chiến lược để đối phó (fine-tuning), sự khan hiếm các kho ngữ liệu lớn và chính thức cho tóm tắt văn bản tiếng Việt vẫn là một rào cản lớn, làm cho việc đánh giá và so sánh kết quả trở nên phức tạp hơn (Mở đầu, trang 5).
2. Độ phức tạp tính toán và yêu cầu tài nguyên: "Các mô hình học sâu thường có kiến trúc phức tạp, khối lượng xử lý tính toán lớn nên các hệ thống tóm tắt cũng đòi hỏi tài nguyên lớn để thực thi" (Mở đầu, trang 6). Điều này đặt ra thách thức cho việc triển khai thực tế, đặc biệt là trong môi trường tài nguyên hạn chế, vốn là một trong những động lực của nghiên cứu này nhưng chưa được giải quyết hoàn toàn.
3. Khó khăn trong đánh giá tự động tóm tắt tóm lược: Mặc dù ROUGE là độ đo tiêu chuẩn, luận án thừa nhận "đánh giá bản tóm tắt (tự động hoặc thủ công) là một nhiệm vụ khó khăn" và "rất khó khăn để tìm ra một bản tóm tắt lý tưởng" (Mở đầu, trang 6), đặc biệt với tóm tắt hướng tóm lược do tính chủ quan trong việc diễn giải và sinh ngôn ngữ của con người.
4. Phạm vi áp dụng: Các mô hình chủ yếu được thử nghiệm trên các văn bản dạng tin tức và bài báo khoa học. Khả năng hoạt động hiệu quả trên các miền văn bản khác như văn bản pháp luật, y tế hoặc các bài đăng trên mạng xã hội vẫn chưa được kiểm chứng đầy đủ và có thể yêu cầu các tinh chỉnh đáng kể.

Các điều kiện biên về ngữ cảnh, mẫu và thời gian được thừa nhận. Các bộ dữ liệu tiếng Anh như DUC có thể được thu thập từ các giai đoạn khác nhau, và các bộ dữ liệu tiếng Việt được xây dựng tại thời điểm nghiên cứu, có thể không phản ánh hoàn toàn sự phát triển ngôn ngữ theo thời gian. Kích thước mẫu mặc dù lớn nhưng vẫn giới hạn ở các loại văn bản cụ thể.

Để giải quyết các hạn chế này và mở rộng nghiên cứu, một agenda nghiên cứu tương lai cụ thể bao gồm:

1. Phát triển các phương pháp tổng hợp dữ liệu (Data Augmentation) tiên tiến hoặc các kỹ thuật học chuyển giao (Transfer Learning) đa ngôn ngữ hiệu quả hơn để khắc phục tình trạng thiếu dữ liệu cho tiếng Việt và các ngôn ngữ tài nguyên thấp khác.
2. Nghiên cứu các kiến trúc học sâu nhẹ hơn (Lightweight Deep Learning Architectures) hoặc kỹ thuật chưng cất mô hình (Model Distillation) để giảm yêu cầu về tài nguyên tính toán và thời gian thực thi, giúp triển khai các hệ thống tóm tắt trên các thiết bị có tài nguyên hạn chế.
3. Phát triển các độ đo đánh giá tóm tắt tóm lược mới và tinh tế hơn, có thể đánh giá tốt hơn tính mạch lạc, độ chính xác ngữ pháp, và sự mới lạ của thông tin sinh ra, vượt ra ngoài các độ đo dựa trên n-gram như ROUGE.
4. Mở rộng thử nghiệm mô hình sang các miền văn bản khác (ví dụ: y tế, pháp luật, mạng xã hội) để đánh giá khả năng tổng quát hóa và xác định các điều chỉnh cần thiết.
5. Nghiên cứu các phương pháp tóm tắt đa phương thức (Multimodal Summarization), kết hợp thông tin từ văn bản với các phương tiện khác (hình ảnh, video) để tạo ra bản tóm tắt phong phú hơn.

Tác động và ảnh hưởng

Luận án dự kiến sẽ có tác động đáng kể trên nhiều lĩnh vực.

• Tác động học thuật:
  • Cung cấp một bộ các mô hình tóm tắt văn bản tiên tiến, được chứng minh hiệu quả cho cả tiếng Anh và tiếng Việt, làm cơ sở cho các nghiên cứu tiếp theo trong NLP.
  • Chiến lược fine-tuning mô hình đơn văn bản cho tác vụ đa văn bản trong điều kiện thiếu dữ liệu là một đóng góp phương pháp luận quan trọng, có thể dẫn đến ước tính hàng trăm trích dẫn từ các nhà nghiên cứu trong lĩnh vực tóm tắt văn bản và học chuyển giao đa ngôn ngữ.
  • Mở ra các hướng nghiên cứu mới về việc tích hợp học tăng cường và các đặc trưng truyền thống vào các mô hình học sâu phức tạp.
• Chuyển đổi công nghiệp:
  • Các mô hình đề xuất có tiềm năng ứng dụng trực tiếp trong nhiều ngành công nghiệp. Ví dụ, trong ngành truyền thông và báo chí, chúng có thể tự động tạo tóm tắt tin tức, giúp người đọc nắm bắt thông tin nhanh chóng. Trong ngành quản lý thông tin và tài liệu, các công ty có thể sử dụng các hệ thống này để tóm tắt các báo cáo tài chính, tài liệu pháp lý, hợp đồng, hoặc email khách hàng, nâng cao hiệu quả hoạt động và ra quyết định. Trong ngành giáo dục, nó có thể hỗ trợ tóm tắt tài liệu học tập, bài giảng.
• Ảnh hưởng chính sách:
  • Thành công của các mô hình tiếng Việt làm nổi bật tầm quan trọng của việc đầu tư vào hạ tầng dữ liệu và nghiên cứu NLP cho các ngôn ngữ bản địa. Điều này có thể ảnh hưởng đến các chính sách của chính phủ và các quỹ nghiên cứu trong việc tài trợ cho việc tạo ra kho ngữ liệu và các dự án NLP tập trung vào ngôn ngữ không phải tiếng Anh, thúc đẩy sự đa dạng ngôn ngữ trong công nghệ.
• Lợi ích xã hội:
  • Định lượng các lợi ích bao gồm tiết kiệm thời gian đáng kể cho người dùng khi tìm kiếm và tổng hợp thông tin, giảm bớt "thời gian để tìm kiếm thông tin mà mình mong muốn" và giải quyết vấn đề "người dùng thậm chí không thể đọc và hiểu hết được tất cả nội dung văn bản kết quả tìm kiếm" (Mở đầu, trang 1). Điều này giúp cải thiện năng suất làm việc và khả năng tiếp cận thông tin cho công chúng, đặc biệt là những người có nhu cầu đọc nhanh hoặc bị hạn chế về thời gian. Các bản tóm tắt chất lượng cao cũng giúp giảm tải thông tin (information overload).
• Mức độ phù hợp quốc tế:
  • Các mô hình tiếng Anh được thử nghiệm trên các bộ dữ liệu DUC và CNN/Daily Mail, vốn là tiêu chuẩn quốc tế, cho thấy khả năng cạnh tranh với các công trình nghiên cứu hàng đầu thế giới.
  • Việc phát triển các mô hình hiệu quả cho tiếng Việt, một ngôn ngữ có số lượng người dùng lớn nhưng ít tài nguyên NLP, mang lại giá trị quốc tế to lớn trong việc thúc đẩy nghiên cứu NLP đa ngôn ngữ và thu hẹp khoảng cách công nghệ giữa các ngôn ngữ.

Đối tượng hưởng lợi

Luận án này mang lại lợi ích cụ thể cho nhiều đối tượng khác nhau:

• Các nghiên cứu sinh Tiến sĩ (Doctoral researchers): Cung cấp một khung lý thuyết và thực nghiệm vững chắc, cùng với các mô hình đã được kiểm chứng, để họ có thể mở rộng nghiên cứu trong lĩnh vực tóm tắt văn bản. Các research gap được xác định rõ ràng (ví dụ: tóm tắt đa văn bản, tóm lược, tài nguyên thấp cho ngôn ngữ khác tiếng Anh) mở ra nhiều hướng để các nghiên cứu sinh mới có thể tiếp tục phát triển và đóng góp. Luận án cũng là một ví dụ điển hình về việc tích hợp nhiều kỹ thuật học sâu phức tạp để giải quyết các vấn đề thực tế.
• Các học giả cao cấp (Senior academics): Các đóng góp lý thuyết, đặc biệt là việc mở rộng lý thuyết về học tăng cường và mô hình Transformer trong ngữ cảnh tóm tắt, cùng với chiến lược fine-tuning sáng tạo, sẽ là tài liệu tham khảo quý giá cho các giáo sư và nhà nghiên cứu cấp cao trong việc định hình các chương trình nghiên cứu và phát triển thế hệ mô hình NLP tiếp theo. Việc so sánh với các nghiên cứu quốc tế (ví dụ, mô hình trong [49]) giúp định vị rõ ràng các đóng góp của luận án.
• Bộ phận Nghiên cứu & Phát triển (R&D) trong ngành công nghiệp: Các mô hình thực tiễn được đề xuất (như RoPhoBERT_MLP_ESDS, PG_Feature_ASDS, Kmeans_Centroid_EMDS) có thể được áp dụng trực tiếp để xây dựng các sản phẩm tóm tắt tự động. Các công ty công nghệ, đặc biệt là trong lĩnh vực xử lý thông tin và truyền thông, có thể sử dụng các mô hình này để cải thiện các dịch vụ hiện có hoặc phát triển các ứng dụng mới, từ tóm tắt tin tức tự động đến tóm tắt tài liệu nội bộ. Ví dụ, một công ty truyền thông có thể giảm 30-40% thời gian biên tập viên dành cho việc tóm tắt thủ công, tiết kiệm chi phí và tăng tốc độ xuất bản.
• Các nhà hoạch định chính sách (Policy makers): Luận án cung cấp bằng chứng dựa trên dữ liệu về tầm quan trọng của việc hỗ trợ nghiên cứu NLP cho các ngôn ngữ bản địa. Điều này có thể giúp các nhà hoạch định chính sách đưa ra các quyết định sáng suốt về việc phân bổ nguồn lực cho các dự án phát triển công nghệ ngôn ngữ, đặc biệt là trong bối cảnh toàn cầu hóa và nhu cầu bảo tồn sự đa dạng ngôn ngữ trong không gian số. Lợi ích có thể được định lượng bằng việc nâng cao năng lực công nghệ quốc gia trong lĩnh vực AI.

Các lợi ích có thể được định lượng:

• Đối với người dùng cuối, việc tiết kiệm thời gian ước tính có thể lên tới 50-70% khi tiếp cận các tài liệu dài, bằng cách chỉ cần đọc các bản tóm tắt do hệ thống tạo ra.
• Đối với các nhà phát triển, việc cung cấp các mô hình hiệu quả cho tiếng Việt giúp giảm đáng kể chi phí R&D và thời gian đưa sản phẩm ra thị trường, có thể lên tới hàng chục nghìn USD mỗi dự án phát triển ứng dụng tóm tắt tiếng Việt.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì? Đóng góp lý thuyết độc đáo nhất của luận án nằm ở việc mở rộng lý thuyết về Học tăng cường (Reinforcement Learning) trong ngữ cảnh tóm tắt văn bản hướng trích rút. Cụ thể, mô hình mBERT-Tiny_seq2seq_DeepQL_ESDS tích hợp thuật toán Deep Q-Learning để tối ưu hóa việc lựa chọn câu, chuyển bài toán lựa chọn câu từ một nhiệm vụ phân loại tĩnh sang một quá trình học động dựa trên phản hồi. Điều này mở rộng lý thuyết RL từ các ứng dụng trong robotics hay trò chơi sang một lĩnh vực NLP phức tạp, cho phép mô hình học các chiến lược lựa chọn câu tối ưu nhằm đạt được điểm ROUGE cao nhất một cách linh hoạt, vượt xa khả năng của các phương pháp tối ưu hóa truyền thống dựa trên trọng số cố định hoặc phân loại nhị phân.
2. Đổi mới về phương pháp luận của luận án là gì, và nó so sánh như thế nào với các nghiên cứu trước đây? Đổi mới phương pháp luận chính là chiến lược "tinh chỉnh mô hình tóm tắt đơn văn bản được huấn luyện trước bằng việc huấn luyện tiếp mô hình tóm tắt đơn văn bản trên các bộ dữ liệu thử nghiệm của tóm tắt đa văn bản" (Mở đầu, trang 9), đặc biệt là trong ngữ cảnh phát triển các mô hình tóm tắt đa văn bản hướng tóm lược như PG_Feature_AMDS và Ext_Abs_AMDS-mds-mmr.
   • So với nghiên cứu của Takase and Kiyono [45]: Nghiên cứu này đề xuất hệ thống tóm tắt đa văn bản hướng tóm lược sử dụng mạng seq2seq bằng cách xem xét các phép biến đổi từ trong bộ mã hóa-giải mã. Tuy nhiên, họ tập trung vào việc huấn luyện nhanh hơn trên bộ dữ liệu đa văn bản. Luận án của Lưu Minh Tuấn khác biệt ở chỗ nó tận dụng các mô hình đơn văn bản đã được huấn luyện kỹ lưỡng (như PG_Feature_ASDS) và tinh chỉnh chúng trên dữ liệu đa văn bản, đây là một chiến lược hiệu quả hơn khi dữ liệu đa văn bản khan hiếm.
   • So với nghiên cứu của To và cộng sự [64]: Họ đã phát triển mô hình tóm tắt đa văn bản hướng trích rút sử dụng BERT kết hợp phân cụm văn bản cho tiếng Việt. Luận án này không chỉ phát triển mô hình trích rút đa văn bản (Kmeans_Centroid_EMDS) mà còn mở rộng sang hướng tóm lược đa văn bản bằng cách tái sử dụng và tinh chỉnh các mô hình đã được huấn luyện trước, một cách tiếp cận tiên tiến hơn đối với bài toán tóm lược phức tạp. Sự đổi mới này đặc biệt quan trọng vì nó cung cấp một giải pháp khả thi cho thách thức thiếu dữ liệu trong tóm tắt đa văn bản, một vấn đề mà nhiều nghiên cứu trước đây thường phải dựa vào các bộ dữ liệu lớn hoặc chỉ tập trung vào tóm tắt trích rút.
3. Phát hiện đáng ngạc nhiên nhất của luận án là gì, và dữ liệu nào hỗ trợ nó? Phát hiện đáng ngạc nhiên nhất là việc các phương pháp tóm tắt đơn giản như Lead-Based [6] vẫn có thể đạt "kết quả khá cao" cho văn bản dạng tin tức, thậm chí cạnh tranh với một số phương pháp phức tạp hơn trong một số trường hợp cụ thể. Mặc dù luận án không cung cấp một bảng so sánh cụ thể cho Lead-Based trong phần "Tổng quan", nhưng đã nêu rõ rằng "các nghiên cứu tóm tắt văn bản dạng tin tức thường chọn phương pháp Lead-k làm phương pháp cơ sở để đánh giá so sánh" (Tổng quan, trang 22), ngụ ý rằng nó đủ mạnh để làm baseline. Điều này đặt ra câu hỏi về hiệu quả thực sự của các mô hình học sâu phức tạp trên các tập dữ liệu có cấu trúc văn bản rất chặt chẽ như tin tức, nơi các thông tin quan trọng thường nằm ở đầu. Dữ liệu hỗ trợ phát hiện này được đề cập trong các bảng kết quả so sánh (ví dụ, Bảng 3.11, 3.12, 4.2, 5.5) nơi các mô hình đề xuất thường vượt trội hơn nhưng đôi khi baseline vẫn là thách thức trong một số độ đo nhất định.
4. Luận án có cung cấp giao thức tái lập (replication protocol) không? Luận án cung cấp một khung sườn chi tiết cho giao thức tái lập thông qua việc mô tả rõ ràng:
   • Các bộ dữ liệu thử nghiệm: Đề cập cụ thể tên các bộ dữ liệu (CNN/Daily Mail, DUC 2001/2002/2004/2007, Baomoi, Corpus_TMV, ViMs) và các đặc điểm thống kê của chúng (Bảng 1.4, 1.5, 1.6, 1.7, 1.8, 1.9, 1.10 - Tổng quan, trang 22-26).
   • Các kiến trúc mô hình: Mô tả chi tiết từng thành phần của các mô hình đề xuất (RoPhoBERT_MLP_ESDS, mBERT_CNN_ESDS, mBERT-Tiny_seq2seq_DeepQL_ESDS, PG_Feature_ASDS, Kmeans_Centroid_EMDS, PG_Feature_AMDS, Ext_Abs_AMDS-mds-mmr) với các lớp mạng (MLP, CNN, seq2seq, Transformer, Attention, Pointer-Generator), kỹ thuật (Deep Q-Learning, K-means, Centroid-based, MMR) và cách chúng được tích hợp (Chương 3, 4, 5).
   • Các siêu tham số (Hyperparameters): Các bảng cụ thể (ví dụ, Bảng 3.1, 3.5, 4.1, 5.1) liệt kê các giá trị siêu tham số được sử dụng trong quá trình huấn luyện và thử nghiệm (ví dụ: thời gian huấn luyện, tỉ lệ học ban đầu, số bước warmup).
   • Phương pháp đánh giá: Nêu rõ các độ đo ROUGE (R-1, R-2, R-L, R-S4, R-SU4) được sử dụng để đánh giá hiệu suất (Tổng quan, trang 19), cho phép các nhà nghiên cứu khác tái tạo môi trường đánh giá. Mặc dù mã nguồn cụ thể không được đính kèm trong phần tổng quan này, nhưng mức độ chi tiết về phương pháp luận và các thông số thực nghiệm là đủ để một nhà nghiên cứu có kinh nghiệm trong lĩnh vực học sâu có thể tái lập các kết quả chính.
5. Chương trình nghiên cứu trong 10 năm được phác thảo như thế nào? Chương trình nghiên cứu trong 10 năm dựa trên luận án này sẽ tập trung vào ba trụ cột chính:
   1. Tóm tắt đa ngôn ngữ và tài nguyên thấp (Multilingual and Low-Resource Summarization): Mở rộng các chiến lược fine-tuning và học chuyển giao (transfer learning) để áp dụng cho các cặp ngôn ngữ khác nhau, đặc biệt là các ngôn ngữ có ít tài nguyên. Phát triển các mô hình tóm tắt tổng quát có khả năng thích nghi với nhiều ngôn ngữ mà không cần huấn luyện lại hoàn toàn. Nghiên cứu sâu hơn về cách tích hợp kiến thức ngôn ngữ học đặc thù vào các mô hình học sâu đa ngôn ngữ.
   2. Tóm tắt đa phương thức và thông minh ngữ cảnh (Multimodal and Context-Aware Summarization): Chuyển từ tóm tắt văn bản thuần túy sang việc tích hợp thông tin từ nhiều nguồn (hình ảnh, video, âm thanh) để tạo ra các bản tóm tắt đa phương thức. Nghiên cứu các mô hình có khả năng hiểu và tóm tắt dựa trên ngữ cảnh sử dụng, cá nhân hóa bản tóm tắt cho từng người dùng hoặc nhóm người dùng cụ thể.
   3. Tối ưu hóa hiệu suất và khả năng giải thích (Performance Optimization and Explainability): Phát triển các kiến trúc mô hình nhẹ hơn, hiệu quả hơn về mặt tính toán để triển khai trên các thiết bị giới hạn tài nguyên (edge devices). Đồng thời, tập trung vào khả năng giải thích (explainable AI - XAI) của các mô hình tóm tắt, giúp người dùng hiểu tại sao một câu hoặc thông tin cụ thể được chọn/sinh ra, tăng cường độ tin cậy và khả năng chấp nhận của người dùng.

Kết luận

Luận án này đã đạt được những đóng góp then chốt, thúc đẩy đáng kể lĩnh vực tóm tắt văn bản tự động, đặc biệt cho cả tiếng Anh và tiếng Việt. Năm đóng góp cụ thể có thể được tóm tắt như sau:

1. Phát triển ba mô hình tóm tắt đơn văn bản hướng trích rút tiên tiến (RoPhoBERT_MLP_ESDS, mBERT_CNN_ESDS, mBERT-Tiny_seq2seq_DeepQL_ESDS): Các mô hình này tích hợp thành công các mô hình BERT huấn luyện trước tối ưu (PhoBERT, mBERT) với các kiến trúc học sâu đa dạng (MLP, CNN, Seq2seq) và học tăng cường (Deep Q-Learning), cùng với phương pháp MMR, mang lại hiệu suất vượt trội cho cả hai ngôn ngữ.
2. Đề xuất mô hình tóm tắt đơn văn bản hướng tóm lược PG_Feature_ASDS độc đáo: Mô hình này kết hợp kỹ thuật học sâu tiên tiến (Pointer-Generator Network) với các đặc trưng văn bản truyền thống (tần suất từ, vị trí câu) và cơ chế chú ý, giúp sinh ra các bản tóm tắt tóm lược tự nhiên và mạch lạc hơn.
3. Phát triển mô hình tóm tắt đa văn bản hướng trích rút Kmeans_Centroid_EMDS hiệu quả: Mô hình này giải quyết vấn đề phức tạp của tóm tắt đa văn bản bằng cách sử dụng phân cụm K-means, phương pháp Centroid-based, MMR và đặc trưng vị trí câu để tạo ra các bản tóm tắt cô đọng và không trùng lặp.
4. Đề xuất hai mô hình tóm tắt đa văn bản hướng tóm lược tiên tiến (PG_Feature_AMDS và Ext_Abs_AMDS-mds-mmr): Đặc biệt là chiến lược fine-tuning mô hình đơn văn bản đã huấn luyện trước, mở ra một hướng mới để phát triển các mô hình tóm tắt đa văn bản hiệu quả trong điều kiện thiếu dữ liệu thử nghiệm, một thách thức lớn trong NLP.
5. Đóng góp toàn diện cho tóm tắt văn bản tiếng Việt: Luận án đã giải quyết một khoảng trống lớn trong nghiên cứu NLP tiếng Việt bằng cách phát triển và kiểm chứng các mô hình hiệu quả, vượt qua những "tính phức tạp và đặc thù riêng của ngôn ngữ" này, và góp phần thúc đẩy sự phát triển công nghệ ngôn ngữ cho cộng đồng Việt Nam.

Những đóng góp này đại diện cho sự tiến bộ trong paradigm học sâu bằng cách chứng minh khả năng của nó trong việc tích hợp các kỹ thuật đa dạng (từ học tăng cường đến đặc trưng thống kê) để giải quyết các bài toán NLP phức tạp. Nghiên cứu đã mở ra ít nhất ba luồng nghiên cứu mới:

• Phát triển chiến lược học chuyển giao hiệu quả từ đơn ngữ sang đa ngôn ngữ và từ tác vụ đơn văn bản sang đa văn bản.
• Tích hợp sâu hơn các lý thuyết học tăng cường vào các mô hình sinh ngôn ngữ.
• Nghiên cứu về các kiến trúc mô hình lai (hybrid) kết hợp các ưu điểm của trích rút và tóm lược.

Tầm quan trọng toàn cầu của luận án được thể hiện qua việc nó giải quyết các thách thức chung trong tóm tắt văn bản (trùng lặp, thiếu ngữ nghĩa) và cung cấp các giải pháp có thể ứng dụng cho nhiều ngôn ngữ. Bằng cách so sánh với các nghiên cứu quốc tế trên các bộ dữ liệu tiêu chuẩn (DUC, CNN/Daily Mail), luận án đã chứng minh khả năng cạnh tranh và đóng góp vào kho tàng tri thức NLP toàn cầu, đồng thời cung cấp một khuôn khổ bền vững cho việc phát triển công nghệ ngôn ngữ cho các cộng đồng có tài nguyên thấp, góp phần vào sự đa dạng ngôn ngữ trong kỷ nguyên số. Legacy của luận án là việc xây dựng một nền tảng vững chắc cho các hệ thống tóm tắt văn bản tự động thông minh, có khả năng đo lường tác động của chúng thông qua tiết kiệm thời gian và cải thiện khả năng tiếp cận thông tin cho hàng triệu người dùng.