Luận án nghiên cứu phát triển các kỹ thuật tự động tóm tắt văn bản tiếng việt

Xử lý ngôn ngữ tự nhiên tiếng Việt đối mặt với nhiều rào cản đặc thù. Tiếng Việt có tính đơn lập và không biến đổi hình thái từ. Hiện tượng từ đồng âm khác nghĩa và từ ghép gây khó khăn lớn cho máy tính. Ranh giới từ không được phân tách rõ ràng bằng dấu cách như các ngôn ngữ phương Tây. Khâu tách từ và gán nhãn từ loại yêu cầu thuật toán chuyên biệt với độ chính xác cao. Cấu trúc câu tiếng Việt biến đổi linh hoạt theo ngữ cảnh và văn phong. Các công cụ xử lý văn bản tiếng Việt thời kỳ đầu còn nhiều hạn chế và thiếu đồng bộ. Thiếu hụt tài nguyên ngữ liệu chuẩn cản trở quá trình huấn luyện mô hình. Việc trích xuất câu quan trọng đòi hỏi kết hợp nhiều đặc trưng ngôn ngữ khác nhau. Nghiên cứu của luận án đã khắc phục các rào cản này bằng các giải thuật tối ưu toán học hiện đại.

Hệ thống tự động tóm tắt văn bản được phân loại theo nhiều tiêu chí khoa học. Dựa trên số lượng tài liệu đầu vào, hệ thống chia thành tóm tắt đơn văn bản và đa văn bản. Dựa trên phương thức xử lý, hệ thống phân biệt giữa tóm tắt trích xuất và tóm tắt trừu tượng. Tóm tắt định hướng người dùng tập trung vào các câu trả lời cho truy vấn tìm kiếm cụ thể. Tóm tắt tổng quát giữ lại toàn bộ ý chính của văn bản mà không phụ thuộc câu hỏi. Luận án phân tích sâu các tham số vận hành của hệ thống tóm tắt văn bản. Tỷ lệ nén văn bản là yếu tố quyết định trực tiếp dung lượng bản tóm tắt đầu ra. Hệ thống cần cân bằng hài hòa giữa độ bao phủ thông tin và tính cô đọng. Đề tài tập trung chuyên sâu vào bài toán tóm tắt trích xuất đơn văn bản cho tiếng Việt.

Đề tài hướng tới mục tiêu xây dựng các mô hình tóm tắt văn bản tiếng Việt tự động có độ tin cậy cao. Phạm vi nghiên cứu tập trung vào văn bản báo chí tin tức và tài liệu học thuật. Mục tiêu cốt lõi là tối ưu hóa bộ trọng số đặc trưng câu bằng phương pháp học máy. Luận án ứng dụng các giải thuật tối ưu hóa toán học để tìm lời giải tối ưu toàn cục. Kết quả nghiên cứu phục vụ trực tiếp cho công tác tổng hợp thông tin chỉ huy và quản lý văn bản. Hệ thống hỗ trợ xử lý dữ liệu lớn trong các cơ quan, tổ chức và doanh nghiệp số. Ứng dụng giúp tự động hóa quá trình lập báo cáo và trích xuất tin tức. Đề tài tạo tiền đề vững chắc cho việc phát triển các giải pháp trí tuệ nhân tạo sau này.

Tóm tắt văn bản trích xuất hoạt động dựa trên nguyên lý định lượng giá trị từng câu. Mỗi câu trong văn bản nhận một điểm số đại diện cho mức độ quan trọng về nội dung. Hệ thống sắp xếp thứ hạng và trích chọn các câu có điểm cao nhất vào bản tóm tắt cuối. Phương pháp này không tạo câu mới nên giữ nguyên cấu trúc câu ban đầu. Ngữ pháp câu luôn được bảo đảm chính xác tuyệt đối mà không cần bộ sinh ngôn ngữ phức tạp. Kỹ thuật trích xuất tránh được hoàn toàn lỗi suy diễn hoặc sai lệch thông tin gốc của tác giả. Mô hình đánh giá câu dựa vào vị trí, độ dài, tần suất từ khóa và các thực thể. Đây là giải pháp thực tiễn và tối ưu cho xử lý văn bản chuyên ngành và tin tức chính thống.

Thuật toán TextRank và LexRank là hai phương pháp dựa trên đồ thị kinh điển trong tóm tắt văn bản. Mỗi câu trong văn bản được mô hình hóa thành một đỉnh trên đồ thị liên kết. Trọng số của các cạnh biểu thị độ tương đồng ngữ nghĩa giữa các cặp câu trong tài liệu. Thuật toán PageRank được áp dụng để tính toán độ tập trung thông tin của từng đỉnh câu. Câu có liên kết mạnh với nhiều câu mang thông tin tương đồng sẽ nhận điểm số tích lũy cao. Phương pháp này không phụ thuộc vào tri thức chuyên gia ngôn ngữ hay từ điển ngoài. LexRank sử dụng độ tương đồng cosine dựa trên biểu diễn không gian vector ma trận TF-IDF. Thuật toán TextRank và LexRank tạo nền tảng vững chắc cho các kỹ thuật trích xuất câu tiên tiến.

Tóm tắt văn bản trừu tượng là phương pháp tái cấu trúc thông tin văn bản bằng vốn từ linh hoạt. Mô hình học sâu tiến hành hiểu ngữ nghĩa sâu của văn bản và sinh ra câu tóm tắt hoàn toàn mới. Hướng tiếp cận này giúp loại bỏ triệt để thông tin dư thừa và rút gọn câu hiệu quả hơn trích xuất. Tuy nhiên, tóm tắt trừu tượng đòi hỏi nguồn tài nguyên tính toán lớn và tập ngữ liệu huấn luyện đồ sộ. Nguy cơ mô hình sinh thông tin sai lệch so với văn bản gốc vẫn là rào cản kỹ thuật lớn. Các kiến trúc hiện đại thường tích hợp cơ chế sao chép từ khóa để khắc phục hiện tượng trên. Nghiên cứu của luận án cung cấp cơ sở đối sánh quan trọng cho các phương pháp trừu tượng sau này.

Luận án đề xuất tập 7 đặc trưng cốt lõi để phản ánh chính xác giá trị của một câu văn bản tiếng Việt. Đặc trưng tần số thuật ngữ (TF) đo lường độ phổ biến của các từ khóa quan trọng trong câu. Xác suất thực từ phản ánh tỷ lệ thông tin thực chất mang ý nghĩa ngữ nghĩa. Đặc trưng thực thể tên riêng giúp giữ lại các nhân vật, địa danh, mốc thời gian và tổ chức then chốt. Dữ liệu số cung cấp các số liệu thống kê và kết quả định lượng giá trị. Độ tương đồng với tiêu đề văn bản giúp xác định những câu bám sát chủ đề chính. Vị trí câu trong đoạn văn xác định các câu mở đầu hoặc câu kết luận mang tính tóm lược. Cuối cùng, đặc trưng câu trung tâm đo khoảng cách ngữ nghĩa đến toàn bộ văn bản.

Giải thuật di truyền (Genetic Algorithm) được triển khai để tìm kiếm bộ trọng số đặc trưng tối ưu nhất. Mỗi cá thể trong quần thể đại diện cho một vector các hệ số đặc trưng của mô hình câu. Hàm mục tiêu đánh giá chất lượng cá thể dựa trên độ trùng khớp với bản tóm tắt chuẩn của chuyên gia. Quá trình chọn lọc, lai ghép và đột biến diễn ra qua nhiều thế hệ tiến hóa liên tiếp. Không gian tìm kiếm đa chiều rộng lớn được rà soát hiệu quả mà không bị rơi vào cực trị địa phương. Giải thuật di truyền nhanh chóng hội tụ về bộ trọng số mang lại hiệu năng cao nhất. Kết quả thử nghiệm thực tế cho thấy sự vượt trội rõ rệt so với phương pháp gán trọng số đồng đều.

Giải thuật tối ưu hóa đàn kiến (Ant Colony Optimization) mô phỏng tập tính tìm đường đi ngắn nhất của đàn kiến trong tự nhiên. Trong bài toán tóm tắt, hành trình di chuyển của kiến tương ứng với việc lựa chọn một tập hợp các câu tối ưu. Lượng vết mùi Pheromone tích lũy trên các cung đường phản ánh chất lượng nội dung của bản tóm tắt do kiến tạo ra. Câu nào mang lại giá trị bao phủ thông tin cao và giảm thiểu trùng lặp sẽ được kiến ưu tiên lựa chọn. Thuật toán giải quyết hiệu quả bài toán tối ưu tổ hợp có ràng buộc về dung lượng độ dài. Sự kết hợp giữa giải thuật di truyền và tối ưu đàn kiến nâng cao chất lượng tóm tắt rõ rệt.

Luận án ứng dụng phương pháp bỏ phiếu Schulze từ lý thuyết lựa chọn xã hội vào bài toán tóm tắt câu. Mỗi phương pháp tóm tắt thành phần đóng vai trò như một cử tri độc lập đưa ra bảng xếp hạng câu. Thuật toán Schulze xây dựng đồ thị so sánh cặp đôi trực tiếp giữa tất cả các câu trong tài liệu. Phương pháp xác định đường đi mạnh nhất giữa các đỉnh để tìm ra người chiến thắng Condorcet không thể bác bỏ. Nguyên lý Schulze giải quyết triệt để các trường hợp chu trình bỏ phiếu mâu thuẫn hay nghịch lý lựa chọn. Các câu được đa số mô hình công nhận giá trị sẽ được chọn vào bản tóm tắt cuối cùng với tính thuyết phục cao.

Các mô hình tóm tắt thành phần có độ chính xác và ưu thế khác nhau trên từng loại tài liệu. Luận án không đánh đồng trọng số biểu quyết của mọi phương pháp tóm tắt đầu vào. Một cơ chế học máy tự động xác định quyền số tin cậy cho từng phương pháp thành phần được thiết lập. Những thuật toán có hiệu năng thực nghiệm cao hơn sẽ nhận trọng số bỏ phiếu lớn hơn trong quá trình biểu quyết. Mô hình dung hòa tối ưu giữa phương pháp tiếp cận đồ thị, tần suất thống kê và học máy đặc trưng. Sự phối hợp đa chiều này giúp bản tóm tắt đạt được sự cân bằng giữa độ bao phủ và tính cô đọng thông tin.

Thực nghiệm trên các tập dữ liệu chuẩn chứng minh mô hình Voting luôn đạt hiệu quả vượt trội. Điểm số đánh giá của phương pháp kết hợp cao hơn hẳn bất kỳ phương pháp tóm tắt đơn lẻ nào được sử dụng. Độ ổn định của hệ thống được duy trì vững vàng trên nhiều bài báo có độ dài và chủ đề đa dạng. Bản tóm tắt đầu ra có tính liên kết ngữ nghĩa chặt chẽ và không bị loãng bởi các chi tiết phụ. Hiện tượng trích chọn nhầm câu nhiễu không liên quan đến chủ đề chính bị loại bỏ triệt để. Kết quả khẳng định giá trị thực tiễn to lớn của việc ứng dụng kỹ thuật Voting vào tóm tắt văn bản tiếng Việt.

Kho ngữ liệu VieVTextSum được xây dựng công phu từ nguồn tin tức báo chí tiếng Việt chính thống và đa dạng. Bộ dữ liệu bao gồm hàng trăm văn bản thuộc nhiều lĩnh vực khác nhau như chính trị, kinh tế, giáo dục và khoa học công nghệ. Mỗi văn bản được các chuyên gia con người đọc hiểu và trực tiếp biên soạn bản tóm tắt tham chiếu chuẩn. Quy trình chú giải tuân thủ nghiêm ngặt các nguyên tắc về bảo toàn ý chính và tính khách quan. Cấu trúc ngữ liệu được chuẩn hóa dưới định dạng XML để thuận tiện cho việc lưu trữ, chia sẻ và xử lý tự động. Tập ngữ liệu trở thành cơ sở đối sánh tin cậy cho các nghiên cứu tóm tắt tại Việt Nam.

Chất lượng của kho ngữ liệu được kiểm định chặt chẽ bằng cả phương pháp thủ công và toán học thống kê. Luận án ứng dụng độ đo đồng xuất hiện thực từ để đánh giá mức độ tương đồng giữa các bản tóm tắt của nhiều chuyên gia. Tỷ lệ nhất quán cao khẳng định tính khách quan và độ tin cậy của bản tóm tắt mẫu. Toàn bộ các lỗi chính tả, ngữ pháp và sai lệch ngữ nghĩa trong văn bản nguồn đều được rà soát và loại bỏ. Kho ngữ liệu bảo đảm sự đa dạng về phong cách diễn đạt và phân bố độ dài văn bản. Bộ dữ liệu chuẩn giúp việc huấn luyện và kiểm thử thuật toán đạt độ chính xác cao.

Độ đo đánh giá ROUGE và BLEU là các công cụ tiêu chuẩn quốc tế để đo lường độ chính xác của hệ thống tóm tắt. ROUGE tính toán tỷ lệ trùng lặp N-gram giữa bản tóm tắt do máy sinh ra và bản tóm tắt chuẩn của con người. Chỉ số ROUGE-1 và ROUGE-2 phản ánh độ chính xác của các đơn vị từ đơn và từ ghép. Chỉ số ROUGE-L dựa trên dãy con chung dài nhất, thể hiện độ liền mạch và cấu trúc ngữ pháp của câu. Độ đo BLEU đánh giá độ chính xác của các cụm từ xuất hiện trong văn bản. Sự kết hợp giữa ROUGE và BLEU mang lại đánh giá toàn diện, định lượng chính xác hiệu năng của các giải thuật tóm tắt.

Kiến trúc Sequence-to-Sequence là khung làm việc kinh điển cho các bài toán chuyển đổi chuỗi văn bản đầu vào thành chuỗi tóm tắt đầu ra. Mô hình bao gồm bộ mã hóa (Encoder) để đọc hiểu văn bản gốc và bộ giải mã (Decoder) để sinh nội dung tóm tắt. Cơ chế Attention và Self-Attention giải quyết triệt để hiện tượng mất mát thông tin trên các chuỗi văn bản dài. Bộ giải mã tự động tập trung vào những vị trí từ quan trọng nhất của văn bản nguồn tại mỗi thời điểm sinh từ. Sự kết hợp này giúp hệ thống tóm tắt nắm bắt chính xác ý chính mà không bỏ sót thông tin quan trọng, nâng cao chất lượng diễn đạt.

Cơ chế Attention và Self-Attention cho phép mô hình Transformer tính toán trực tiếp mối liên hệ giữa tất cả các từ trong văn bản. Thuật toán không cần xử lý tuần tự từng từ như các mạng nơ-ron hồi quy truyền thống. Cơ chế Multi-Head Attention giúp mô hình quan sát văn bản dưới nhiều khía cạnh ngữ nghĩa và cú pháp đồng thời. Mô hình Transformer trong tóm tắt văn bản giải quyết xuất sắc các liên kết logic phức tạp và hiện tượng đồng tham chiếu từ. Tốc độ huấn luyện mô hình được tăng tốc tối đa nhờ khả năng tính toán song song ma trận. Đây là bước đột phá công nghệ vượt bậc trong tự động tóm tắt văn bản.

Mô hình ViT5 và PhoBERT là hai đại diện tiêu biểu cho sự phát triển vượt bậc của xử lý ngôn ngữ tự nhiên tiếng Việt hiện đại. PhoBERT được huấn luyện trước trên kho ngữ liệu tiếng Việt đồ sộ, cung cấp biểu diễn ngữ cảnh từ vựng sâu sắc cho các mô hình trích xuất. Mô hình ViT5 sở hữu kiến trúc Sequence-to-Sequence mạnh mẽ, được tối ưu hóa đặc biệt cho tác vụ sinh tóm tắt trừu tượng tiếng Việt mượt mà. Việc ứng dụng mô hình ViT5 và PhoBERT giúp nâng cao điểm số ROUGE lên mức kỷ lục. Sự kết hợp giữa phương pháp xử lý đặc trưng truyền thống và mô hình học sâu hiện đại tạo ra giải pháp tóm tắt văn bản toàn diện.